PySpark: extracción de un solo valor de DataFrame

En este artículo, vamos a extraer un solo valor de las columnas del marco de datos de pyspark. Para hacer esto usaremos las funciones first() y head().

Valor único significa solo un valor, podemos extraer este valor en función del nombre de la columna

Sintaxis : 

• dataframe.first()[‘nombre de columna’]
• Dataframe.head()[‘Índice’]

Dónde,

• el marco de datos es el marco de datos de entrada y el nombre de la columna es la columna específica
• El índice es la fila y las columnas.

Así que vamos a crear el marco de datos usando la lista anidada.

# importing module
import pyspark
  
# importing sparksession from pyspark.sql module
from pyspark.sql import SparkSession
  
# creating sparksession and giving an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
  
# list  of students  data 
data =[["1","sravan","vignan"],
       ["2","ojaswi","vvit"],
       ["3","rohith","vvit"],
       ["4","sridevi","vignan"],
       ["1","sravan","vignan"], 
       ["5","gnanesh","iit"]]
  
# specify column names
columns=['student ID','student NAME','college']
  
# creating a dataframe from the lists of data
dataframe = spark.createDataFrame(data,columns)
  
print("Actual data in dataframe")
# show dataframe
dataframe.show()

Producción:

Actual data in dataframe
+----------+------------+-------+
|student ID|student NAME|college|
+----------+------------+-------+
|         1|      sravan| vignan|
|         2|      ojaswi|   vvit|
|         3|      rohith|   vvit|
|         4|     sridevi| vignan|
|         1|      sravan| vignan|
|         5|     gnanesh|    iit|
+----------+------------+-------+

Ejemplo 1: programa de Python para extraer un solo valor de una columna en particular usando first().

# extract single value based on
# column in the dataframe
dataframe.first()['student ID']

Producción:

'1'

Ejemplo 2: extrae un solo valor usando head().

# extract single value based
# on column in the dataframe
dataframe.head()[0]

Producción:

'1'

Ejemplo 3: extrae un solo valor usando head().

# extract single value based
# on column in the dataframe
dataframe.head()[2]

Producción:

'vignan'