Crear marco de datos PySpark desde el diccionario

En este artículo, vamos a discutir la creación del marco de datos Pyspark del diccionario. Para hacer esto, se utiliza el método spark.createDataFrame(). Este método toma dos datos de argumento y columnas. El atributo de datos contendrá el marco de datos y el atributo de columnas contendrá la lista de nombres de columnas.

Ejemplo 1: código de Python para crear los detalles de la dirección del estudiante y convertirlos en un marco de datos

# importing module
import pyspark
  
# importing sparksession from 
# pyspark.sql module
from pyspark.sql import SparkSession
  
# creating sparksession and giving 
# an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
  
# list  of college data with  dictionary
data = [{'student_id': 12, 'name': 'sravan',
         'address': 'kakumanu'}]
  
# creating a dataframe
dataframe = spark.createDataFrame(data)
  
# show data frame
dataframe.show()

Producción:

Ejemplo 2: cree tres diccionarios y páselos al marco de datos en pyspark

# importing module
import pyspark
  
# importing sparksession from 
# pyspark.sql module
from pyspark.sql import SparkSession
  
# creating sparksession and giving 
# an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
  
# list  of college data with  dictionary 
# with three  dictionaries
data = [{'student_id': 12, 'name': 'sravan', 'address': 'kakumanu'},
        {'student_id': 14, 'name': 'jyothika', 'address': 'tenali'},
        {'student_id': 11, 'name': 'deepika', 'address': 'repalle'}]
  
# creating a dataframe
dataframe = spark.createDataFrame(data)
  
# show data frame
dataframe.show()

Producción: