¿Cómo mostrar un PySpark DataFrame en formato de tabla?

En este artículo, vamos a mostrar los datos del marco de datos de PySpark en formato de tabla. Vamos a utilizar la función show() y la función toPandas para mostrar el marco de datos en el formato requerido.

show(): se utiliza para mostrar el marco de datos.

Sintaxis : dataframe.show( n, vertical = Verdadero, truncar = n)

dónde,

1. dataframe es el dataframe de entrada
2. N es el número de filas que se mostrarán desde la parte superior, si no se especifica n, imprimirá filas enteras en el marco de datos
3. El parámetro vertical especifica los datos en el marco de datos que se muestra en formato vertical si es verdadero; de lo contrario, se mostrará en formato horizontal como un marco de datos.
4. truncar es un parámetro que usamos para recortar los valores en el marco de datos dado como un número para recortar

toPanads(): Pandas representa una estructura de datos de panel que se utiliza para representar datos en un formato bidimensional como una tabla.

Sintaxis : dataframe.toPandas()

donde, marco de datos es el marco de datos de entrada

Vamos a crear un marco de datos de muestra.

# importing module
import pyspark
 
# importing sparksession from
# pyspark.sql module
from pyspark.sql import SparkSession
 
# creating sparksession and giving
# an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
 
# list  of employee data with 5 row values
data = [["1", "sravan", "company 1"],
        ["2", "ojaswi", "company 2"],
        ["3", "bobby", "company 3"],
        ["4", "rohith", "company 2"],
        ["5", "gnanesh", "company 1"]]
 
# specify column names
columns = ['Employee ID', 'Employee NAME', 'Company Name']
 
# creating a dataframe from the lists of data
dataframe = spark.createDataFrame(data, columns)
 
print(dataframe)

Producción:

DataFrame[ID del empleado: string, NOMBRE del empleado: string, Nombre de la empresa: string]

Ejemplo 1: Uso de la función show() sin parámetros. Dará como resultado el marco de datos completo como lo tenemos.

# Display df using show()
dataframe.show()

Producción:

Ejemplo 2: Uso de la función show() con n como parámetro, que muestra las n primeras filas.

Sintaxis: DataFrame.show(n)

Donde, n es una fila

Código:

# show() function to get 2 rows
dataframe.show(2)

Producción:

Ejemplo 3:

Usando la función show() con vertical = True como parámetro. Muestre los registros en el marco de datos verticalmente.

Sintaxis: DataFrame.show (vertical)

vertical puede ser verdadero o falso.

Código:

# display dataframe evrtically
dataframe.show(vertical = True)

Producción:

Ejemplo 4: uso de la función mostrar() con truncar como parámetro. Mostrar la primera letra en cada valor de todas las columnas

# display dataframe with truncate
dataframe.show(truncate = 1)

Producción:

Ejemplo 5: Usar show() con todos los parámetros.

# display dataframe with all parameters
dataframe.show(n=3,vertical=True,truncate=2)

Producción:

Ejemplo 6: uso del método toPandas(), que lo convierte en Pandas Dataframe, que se parece perfectamente a una tabla.

# display dataframe by using topandas() function
dataframe.toPandas()

Producción: