Filtrar un PySpark DataFrame usando isin por exclusión

En este artículo, discutiremos cómo filtrar el marco de datos pyspark usando isin por exclusión.

isin(): Esto se usa para encontrar los elementos contenidos en un marco de datos dado, toma los elementos y obtiene los elementos para que coincidan con los datos.

Sintaxis : isin([elemento1,elemento2,.,elemento n)

Creando Dataframe para demostración:

# importing module
import pyspark
  
# importing sparksession from pyspark.sql module
from pyspark.sql import SparkSession
  
# creating sparksession and giving an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
  
# list  of students  data  with null values
# we can define null values with none
data = [[1, "sravan", "vignan"],
        [2, "ramya", "vvit"],
        [3, "rohith", "klu"],
        [4, "sridevi", "vignan"],
        [5, "gnanesh", "iit"]]
  
# specify column names
columns = ['ID', 'NAME', 'college']
  
# creating a dataframe from the lists of data
dataframe = spark.createDataFrame(data, columns)
dataframe.show()

Producción:

Método 1: Usar filtro()

filter(): esta cláusula se usa para verificar la condición y dar los resultados, ambos son similares

Sintaxis: dataframe.filter(condición)

Ejemplo 1: Obtener los ID particulares con la cláusula filter()

# get the ID : 1,2,3 from dataframe
dataframe.filter((dataframe.ID).isin([1,2,3])).show()

Producción:

Ejemplo 2: Obtenga nombres de las columnas del marco de datos.

# get name as sravan
dataframe.filter((dataframe.NAME).isin(['sravan'])).show()

Producción:

Método 2: Usar Where()

where(): esta cláusula se usa para verificar la condición y dar los resultados

Sintaxis: dataframe.where(condición)

Ejemplo 1: Obtenga las universidades particulares con la cláusula where().

# get college as vignan
dataframe.where((dataframe.college).isin(['vignan'])).show()

Producción:

Ejemplo 2: Obtener ID excepto 5 del marco de datos.

# get ID except 1
dataframe.where(~(dataframe.ID).isin([1])).show()

Producción: