¿Cómo leer múltiples archivos de datos en Pandas?

En este artículo, veremos cómo leer múltiples archivos de datos en pandas, los archivos de datos son de varios tipos, aquí hay algunas formas de leer múltiples archivos usando el paquete pandas en python.

Los archivos demostrativos se pueden descargar desde aquí

Método 1: Lectura de archivos CSV

Si nuestros archivos de datos están en formato CSV, entonces se debe usar el método read_csv(). read_csv toma una ruta de archivo como argumento. lee el contenido del CSV. Para leer varios archivos CSV, solo podemos usar un bucle for simple e iterar sobre todos los archivos. 

Ejemplo: Lectura de múltiples archivos CSV usando Pandas

En este ejemplo, hacemos una lista de nuestros archivos de datos o la ruta del archivo y luego iteramos a través de las rutas del archivo usando un bucle for, un bucle for se usa para iterar a través de iterables como listas, tuplas, strings, etc. Y luego creamos un marco de datos usando pd.DataFrame(), concatene cada marco de datos en un marco de datos principal usando pd.concat(), luego convierta el marco de datos principal final en un archivo CSV usando el método to_csv() que toma el nombre del nuevo archivo CSV que queremos crear como un argumento.

# importing pandas
import pandas as pd
  
file_list=['a.csv','b.csv','c.csv']
  
main_dataframe = pd.DataFrame(pd.read_csv(file_list[0]))
  
for i in range(1,len(file_list)):
    data = pd.read_csv(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe,df],axis=1)
print(main_dataframe)

Producción:

Método 2: usar el paquete glob

El módulo glob en python se usa para recuperar archivos o nombres de ruta que coincidan con un patrón específico. 

Este programa es similar al programa anterior, pero la única diferencia es que en lugar de hacer un seguimiento de los nombres de los archivos usando una lista, usamos el paquete glob para recuperar archivos que coincidan con un patrón específico.

Ejemplo: lectura de varios archivos CSV con Pandas y glob.

# importing packages
import pandas as pd
import glob
  
folder_path = 'Path_of_file/csv_files'
file_list = glob.glob(folder_path + "/*.csv")
main_dataframe = pd.DataFrame(pd.read_csv(file_list[0]))
for i in range(1,len(file_list)):
    data = pd.read_csv(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe,df],axis=1)
print(main_dataframe)

Producción:

Método 3: Leer archivos de texto usando Pandas:

Para leer archivos de texto, se debe usar el método de panda read_table().

Ejemplo: Leer un archivo de texto usando pandas y glob.

Usar el paquete glob para recuperar archivos o nombres de rutas y luego iterar a través de las rutas de los archivos usando un bucle for. Cree un marco de datos del contenido de cada archivo después de leerlo usando el método pd.read_table() que toma la ruta del archivo como argumento. Concatene cada marco de datos en un marco de datos principal usando pd.concat(), luego convierta el marco de datos principal final en un archivo CSV usando el método to_csv() que toma el nombre del nuevo archivo CSV que queremos crear como argumento.

# importing packages
import pandas as pd
import glob
  
folder_path = 'Path_/files'
file_list = glob.glob(folder_path + "/*.txt")
main_dataframe = pd.DataFrame(pd.read_table(file_list[0]))
  
for i in range(1,len(file_list)):
    data = pd.read_table(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe, df], axis = 1)
  
print(main_dataframe)
  
# creating a new csv file with
# the dataframe we created
main_dataframe.to_csv('new_csv1.csv')

Producción: