Hadoop: comando copyFromLocal

El comando Hadoop copyFromLocal se usa para copiar el archivo de su sistema de archivos local al HDFS (Sistema de archivos distribuidos de Hadoop). El comando copyFromLocal tiene un interruptor opcional -f que se usa para reemplazar el archivo ya existente en el sistema, lo que significa que se puede usar para actualizar ese archivo. El interruptor -f es similar a eliminar primero un archivo y luego copiarlo. Si el archivo ya está presente en la carpeta, cópielo en la misma carpeta y automáticamente arrojará un error. 

La sintaxis para copiar un archivo de su sistema de archivos local a HDFS se proporciona a continuación: 

hdfs dfs -copyFromLocal /path 1 /path 2 .... /path n /destination

El comando local copyFromLocal es similar al comando -put que se usa en HDFS. también podemos usar hadoop fs como sinónimo de hdfs dfs . El comando puede tomar múltiples argumentos donde todas las rutas proporcionadas son de la fuente desde donde queremos copiar el archivo, excepto la última que es el destino, donde se copia el archivo. Asegúrese de que el destino sea un directorio. 

Nuestro objetivo es copiar el archivo de nuestro sistema de archivos local a HDFS. En mi caso, quiero copiar el nombre del archivo Salaries.csv que está presente en el directorio /home/dikshant/Documents/hadoop_file

Hadoop - copyFromLocal Command

Pasos para ejecutar el comando copyFromLocal

Veamos la vista actual de mi directorio raíz en HDFS. 
 

Paso 1: Cree un directorio en HDFS donde desee copiar este archivo con el siguiente comando. 

hdfs dfs -mkdir /Hadoop_File

making a directory in HDFS

showing the directory of HDFS

Paso 2: use el comando copyFromLocal como se muestra a continuación para copiarlo en el directorio HDFS / Hadoop_File

hdfs dfs -copyFromLocal /home/dikshant/Documents/hadoop_file/Salaries.csv /Hadoop_File

using copyFromLocal Command in Hadoop

Paso 3: compruebe si el archivo se copió correctamente o no moviéndose a su ubicación de directorio con el siguiente comando. 

hdfs dfs -ls /Hadoop_File

checking file is copied or not - 1

checking file is copied or not - 2

Sobrescribir o actualizar el archivo en HDFS con el modificador -f

Desde la imagen de abajo, puede observar que el comando copyFromLocal en sí mismo no copia el mismo archivo de nombre en la misma ubicación. dice que el archivo ya existe. 

Overwriting or Updating the File In HDFS with -f switch - 1

Para actualizar el contenido del archivo o sobrescribirlo, debe usar el interruptor  -f como se muestra a continuación.

hdfs dfs -copyFromLocal -f /home/dikshant/Documents/hadoop_file/Salaries.csv /Hadoop_File

Overwriting or Updating the File In HDFS with -f switch - 2

Ahora puede observar fácilmente que el uso de copyFromLocal con el interruptor -f no produce ningún error o actualizará o modificará fácilmente su archivo en HDFS.
 

Publicación traducida automáticamente

Artículo escrito por dikshantmalidev y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *