El comando Hadoop copyFromLocal se usa para copiar el archivo de su sistema de archivos local al HDFS (Sistema de archivos distribuidos de Hadoop). El comando copyFromLocal tiene un interruptor opcional -f que se usa para reemplazar el archivo ya existente en el sistema, lo que significa que se puede usar para actualizar ese archivo. El interruptor -f es similar a eliminar primero un archivo y luego copiarlo. Si el archivo ya está presente en la carpeta, cópielo en la misma carpeta y automáticamente arrojará un error.
La sintaxis para copiar un archivo de su sistema de archivos local a HDFS se proporciona a continuación:
hdfs dfs -copyFromLocal /path 1 /path 2 .... /path n /destination
El comando local copyFromLocal es similar al comando -put que se usa en HDFS. también podemos usar hadoop fs como sinónimo de hdfs dfs . El comando puede tomar múltiples argumentos donde todas las rutas proporcionadas son de la fuente desde donde queremos copiar el archivo, excepto la última que es el destino, donde se copia el archivo. Asegúrese de que el destino sea un directorio.
Nuestro objetivo es copiar el archivo de nuestro sistema de archivos local a HDFS. En mi caso, quiero copiar el nombre del archivo Salaries.csv que está presente en el directorio /home/dikshant/Documents/hadoop_file .
Pasos para ejecutar el comando copyFromLocal
Veamos la vista actual de mi directorio raíz en HDFS.
Paso 1: Cree un directorio en HDFS donde desee copiar este archivo con el siguiente comando.
hdfs dfs -mkdir /Hadoop_File
Paso 2: use el comando copyFromLocal como se muestra a continuación para copiarlo en el directorio HDFS / Hadoop_File .
hdfs dfs -copyFromLocal /home/dikshant/Documents/hadoop_file/Salaries.csv /Hadoop_File
Paso 3: compruebe si el archivo se copió correctamente o no moviéndose a su ubicación de directorio con el siguiente comando.
hdfs dfs -ls /Hadoop_File
Sobrescribir o actualizar el archivo en HDFS con el modificador -f
Desde la imagen de abajo, puede observar que el comando copyFromLocal en sí mismo no copia el mismo archivo de nombre en la misma ubicación. dice que el archivo ya existe.
Para actualizar el contenido del archivo o sobrescribirlo, debe usar el interruptor -f como se muestra a continuación.
hdfs dfs -copyFromLocal -f /home/dikshant/Documents/hadoop_file/Salaries.csv /Hadoop_File
Ahora puede observar fácilmente que el uso de copyFromLocal con el interruptor -f no produce ningún error o actualizará o modificará fácilmente su archivo en HDFS.
Publicación traducida automáticamente
Artículo escrito por dikshantmalidev y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA