Instalación y configuración de Hadoop en modo pseudodistribuido en Windows 10

Para realizar la configuración e instalación de Hadoop en el modo pseudodistribuido en Windows 10, siga los siguientes pasos que se detallan a continuación. Discutamos uno por uno.

Paso 1: Descargue el paquete binario:

Descargue el último binario del siguiente sitio de la siguiente manera.

http://hadoop.apache.org/releases.html

Como referencia, puede verificar que el archivo se guarde en la carpeta de la siguiente manera.

C:\BigData

Paso 2: Descomprima el paquete binario

Abra Git Bash y cambie el directorio (cd) a la carpeta donde guardó el paquete binario y luego descomprímalo de la siguiente manera.

$ cd C:\BigData
MINGW64: C:\BigData
$ tar -xvzf  hadoop-3.1.2.tar.gz

Para mi situación, el doble de Hadoop se extrae a C:\BigData\hadoop-3.1.2.  

A continuación, vaya a este GitHub Repo y descargue el organizador de receptáculos a una velocidad como se muestra a continuación. Concentre la compresa y duplique todos los documentos presentes debajo del sobre del receptáculo en C:\BigData\hadoop-3.1.2\bin. Suplantar los registros actuales también. 

Paso 3: Cree carpetas para datanode y namenode:

• Vaya a C:/BigData/hadoop-3.1.2 y cree una ‘información’ del organizador. Dentro del sobre de ‘información’ haga dos organizadores ‘datanode’ y ‘namenode’. Sus documentos en HDFS residirán bajo el sobre del Node de datos.

• Establecer variables de entorno de Hadoop
• Hadoop requiere que se establezcan las siguientes variables de entorno.

HADOOP_HOME=” C:\BigData\hadoop-3.1.2”
HADOOP_BIN=”C:\BigData\hadoop-3.1.2\bin”
JAVA_HOME=<Root of your JDK installation>”

• Para configurar estas variables, vaya a Mi PC o Esta PC.

Right-click -> Properties -> Advanced System settings -> Environment variables. 

• Haga clic en Nuevo para crear una nueva variable de entorno.

• Si no tiene instalado JAVA 1.8, entonces tendrá que descargarlo e instalarlo primero. Si la variable climática JAVA_HOME ahora está configurada, en ese momento verifique si el camino tiene espacios (por ejemplo: C:\Program Files\Java\… ). Los espacios en la forma JAVA_HOME lo llevarán a problemas. Hay un truco para sortearlo. Sustituya ‘Archivos de programa’ por ‘Programa~1’ en el valor variable. Garantice que la variante de Java es 1.8 y JAVA_HOME destaca JDK 1.8.

Paso 4: Para hacer el nombre corto de la ruta de inicio de Java

• Establecer variables de entorno de Hadoop
• Editar variable de entorno PATH

• Haga clic en Nuevo y agregue %JAVA_HOME%, %HADOOP_HOME%, %HADOOP_BIN%, %HADOOP_HOME%/sin a su PATH uno por uno.

• Ahora que hemos establecido las variables de entorno, necesitamos validarlas. Abra un nuevo símbolo del sistema de Windows y ejecute un comando de eco en cada variable para confirmar que se les asignan los valores deseados.

echo %HADOOP_HOME%
echo %HADOOP_BIN%
echo %PATH%

• Si las cosas aún no están instaladas, entonces es probable que se deba a que las está probando en una reunión anterior. Asegúrese de haber abierto otro informe de pedido para probarlos.

Paso 5: Configurar Hadoop

Una vez que se configuran las variables de entorno, debemos configurar Hadoop editando los siguientes archivos de configuración.

hadoop-env.cmd
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.cmd

Primero, configuremos el archivo de entorno de Hadoop. Abra C:\BigData\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd y agregue el contenido a continuación en la parte inferior

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

Paso 6: edite hdfs-site.xml 

Después de editar core-site.xml, debe establecer el factor de replicación y la ubicación de namenode y datanodes. Abra C:\BigData\hadoop-3.1.2\etc\hadoop\hdfs-site.xml y debajo del contenido dentro de las etiquetas <configuration> </configuration>.

<configuration>
 <property>
    <name>dfs.replication</name>
    <value>1</value>
 </property>
 <property>
    <name>dfs.namenode.name.dir</name>
    <value>C:\BigData\hadoop-3.2.1\data\namenode</value>
 </property>
 <property>
    <name>dfs.datanode.data.dir</name>
    <value>C:\BigData\hadoop-3.1.2\data\datanode</value>
 </property>
</configuration>

Paso 7: Editar core-site.xml

Ahora, configure los ajustes de Hadoop Core. Abra C:\BigData\hadoop-3.1.2\etc\hadoop\core-site.xml y debajo del contenido dentro de las etiquetas <configuration> </configuration>.

<configuration>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://0.0.0.0:19000</value>
 </property>  
</configuration>

Paso 8: Configuraciones de YARN

Edite el archivo yarn-site.xml      

Asegúrese de que las siguientes entradas existen de la siguiente manera.

<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> </property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

Paso 9: Edite mapred-site.xml

Por último, ¿qué tal si organizamos las propiedades para el sistema Map-Reduce? Abra C:\BigData\hadoop-3.1.2\etc\hadoop\mapred-site.xml y debajo del contenido dentro de las etiquetas <configuration> </configuration>. Si no ve mapred-site.xml, en ese momento abra el archivo mapred-site.xml.template y cámbiele el nombre a mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.job.user.name</name>    <value>%USERNAME%</value>
 </property>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
 <property>
    <name>yarn.apps.stagingDir</name>    <value>/user/%USERNAME%/staging</value>
 </property>
 <property>
    <name>mapreduce.jobtracker.address</name>
    <value>local</value>
 </property>
</configuration>

Verifique si el archivo C:\BigData\hadoop-3.1.2\etc\hadoop\slaves está presente, si no lo está, cree uno y agregue localhost en él y guárdelo.

Paso 10: Dar formato al Node de nombre:

Para organizar el Node de nombre, abra otro símbolo del sistema de Windows y ejecute el siguiente pedido. Podría darte algunas advertencias, ignóralas.

• Node de nombre de hadoop -formato

                       Dar formato al Node de nombre de Hadoop

Paso 11: Inicie Hadoop:

Abra otro resumen de comandos de Windows, asegúrese de ejecutarlo como administrador para mantener una distancia estratégica de los errores de autorización. Cuando se abre, ejecuta la orden inicial all.cmd. Dado que hemos agregado %HADOOP_HOME%\sbin a la variable PATH, puede ejecutar esta orden desde cualquier sobre. Si aún no lo ha hecho, vaya al organizador %HADOOP_HOME%\sbin y ejecute el pedido.

Puede consultar la siguiente captura de pantalla para su referencia. Se abrirán 4 nuevas ventanas y cmd terminales para 4 procesos de daemon como se muestra a continuación. 

• Node de nombre
• Node de datos
• administrador de Nodes
• administrador de recursos

No cierres estas ventanas, minimízalas. Cerrar las ventanas terminará con los demonios. Puede ejecutarlos en segundo plano si no desea ver estas ventanas.

Paso 12: interfaz de usuario web de Hadoop

En conclusión, ¿qué tal si analizamos para percibir cómo se llevan los demonios de Hadoop? También puede utilizar la interfaz de usuario web para una amplia gama de propósitos autorizados y de observación. Abre tu programa y comienza.

Paso 13: Administrador de recursos

Abra localhost:8088 para abrir el Administrador de recursos

Paso 14: Administrador de Nodes

Abra localhost:8042 para abrir el Administrador de Nodes

Paso 15: Nombre del Node:

Abra localhost: 9870 para verificar el estado del Node de nombre

Paso 16: Node de datos:

Abra localhost: 9864 para verificar el Node de datos