¿Cómo instalar Hadoop de clúster de Node único en Windows?

Hadoop se puede instalar de dos formas. La primera está en un clúster de un solo Node y la segunda forma está en un clúster de varios Nodes. Veamos la explicación de ambos. Pero en esta sección cubriremos la parte de instalación en un clúster de un solo Node. Discutamos uno por uno.

Clúster de un solo Node y clúster de varios Nodes:

1. Clúster de un solo Node: tiene un DataNode ejecutándose y configurando todos los NameNode, DataNode, Resource Manager y NodeManager en una sola máquina. Esto se utiliza para fines de estudio y prueba.

2. Clúster de múltiples Nodes: tiene más de un DataNode en ejecución y cada DataNode se ejecuta en diferentes máquinas.

Pasos de instalación en un clúster de un solo Node

Pasos para instalar Hadoop de clúster de Node único en Windows de la siguiente manera.

Requisito previo:

1. JAVA-Java JDK ( instalado )
2. Paquete HADOOP-Hadoop ( Descargado )

Paso 1: Verifique el Java instalado

javac -version

Paso 2: extraiga Hadoop en C:\Hadoop

Paso 3: Configuración de la variable HADOOP_HOME

Use la configuración de la variable de entorno de Windows para la configuración de Hadoop Path.

Paso 4: establecer la variable JAVA_HOME

Use la configuración de la variable de entorno de Windows para la configuración de Hadoop Path.

Paso 5: establecer la ruta del directorio bin de Hadoop y Java

Paso 6: Configuración de Hadoop:

Para la configuración de Hadoop, necesitamos modificar seis archivos que se enumeran a continuación:

1. Core-site.xml
2. Mapred-site.xml
3. Hdfs-site.xml
4. Yarn-site.xml
5. Hadoop-env.cmd
6. Create two folders datanode and namenode

Paso 6.1: configuración de Core-site.xml

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

Paso 6.2: Configuración Mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

Paso 6.3: configuración de Hdfs-site.xml

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>C:\hadoop-2.8.0\data\namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>C:\hadoop-2.8.0\data\datanode</value>
   </property>
</configuration>

Paso 6.4: Configuración de Yarn-site.xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

Paso 6.5: configuración de Hadoop-env.cmd

Set "JAVA_HOME=C:\Java" (On C:\java this is path to file jdk.18.0)

Paso 6.6: crear carpetas de Nodes de datos y Nodes de nombres

1. Create folder "data" under "C:\Hadoop-2.8.0"
2. Create folder "datanode" under "C:\Hadoop-2.8.0\data"
3. Create folder "namenode" under "C:\Hadoop-2.8.0\data"

Paso 7: formatea la carpeta namenode

Abra la ventana de comandos (cmd) y escriba el comando «hdfs namenode –format»

Paso 8: Probar la configuración

Abra la ventana de comandos (cmd) y escriba el comando «start-all.cmd»

Paso 8.1: Probar la configuración:

Asegúrese de que el Node de nombre, el Node de datos y el administrador de recursos se estén ejecutando

Paso 9: Abrir: http://localhost:8088

Paso 10: 

Open: http://localhost:50070