Máquina de Boltzmann restringida

¿Qué son las máquinas de Boltzmann?

Es una red de neuronas en la que todas las neuronas están conectadas entre sí. En esta máquina, hay dos capas denominadas capa visible o capa de entrada y capa oculta. La capa visible se denota como v y la capa oculta se denota como h. En la máquina de Boltzmann, no hay capa de salida. Las máquinas de Boltzmann son redes neuronales aleatorias y generativas capaces de aprender representaciones internas y pueden representar y (dado el tiempo suficiente) resolver problemas combinatorios difíciles.

La distribución de Boltzmann (también conocida como distribución de Gibbs ), que es una parte integral de la mecánica estadística y también explica el impacto de parámetros como la entropía y la temperatura en los estados cuánticos en la termodinámica. Debido a esto, también se le conoce como Modelos Basados ​​en Energía (EBM) . Fue inventado en 1985 por Geoffrey Hinton, entonces profesor de la Universidad Carnegie Mellon, y Terry Sejnowski, entonces profesor de la Universidad Johns Hopkins.

¿Qué son las máquinas de Boltzmann restringidas (RBM)?

Un término restringido se refiere a que no se nos permite conectar la misma capa de tipos entre sí. En otras palabras, las dos neuronas de la capa de entrada o capa oculta no pueden conectarse entre sí. Aunque la capa oculta y la capa visible se pueden conectar entre sí.

Como en esta máquina no hay capa de salida por lo que surge la duda de cómo vamos a identificar, ajustar los pesos y cómo medir si nuestra predicción es precisa o no. Todas las preguntas tienen una respuesta, que es la máquina de Boltzmann restringida.

El algoritmo RBM fue propuesto por Geoffrey Hinton (2007), que aprende la distribución de probabilidad sobre sus entradas de datos de entrenamiento de muestra. Ha tenido amplias aplicaciones en diferentes áreas de aprendizaje automático supervisado/no supervisado, como aprendizaje de características, reducción de dimensionalidad, clasificación, filtrado colaborativo y modelado de temas.

Considere el ejemplo de clasificación de películas discutido en la sección del sistema de recomendación.

Películas como Avengers, Avatar e Interestelar tienen fuertes asociaciones con el último factor de fantasía y ciencia ficción. Según la calificación de los usuarios, RBM descubrirá factores latentes que pueden explicar la activación de las opciones de películas. En resumen, RBM describe la variabilidad entre las variables correlacionadas del conjunto de datos de entrada en términos de un número potencialmente menor de variables no observadas.

La función de energía está dada por  

¿Cómo funcionan las Máquinas Boltzmann Restringidas?

En RBM hay dos fases a través de las cuales funciona todo el RBM:

1ra Fase: En esta fase, tomamos la capa de entrada y usando el concepto de pesos y sesgos vamos a activar la capa oculta. Se dice que este proceso es Feed Forward Pass. En Feed Forward Pass estamos identificando la asociación positiva y la asociación negativa.  

Ecuación de avance:

• Asociación positiva : cuando la asociación entre la unidad visible y la unidad oculta es positiva. 
• Asociación negativa : cuando la asociación entre la unidad visible y la unidad oculta es negativa.

2ª Fase: Como no tenemos ninguna capa de salida. En lugar de calcular la capa de salida, estamos reconstruyendo la capa de entrada a través del estado oculto activado. Se dice que este proceso es Feed Backward Pass. Solo estamos rastreando la capa de entrada a través de las neuronas ocultas activadas. Después de realizar esto, hemos reconstruido la entrada a través del estado oculto activado. Entonces, podemos calcular el error y ajustar el peso de esta manera:  

Ecuación de avance hacia atrás:

• Error = capa de entrada reconstruida-capa de entrada real
• Ajustar Peso = Entrada*error*tasa de aprendizaje (0.1)  

Después de hacer todos los pasos obtenemos el patrón que se encarga de activar las neuronas ocultas. Para entender cómo funciona:

Consideremos un ejemplo en el que supongamos que la unidad visible V1 activa la unidad oculta h1 y h2 y la unidad visible V2 activa la unidad oculta h2 y h3. Ahora, cuando cualquier nueva unidad visible, V5 ha entrado en la máquina y también activa la unidad h1 y h2. Entonces, podemos rastrear fácilmente las unidades ocultas y también identificar que las características de la nueva neurona V5 coinciden con las de V1. Esto se debe a que V1 también activó la misma unidad oculta anteriormente.