Comprensión de las redes de avance de múltiples capas

Comprendamos cómo se calculan los errores y cómo se actualizan los pesos en las redes de retropropagación (BPN).

Considere la siguiente red en la siguiente figura.

La red de la figura anterior es una red simple de alimentación hacia adelante o una red de retropropagación de múltiples capas. Contiene tres capas, la capa de entrada con dos neuronas x ₁ y x ₂ , la capa oculta con dos neuronas z ₁ y z ₂ y la capa de salida con una neurona y _en. 

Ahora escribamos los pesos y los vectores de sesgo para cada neurona. 

Nota: Los pesos se toman al azar.

Capa de entrada: i/p – [x ₁ x ₂ ] = [0 1]

Aquí, dado que es la capa de entrada, solo están presentes los valores de entrada.

Capa oculta: z ₁ – [v ₁₁ v ₂₁ v ₀₁ ] = [0.6 -0.1 03]

Aquí v ₁₁ se refiere al peso de la primera entrada x ₁ en z ₁ , v ₂₁ se refiere al peso de la segunda entrada x ₂ en z ₁ y v ₀₁ se refiere al valor de sesgo en z ₁ .

z ₂ – [v ₁₂ v ₂₂ v ₀₂ ] = [-0.3 0.4 0.5]

Aquí v ₁₂ se refiere al peso de la primera entrada x ₁ en z ₂ , v ₂₂ se refiere al peso de la segunda entrada x ₂ en z ₂ y v ₀₂ se refiere al valor de sesgo en z ₂ .

Capa de salida: y _en – [w ₁₁ w ₂₁ w ₀₁ ] = [0.4 0.1 -0.2]

Aquí w ₁₁ se refiere al peso de la primera neurona z ₁ en una capa oculta en y _in , w ₂₁ se refiere al peso de la segunda neurona z ₂ en una capa oculta en y _in y w ₀₁ se refiere al valor de sesgo en y _in . Consideremos tres variables, k que se refiere a las neuronas en la capa de salida, ‘j’ que se refiere a las neuronas en la capa oculta e ‘i’ que se refiere a las neuronas en la capa de entrada.

Por lo tanto, 

k = 1

j = 1, 2 (es decir, primera neurona y segunda neurona en la capa oculta)

i = 1, 2 (es decir, primera y segunda neurona en la capa de entrada)

A continuación se presentan algunas condiciones a seguir en los BPN.

Condiciones/restricciones:

1. En BPN, la función de activación utilizada debe ser diferenciable.
2. La entrada para el sesgo es siempre 1.

Para continuar con el problema, vamos a:

Valor objetivo, t = 1

Tasa de aprendizaje, α = 0,25

Función de activación = función sigmoidea binaria

Función sigmoidea binaria, f(x) = (1+e ^-x ) ^-1        eq. (1)

Y, f'(x) = f(x)[1-f(x)] eq. (2)

Hay tres pasos para resolver el problema:

1. Cálculo de la salida, y.
2. Retropropagación de errores, es decir, entre salida y capa oculta, capa oculta y de entrada.
3. Actualización de pesos.

Paso 1:

El valor y se calcula encontrando y _y aplicando la función de activación.

y _en se calcula como:

y _en = w ₀₁ + z ₁ * w ₁₁ + z ₂ * w ₂₁      eq. (3)

Aquí, z ₁ y z ₂ son los valores de la capa oculta, calculados al encontrar z _in1 , z _in2 y aplicarles la función de activación.

z _in1 y z _in2 se calculan como:

z _in1 = v ₀₁ + x ₁ * v ₁₁ + x ₂ * v ₂₁   eq. (4)

z _in2 = v ₀₂ + x ₁ * v ₁₂ + x ₂ * v ₂₂   eq. (5)

de (4)

z en 1 = _0,3 + 0*0,6 + 1*(-0,1)

z en 1 = _0,2

z ₁ = f(z _en 1 ) = (1+e ^-0.2 ) ^-1  De (1)

_z1 = 0,5498

de (5)

z _pulg2 = 0,5 + 0*(-0,3) + 1*0,4

z _pulg2 = 0,9

z ₂ = f(z _in2 ) = (1+e ^-0.9 ) ^-1    De (1)

z2 ₌ 0,7109

de (3)

y _en = (-0.2) + 0.5498*0.4 + 0.7109*0.1

y _en = 0.0910

y = f(y _en ) = (1+e ^-0.0910 ) ^-1     De (1)

y = 0.5227

Aquí, y no es igual al objetivo ‘t’, que es 1. Y procedemos a calcular los errores y luego actualizamos los pesos a partir de ellos para lograr el valor objetivo.

Paso 2:

(a) Cálculo del error entre la salida y la capa oculta

El error entre la salida y la capa oculta se representa como δ _k , donde k representa las neuronas en la capa de salida como se mencionó anteriormente. El error se calcula como:

δ _k = (t _k – y _k ) * f'(y _tinta ) eq. (6)

donde, f'(y _tinta ) = f(y _tinta )[1 – f(y _tinta )] De (2)

Dado que k = 1 (Supuesto arriba),

δ = (t – y) f'(y _en ) eq. (7)

donde, f'(y _en ) = f(y _en )[1 – f(y _en )]

f'(y _en ) = 0.5227[1 – 0.5227]

f'(y _en ) = 0.2495

Por lo tanto, 

δ = (1 – 0.5227) * 0.2495 De (7)

δ = 0.1191, es el error

Nota: (Objetivo – Salida), es decir, (t – y) es el error en la salida, no en la capa. El error en una capa es contribuido por diferentes factores como pesos y sesgos.

(b) Cálculo del error entre la capa oculta y la de entrada

El error entre la capa oculta y la de entrada se representa como δ _j , donde j representa el número de neuronas en la capa oculta como se mencionó anteriormente. El error se calcula como:

δ _j = δ _inj  * f'(z _inj ) eq. (8)

dónde, 

δ _inj = ∑ _{k=1 an} (δ _k * w _jk ) eq. (9)

f'(z _inj ) = f(z _inj )[1 – f(z _inj )] eq. (10)

Dado que k = 1 (Supuesto arriba) eq. (9) se convierte en:

δ _inj = δ * w _j1       eq. (11)

Como j = 1, 2, tendremos un valor de error para cada neurona y un total de 2 valores de error.

δ1 = _δin1  * f'( _zin1 ) eq _. (12), Desde (8)

δ en 1 = _δ * w ₁₁                 De (11)

δ _in1 = 0.1191 * 0.4 De vectores de pesos

δ en 1 =                _0,04764

f'(z _en1 ) = f(z _en1 )[1 – f(z _en1 )]

f'(z _en1 ) = 0.5498[1 – 0.5498] Como f(z _en1 ) = z ₁

f'(z _en1 ) = 0.2475

Sustituyendo en (12)

δ1 = _0,04674 * 0,2475 = 0,0118

δ ₂ = δ _in2  * f'(z _in2 ) eq. (13), de (8)

δ _pulg2 = δ * w ₂₁                 De (11)

δ _in2 = 0.1191 * 0.1 De vectores de pesos

δ pulg2 =               _0.0119

f'(z _en2 ) = f(z _en2 )[1 – f(z _en2 )]

f'(z pulg2 ) = _0.7109 [1 – 0.7109] Como f(z _pulg2 ) = z ₂

f'(z en2 ) = _0.2055

Sustituyendo en (13)

δ2 ₌ 0,0119 * 0,2055 = 0,00245

Los errores se han calculado, los pesos deben actualizarse utilizando estos valores de error.

Paso 3:

La fórmula para actualizar los pesos de la capa de salida es:

w _jk (nuevo) = w _jk (antiguo) + Δw _jk         eq. (14)

donde, Δw _jk = α * δ _k * z _j           eq. (15)

Como k = 1, (15) se convierte en: 

Δw _jk = α * δ * z _i                        eq. (dieciséis)                             

La fórmula para actualizar los pesos de la capa oculta es:

v _ij (nuevo) = v _ij (antiguo) + Δv _ij           eq. (17)

donde, Δv _i = α * δ _j * x _i           eq. (18)

De (14) y (16)

w ₁₁ (nuevo) = w ₁₁ (antiguo) + Δw ₁₁ = 0,4 + α * δ * z ₁  = 0,4 + 0,25 * 0,1191 * 0,5498 = 0,4164

w ₂₁ (nuevo) = w ₂₁ (antiguo) + Δw ₂₁ = 0,1 + α * δ * z ₂ = 0,1 + 0,25 * 0,1191 * 0,7109 = 0,12117

w ₀₁ (nuevo) = w ₀₁ (antiguo) + Δw ₀₁ = (-0.2) + α * δ * bias = (-0.2) + 0.25 * 0.1191 * 1 = -0.1709, tenga en cuenta que el 1 tomado aquí es una entrada considerada para sesgo según las condiciones.

Estos son los pesos actualizados de la capa de salida.

De (17) y (18)

v ₁₁ (nuevo) = v ₁₁ (antiguo) + Δv ₁₁ = 0,6 + α * δ ₁ * x ₁ = 0,6 + 0,25 * 0,0118 * 0 = 0,6

v ₂₁ (nuevo) = v ₂₁ (antiguo) + Δv ₂₁ = (-0.1) + α * δ ₁ * x ₂ = (-0.1) + 0.25 * 0.0118 * 1 = 0.00295

v ₀₁ (nuevo) = v ₀₁ (antiguo) + Δv ₀₁ = 0,3 + α * δ ₁ * sesgo = 0,3 + 0,25 * 0,0118 * 1 = 0,00295, tenga en cuenta que el 1 tomado aquí es una entrada considerada para el sesgo según las condiciones.

v ₁₂ (nuevo) = v ₁₂ (antiguo) + Δv ₁₂ = (-0,3) + α * δ ₂ * x ₁ = (-0,3) + 0,25 * 0,00245 * 0 = -0,3

v ₂₂ (nuevo) = v ₂₂ (antiguo) + Δv ₂₂ = 0,4 + α * δ ₂ * x ₂ = 0,4 + 0,25 * 0,00245 * 1 = 0,400612

v ₀₂ (nuevo) = v ₀₂ (antiguo) + Δv ₀₂ = 0,5 + α * δ ₂ * sesgo = 0,5 + 0,25 * 0,00245 * 1 = 0,500612, tenga en cuenta que el 1 tomado aquí es una entrada considerada para el sesgo según las condiciones.

Estos son todos los pesos actualizados de la capa oculta.

Estos tres pasos se repiten hasta que la salida ‘y’ es igual al objetivo ‘t’.

Así es como funcionan los BPN. La retropropagación en BPN se refiere a que el error en la capa actual se utiliza para actualizar los pesos entre la capa actual y la anterior mediante la retropropagación de los valores de error.