Funciones de activación – Part 1

Para ponerlo en términos simples, una neurona artificial calcula la ‘suma ponderada’ de sus entradas y agrega un sesgo, como se muestra en la figura a continuación por la entrada neta.

Matemáticamente,

Ahora, el valor de la entrada neta puede ser cualquier cosa, desde -inf hasta +inf. La neurona realmente no sabe cómo vincularse al valor y, por lo tanto, no puede decidir el patrón de activación. Por lo tanto, la función de activación es una parte importante de una red neuronal artificial. Básicamente deciden si una neurona debe activarse o no. Por lo tanto, limita el valor de la entrada neta.
La función de activación es una transformación no lineal que hacemos sobre la entrada antes de enviarla a la siguiente capa de neuronas o finalizarla como salida.

Tipos de funciones de activación:
se utilizan varios tipos diferentes de funciones de activación en Deep Learning. Algunas de ellas se explican a continuación:

1. Función de paso:
   La función de paso es una de las funciones de activación más sencillas. En esto, consideramos un valor de umbral y si el valor de la entrada neta es mayor que el umbral, entonces la neurona se activa.

   Matemáticamente,

   A continuación se muestra la representación gráfica de la función de paso.

   

2. Función sigmoidea: la
   función sigmoidea es una función de activación ampliamente utilizada. Se define como:

   Gráficamente,

   

   Esta es una función suave y es continuamente diferenciable. La mayor ventaja que tiene sobre la función escalonada y lineal es que no es lineal. Esta es una característica increíblemente genial de la función sigmoidea. Básicamente, esto significa que cuando tengo varias neuronas que tienen la función sigmoidea como función de activación, la salida tampoco es lineal. La función va de 0 a 1 y tiene forma de S.

3. ReLU:
   La función ReLU es la unidad lineal rectificada. Es la función de activación más utilizada. Se define como:

   Gráficamente,

   

   La principal ventaja de usar la función ReLU sobre otras funciones de activación es que no activa todas las neuronas al mismo tiempo. Qué significa esto ? Si observa la función ReLU, si la entrada es negativa, la convertirá a cero y la neurona no se activará.

4. Leaky ReLU:
   la función Leaky ReLU no es más que una versión mejorada de la función ReLU. En lugar de definir la función Relu como 0 para x menor que 0, la definimos como un pequeño componente lineal de x. Se puede definir como:

   Gráficamente,