Diferencia entre los parámetros del modelo y los hiperparámetros

Los dos términos más confusos en el aprendizaje automático son los parámetros del modelo y los hiperparámetros. En esta publicación, intentaremos comprender qué significan estos términos y en qué se diferencian entre sí.

¿Qué es un parámetro de modelo?

Un parámetro del modelo es una variable del modelo seleccionado que se puede estimar ajustando los datos proporcionados al modelo. Ejemplo: en la gráfica anterior, x es la variable independiente e y es la variable dependiente. El objetivo es ajustar una línea de regresión a los datos. Esta línea (el modelo) se usa para predecir el valor de y para valores invisibles de x. Aquí, m es la pendiente y c es la intersección de la línea. Estos dos parámetros (m y c) se estiman ajustando una línea recta a los datos minimizando el RMSE (error cuadrático medio). Por lo tanto, estos parámetros se denominan parámetros del modelo. Parámetros del modelo en diferentes modelos:

• m(pendiente) y c(intersección) en regresión lineal
• pesos y sesgos en redes neuronales

¿Qué es un hiperparámetro modelo?

Un hiperparámetro de modelo es el parámetro cuyo valor se establece antes de que el modelo comience a entrenar. No se pueden aprender ajustando el modelo a los datos. Ejemplo: en el gráfico anterior, el eje x representa el número de épocas y el eje y representa el número de épocas. Podemos ver después de cierto punto cuando las épocas son más que entonces, aunque la precisión del entrenamiento aumenta, pero la precisión de la validación y la prueba comienza a disminuir. Este es un caso de sobrepesca. Aquí, el número de épocas es un hiperparámetro y se configura manualmente. Establecer este número en un valor pequeño puede causar un ajuste insuficiente y un valor alto puede causar un ajuste excesivo. Hiperparámetros del modelo en diferentes modelos: 

• Tasa de aprendizaje en descenso de gradiente
• Número de iteraciones en descenso de gradiente
• Número de capas en una Red Neuronal
• Número de neuronas por capa en una Red Neuronal
• Número de grupos (k) en k significa agrupamiento

Tabla de diferencias entre los parámetros del modelo y los hiperparámetros

.math-table { borde-colapso: colapsar; ancho: 100%; } .math-table td { borde: 1px sólido #5fb962; alineación de texto: izquierda! importante; relleno: 8px; } .math-table th { borde: 1px sólido #5fb962; relleno: 8px; } .math-table tr>th{ color de fondo: #c6ebd9; alineación vertical: medio; } .math-table tr:nth-child(odd) { background-color: #ffffff; } 

PARÁMETROS	HIPERPARÁMETRO
Son necesarios para hacer predicciones.	Son necesarios para estimar los parámetros del modelo.
Se estiman mediante algoritmos de optimización (Gradient Descent, Adam, Adagrad)	Se estiman mediante el ajuste de hiperparámetros.
No se configuran manualmente.	Se configuran manualmente
Los parámetros finales encontrados después del entrenamiento decidirán cómo se desempeñará el modelo en datos no vistos	La elección de los hiperparámetros decide qué tan eficiente es el entrenamiento. En el descenso de gradiente, la tasa de aprendizaje decide qué tan eficiente y preciso es el proceso de optimización al estimar los parámetros