Requisito previo: ML | Regresión lineal
La regresión lineal es un algoritmo de aprendizaje supervisado que se utiliza para calcular las relaciones lineales entre la entrada (X) y la salida (Y).
Los pasos involucrados en la regresión lineal ordinaria son:
Fase de entrenamiento: Calcular para minimizar el costo.
Salida de predicción: para un punto de consulta dado ,
As evident from the image below, this algorithm cannot be used for making predictions when there exists a non-linear relationship between X and Y. In such cases, locally weighted linear regression is used.
Regresión lineal ponderada localmente:
La regresión lineal ponderada localmente es un algoritmo no paramétrico, es decir, el modelo no aprende un conjunto fijo de parámetros como se hace en la regresión lineal ordinaria. Más bien, los parámetros se calculan individualmente para cada punto de consulta . Mientras se calcula , se da una mayor “preferencia” a los puntos del conjunto de entrenamiento que se encuentran en las proximidades de los puntos que se encuentran lejos de .
La función de costo modificada es:
donde, es un «peso» no negativo asociado con el punto de entrenamiento .
Para s que se encuentra más cerca del punto de consulta , el valor de es grande, mientras que para s que se encuentra más lejos, el valor de es pequeño.
Una elección típica de es:
donde, se denomina parámetro de ancho de banda y controla la velocidad a la que cae con la distancia desde
Claramente, si es pequeño está cerca de 1 y si es grande está cerca de 0.
Por lo tanto, los puntos de ajuste de entrenamiento que se encuentran más cerca del punto de consulta contribuyen más al costo que los puntos que se encuentran más lejos .
Por ejemplo –
Considere un punto de consulta = 5.0 y sea y dos puntos en el conjunto de entrenamiento tal que = 4.9 y = 3.0.
Usando la fórmula con = 0.5:
Por lo tanto, los pesos caen exponencialmente a medida que aumenta la distancia entre y y también lo hace la contribución del error en la predicción al costo.
En consecuencia, mientras calculamos , nos enfocamos más en reducir los puntos que se encuentran más cerca del punto de consulta (que tienen un valor mayor de ).
Los pasos involucrados en la regresión lineal ponderada localmente son:
Calcular para minimizar el costo.
Salida de predicción: para un punto de consulta dado ,
Puntos para recordar:
- La regresión lineal ponderada localmente es un algoritmo de aprendizaje supervisado.
- Es un algoritmo no paramétrico.
- No existe ninguna fase de entrenamiento. Todo el trabajo se realiza durante la fase de prueba/mientras se hacen predicciones.
Publicación traducida automáticamente
Artículo escrito por savyakhosla y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA