ML | Regresión lineal ponderada localmente

Requisito previo: ML | Regresión lineal

La regresión lineal es un algoritmo de aprendizaje supervisado que se utiliza para calcular las relaciones lineales entre la entrada (X) y la salida (Y).

Los pasos involucrados en la regresión lineal ordinaria son:

Fase de entrenamiento: Calcular $\theta$ para minimizar el costo.
$J(\theta) = $\sum_{i=1}^{m} (\theta^Tx^{(i)} - y^{(i)})^2$

Salida de predicción: para un punto de consulta dado $x$ ,
$return: \theta^Tx$

As evident from the image below, this algorithm cannot be used for making predictions when there exists a non-linear relationship between X and Y. In such cases, locally weighted linear regression is used.

Regresión lineal ponderada localmente:

La regresión lineal ponderada localmente es un algoritmo no paramétrico, es decir, el modelo no aprende un conjunto fijo de parámetros como se hace en la regresión lineal ordinaria. Más bien, los parámetros $\theta$ se calculan individualmente para cada punto de consulta $x$ . Mientras se calcula $\theta$ , se da una mayor “preferencia” a los puntos del conjunto de entrenamiento que se encuentran en las proximidades de $x$ los puntos que se encuentran lejos de $x$ .

La función de costo modificada es: $J(\theta) = $\sum_{i=1}^{m} w^{(i)}(\theta^Tx^{(i)} - y^{(i)})^2$

donde, $w^{(i)}$ es un «peso» no negativo asociado con el punto de entrenamiento $x^{(i)}$ .
Para $x^{(i)}$ s que se encuentra más cerca del punto de consulta $x$ , el valor de $w^{(i)}$ es grande, mientras que para $x^{(i)}$ s que se encuentra más lejos, $x$ el valor de $w^{(i)}$ es pequeño.

Una elección típica de $w^{(i)}$ es: $w^{(i)} = exp(\frac{-(x^{(i)} - x)^2}{2\tau^2})$
donde, $\tau$ se denomina parámetro de ancho de banda y controla la velocidad a la que $w^{(i)}$ cae con la distancia desde $x$

Claramente, si $|x^{(i)} - x|$ es pequeño $w^{(i)}$ está cerca de 1 y si $|x^{(i)} - x|$ es grande $w^{(i)}$ está cerca de 0.

Por lo tanto, los puntos de ajuste de entrenamiento que se encuentran más cerca del punto de consulta $x$ contribuyen más al costo $J(\theta)$ que los puntos que se encuentran más lejos $x$ .

Por ejemplo –

Considere un punto de consulta $x$ = 5.0 y sea $x^{(1)}$ y $x^{(2)$ dos puntos en el conjunto de entrenamiento tal que $x^{(1)}$ = 4.9 y $x^{(2)}$ = 3.0.
Usando la fórmula $w^{(i)} = exp(\frac{-(x^{(i)} - x)^2}{2\tau^2})$ con $\tau$ = 0.5:
$w^{(1)} = exp(\frac{-(4.9 - 5.0)^2}{2(0.5)^2}) = 0.9802$
$w^{(2)} = exp(\frac{-(3.0 - 5.0)^2}{2(0.5)^2}) = 0.000335$
$So, \ J(\theta) = 0.9802*(\theta^Tx^{(1)} - y^{(1)}) + 0.000335*(\theta^Tx^{(2)} - y^{(2)})$
Por lo tanto, los pesos caen exponencialmente a medida que aumenta la distancia entre $x$ y $x^{(i)}$ y también lo hace la contribución del error en la predicción $x^{(i)}$ al costo.

En consecuencia, mientras $\theta$ calculamos , nos enfocamos más en reducir $(\theta^Tx^{(i)} - y^{(i)})^2$ los puntos que se encuentran más cerca del punto de consulta (que tienen un valor mayor de $w^{(i)}$ ).

Los pasos involucrados en la regresión lineal ponderada localmente son:

Calcular $\theta$ para minimizar el costo. $J(\theta) = $\sum_{i=1}^{m} w^{(i)}(\theta^Tx^{(i)} - y^{(i)})^2$
Salida de predicción: para un punto de consulta dado $x$ ,
$return: \theta^Tx$

Puntos para recordar:

La regresión lineal ponderada localmente es un algoritmo de aprendizaje supervisado.
Es un algoritmo no paramétrico.
No existe ninguna fase de entrenamiento. Todo el trabajo se realiza durante la fase de prueba/mientras se hacen predicciones.

Publicación traducida automáticamente

Artículo escrito por savyakhosla y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA

Regresión lineal ponderada localmente:

Deja una respuesta Cancelar la respuesta