ML | Función de costo en regresión logística

En el caso de la regresión lineal, la función de costo es:

$J(\Theta) = \frac{1}{m} \sum_{i = 1}^{m} \frac{1}{2} [h_{\Theta}(x^{(i)}) - y^{(i)}]^{2}$

Pero para la regresión logística,

$h_{\Theta}(x) = g(\Theta^{T}x)$

Dará como resultado una función de costo no convexa. Pero esto da como resultado una función de costo con valores óptimos locales, lo cual es un gran problema para Gradient Descent para calcular los valores óptimos globales.

Entonces, para la regresión logística, la función de costo es

$Cost(h_{\Theta}(x),y) = \left\{\begin{matrix} -log(h_{\Theta}(x)) & if&y=1\\ -log(1-h_{\Theta}(x))& if& y = 0 \end{matrix}\right.$

Si y = 1

Costo = 0 Si y = 1, h _θ (x) = 1
Pero como,
h _θ (x) -> 0
Costo -> Infinito

Si y = 0

Asi que,

$Cost(h_{\Theta}(x),y) = \left\{\begin{matrix} 0 &if &h_{\Theta}(x)=y\\ \infty & if & y=0 &and &h_{\Theta}(x)\rightarrow 1 \\ \infty & if &y=1 &and &h_{\Theta}(x)\rightarrow 0 \end{matrix}\right.$

$Cost(h_{\Theta}(x),y) = -y log(h_{\Theta}(x)) - (1-y) log(1-h_{\Theta}(x))$

$J({\Theta}) = \frac{-1}{m}\sum_{i=1}^{m} Cost(h_{\Theta}(x),y)$

Para ajustar el parámetro θ , J(θ) debe minimizarse y para ello se requiere el descenso de gradiente.

Descenso de gradiente: se parece a la regresión lineal, pero la diferencia radica en la hipótesis h _θ (x)

$\Theta_{j} := \Theta_{j} - \alpha \sum_{i = 1}^{m}(h_\Theta(x^{(i)})- y^{(i)})x_j^{(i)}$

Publicación traducida automáticamente

Artículo escrito por Mohit Gupta_OMG 🙂 y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA

Deja una respuesta Cancelar la respuesta