Existen numerosas formas de evaluar el rendimiento de un clasificador. En este artículo, presentamos la curva de recuperación de precisión y examinamos más a fondo la diferencia entre dos métodos populares de generación de informes de rendimiento: la curva de recuperación de precisión (PR) y la curva de características operativas del receptor (ROC).
La curva ROC ya se trata en el artículo . Entendamos brevemente qué es una curva de precisión-recuperación.
Curva de recuperación de precisión (PR) –
Una curva PR es simplemente un gráfico con valores de precisión en el eje y y valores de recuperación en el eje x. En otras palabras, la curva PR contiene TP/(TP+FN) en el eje y y TP/(TP+FP) en el eje x.
- Es importante tener en cuenta que la precisión también se denomina valor predictivo positivo (PPV).
- La recuperación también se denomina sensibilidad, tasa de aciertos o tasa de verdaderos positivos (TPR).
La siguiente figura muestra una yuxtaposición de curvas PR y ROC de muestra.
Interpretando una Curva PR –
Se desea que el algoritmo tenga tanto alta precisión como alta recuperación. Sin embargo, la mayoría de los algoritmos de aprendizaje automático a menudo implican una compensación entre los dos. Una buena curva PR tiene mayor AUC (área bajo la curva). En la figura anterior, el clasificador correspondiente a la línea azul tiene mejor desempeño que el clasificador correspondiente a la línea verde.
Es importante tener en cuenta que el clasificador que tiene un AUC más alto en la curva ROC siempre tendrá también un AUC más alto en la curva PR.
Considere un algoritmo que clasifique si un documento pertenece o no a la categoría «Noticias deportivas». Supongamos que hay 12 documentos, con las siguientes etiquetas de clase de salida del clasificador y verdad básica (real).
| Identificación del documento | verdad básica | Salida del clasificador |
|---|---|---|
| D1 | Deportes | Deportes |
| D2 | Deportes | Deportes |
| D3 | no deportes | Deportes |
| D4 | Deportes | no deportes |
| D5 | no deportes | no deportes |
| D6 | Deportes | no deportes |
| D7 | no deportes | Deportes |
| D8 | no deportes | no deportes |
| D9 | no deportes | no deportes |
| D10 | Deportes | Deportes |
| D11 | Deportes | Deportes |
| D12 | Deportes | no deportes |
Ahora, busquemos los valores TP, TN, FP y FN.
TP = El documento fue clasificado como “Deportes” y en realidad era “Deportes”. D1, D2, D10 y D11 corresponden a TP.
TN = El documento se clasificó como «No deportivo» y en realidad era «No deportivo». D5, D8 y D9 corresponden a TN.
FP = El documento se clasificó como «Deportes» pero en realidad era «No deportivo». D3 y D7 corresponden a FP.
FN = El documento fue clasificado como “No deportivo” pero en realidad era “Deportivo”. D4, D6 y D12 corresponden a FN.Entonces, TP = 4, TN = 3, FP = 2 y FN = 3.
Finalmente, precisión = TP/(TP+FN) = 4/7 y recuperación = TP/(TP+FP) = 4/6 = 2/ 3. Esto significa que cuando la precisión es 4/7, la recuperación es 2/3.
Al establecer diferentes umbrales, obtenemos múltiples pares de recuperación de dicha precisión. Al graficar múltiples pares de relaciones públicas con cualquier valor que va de 0 a 1, obtenemos una curva de relaciones públicas.
¿Necesita una curva PR cuando existe la curva ROC?
La curva PR es particularmente útil para reportar resultados de recuperación de información.
La recuperación de información implica buscar en un grupo de documentos para encontrar los que son relevantes para una consulta de usuario en particular. Por ejemplo, suponga que el usuario ingresa una consulta de búsqueda «Pink Elephants». El motor de búsqueda examina millones de documentos (usando algunos algoritmos optimizados) para recuperar un puñado de documentos relevantes. Por lo tanto, podemos asumir con seguridad que el no. de documentos relevantes será muy inferior en comparación con el no. de documentos no relevantes.
En este escenario,
TP = No. de documentos recuperados que son realmente relevantes (buenos resultados).
FP = Número de documentos recuperados que en realidad no son relevantes (resultados de búsqueda falsos).
TN = Nº de documentos no recuperados que en realidad no son relevantes.
FN = No. de documentos no recuperados que son realmente relevantes (buenos documentos que nos perdimos).
La curva ROC es un gráfico que contiene Recall = TPR = TP/(TP+FN) en el eje x y FPR = FP/(FP+TN) en el eje y. Desde el nro. de verdaderos negativos, es decir, documentos no recuperados que en realidad no son relevantes, es un número tan grande que el FPR se vuelve insignificantemente pequeño. Además, FPR realmente no nos ayuda a evaluar bien un sistema de recuperación porque queremos centrarnos más en los documentos recuperados, y no en los no recuperados.
La curva PR ayuda a resolver este problema. La curva PR tiene el valor de recuperación (TPR) en el eje x y la precisión = TP/(TP+FP) en el eje y. La precisión ayuda a resaltar la relevancia de los resultados obtenidos , lo cual es más importante al juzgar un sistema IR.
Por lo tanto, una curva PR suele ser más común en problemas relacionados con la recuperación de información.
Referencias:
- https://www.biostat.wisc.edu/~page/rocpr.pdf
- https://en.wikipedia.org/wiki/Evalue_measures_(recuperación_de_información)
Publicación traducida automáticamente
Artículo escrito por Anannya Uberoi 1 y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA