Boosting es una técnica de modelado de conjuntos que intenta construir un clasificador fuerte a partir del número de clasificadores débiles. Se realiza construyendo un modelo utilizando modelos débiles en serie. En primer lugar, se construye un modelo a partir de los datos de entrenamiento. Luego se construye el segundo modelo que trata de corregir los errores presentes en el primer modelo. Este procedimiento continúa y se agregan modelos hasta que se pronostica correctamente el conjunto completo de datos de entrenamiento o se agrega el número máximo de modelos.
AdaBoost fue el primer algoritmo de impulso realmente exitoso desarrollado con el propósito de la clasificación binaria. AdaBoost es la abreviatura de Adaptive Boosting y es una técnica de impulso muy popular que combina múltiples «clasificadores débiles» en un solo «clasificador fuerte». Fue formulado por Yoav Freund y Robert Schapire. También ganaron el Premio Gödel 2003 por su trabajo.
Algoritmo:
- Inicialice el conjunto de datos y asigne el mismo peso a cada uno de los puntos de datos.
- Proporcione esto como entrada al modelo e identifique los puntos de datos clasificados incorrectamente.
- Aumentar el peso de los puntos de datos mal clasificados.
- if (obtuvo los resultados requeridos)
Ir al paso 5
else
Ir al paso 2
- Final
Explicación:
El diagrama anterior explica el algoritmo AdaBoost de una manera muy sencilla. Tratemos de entenderlo en un proceso paso a paso:
- B1 consta de 10 puntos de datos que constan de dos tipos, a saber, más (+) y menos (-) y 5 de los cuales son más (+) y los otros 5 son menos (-) y a cada uno se le ha asignado el mismo peso inicialmente. El primer modelo intenta clasificar los puntos de datos y genera una línea de separación vertical, pero clasifica incorrectamente 3 más (+) como menos (-).
- B2 consta de los 10 puntos de datos del modelo anterior en los que los 3 más (+) clasificados incorrectamente se ponderan más, de modo que el modelo actual trata más de clasificar estos más (+) correctamente. Este modelo genera una línea de separación vertical que clasifica correctamente los más (+) previamente clasificados incorrectamente, pero en este intento, clasifica incorrectamente tres menos (-).
- B3 consta de los 10 puntos de datos del modelo anterior en el que los 3 menos (-) clasificados incorrectamente se ponderan más, de modo que el modelo actual trata más de clasificar estos menos (-) correctamente. Este modelo genera una línea de separación horizontal que clasifica correctamente los menos (-) previamente clasificados incorrectamente.
- B4 combina B1, B2 y B3 para construir un modelo de predicción sólido que es mucho mejor que cualquier modelo individual utilizado.