Diferencias entre Random Forest y AdaBoost

Random Forest Algorithm es un algoritmo de aprendizaje automático de uso común que combina la salida de múltiples árboles de decisión para lograr un único resultado. Maneja problemas de clasificación y regresión, ya que combina la simplicidad de los árboles de decisión con la flexibilidad que conduce a mejoras significativas en la precisión.

AdaBoost Algorithm (Adaptive Boosting) , es un método de refuerzo utilizado como un sistema de aprendizaje automático Ensemble. Los pesos de cada árbol se redistribuyen en cada turno, dando mayor peso a las condiciones clasificadas incorrectamente, por lo que se denomina Adaptive Boost. AdaBoost utiliza múltiples árboles de toma de decisiones de un solo nivel llamados Forest of Trees. 

Diferencia entre Random Forest y AdaBoost

Tamaño del árbol

En un bosque aleatorio , cada vez que haces un árbol, haces un árbol de tamaño completo. Algunos árboles pueden ser más grandes que otros, pero no hay una profundidad máxima predeterminada. 

En cambio, en un bosque de árboles hecho con AdaBoost , los árboles suelen ser solo un Node y dos hojas. Un árbol con un solo nudo y dos hojas se llama tocón, por lo que el bosque de árboles es en realidad solo un bosque de tocones.

Precisión de clasificación

Random forest es mucho mejor para hacer clasificaciones precisas. Por ej. si estuviéramos usando los datos en la fig. 3 para determinar si alguien tenía una enfermedad cardíaca o no, un árbol de decisiones de tamaño completo aprovecharía las cuatro variables que se miden (dolor en el pecho, circulación sanguínea, arterias bloqueadas y peso) para tomar una decisión.

Los tocones no son buenos para hacer clasificaciones precisas, ya que el bosque aleatorio usa todas las variables dadas en la tabla de datos, pero AdaBoost usa solo una variable para tomar una decisión, por lo tanto, se dice que son estudiantes débiles. Por ej. según la fig. 3 bosque de árboles usará solo dolor en el pecho para decidir si una persona tiene una enfermedad cardíaca o no. Sin embargo, así es como le gusta a AdaBoost, y es una de las razones por las que se combinan con tanta frecuencia.

Distribución de decir para cada árbol

En un Random Forest , cada árbol tiene el mismo voto en la clasificación final. Cualquier árbol de cualquier tamaño tiene el mismo peso de voto.

Por el contrario, en un bosque de tocones hecho con AdaBoost, algunos tocones tienen más voz en la clasificación final que otros. En el diagrama, los tocones más grandes tienen más voz que los tocones más pequeños.

Orden para la construcción de árboles

En Random Forest , cada árbol de decisión se realiza independientemente de los demás. En otras palabras, no importa qué árbol se hizo en qué turno.

En cambio, en un Forest of Stumps hecho con AdaBoost, el orden es importante. Los errores que comete el primer muñón influyen en cómo se comete el segundo muñón, los errores del segundo muñón influyen en el tercero y así sucesivamente.

S. No.	Categorías	Bosque aleatorio	AdaBoost
1.	Tamaño del árbol	El bosque aleatorio utiliza un árbol de decisión de tamaño completo sin un tamaño de profundidad predeterminado.	AdaBoost combina muchos «aprendices débiles» para hacer clasificaciones. Los alumnos débiles son casi siempre tocones.
2.	Distribución de decir para cada árbol.	Cada árbol tiene igual voto en la clasificación final	Algunos tocones tienen más voz en la clasificación que otros.
3.	Precisión de clasificación	Random Forest a menudo es superado por AdaBoost en términos de precisión de clasificación.	AdaBoost suele ser mucho mejor para hacer clasificaciones precisas.
4.	Orden de construcción de árboles	Cada árbol de decisión se hace independientemente de los demás.	Cada muñón se hace teniendo en cuenta los errores del muñón anterior.
5.	Tolerancia de sobreajuste	Random Forest es menos sensible al sobreajuste en comparación con AdaBoost	Adaboost también es menos tolerante al sobreajuste que Random Forest.
6.	Técnica de muestreo de datos	En el bosque aleatorio, los datos de entrenamiento se muestrean en función de la técnica de embolsado.	Adaboost se basa en la técnica de impulso.
7.	Cálculo de estimación	Random Forest tiene como objetivo disminuir la varianza, no el sesgo.	Adaboost tiene como objetivo disminuir el sesgo, no la varianza.
8.	Operación de ensamblaje	Random Forest emplea ensamblaje paralelo. Forest procesa árboles en paralelo, lo que permite que los trabajos se paralelicen en una máquina multiprocesador.	Adaboost hace uso de conjuntos secuenciales. Se necesita un método paso a paso.