Teoría de la evolución de Lamarck:
La teoría lamarckiana afirma que las características que el individuo adquiere durante su vida las transmite a sus hijos. Esta teoría lleva el nombre del biólogo francés Jean Baptiste Lamarck. Según la teoría de Lamarck, el aprendizaje es una parte importante de la evolución de las especies (o para nuestro propósito en el algoritmo evolutivo). Esta teoría está desacreditada en un contexto biológico, pero puede usarse en algoritmos genéticos en el aprendizaje automático.
Efecto Baldwin :
la
- Cuando el aprendizaje se aplica en etapas tempranas, la población contiene muchos individuos con muchos pesos entrenables, pero en etapas posteriores, logró una alta condición física con la disminución del número de pesos entrenables en los individuos.
retropropagación
- Genere el modelo inicial con valores de peso aleatorios y tamaños de capa ocultos distribuidos uniformemente desde 2 hasta un máximo de un valor dado.
- Para las generaciones G:
- Evalúe a los nuevos individuos: entrénelos usando el conjunto de entrenamiento y obtenga su estado físico de acuerdo con el número de clasificaciones correctas en el conjunto de validación y el tamaño de la capa oculta.
- Seleccione los n mejores individuos de la población en función de la función de aptitud del valor y combínelos mediante mutación, cruce, adición, eliminación y sustitución de neuronas ocultas.
- Reemplace los n peores individuos por los nuevos individuos.
- Utilice los mejores individuos en el conjunto de prueba para obtener un error de prueba.
Función de aptitud física: La función de aptitud física se define como la capacidad de clasificar/aproximar el conjunto de validación para segregar al mejor individuo mientras entrena para cada generación. En el caso de que dos individuos tengan la misma función de fitness, el individuo con el parámetro de capa oculta más bajo expresa mejor porque el número de parámetros es proporcional a la velocidad del entrenamiento.
- El enfoque lamarckiano no utiliza una función de aptitud especial, sino que utiliza un operador genético de búsqueda local (similar a la Propagación rápida) que está diseñado para mejorar a los individuos, guardando los pesos entrenados individuales para la población.
- Para el efecto Baldwin se sigue el proceso de utilización de la función fitness:
- En el primer paso, calculamos la capacidad de clasificación/aproximación de un individuo en el conjunto de validación antes del entrenamiento.
- Luego se entrena y se calcula su habilidad usando los siguientes criterios:
- El mejor individuo (MLP/ANN) es aquel con mayor capacidad de clasificación/aproximación después del entrenamiento.
- Si ambos MLP muestran la misma precisión. Entonces, lo mejor es aquel cuya capacidad de clasificación/aproximación antes del entrenamiento es mayor, esto se debe a que la intuición es que es más probable que el MLP tenga una alta precisión cuando se vuelva a entrenar.
- Si ambos MLP tienen la misma precisión antes y después del entrenamiento, entonces el mejor modelo es el más pequeño (el modelo que tiene menos parámetros entrenables).
Resultados y conclusión :
Resultados en el conjunto de datos de Glass1a
Comparación de error y tamaño b/w Lamarckian y Baldwin Effect cuando se aprende durante 300 generaciones
- El autor concluyó que la estrategia lamarckiana encuentra un individuo adecuado (MLP) en las primeras generaciones que sigue siendo el mejor durante toda la simulación, por lo que la evolución se detiene. Si bien el efecto Baldwin puede ser mejor que el enfoque lamarckiano, requiere más generaciones.
- También se observa a partir de la conclusión anterior que las redes neuronales generadas por la estrategia lamarckiana son pequeñas, por lo que se requiere menos tiempo para entrenarlas, predecirlas y también diseñarlas.
- Otro resultado importante es que el operador lamarckiano mejora la función de aptitud en las primeras generaciones. Esto se debe al algoritmo elitista en el que una parte del individuo más apto se copia a la siguiente generación. Los individuos (sobre los que se copiaron los datos de los individuos más aptos) pueden obtener una ventaja en relación con el resto de miembros de la población y seguirán siendo los mejores individuos de la población hasta el final de la simulación.
Referencias: