¿Qué es el teorema del almuerzo gratis?

¿Qué es el Teorema de No Almuerzo Gratis?
El Teorema de No Almuerzo Gratis se usa a menudo en optimización y aprendizaje automático, con poca comprensión de lo que significa o implica.

La teoría afirma que cuando se promedia el rendimiento de todos los métodos de optimización en todos los problemas imaginables, todos funcionan igual de bien. Indica que no existe un algoritmo de optimización óptimo. Debido al fuerte vínculo entre la optimización, la búsqueda y el aprendizaje automático, no existe un método de aprendizaje automático óptimo para tareas de modelado predictivo como la clasificación y la regresión.

Todos están de acuerdo en un punto: no existe el «mejor» algoritmo para tipos específicos de algoritmos, ya que todos funcionan de manera similar en promedio. Matemáticamente, el costo computacional de encontrar una solución es el mismo para cualquier técnica de solución cuando se promedia entre todos los problemas de la clase. Como resultado, ninguna solución proporciona un atajo.

Hay dos teoremas de No Free Lunch (NFL) en general: uno para el aprendizaje automático y otro para la búsqueda y optimización. Estos dos teoremas están conectados y con frecuencia se combinan en un solo postulado general (el teorema del folclore).

Aunque muchos otros académicos han contribuido a los escritos colectivos sobre los teoremas de No Free Lunch, David Wolpert es el nombre más conocido relacionado con estos estudios.
Sorprendentemente, el concepto que pudo haber inspirado el teorema de la NFL fue propuesto por primera vez por un filósofo del siglo XVIII. ¡Sí, has leído bien! Un filósofo, no un matemático o un estadístico..

David Hume, un filósofo escocés, presentó el tema de la inducción a mediados del siglo XVIII. Esta es una pregunta filosófica sobre si el razonamiento inductivo conduce al conocimiento verdadero.

El razonamiento inductivo es un tipo de pensamiento en el que hacemos inferencias sobre el mundo a partir de observaciones previas.

De acuerdo con la teoría de “No hay almuerzo gratis”, no existe un modelo que funcione mejor para cada situación. Debido a que las suposiciones de un gran modelo para un problema pueden no ser válidas para otro, es típico en el aprendizaje automático probar muchos modelos para descubrir el que funciona mejor para un problema específico. Esto es especialmente cierto en el aprendizaje supervisado, donde la validación o validación cruzada se usa con frecuencia para comparar la precisión de predicción de muchos modelos de diversa complejidad para seleccionar el modelo óptimo. También se puede entrenar un buen modelo usando varios métodos; por ejemplo, la regresión lineal se puede aprender usando ecuaciones normales o descenso de gradiente.

De acuerdo con el teorema «No hay almuerzo gratis», todos los métodos de optimización funcionan igual de bien cuando se promedian sobre todas las tareas de optimización sin volver a muestrear. Esta noción teórica fundamental ha tenido el mayor impacto en la optimización, la búsqueda y el aprendizaje supervisado. El primer teorema, No Free Lunch, se formuló rápidamente, lo que resultó en una serie de trabajos de investigación que definieron todo un campo de estudio con resultados significativos en diferentes disciplinas de la ciencia donde la exploración efectiva de una región de búsqueda es una actividad vital y crucial.

En general, su utilidad es tan importante como el algoritmo. Se crea una solución efectiva haciendo coincidir la utilidad con el algoritmo. Si no se conocen buenas condiciones para la función objetivo, y solo se trabaja con una caja negra, no se puede garantizar que este o aquel método supere a una búsqueda (pseudo)aleatoria.

Se está creando un marco para investigar la relación entre los algoritmos de optimización exitosos y los problemas que resuelven. Se proporcionan una serie de teoremas de «no hay almuerzo gratis» (NFL), que establecen que cualquier rendimiento mejorado en una clase de tareas se compensa con un rendimiento mejorado en otra. Estos teoremas proporcionan una explicación geométrica de lo que significa que un algoritmo se adapte bien a un problema de optimización.

Los teoremas de la NFL también se aplican a los elementos teóricos de la información de optimización y medidas comparativas de rendimiento.

No existe tal cosa como un almuerzo gratis, ya que agregar alternativas a un proyecto incurre en gastos directos y de oportunidad. Como resultado, la incorporación de alternativas reales puede aumentar el costo de desarrollo original. Los costos directos son los gastos del esfuerzo de desarrollo adicional requerido para incluir ciertas flexibilidades en la arquitectura del proyecto. Los costos de oportunidad son los gastos de no poder hacer nada más (por ejemplo, agregar una función) como resultado del tiempo y el esfuerzo dedicados a generar esa flexibilidad.

Conclusión:
los modelos de aprendizaje automático se adhieren al principio Basura entra, Basura sale (GIGO) (es decir, las predicciones dependen de la calidad de los datos en los que se entrena nuestro modelo). Y se estudió mucho estos teoremas, y otros pueden afirmar que este teorema no se aplica en todos los casos. Es preferible que nos concentremos en los aspectos que nos ayudarán a comprender mejor los datos y construir los modelos con mejor rendimiento.