Introducción al aprendizaje multitarea (MTL) para el aprendizaje profundo

El aprendizaje multitarea es un subcampo del aprendizaje profundo. Se recomienda que se familiarice con los conceptos de redes neuronales para comprender qué significa el aprendizaje multitarea.

¿Qué es el aprendizaje multitarea?

El aprendizaje multitarea es un subcampo del aprendizaje automático que tiene como objetivo resolver múltiples tareas diferentes al mismo tiempo, aprovechando las similitudes entre las diferentes tareas. Esto puede mejorar la eficiencia del aprendizaje y también actuar como un regularizador que discutiremos en un momento.
Formalmente, si hay n tareas (los enfoques convencionales de aprendizaje profundo apuntan a resolver solo 1 tarea usando 1 modelo particular), donde estas n tareas o un subconjunto de ellas están relacionadas entre sí pero no son exactamente idénticas, Aprendizaje multitarea (MTL) ayudará a mejorar el aprendizaje de un modelo en particular utilizando el conocimiento contenido en todas las n tareas.

Intuición detrás del aprendizaje multitarea (MTL):
al usar modelos de aprendizaje profundo, generalmente buscamos aprender una buena representación de las características o atributos de los datos de entrada para predecir un valor específico. Formalmente, nuestro objetivo es optimizar para una función particular entrenando un modelo y ajustando los hiperparámetros hasta que el rendimiento no se pueda aumentar más.
Mediante el uso de MTL, podría ser posible aumentar el rendimiento aún más al obligar al modelo a aprender una representación más generalizada a medida que aprende (actualiza sus pesos) no solo para una tarea específica sino para un montón de tareas.
Biológicamente, los humanos aprenden de la misma manera. Aprendemos mejor si aprendemos varias tareas relacionadas en lugar de centrarnos en una tarea específica durante mucho tiempo.

MTL como regularizador:

En la jerga de Machine Learning, MTL también puede verse como una forma de inducir sesgos. Es una forma de transferencia inductiva, el uso de múltiples tareas induce un sesgo que prefiere hipótesis que puedan explicar todas las n tareas.
MTL actúa como un regularizador al introducir un sesgo inductivo como se indicó anteriormente. Reduce significativamente el riesgo de sobreajuste y también reduce la capacidad del modelo para adaptarse al ruido aleatorio durante el entrenamiento.

Ahora, analicemos las técnicas principales y predominantes para usar MTL.

Uso compartido de parámetros duros:
se utiliza una capa oculta común para todas las tareas, pero varias capas específicas de tareas se mantienen intactas hacia el final del modelo. Esta técnica es muy útil ya que al aprender una representación para varias tareas mediante una capa oculta común, reducimos el riesgo de sobreajuste.

Uso compartido de parámetros suaves:
cada modelo tiene sus propios conjuntos de pesos y sesgos, y la distancia entre estos parámetros en diferentes modelos se regulariza para que los parámetros se vuelvan similares y puedan representar todas las tareas.

Suposiciones y consideraciones: el uso de MTL para compartir conocimientos entre tareas es muy útil solo cuando las tareas son muy similares, pero cuando se viola esta suposición, el rendimiento disminuirá significativamente.

Aplicaciones:
las técnicas MTL han encontrado varios usos, algunas de las principales aplicaciones son:

• Detección de objetos y reconocimiento facial
• Automóviles autónomos: los peatones, las señales de alto y otros obstáculos se pueden detectar juntos
• Filtrado colaborativo multidominio para aplicaciones web
• Predicción de acciones
• Modelado de lenguaje y otras aplicaciones de PNL

Referencia: una descripción general del aprendizaje multitarea