Introducción a la deriva conceptual

Si nos situamos en un marco que difiere ligeramente de lo que solemos ver. Por ejemplo: cuando hacemos aprendizaje por lotes, es decir, aprendizaje sobre un conjunto fijo de datos que genera un modelo determinado, los algoritmos pueden volverse rápidamente ineficaces o incluso contraproducentes. Este problema podría ocurrir debido a la modificación de datos o la aparición de nuevos datos constantemente. Este problema se conoce como deriva de concepto.

Una definición formal: la
desviación del concepto es el evento en el que las propiedades estadísticas de la variable de clase de los datos, en otras palabras, el objetivo que queremos predecir, cambian con el tiempo. Cuando se entrena un modelo, conoce una función que asigna las variables independientes, o predictores, a las variables de destino. En otras palabras, predecir la variable objetivo con la ayuda de otras variables independientes. En un entorno estático y perfecto donde ninguno de estos predictores ni el objetivo cambia o evoluciona, el modelo debería funcionar como lo hizo el primer día porque no hay cambios. Pero si los predictores se cambian con el tiempo, el modelo puede cambiar el rendimiento, ya que se entrenó con datos antiguos, y la predicción a partir de datos nuevos puede ser difícil para el modelo debido a la evolución de los predictores.
Un ejemplo de tal situación son los datos dinámicos (por ejemplo: transmisión de datos), donde no solo cambian las propiedades estadísticas de la variable de destino, sino también su significado. Cuando ocurre este cambio, la asignación encontrada por la función ya no es adecuada para el nuevo entorno.

En el aprendizaje automático y el análisis predictivo, el concepto de deriva significa que las propiedades estadísticas de la variable de destino de los datos, que el modelo intenta predecir, cambia con el tiempo de maneras muy impredecibles. Esto genera problemas porque a medida que pasa el tiempo, las predicciones se vuelven menos precisas. Por lo tanto, de poca o ninguna utilidad.

Ilustremos un ejemplo de un sensor colocado en un volcán para recoger la temperatura de este último a lo largo del tiempo. Supongamos que recopilamos datos durante varios días durante los cuales solo llovió. Conocer estos datos nos permitiría obtener el siguiente modelo (figura inferior): más allá de un cierto umbral, consideramos que el volcán está activo y si no, está en reposo.

Sin embargo, unos días después, llega una ola de calor y la distribución de la temperatura cambia como se muestra a continuación (Figura 2). Podemos ver fácilmente que el modelo establecido anteriormente ya no es válido, hay que adaptarlo.

También podemos ver el concepto de deriva conceptual en las compras durante Diwali en India. Durante los días normales, las compras son muy normales, pero de repente, durante el tiempo de Diwali, las compras aumentan muy repentinamente. A continuación se presentan las pocas estadísticas que se toman de aquí .