Título del proyecto: Clasificación de videos basada en estilos de enseñanza
Declaración del problema:
cada profesor tiene su estilo único de enseñanza y, según su estilo de enseñanza, se divide en tres clases principales: verbal, visual y animada. El objetivo principal del proyecto es clasificar los videos de NPTEL y Coursera en estas tres clases diferentes. Esto ayudará a construir un sistema de recomendación sólido, que recomendará un video a un alumno según su estilo de aprendizaje y el estilo de enseñanza del profesor en el video.
Objetivo: Nuestro objetivo es clasificar un video determinado como Verbal, Visual o Animado.
Descripción: dado un video, nuestro prototipo procesará el video y extraerá características de texto y audio. Con base en el vector de características del video, se calculará un valor de umbral que decidirá la clase para el mismo.
Conjunto de datos utilizado: videos seleccionados manualmente para cada una de las clases, a saber, visuales y verbales. Estos videos se tomaron de varias listas de reproducción, a saber, Khan Academy, Coursera, tutoriales de Kudvenkant, conocimientos de programación, tutoriales de Ravindrababu, Techtud y Tushar Roy Coding simplificado. En total se han procesado 600 vídeos.
Detalles del proyecto: cada uno de los videos que se clasificaron manualmente se procesó de la siguiente manera:
- Conversión de video a cuadro y extracción del archivo .wav (audio)
- Extracción de características realizada con Ocropus en los fotogramas seleccionados a través de un muestreo uniforme
Características extraídas:- Número de líneas por diapositiva
- Número de figuras
- Detección de rostros para la presencia del orador
- Características de audio extraídas con la herramienta Praat de un archivo .wav
Características extraídas:- Número total de sílabas
- tiempo de hablar
- tiempo de articulación
- tiempo de fonación
- Nivel de conversación
- Pafy solía obtener metadatos de YouTube para el video, como el recuento de vistas, la cantidad de Me gusta, la duración
del video, etc. - Se calculó un valor basado en el conjunto de características para el video.
- El umbral se determinó promediando el valor obtenido para todo el conjunto de videos de entrenamiento.
Precisión y pruebas: las características de audio y texto se extrajeron con una precisión del 80 por ciento.
El prototipo se probó con 1000 videos impares que nuevamente se seleccionaron manualmente con la misma distribución de videos pertenecientes a ambas clases y la precisión obtenida fue del 75 por ciento.
Alcance futuro: nuestro enfoque principal sería expandir nuestro conjunto de datos en términos de volumen y diversidad. Para mejorar la precisión y diseñar un algoritmo de cálculo de umbral más completo. El primer paso hacia esto será procesar la cantidad de cuadros en un video en función de su duración junto con un muestreo uniforme. Utilizar los metadatos de YouTube para establecer una correlación entre la clase de un video y la popularidad del video en la plataforma.
Literatura estudiada: El objetivo principal es diseñar un motor de recomendación para los usuarios en función del estilo de enseñanza que prefieran. Estudió la literatura existente para el Sistema de Recomendación. Como no existía el clasificador de videos basado en el estilo de enseñanza y ese es el primer paso para resolver el objetivo más grande, se ha propuesto el prototipo actual de Clasificación de videos.
Referencias:
- Un documento antiguo muy citado que mapea los estilos de enseñanza y aprendizaje para la educación en ingeniería: http://www4.ncsu.edu/unity/lockers/users/f/felder/public/Papers/LS-1988.pdf
- Coursera Curso que estudiamos: https://www.coursera.org/specializations/recommender-systems
- Acerca de Ocropus: http://www.danvk.org/2015/01/09/extracting-text-from-an-image-using-ocropus.html/
- Bibliotecas de metadatos de YouTube: http://pythonhosted.org/Pafy/
- Código Praat: https://github.com/timmahrt/praatIO
- Encontrar figuras en la imagen: http://www.pyimagesearch.com/2014/10/20/finding-shapes-images-using-python-opencv/
Enlace GitHub: https://github.com/acdha/image-mining
Nota: esta idea de proyecto se contribuye para ProGeek Cup 2.0: una competencia de proyectos de GeeksforGeeks.