ML | Resumen de texto de enlaces basado en la consulta del usuario

Cada vez que un usuario busca información particular en Internet, se devuelven múltiples resultados que se explican de diversas maneras. Se vuelve difícil y lleva mucho tiempo comprender la información.

Digamos, por ejemplo, que cuando un usuario busca «aprendizaje automático» en Google, se devuelve una cantidad de resultados. Los resultados devueltos por Google relacionados con el «aprendizaje automático» han explicado el «aprendizaje automático» de diferentes maneras. Se vuelve difícil y lleva mucho tiempo comprender las diversas definiciones de «aprendizaje automático». Por lo tanto, dada la apretada agenda de personas y la inmensa cantidad de información disponible en Internet, existe la necesidad de resumir automáticamente los enlaces en función de la consulta del usuario.

Introducción al resumen de texto:
el resumen de texto es el proceso de crear una versión más corta del texto con solo información vital y, por lo tanto, ayuda al usuario a comprender el texto en un período de tiempo más corto. La principal ventaja del resumen de texto radica en el hecho de que reduce el tiempo del usuario en la búsqueda de los detalles importantes en el documento.

Hay dos enfoques principales para resumir documentos de texto:

1. Método extractivo: Consiste en seleccionar frases y oraciones del texto original e incluirlas en el resumen final.

   Ejemplo:

   Texto original : Python es un lenguaje de secuencias de comandos de alto nivel, interpretado, interactivo y orientado a objetos. Python es un gran lenguaje para los programadores principiantes.

   Resumen extractivo : Python es un lenguaje de secuencias de comandos de alto nivel, es un gran lenguaje para programadores de nivel principiante.

2. Método Abstractivo: El método Abstractivo involucra la generación de frases y oraciones completamente nuevas para capturar el significado del documento fuente.

   Ejemplo:

   Texto original : Python es un lenguaje de secuencias de comandos de alto nivel, interpretado, interactivo y orientado a objetos. Python es un gran lenguaje para los programadores de nivel principiante

   Resumen abstracto : Python es un lenguaje interpretado e interactivo y es fácil de aprender.

   Al comparar los resúmenes de dos métodos, encontramos que el método abstracto es el mejor para crear resúmenes. Los resúmenes creados por el método abstractivo son resúmenes que creamos los humanos. Aunque es el mejor, no se han hecho muchos avances en el método abstractivo.

Solución-

El problema de navegar se puede resolver siguiendo los siguientes pasos:

• Permitir que el usuario ingrese la consulta (en la aplicación web o en la aplicación).
• Si la consulta es válida, busque la consulta en Google.
• Google devolverá múltiples resultados relacionados con la consulta, extraerá todos los enlaces en la primera página (porque los enlaces son muy relevantes para la consulta del usuario)
• Raspe y limpie los datos de todos los enlaces y guárdelos en un archivo de texto.
• Envíe los datos a modelos de aprendizaje automático para generar un resumen (abstractivo)



Referencia:
https://machinelearningmastery.com/gentle-introduction-text-summarization/
https://ai.googleblog.com/2016/08/text-summarization-with-tensorflow.html