La similitud de coseno es una medida de similitud entre dos vectores distintos de cero de un espacio de producto interno que mide el coseno del ángulo entre ellos. Semejanza = (AB) / (||A||.||B||) donde A y B son vectores. En este programa se utilizan la similitud de coseno y el módulo de herramientas nltk. … Continue reading «Python | Medir la similitud entre dos oraciones usando la similitud del coseno»
BERT significa Representación bidireccional para transformadores . Fue propuesto por investigadores de Google Research en 2018. Aunque el objetivo principal era mejorar la comprensión del significado de las consultas relacionadas con la Búsqueda de Google. Un estudio muestra que Google encontró el 15% de las consultas nuevas todos los días. Por lo tanto, requiere que … Continue reading «Entendiendo BERT – PNL»
La fragmentación de todos los nombres propios (etiquetados con NNP) es una forma muy sencilla de realizar la extracción de entidades nombradas. Se puede crear una gramática simple que combine todos los nombres propios en un fragmento de NOMBRE usando la clase RegexpParser. Luego, podemos probar esto en la primera oración etiquetada de treebank_chunk para … Continue reading «PNL | Extracción de nombres propios»
¿Qué es Execnet? Execnet es una biblioteca de ejecución distribuida para Python. Permite crear pasarelas y canales para la ejecución remota de código. Una puerta de enlace es una conexión desde el proceso de llamada a un entorno remoto. El entorno remoto puede ser un subproceso local o una conexión SSH a un Node remoto. … Continue reading «PNL | Etiquetado distribuido con Execnet – Parte 1»
NgramTagger tiene 3 subclases UnigramTagger BigramTagger TrigramTagger La subclase BigramTagger usa la etiqueta anterior como parte de su contexto . La subclase TrigramTagger usa las dos etiquetas anteriores como parte de su contexto. ngram : es una subsecuencia de n elementos. Idea de las subclases de NgramTagger: Al observar las palabras anteriores y las etiquetas … Continue reading «PNL | Combinación de etiquetadores Ngram»
¿Qué es la incrustación de palabras? Es la representación de palabras en vectores. Estos vectores capturan información importante sobre las palabras, de modo que las palabras que comparten la misma vecindad en el espacio vectorial representan un significado similar. Existen varios métodos para crear incrustaciones de palabras, por ejemplo, Word2Vec , Continuous Bag of … Continue reading «Descripción general de la incrustación de palabras mediante incrustaciones de modelos de lenguaje (ELMo)»
La clase BrillTagger es un etiquetador basado en transformación . No es una subclase de SequentialBackoffTagger. Además, utiliza una serie de reglas para corregir los resultados de un etiquetador inicial. Estas reglas que sigue se basan en la puntuación. Esta puntuación es igual a la no. de errores que corrigen menos el no. de los … Continue reading «PNL | Etiquetador brillante»
El reconocimiento de entidades nombradas (NER) es una de las tareas de preprocesamiento de datos más importantes. Implica la identificación de información clave en el texto y la clasificación en un conjunto de categorías predefinidas. Una entidad es básicamente aquello de lo que se habla o se hace referencia constantemente en el texto. NER es … Continue reading «Reconocimiento de entidad nombrada»
El método remote_exec() de la puerta de enlace toma un solo argumento que puede ser uno de los siguientes tres tipos: Una string de código para ejecutar de forma remota El nombre de una función pura que se serializará y ejecutará de forma remota El nombre de un módulo puro cuya fuente se ejecutará de … Continue reading «PNL | Etiquetado distribuido con Execnet – Parte 2»
¿Necesita intercambiar frases verbales? Para eliminar la voz pasiva de frases particulares. Esta normalización es útil con el análisis de frecuencia, al contar dos frases aparentemente diferentes como la misma frase. El siguiente código es swap_verb_phrase classel que intercambia el lado izquierdo del fragmento con el lado derecho, usando el verbo como punto de pivote. … Continue reading «PNL | Intercambio de frases verbales y sustantivos cardinales»