El reconocimiento de una entidad nombrada es un tipo específico de extracción de fragmentos que utiliza etiquetas de entidades junto con etiquetas de fragmentos. Las etiquetas de entidad comunes incluyen PERSONA, UBICACIÓN y ORGANIZACIÓN. Las oraciones etiquetadas con POS se analizan en árboles de fragmentos con fragmentación normal, pero las etiquetas de los árboles pueden … Continue reading «PNL | Extracción de entidades con nombre»
En este artículo, vamos a discutir una técnica de procesamiento de lenguaje natural de modelado de texto conocida como modelo de bolsa de palabras . Siempre que aplicamos cualquier algoritmo en PNL, funciona en números. No podemos introducir directamente nuestro texto en ese algoritmo. Por lo tanto, el modelo Bolsa de palabras se usa para … Continue reading «Modelo de bolsa de palabras (BoW) en PNL»
TnT Tagger: Es un etiquetador estadístico que funciona sobre modelos de Markov de segundo orden. Es un etiquetador de parte del discurso muy eficiente que se puede entrenar en diferentes idiomas y en cualquier conjunto de etiquetas. Para la generación de parámetros, el componente se entrena en corpus etiquetados. Incorpora diferentes métodos de suavizado y … Continue reading «PNL | Trigrams’n’Tags (TnT) Etiquetado»
¿Cómo funciona la similitud de Wu & Palmer ? Calcula la relación considerando las profundidades de los dos synsets en las taxonomías de WordNet, junto con la profundidad del LCS (Least Common Subsumer). La puntuación puede ser 0 < puntuación <= 1. La puntuación nunca puede ser cero porque la profundidad de la LCS nunca es … Continue reading «PNL | WuPalmer – Similitud de WordNet»
Definición de una gramática para analizar 3 tipos de frases. La clase ChunkRule que busca un determinante opcional seguido de uno o más sustantivos se usa para frases nominales. Para agregar un adjetivo al frente de un fragmento de sustantivo, se usa la clase MergeRule. Cualquier palabra IN simplemente se fragmenta para las frases preposicionales. … Continue reading «PNL | Análisis parcial con Regex»
Prerrequisito: Introducción a la PNL , Preprocesamiento de texto en Python | Serie 1 En la publicación anterior , vimos los pasos básicos de preprocesamiento cuando se trabaja con datos textuales. En este artículo, veremos algunas técnicas de preprocesamiento de texto más avanzadas. Podemos usar estas técnicas para obtener más información sobre los datos que … Continue reading «Preprocesamiento de texto en Python | conjunto 2»
Prerrequisito: Árbol Profundo Aplanado Hemos aplanado un árbol profundo manteniendo solo los subárboles de nivel más bajo. Pero aquí podemos mantener los subárboles de más alto nivel. Código #1: Entendamosshallow_tree() from nltk.tree import Tree def shallow_tree(tree): children = [] for t in tree: if t.height() < 3: children.extend(t.pos()) else: children.append(Tree(t.label(), t.pos())) return … Continue reading «PNL | Crear un árbol poco profundo»
El ClassifierBasedTagger classaprende de las funciones, a diferencia de la mayoría de los etiquetadores de parte del discurso. ClassifierChunker classse puede crear de manera que pueda aprender tanto de las palabras como de las etiquetas de parte del discurso, en lugar de solo de las etiquetas de parte del discurso como lo TagChunker classhace. Las … Continue reading «PNL | Fragmentación basada en clasificador | Serie 1»
¿Qué son los trozos? Estos se componen de palabras y los tipos de palabras se definen utilizando las etiquetas de parte del discurso. Incluso se puede definir un patrón o palabras que no pueden ser parte de chuck y esas palabras se conocen como grietas. Una clase ChunkRule especifica qué palabras o patrones incluir y excluir … Continue reading «PNL | Fragmentación usando Corpus Reader»