TnT Tagger: Es un etiquetador estadístico que funciona sobre modelos de Markov de segundo orden. Es un etiquetador de parte del discurso muy eficiente que se puede entrenar en diferentes idiomas y en cualquier conjunto de etiquetas. Para la generación de parámetros, el componente se entrena en corpus etiquetados. Incorpora diferentes métodos de suavizado y … Continue reading «PNL | Trigrams’n’Tags (TnT) Etiquetado»
¿Cómo funciona la similitud de Wu & Palmer ? Calcula la relación considerando las profundidades de los dos synsets en las taxonomías de WordNet, junto con la profundidad del LCS (Least Common Subsumer). La puntuación puede ser 0 < puntuación <= 1. La puntuación nunca puede ser cero porque la profundidad de la LCS nunca es … Continue reading «PNL | WuPalmer – Similitud de WordNet»
En este artículo, encontraremos la oración más similar en el archivo a la oración de entrada. Ejemplo: File content: «This is movie.» «This is romantic movie» «This is a girl.» Input: «This is a boy» Similar sentence to input: «This is a girl», «This is movie». Acercarse: Cree una lista para almacenar todas las palabras … Continue reading «Encuentre la oración más similar en el archivo a la oración de entrada | PNL»
¿Quiere lograr resultados de última generación en su próximo proyecto de PNL? ¿Sus datos son insuficientes para entrenar el modelo de aprendizaje automático? ¿Quiere mejorar la precisión de su modelo de aprendizaje automático con algunos datos adicionales? En caso afirmativo, todo lo que necesita es el aumento de datos . Ya sea que esté creando … Continue reading «Transformador de transferencia de texto a texto en el aumento de datos»
Podemos volver a convertir un árbol o subárbol en una oración o string de fragmentos. Para entender cómo hacerlo, el siguiente código usa el primer árbol del corpus treebank_chunk. Código #1: Unir las palabras en árbol con espacio. # Loading library from nltk.corpus import treebank_chunk # tree tree = treebank_chunk.chunked_sents()[0] print («Tree : … Continue reading «PNL | Transformación de fragmentos de árbol a texto y enstringmiento de fragmentos»
Requisito previo: crear una máquina virtual y configurar la API en Google Cloud En este artículo, analizaremos cómo usar las funciones de procesamiento de lenguaje natural y traducción de Google con Google Cloud. Antes de leer este artículo, debe tener una idea de cómo crear una instancia en una máquina virtual y cómo configurar una … Continue reading «Traducción y procesamiento de lenguaje natural con Google Cloud»
Prerrequisito: Árbol Profundo Aplanado Hemos aplanado un árbol profundo manteniendo solo los subárboles de nivel más bajo. Pero aquí podemos mantener los subárboles de más alto nivel. Código #1: Entendamosshallow_tree() from nltk.tree import Tree def shallow_tree(tree): children = [] for t in tree: if t.height() < 3: children.extend(t.pos()) else: children.append(Tree(t.label(), t.pos())) return … Continue reading «PNL | Crear un árbol poco profundo»
El ClassifierBasedTagger classaprende de las funciones, a diferencia de la mayoría de los etiquetadores de parte del discurso. ClassifierChunker classse puede crear de manera que pueda aprender tanto de las palabras como de las etiquetas de parte del discurso, en lugar de solo de las etiquetas de parte del discurso como lo TagChunker classhace. Las … Continue reading «PNL | Fragmentación basada en clasificador | Serie 1»
WordNet es la base de datos léxica, es decir, un diccionario para el idioma inglés, diseñado específicamente para el procesamiento del lenguaje natural. Código #1: Crear clase para buscar palabras en WordNet. from nltk.tag import SequentialBackoffTagger from nltk.corpus import wordnet from nltk.probability import FreqDist class WordNetTagger(SequentialBackoffTagger): »’ >>> wt = WordNetTagger() >>> wt.tag([‘food’, … Continue reading «PNL | WordNet para etiquetar»
Como ha escuchado sobre el poder de GPT-3 y puede ser una amenaza para los humanos y una amenaza para muchos trabajos, ya que es una revolución en sí misma, pero ¿conoce la naturaleza sesgada de GPT-3? Si los sesgos presentes en los datos de entrenamiento, puede hacer que los modelos de IA generen resultados … Continue reading «GPT sesgado -3»