El lenguaje es el método para compartir y comunicar nuestra comprensión y conocimiento entre nosotros. El lenguaje juega un factor fundamental a la hora de compartir nuestros conocimientos, ideas y visión. Por lo tanto, si podemos descubrir un enfoque computacional del lenguaje, podemos desarrollar un medio de comunicación muy sólido. Adoptamos varias técnicas para utilizar completamente el conocimiento y fusionarlos con el lenguaje y los hechos gramaticales y crear un sistema de lenguaje computacional. Mientras entendemos el idioma, nos encontramos con varios defectos en el idioma que tratamos de frenar, pero a veces estos defectos son los que hacen que el idioma sea mucho más dinámico e influyente. El lenguaje puede ser tanto hablado como escrito. Por lo tanto, puede haber dos formas de procesarlo. Sin embargo, el procesamiento de la forma hablada del lenguaje puede ser mucho más exigente ya que podemos encontrar varios desafíos, como la presencia de perturbaciones en el habla y también la forma o el acento con el que sale el habla. Por lo tanto, el procesamiento de la declaración escrita es comparativamente mucho más simple. Para derivar información del texto en lengua escrita repasamos técnicas de análisis léxico, sintáctico y semántico. Este proceso para derivar y comprender el lenguaje escrito se describe como procesamiento del lenguaje escrito. El procesamiento del lenguaje natural comprende la comprensión y la generación, también descifra en diferentes idiomas. Por lo tanto, esto lo convierte en un aspecto esencial para comprenderlo. Por lo tanto, el procesamiento de la declaración escrita es comparativamente mucho más simple. Para derivar información del texto en lengua escrita repasamos técnicas de análisis léxico, sintáctico y semántico. Este proceso para derivar y comprender el lenguaje escrito se describe como procesamiento del lenguaje escrito. El procesamiento del lenguaje natural comprende la comprensión y la generación, también descifra en diferentes idiomas. Por lo tanto, esto lo convierte en un aspecto esencial para comprenderlo. Por lo tanto, el procesamiento de la declaración escrita es comparativamente mucho más simple. Para derivar información del texto en lengua escrita repasamos técnicas de análisis léxico, sintáctico y semántico. Este proceso para derivar y comprender el lenguaje escrito se describe como procesamiento del lenguaje escrito. El procesamiento del lenguaje natural comprende la comprensión y la generación, también descifra en diferentes idiomas. Por lo tanto, esto lo convierte en un aspecto esencial para comprenderlo.
La comunicación puede ser de cualquier forma. Puede ser escrito o hablado. Para tener una comunicación bidireccional completa de extremo a extremo, ambos objetos finales deben tener un conocimiento similar de su lenguaje de comunicación. El lenguaje común utilizado se procesa en conocimiento. El procesamiento del lenguaje hablado puede ser más difícil y desafiante que el procesamiento de la forma escrita del lenguaje. Esto sucede porque puede haber una infinidad de factores que deben tenerse en cuenta para procesar este lenguaje. De ahí que al procesar la parte escrita del lenguaje surge la necesidad de información adicional la cual se utiliza para tratar la incertidumbre y vaguedad que puede surgir en el lenguaje. El procesamiento del lenguaje escrito se denomina procesamiento del lenguaje natural (NLP). Para el procesamiento del lenguaje natural, es más fácil ya que tiene en cuenta el léxico, conocimiento sintáctico y semántico de la lengua. Durante el procesamiento del lenguaje nos encontramos con diferentes dificultades, pero muchas veces estas dificultades representan el lado negativo del lenguaje que lo hace robusto y poderoso.
Las dificultades con las que nos encontramos son-
- Dificultad : el idioma solo proporciona una explicación limitada de la información.
Por ejemplo, algunos chicos están comiendo.
Unos chicos están comiendo un sándwich.
Jack y Harley están comiendo sándwiches.
Punto a favor : el idioma nos permite ser exactos e inexactos al mismo tiempo. Solo podemos transmitir la información que necesitamos. - Dificultad – El lenguaje no explica las circunstancias que dan lugar a la incertidumbre.
Por ejemplo, estoy jugando un juego. (Un juego de mesa)
Estoy jugando un juego. (Un juego al aire libre)
Punto a favor: se puede transmitir información ilimitada utilizando un símbolo finito. - Dificultad : uno nunca puede completar el dominio del idioma ya que siempre se definen nuevas palabras y nunca termina.
Por ejemplo, los dos muestran una relación única de bromance.
Punto a favor : el idioma puede estar en constante evolución y siempre se pueden agregar jergas como mejor nos parezca.
Estas son las dificultades que se enfrentan cuando se trata del lenguaje y cómo la debilidad se puede convertir en una fortaleza.
Asimismo, el procesamiento del lenguaje natural nos ayuda a aprender y da una mejor comprensión del idioma. También ayuda en la traducción de un idioma a otro. El proceso de comprensión del lenguaje incluye alinear la entrada en una forma de datos más útil que puede convertir hechos en bruto en información que puede usarse para fortalecer el conocimiento. Entender el lenguaje requiere una representación de la situación. Pero debido a la gran variedad de situaciones, es muy difícil entender una situación que pueda encajar correctamente en la situación. Por lo tanto, para desarrollar un programa de computadora que pueda procesar el lenguaje natural, primero tenemos que definir la tarea elemental y la representación objetivo.
Desafíos:
Aún así, puede parecer un dominio sin esfuerzo alinear las oraciones del mapa para comprender el significado, pero esto no es del todo correcto. Todavía existen varios desafíos que enfrentamos al procesar esto. El desafío principal es la incertidumbre y la presencia de ambigüedad en los datos. Cuando nos comunicamos en inglés, la oración puede no conducir a esa cosa. Por ejemplo, considere una oración, después de levantar pesas pesadas, Ram se deforma. Esto no significa que Ram tenga una postura en ángulo, esta es una expresión para representar que Ram se molestó. Además, existe otro tipo de incertidumbre que puede aparecer cuando hablamos de las palabras que tienen varios significados. Ram fue al banco. Aquí Bank puede ser donde se almacena el dinero o también podría ser River Bank. Un tipo más de incertidumbre podría llegar debido a los afijos.amigos _ Era la fiesta de cumpleaños de su amigo . El primer amigo se refiere a un sustantivo plural y el segundo se refiere a una tercera persona. Por lo tanto, todos estos desafíos requieren un sistema de procesamiento robusto y eficiente. Se requiere enfocar cada uno de estos temas para que la computadora pueda procesar y trabajar correctamente con el lenguaje natural.
Fases de implementación:
El proceso de comprensión del lenguaje natural consta de cinco fases analíticas. Estas Fases son:
- Análisis morfológico
- Análisis sintáctico
- Análisis semántico
- Integración del discurso
- Análisis pragmático
Todas estas fases tienen sus propios límites deseados, pero estos límites no son completamente fáciles de comprender. De vez en cuando siguen una secuencia adecuada, oa veces todos a la vez. Cuando un proceso se inscribe en una secuencia, este proceso puede solicitar asistencia a otro. Para entender esto correctamente, necesitamos entender cuáles son estas fases.
- Análisis Morfológico:
Al realizar el análisis morfológico, se analiza cada palabra en particular. Los tokens que no son palabras, como la puntuación, se eliminan de las palabras. Por lo tanto, a las palabras restantes se les asignan categorías. Por ejemplo, el iPhone de Ram no puede convertir el video de .mkv a .mp4. En el análisis morfológico, se analiza la oración palabra por palabra.
Así que aquí, Ram es un nombre propio, Ram’s se asigna como sufijo posesivo y .mkv y .mp4 se asignan como extensión de archivo.
Como se muestra arriba, la oración se analiza palabra por palabra. A cada palabra se le asigna una categoría sintáctica. Las extensiones de archivo también se identifican presentes en la oración que se comporta como un adjetivo en el ejemplo anterior. En el ejemplo anterior, también se identifica el sufijo posesivo. Este es un paso muy importante ya que el juicio de prefijos y sufijos dependerá de una categoría sintáctica para la palabra. Por ejemplo, los nados y los nados son diferentes. Uno lo convierte en plural, mientras que el otro lo convierte en un verbo singular en tercera persona. Si el prefijo o el sufijo se interpretan incorrectamente, el significado y la comprensión de la oración cambian por completo. La interpretación asigna una categoría a la palabra. Por lo tanto, descarta la incertidumbre de la palabra. - Análisis sintáctico:
existen diferentes reglas para diferentes idiomas. La violación de estas reglas dará un error de sintaxis. Aquí la oración se transforma en la estructura que representa una correlación entre las palabras. Esta correlación podría violar las reglas ocasionalmente. La sintaxis representa el conjunto de reglas que deberá seguir el idioma oficial. Por ejemplo, “Al cine, nos vamos”. Dará un error de sintaxis. El análisis sintáctico utiliza los resultados dados por el análisis morfológico para desarrollar la descripción de la oración. La oración que se divide en categorías dadas por el proceso morfológico se alinea en una estructura definida. Este proceso se denomina análisis. Por ejemplo, el gato persigue al ratón en el jardín, se representaría así:
Aquí la frase se desglosa según las categorías. Luego se describe en una estructura jerárquica con Nodes como unidades de oración. Estos árboles de análisis se analizan mientras se ejecuta el análisis de sintaxis y, si surge algún error, el procesamiento se detiene y muestra el error de sintaxis. El análisis puede ser de arriba hacia abajo o de abajo hacia arriba.
- De arriba hacia abajo: comienza con el primer símbolo y analiza la oración de acuerdo con las reglas gramaticales hasta que se analiza cada uno de los terminales de la oración.
- De abajo hacia arriba: comienza con la oración que se va a analizar y aplica todas las reglas hacia atrás hasta llegar al primer símbolo.
- Análisis semántico:
El análisis semántico busca el significado. Asigna el significado a todas las estructuras construidas por el analizador sintáctico. Luego, cada estructura sintáctica y los objetos se mapean juntos en el dominio de la tarea. Si el mapeo es posible, se envía la estructura, si no, se rechaza. Por ejemplo, “helado caliente” dará un error semántico. Durante el análisis semántico se ejecutan dos operaciones principales:- Primero, cada palabra separada se asignará a los objetos apropiados en la base de datos. Se encontrará el significado del diccionario de cada palabra. Una palabra puede tener más de un significado.
- En segundo lugar, se integrarán todos los significados de cada palabra diferente para encontrar una correlación adecuada entre las estructuras de las palabras. Este proceso de determinar el significado correcto se llama desambiguación léxica. Se realiza asociando cada palabra con el contexto.
Este proceso definido anteriormente se puede utilizar para determinar el significado parcial de una oración. Sin embargo, la semántica y la sintaxis son dos conceptos completamente opuestos. Es posible que una oración sintácticamente correcta sea semánticamente incorrecta.
Por ejemplo, “Una roca olió el color nueve”. Es sintácticamente correcto ya que obedece todas las reglas del inglés, pero es semánticamente incorrecto. El análisis semántico verifica que una oración cumpla con las reglas y crea información correcta.
El ejemplo anterior muestra el análisis semántico. - Integración de divulgación:
al procesar un idioma, puede surgir una gran ambigüedad conocida como ambigüedad referencial. La ambigüedad referencial es la ambigüedad que puede surgir cuando no se puede determinar una referencia a una palabra. Por ejemplo,
Ram ganó la carrera.
Mohan se comió la mitad de una pizza.
Le gustó.En el ejemplo anterior, «Él» puede ser Ram o Mohan. Esto crea una ambigüedad. La palabra “Él” muestra dependencia en ambas oraciones. Esto se conoce como integración de divulgación . Significa cuando una oración individual se basa en la oración que viene antes. Como en el ejemplo anterior, la tercera oración se basa en la oración anterior. Por lo tanto, el objetivo de este modelo es eliminar la ambigüedad referencial.
- Análisis pragmático:
el análisis pragmático significa manejar la situación de una manera mucho más práctica o realista que usar un enfoque teórico. Como sabemos, una oración puede tener diferentes significados en diversas situaciones. Por ejemplo, el promedio es 18.
El promedio es 18. (el promedio puede ser de secuencia)
El promedio es 18. (el promedio puede ser de un vehículo)
El promedio es 18. (el promedio puede ser de un término matemático)Podemos ver que para la misma entrada puede haber diferentes percepciones. Para interpretar el significado de la oración necesitamos entender la situación. Para abordar tales problemas utilizamos el análisis pragmático. El análisis pragmático tiende a hacer que la comprensión del lenguaje sea mucho más clara y fácil de interpretar.
Implementación:
Las cinco fases discutidas anteriormente para el procesamiento del lenguaje deben seguir un orden. Cada fase toma su entrada de la salida de la fase anterior y la envía a la siguiente fase para su procesamiento. Si bien esta entrada del proceso puede ser rechazada a mitad de camino si no sigue las reglas que la definen para la siguiente fase.
Además, más de una fase puede comenzar a procesarse juntas. Esto puede suceder debido a la ambigüedad entre las fases. Por ejemplo, considere la oración
¿El vehículo eléctrico es coche Tesla?
La oración anterior tiene cuatro frases nominales al final que se requerirán para formar frases nominales para dar la oración de la forma:
«¿Es el AB?» donde A & B representa los sintagmas nominales que requerimos. Durante el análisis de sintaxis habrá las siguientes opciones disponibles:
Al realizar el análisis sintáctico, todas estas opciones parecen aplicables, pero para obtener las frases correctas necesitamos analizar la semántica. Cuando aplicamos el análisis semántico, las únicas opciones que tienen sentido son «vehículo eléctrico» y «coche tesla». Por lo tanto, podemos decir que estos procesos están separados pero pueden comunicarse de diferentes maneras.
El lenguaje es una estructura que sigue reglas diferentes. El lenguaje natural procesa la forma escrita del lenguaje en relación con las reglas desarrolladas. El objetivo principal es borrar la ambigüedad y la incertidumbre del idioma para facilitar la comunicación.
Publicación traducida automáticamente
Artículo escrito por gauravkalwani y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA