La lematización es el proceso de agrupar las diferentes formas flexionadas de una palabra para que puedan analizarse como un solo elemento. La lematización es similar a la lematización pero aporta contexto a las palabras. Entonces vincula palabras con significados similares a una sola palabra.
El preprocesamiento de texto incluye tanto Stemming como Lematization. Muchas veces la gente encuentra estos dos términos confusos. Algunos tratan a estos dos como iguales. En realidad, se prefiere la lematización a Stemming porque la lematización hace un análisis morfológico de las palabras.
Las aplicaciones de la lematización son:
- Se utiliza en sistemas integrales de recuperación como motores de búsqueda.
- Utilizado en indexación compacta
Examples of lemmatization: -> rocks : rock -> corpora : corpus -> better : good
Una diferencia importante con la derivación es que lematizar toma una parte del parámetro del discurso, «pos». Si no se proporciona, el valor predeterminado es «sustantivo».
A continuación se muestra la implementación de palabras de lematización usando NLTK:
Python3
# import these modules
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print("rocks :", lemmatizer.lemmatize("rocks"))
print("corpora :", lemmatizer.lemmatize("corpora"))
# a denotes adjective in "pos"
print("better :", lemmatizer.lemmatize("better", pos ="a"))
Producción :
rocks : rock corpora : corpus better : good