Python NLTK | nltk.TweetTokenizer()

Con la ayuda del método NLTK nltk.TweetTokenizer() , podemos convertir el flujo de palabras en pequeños tokens para que podamos analizar el flujo de audio con la ayuda del método nltk.TweetTokenizer().

Sintaxis: nltk.TweetTokenizer() Return: Devuelve el flujo de token

Ejemplo n.º 1: en este ejemplo, cuando pasamos el flujo de audio en forma de string, se convertirá en tokens pequeños a partir de una string larga con la ayuda del método nltk.TweetTokenizer(). 

Python3 1=1

# import TweetTokenizer() method from nltk
from nltk.tokenize import TweetTokenizer

# Create a reference variable for Class TweetTokenizer
tk = TweetTokenizer()

# Create a string input
gfg = "Geeks for Geeks"

# Use tokenize method
geek = tk.tokenize(gfg)

print(geek)