Python NLTK | nltk.tokenizer.word_tokenize()

Con la ayuda del nltk.tokenize.word_tokenize()método, podemos extraer los tokens de una string de caracteres usando el tokenize.word_tokenize()método. En realidad, devuelve las sílabas de una sola palabra. Una sola palabra puede contener una o dos sílabas.

Sintaxis: tokenize.word_tokenize()
Retorno: Retorna la lista de sílabas de las palabras.

Ejemplo #1:
En este ejemplo, podemos ver que al usar el tokenize.word_tokenize()método, podemos extraer las sílabas de un flujo de palabras u oraciones.

# import SyllableTokenizer() method from nltk
from nltk import word_tokenize
     
# Create a reference variable for Class word_tokenize
tk = SyllableTokenizer()
     
# Create a string input
gfg = "Antidisestablishmentarianism"
     
# Use tokenize method
geek = tk.tokenize(gfg)
     
print(geek)

Producción :

[‘An’, ‘ti’, ‘dis’, ‘es’, ‘ta’, ‘blish’, ‘men’, ‘ta’, ‘ria’, ‘nism’]

Ejemplo #2:

# import SyllableTokenizer() method from nltk
from nltk.tokenize import word_tokenize
     
# Create a reference variable for Class word_tokenize
tk = SyllableTokenizer()
     
# Create a string input
gfg = "Gametophyte"
     
# Use tokenize method
geek = tk.tokenize(gfg)
     
print(geek)

Producción :

[‘Ga’, ‘yo’, ‘a’, ‘phy’, ‘te’]