Con la ayuda del nltk.tokenize.word_tokenize()
método, podemos extraer los tokens de una string de caracteres usando el tokenize.word_tokenize()
método. En realidad, devuelve las sílabas de una sola palabra. Una sola palabra puede contener una o dos sílabas.
Sintaxis:
tokenize.word_tokenize()
Retorno: Retorna la lista de sílabas de las palabras.
Ejemplo #1:
En este ejemplo, podemos ver que al usar el tokenize.word_tokenize()
método, podemos extraer las sílabas de un flujo de palabras u oraciones.
# import SyllableTokenizer() method from nltk from nltk import word_tokenize # Create a reference variable for Class word_tokenize tk = SyllableTokenizer() # Create a string input gfg = "Antidisestablishmentarianism" # Use tokenize method geek = tk.tokenize(gfg) print(geek)
Producción :
[‘An’, ‘ti’, ‘dis’, ‘es’, ‘ta’, ‘blish’, ‘men’, ‘ta’, ‘ria’, ‘nism’]
Ejemplo #2:
# import SyllableTokenizer() method from nltk from nltk.tokenize import word_tokenize # Create a reference variable for Class word_tokenize tk = SyllableTokenizer() # Create a string input gfg = "Gametophyte" # Use tokenize method geek = tk.tokenize(gfg) print(geek)
Producción :
[‘Ga’, ‘yo’, ‘a’, ‘phy’, ‘te’]
Publicación traducida automáticamente
Artículo escrito por Jitender_1998 y traducido por Barcelona Geeks. The original can be accessed here. Licence: CCBY-SA