Tokens y conjuntos de caracteres de Python

Python es un lenguaje de programación de alto nivel y propósito general. Fue diseñado con énfasis en la legibilidad del código y su sintaxis permite a los programadores expresar sus conceptos en menos líneas de código, y estos códigos se conocen como scripts. Estos scripts contienen conjuntos de caracteres, tokens e identificadores. En este artículo, aprenderemos sobre estos conjuntos de caracteres, tokens e identificadores.

Conjunto de caracteres

Un conjunto de caracteres es un conjunto de caracteres válidos aceptables por un lenguaje de programación en secuencias de comandos. En este caso, estamos hablando del lenguaje de programación Python. Entonces, el conjunto de caracteres de Python es un conjunto de caracteres válido reconocido por el lenguaje Python. Estos son los caracteres que podemos usar durante la escritura de un script en Python. Python admite todos los caracteres ASCII/Unicode que incluyen:

• Alfabetos: todos los alfabetos en mayúsculas (AZ) y minúsculas (az).
• Dígitos: Todos los dígitos 0-9.
• Símbolos especiales: Python admite todo tipo de símbolos especiales como ” ‘ l ; : ! ~ @ # $% ^ ` & * ( ) _ + – = { } [ ] \ .
• Espacios en blanco: espacios en blanco como espacio de tabulación, espacio en blanco, nueva línea y retorno de carro.
• Otro: todos los caracteres ASCII y UNICODE son compatibles con Python, que constituye el conjunto de caracteres de Python.

fichas 

Un token es la unidad individual más pequeña en un programa de Python. Todas las declaraciones e instrucciones en un programa se construyen con tokens. Los diversos tokens en python son:

1. Palabras clave: Las palabras clave son palabras que tienen algún significado o significado especial en un lenguaje de programación. No se pueden usar como nombres de variables, nombres de funciones o cualquier otro propósito aleatorio. Se utilizan por sus características especiales. En Python tenemos 33 palabras clave, algunas de ellas son: probar, Falso, Verdadero, clase, romper, continuar y, como, afirmar, mientras, para, en, aumentar, excepto, o no, si, elif, imprimir, importar , etc

# for loop
for x in range(1, 9):
     
    # Print the value of x
    print(x)
     
    # Check if the value of x is less than 6
    # Here if the value of x is less than 6
    # then the loop will continue
    # Here, if, continue, else, break,
    # for loop are keywords
    if x < 6:
        continue
     
    # If i greater then 6 then break loop
    else:
        break

Producción:

1
2
3
4
5
6

2. Identificadores: Los identificadores son los nombres que se dan a cualquier variable, función, clase, lista, método, etc. para su identificación. Python es un lenguaje que distingue entre mayúsculas y minúsculas y tiene algunas reglas y regulaciones para nombrar un identificador. Aquí hay algunas reglas para nombrar un identificador: –

• Como se indicó anteriormente, Python distingue entre mayúsculas y minúsculas. Entonces, el caso importa al nombrar identificadores. Y por lo tanto, geeks y Geeks son dos identificadores diferentes.
• El identificador comienza con una letra mayúscula (AZ), una letra minúscula (az) o un guión bajo (_). No puede comenzar con ningún otro carácter.
• A excepción de las letras y los guiones bajos, los dígitos también pueden formar parte del identificador, pero no pueden ser el primer carácter del mismo.
• Cualquier otro carácter especial o espacio en blanco está estrictamente prohibido en un identificador.
• Un identificador no puede ser una palabra clave.

Por ejemplo: algunos identificadores válidos son gfg, GeeksforGeeks, _geek, mega12, etc. Mientras que 91road, #tweet, i am, etc. no son identificadores válidos.

# Here GFG and b are the identifier
GFG = 'Hello'
b = "Geeks"
 
# Driver code
print(GFG)
print(b)

Producción:

Hello
Geeks

3. Literales o valores: los literales son valores fijos o elementos de datos utilizados en un código fuente. Python admite diferentes tipos de literales como:

(i) Literales de string: el texto escrito entre comillas simples, dobles o triples representa los literales de string en Python. Por ejemplo: «Informática», ‘sam’, etc. También podemos usar comillas triples para escribir strings de varias líneas.

# String Literals
a = 'Hello'
b = "Geeks"
c = '''Geeks for Geeks is a
        learning platform'''
 
# Driver code
print(a)
print(b)
print(c)

Hello
Geeks
Geeks for Geeks is a 
        learning platform

(ii) Literales de caracteres: El literal de caracteres también es un tipo de literal de string en el que el carácter se incluye entre comillas simples o dobles.

# Character Literals
a = 'G'
b = "W"
 
# Driver code
print(a)
print(b)

Producción:

G
W

(iii) Literales Numéricos: Estos son los literales escritos en forma de números. Python admite los siguientes literales numéricos:

• Literal entero: incluye números positivos y negativos junto con 0. No incluye partes fraccionarias. También puede incluir literal binario, decimal, octal, hexadecimal.
• Flotante Literal: Incluye números reales tanto positivos como negativos. También incluye partes fraccionarias.
• Literal Complejo: Incluye a+bi numeral, aquí a representa la parte real yb representa la parte compleja.

# Numeric Literals
a = 5
b = 10.3
c = -17
 
# Driver code
print(a)
print(b)
print(c)

5
10.3
-17

(iv) Literales booleanos: los literales booleanos tienen solo dos valores en Python. Estos son Verdadero y Falso.

# Boolean Literals
a = 3
b = (a == 3)
c = True + 10
 
# Driver code
print(a, b, c)

3 True 11

(v) Literales especiales: Python tiene un literal especial ‘Ninguno’. Se utiliza para denotar nada, ningún valor o la ausencia de valor.

# Special Literals
var = None
print(var)

None

(vi) Colecciones de literales: las colecciones de literales en python incluyen listas, tuplas, diccionarios y conjuntos.

1. Lista: Es una lista de elementos representados entre corchetes con comas en medio. Estas variables pueden ser de cualquier tipo de datos y también se pueden cambiar.
2. Tupla: También es una lista de elementos separados por comas o valores entre corchetes. Los valores pueden ser de cualquier tipo de datos, pero no se pueden cambiar.
3. Diccionario: Es el conjunto desordenado de pares clave-valor.
4. Conjunto: Es la colección desordenada de elementos entre llaves ‘{}’.

# Literals collections
# List
my_list = [23, "geek", 1.2, 'data']
 
# Tuple
my_tuple = (1, 2, 3, 'hello')  
 
# Dictionary
my_dict = {1:'one', 2:'two', 3:'three'}  
 
# Set
my_set = {1, 2, 3, 4} 
 
# Driver code
print(my_list)
print(my_tuple)
print(my_dict)
print(my_set)

[23, 'geek', 1.2, 'data']
(1, 2, 3, 'hello')
{1: 'one', 2: 'two', 3: 'three'}
{1, 2, 3, 4}

4. Operadores: Son los tokens encargados de realizar una operación en una expresión. Las variables sobre las que se aplica la operación se denominan operandos. Los operadores pueden ser unarios o binarios. Los operadores unarios son los que actúan sobre un solo operando como operador de complemento, etc. Mientras que los operadores binarios necesitan dos operandos para operar.

# Operators
a = 12
 
 # Unary operator
b = ~ a
 
# Binary operator
c = a+b  
 
# Driver code
print(b)
print(c)

-13
-1

5. Puntuadores: estos son los símbolos que se utilizan en Python para organizar las estructuras, declaraciones y expresiones. Algunos de los signos de puntuación son: [ ] { } ( ) @ -= += *= //= **== = , etc.