Tokenizador de texto en Python. Toma una cadena de entrada y la divide en tokens, que son unidades de texto separadas por espacios. Cada token se clasifica en una de las siguientes categorías: identificador (ID), número (NUMBER), espacio en blanco (SPACE), palabra reservada IF (RESERVED), palabra reservada INT (RESERVED), signo igual (EQUALS) o carácter no válido (INVALID). Si encuentra un carácter no válido, el tokenizador lanza un error de sintaxis pero continúa tokenizando el resto de la entrada.
Tokenizador de texto en Python. Toma una cadena de entrada y la divide en tokens, que son unidades de texto separadas por espacios. Cada token se clasifica en una de las siguientes categorías: identificador (ID), número (NUMBER), espacio en blanco (SPACE), palabra reservada IF (RESERVED), palabra reservada INT (RESERVED), signo igual (EQUALS) o carácter no válido (INVALID). Si encuentra un carácter no válido, el tokenizador lanza un error de sintaxis pero continúa tokenizando el resto de la entrada.