Token ( inglés token ) es un objeto creado a partir de un lexema en proceso de análisis léxico (“tokenization”, del inglés tokenizing ).
En la programación de aplicaciones, el concepto de token y su token no pueden diferir.
Una plantilla de token es una descripción formal de la clase de tokens que pueden crear un tipo de token determinado.
| tipo de token | ejemplos de fichas | descripción |
|---|---|---|
| número | 257 | número |
| identificación | Ident951 | identificador |
| volver a colocar | <= | operación de relación |
| cuerda | "Símbolo" | constante minúscula |