5.4.1 Las variables de control de posición

El analizador léxico, a medida que va reconociendo los caracteres, debe mantener un conjunto de variables que permitan establecer un control exhaustivo sobre la posición en la que se encuentra cada componente léxico en el texto que está siendo analizado. Para cada componente léxico, es necesario conocer la posición de comienzo y su longitud. En la posición se debe indicar tanto el número de línea como la posición dentro de esa línea. Conforme a esto, es presiso definir las siguiente variables:

• token_line, que almacenará el número de la línea en la que comienza la palabra que está siendo actuamente sometida a análisis.
• token_pos, que guarda la posición, dentro de la línea indicada por la variables anterior, en la que comienza la palabra que está siendo analizada.
• token_len, que almacena la longitud del texto correspondiente al token reconocido.

La principal diferencia de tratamiento que van a recibir estas variables estriba en que las dos primeras establecen sus valores nada más comenzar a reconocerse una palabra, mientras que la tercera debe esperar al final del reconocimiento del componente léxico, para poder fijar su valor al de la longitud del texto almacenado en yytext.