5.4.2 La lista de posiciones

Sin embargo, con las variables anteriores no es suficiente. La causa está en que una vez que ICEeditor cede el control al analizador sintáctico, éste no lo devuelve hasta que termina de analizar todo el texto (o la porción modificada incrementalmente, en su caso). Una forma de solucionar ésto es hacer que el analizador léxico vaya almacenando la posición de cada componente léxico en un lista enlazada, a la que ICEeditor podrá acceder una vez que el analizador sintáctico haya terminado su tarea.

Para ello hemos de definir los tipos de datos correspondientes y las funciones de manejo asociadas. El primer paso consiste en definir una estructura C en la cual se almacenará la información correspondiente a cada componente léxico individual. Esta estructurá recibirá el nombre de ITEM_TOKEN_INFO. Como se van a enlazar varios de estas estructuras en una lista, es conveniente definir un tipo TOKEN_INFO que sea un puntero a una de estas estructuras. Su función es hacer de puntero al primer elemento de la lista. Las definiciones en C se muestran a continuación:

typedef struct ITEM_TOKEN_INFO *TOKEN_INFO;
struct ITEM_TOKEN_INFO
{
    int token_line;
    int token_pos;
    int token_len;
    TOKEN_INFO_LIST next_item;
}

El siguiente paso consiste en definir un conjunto de funciones que permitan manejar cómodamente listas de tipo TOKEN_INFO. Utilizando una notación al estilo Lisp podemos definir las siguientes funciones:

• reset_token_info, cuya misión será la de vacíar la lista con la información posicional de los componentes léxicos. Para ello va recorriendo la lista y va liberando el espacio de memoria ocupado por cada elemento.
• is_empty_token_info, que informa de si una lista está vacía o no. Para ello es suficiente con determinar si el puntero de tipo TOKEN_INFO que apunta al primer elemento de la misma es igual a NULL.
• nextl_token_info, que elimina el primer elemento de la lista, liberando el espacio de memoria.
• nconc1_token_list, que añade un elemento al final de la lista. Para mejorar la eficiencia de esta función es aconsejable utilizar una variable global o estática que apunte al último elemento de la lista.
• create_item_token_info_list, es la función encargada de crear los elementos de tipo ITEM_TOKEN_INFO que forman parte de la lista de información de componentes léxicos.

Mediante el tipo TOKEN_INFO y las funciones asociadas disponemos de las herramientas necesarias para realizar el control de posición de los componentes léxicos en el reconocedor léxico.

Para facilitar el proceso de interacción entre LE-LISP y C, se definen las funciones siguientes, que permiten obtener por separado cada uno de los componentes del CAR de una lista con información posicional de los componentes léxicos:

• ncar_token_line, que obtiene el campo token_line.
• ncar_token_pos, que obtiene el campo token_pos.
• ncar_token_len, que obtiene el campo token_len.

Estas funciones no tienen argumentos, sino que acceden directamente a una variable global denominada token_info_list, toman el car de la lista a la que apunta mediante una llamada a CAR_TOKEN_INFO y recuperan el campo de interés, que será el resultado que devuelvan.

Una función adicional, llamada nextl_token_info_list, llama a NEXTL_TOKEN_INFO para eliminar el CAR de la lista de información. Comprueba si la lista resultante es vacía, en cuyo caso devuelve el valor 0. Si la lista no está vacía, devuelve el valor 1.