Puesta en marcha de un sistema de información para el seguimiento

13 de octubre de 2015 Evaluación y Desarrollo

Para la puesta en marcha de un sistema de seguimiento es necesario poner en funcionamiento un sistema de información y un sistema de autoevaluación.

Desarrollo del sistema de S&E durante la etapa de ejecución con la puesta en práctica del seguimiento

El sistema de información se constituye como pieza clave del mecanismo de integración en la etapa de ejecución. Ya desde el inicio del programa empieza el intercambio de información del programa al sistema de seguimiento. Se da continuidad así a la integración de las actividades de S&E en el programa.

El proyecto constituye la unidad de recogida de información por excelencia del sistema de información. Aunque luego haya varios niveles de reflexión a nivel actuación, medida, eje… es necesario recoger la máxima información de utilidad que a nivel proyecto se pueda conseguir. La principal ventaja de este sistema de información a nivel proyecto está en la cercanía del gestor a éste a la hora de aportar información. Cuando se realiza un ejercicio especial de evaluación es difícil contar con que los expertos evaluadores lleguen a conocer todos los proyectos. El que mejor los conoce es el encargado de gestionarlos y seguirlos, y es importante que llegue a sistematizar la recogida de los aspectos clave de los proyectos implementados.

Las tareas preparatorias para establecer el sistema de seguimiento servirán para detectar las deficiencias del sistema de información. Podrá ser necesario recurrir a asistencia técnica o a expertos independientes para solventar las posibles deficiencias y carencias, mejorar las condiciones generales de aplicación y aumentar la eficacia del seguimiento.

A su vez el mecanismo de aprendizaje a través de la autoevaluación produce continuas recomendaciones, como resultado de las reflexiones a nivel proyecto, medida, eje…una vez se ha ido agregando la información de los proyectos (o aportando nueva información en cada uno de estos niveles). Las recomendaciones han de ser asimiladas por el programa y garantizar así su contribución a un verdadero desarrollo de las potencialidades del territorio sobre el que actúa. Este flujo de recomendaciones garantiza la integración del programa en las actividades de seguimiento.

Exponemos a continuación el desarrollo del sistema de información que caracteriza parte de esta integración. Posteriormente, al hablar del aprendizaje, desarrollamos el segundo elemento clave del sistema de seguimiento: la autoevaluación.

Definición de las necesidades de información

El primer paso para la creación del sistema de información del seguimiento es definir la información mínima esencial que se recogerá a nivel de cada uno de los proyectos. Como se explicará más adelante en el apartado sobre el contenido del seguimiento, este sistema de información habrá de centrarse en el seguimiento físico y financiero y en el seguimiento del contacto con los beneficiarios.

Es difícil determinar estas necesidades de información debido, en parte, a que con mucha frecuencia los propios usuarios no han decidido lo que necesitan realmente. La experiencia habida en muchos programas muestra que los administradores describen los temas o cuestiones sólo en términos generales. Por lo tanto, los diseñadores del sistema de información deben tratar de ayudar a los gestores e identificar partidas específicas de información siguiendo los siguientes pasos:

Examen del programa y su contexto: El diseño del sistema de información debe incluir un examen del programa y de su contexto. Ha de hacerse un análisis del diagnóstico y de la jerarquía de los objetivos del programa con objeto de determinar las poblaciones consideradas como objetivo, las actividades críticas y las tareas que han de seguirse comparadas con los objetivos convenidos.
Identificación de prioridades: Después de este examen, el primer paso al diseñar un sistema de información consiste en identificar la prioridad de los usuarios (las personas encargadas de la gestión que realizarán el seguimiento y harán uso de ese sistema de información). La identificación de las necesidades de éstos requiere un marco para el diálogo que ha de sostenerse entre el usuario y el diseñador del sistema. La experiencia también indica que no debe utilizarse un marco conceptual elaborado por expertos externos con objeto de identificar necesidades de información. Los programas que no han incluido el diálogo necesario con los usuarios para identificar necesidades reales de su gestión diaria, o que han hecho meramente una estimación superficial de tales necesidades, han tendido a producir sistemas costosos que en gran parte no tienen conexión con las necesidades de los usuarios.
Selección de prioridades: Habida cuenta de los limitados recursos de personal, dinero y tiempo, es improbable que el sistema de información satisfaga plena y eficazmente las necesidades de todos los usuarios. Esto demanda que se asigne la máxima prioridad a las necesidades de seguimiento del personal del programa, después vienen las demandas de los organismos que supervisan y controlan. Los responsables del seguimiento deben definir, sobre la base de las prioridades y de la capacidad, la estructura del sistema de seguimiento y el grado de detalle necesario para poder satisfacer las necesidades de los diferentes grupos.

Diseño de un sistema de indicadores

El diseño del sistema de información ha de concretarse en la identificación de un sistema de indicadores. Estos indicadores deben informar a los gestores de los efectos a corto y largo plazo de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales del programa. Varios criterios se pueden emplear para la selección de indicadores de calidad (Comisión UE, 2004; Innes & Boother, 2000):

Se puede cuantificar a intervalos regulares con una frecuencia adecuada al programa. Teniendo en cuenta que tener un número no significa necesariamente el tener un buen indicador. El problema no consiste solamente en completar o reducir el número de indicadores, sino en la dificultad de los sistemas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas.
Puede utilizarse poco tiempo después de la recogida de los datos sobre los cuales se ha construido.
Es directo y no da pie a ambigüedades. Se puede comprobar su sensibilidad y fiabilidad en relación con los fenómenos a medir.
Permite comparaciones entre las medidas del programa, y con otros programas o grupos de destinatarios.
Es transparente y no puede ser manipulado para mostrar logros donde no existen.
Su obtención. Los indicadores deben ser identificados por participación. Deben ser desarrollados con la participación de aquellos que los usarán y aprenderán de ellos, pues solo serán realmente útiles si se convierten en parte de su modo de pensar.

Un seguimiento eficaz exige la elaboración de indicadores de realizaciones en relación con todas o la mayor parte de las medidas. No obstante, en lo que se refiere a los indicadores de resultados y de impacto puede admitirse un enfoque algo más selectivo. Los indicadores han de ser escogidos de forma que al final podamos contar con un sistema en el que podamos identificar:

Indicadores clave o marco: Unos pocos indicadores globales de medidas que reflejen los valores centrales de la intervención. Han de ser cuidadosamente diseñados, claramente visibles, participados y consensuados y deben ayudar a enmarcar la intervención y a señalar la dirección en la cual se quiere avanzar. Con la idea clara de que los indicadores no son respuestas sino el punto de partida para la discusión.
Indicadores de gestión: Un número mayor de indicadores que reflejen las principales actividades y resultados para los encargados de la gestión y seguimiento. Han de ayudar al diseño y rediseño (en caso de que no avancen en la dirección deseada) de la intervención, al mantenimiento de la eficacia, a diagnosticar la causa de los problemas, a realizar ajustes, a fijar prioridades y a responder a los cambios que se produzcan. Dada la gran importancia de la distribución territorial en el desarrollo es conveniente el uso de los sistemas de información geográfica en los indicadores.
Indicadores rápidos de retroalimentación para todos los implicados en la intervención de forma que supongan una ayuda en su toma de decisiones diaria sobre sus propias acciones y a hacer un mejor uso sobre los recursos disponibles. El acceso individual a mejor y más puntual información es crucial en el proceso de desarrollo. Se trata de actuar con la mayor información disponible y poder escoger lo más conveniente. Una de las principales tareas aquí es la exploración de las oportunidades que ofrecen las nuevas tecnologías de la información y tratar de utilizarlas en la medida de lo posible.

Una vez escogidos los indicadores, se recomiendan cuatro grandes criterios para comprobar la calidad del sistema de indicadores diseñado:

Una buena cobertura del programa completo.
Un buen equilibrio entre productos, resultados e impactos.
Pragmatismo en lo relativo a las cifras.
Pertinencia, es decir, una selección de indicadores que toman en cuenta la importancia estratégica y operativa de la información. El sistema de indicadores debe facilitar información dirigida a mejorar la calidad y la eficacia de la intervención.

Elaboración de una base de datos y recogida de información

Para el manejo y organización de esta información se hace necesaria la realización de una base de datos diseñada especialmente para cada programa y de fácil manejo para el personal que ha de operar con ella.

La recogida de la información en la base de datos ha de verse facilitada por la redacción de documentos: los cuestionarios para la petición de ayudas, las memorias de los trabajos para la selección de las subvenciones, los informes sobre las visitas de campo y la elaboración de fichas para el seguimiento de cada beneficiario. De una manera más informal – pero no por ello menos importante – está el continuo contacto con los beneficiarios en el día a día del programa.

Cuestionarios para la petición de ayudas

En el cuestionario para la petición de ayudas los beneficiarios potenciales del programa deben aportar sus datos personales, datos sobre la localización del proyecto, la descripción del mismo y sus objetivos, distribución de los gastos según medidas y el resto de ayudas públicas que se hubiesen solicitado. También ha de aportar la documentación y justificantes que sean precisos y el compromiso de cumplir los requisitos del programa para la concesión de una subvención. Se ha de aprovechar el cuestionario para la obtención de indicadores iniciales de tipo físico, económico y social y todo tipo de observaciones e información adicional para complementar la valoración del proyecto.

Memoria explicativa de los trabajos para la selección de subvenciones

Las herramientas utilizadas para la selección de las subvenciones han de evitar, en la medida de lo posible, apreciaciones subjetivas a la hora de conceder las ayudas, racionalizando y sistematizando el proceso de selección. También han de facilitar la función de control por las administraciones encargadas del programa y la autoevaluación del propio grupo.

El primer paso es la selección de unos criterios de decisión definidos y consensuados por todos los implicados en el programa de acuerdo con los objetivos y filosofía del programa. El segundo paso es la ponderación de los criterios en función de su grado de prioridad adjuntándoles un coeficiente de ponderación (normalmente tres, uno para prioridad muy alta, otro para la alta y otro para la prioridad normal).

Cada proyecto susceptible de recibir ayuda debe ser valorado con cada uno de los criterios establecidos. Esta valoración es definida según la repercusión del proyecto sobre cada uno de los criterios. Pueden establecerse cinco niveles de valoración: muy positivo, positivo, normal, negativo y muy negativo.

Es importante que el análisis de la subvencionabilidad se agilice haciéndolo de forma informatizada como puede ser una hoja de cálculo (Excel en entorno de Windows por ejemplo). Las únicas celdas a modificar serán las correspondientes a las valoraciones de cada criterio (y al máximo de subvención con cargo al programa establecido para el proyecto en caso de ser necesario). La hoja ha de estar diseñada para el cálculo automático de la valoración y subvención final para el proyecto.

Cada evaluación multicriterio realizada debe ser completada con una breve memoria explicativa con objeto de aclarar las valoraciones dadas a cada criterio.

Informes de las visitas de seguimiento

En las visitas de campo a los proyectos subvencionados se ha de constatar que las condiciones que llevaron a la selección del proyecto siguen siendo vigentes. Se ha de comprobar que el proyecto no ha cambiado de localización y se han mantenido las inversiones. Datos de interés son las posibles renovaciones, la ampliación o reducción de la inversión, horario de funcionamiento, mantenimiento de empleos, principales problemas o potencialidades detectadas y todo tipo de observación que se considere de interés.

Estas visitas han de dar lugar a un informe donde se ha de recoger toda esta información, junto con la fecha y lugar de la visita, título del proyecto y promotor junto con el nombre de las personas presentes en la visita. Es recomendable que el informe esté tipificado y el informe se realice con facilidad rellenando las casillas en blanco dejadas al efecto.

Fichas para el seguimiento de cada beneficiario

La sede administrativa del programa ha de contar con una ficha de seguimiento de cada uno de los beneficiarios del programa que vaya recogiendo las principales incidencias con cada uno de ellos. Es importante que esta información se informatice y pase a la base de datos del sistema de información.

Seguimiento informal

Aunque no se recoja en ningún tipo de informe de manera oficial, el seguimiento informal de los beneficiarios y del resto de la población afectada por parte del equipo de seguimiento se considerada esencial. Muchas veces constituye la fuente para una más adecuada valoración de los proyectos y de los beneficiarios. La fuente para detectar malestares entre la población o por el contrario una actitud de satisfacción hacia el programa.

Referencias citadas:

Comisión UE (2004). Indicadores comunes para el seguimiento de la programación de desarrollo rural 2000-2006. Dirección General VI de Agricultura, Bruselas.

Innes, J.E. & Boother, D.E. (2000). Indicators for sustainable communities. A strategy building on complexity theory and distributed intelligence. Planning Theory & Practice, 1(2), 173-186.