Inicio » ¿Cómo se diseñan evaluaciones? » El seguimiento en la etapa de ejecución de los programas
Archivos de la categoría: El seguimiento en la etapa de ejecución de los programas
Puesta en marcha de un sistema de autoevaluación para el seguimiento
Después de abordar la puesta en marcha de un sistema de información, abordamos a continuación el segundo elemento fundamental con el que ha de contar el seguimiento: el sistema de autoevaluación. Al introducir la autoevaluación, hay que tener cuidado y asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El apoyo logrado debe verificar la calidad del proceso y ha de permitir comprender mejor los aspectos financieros y relacionados con la gestión. Un buen sistema de autoevaluación debe contar con tres características:
- Este tipo de evaluación se refiere a un proceso continuo y no a ejercicios especiales. Proporciona información retroactiva constante al administrador a fin de que se puedan adoptar medidas correctivas.
- Consiste en ejercicios sencillos internos que no suponen mucha recopilación de datos. Las evaluaciones sobre la marcha se basan invariablemente en los productos del sistema de información del seguimiento.
- La evaluación acentúa principalmente las recomendaciones prácticas que surgen del programa.
La autoevaluación permite analizar las últimas actividades y preparar mejor el futuro. Por su proximidad al terreno, la autoevaluación pone de relieve tanto los elementos más visibles y fácilmente objetivables como aspectos poco visibles que en general son poco reconocidos o puestos de relieve por una evaluación externa, en particular, los aspectos cualitativos e inmateriales. Las ventajas de efectuar una evaluación sobre la marcha son obvias:
- En primer lugar proporciona información retroactiva sistemática a los administradores de programas y de este modo facilita la integración del seguimiento en el programa.
- En segundo término, toda vez que la evaluación sobre la marcha corre a cargo del propio personal del programa para consideración interna, el personal tiene un motivo poderoso para estimar objetivamente los puntos débiles y fuertes del programa; no necesitan mostrarse defensivos ni evasivos acerca de su progreso.
- En tercer lugar, dado que el personal tiene un convencimiento íntimo de las actividades del programa, las recomendaciones que se derivan del proceso de evaluación deben ser prácticas y pertinentes. Es más probable que los administradores las lleven a la práctica que las recomendaciones de gentes de fuera, quienes pueden creer que no comprenden sus problemas ni aprecian sus perspectivas.
Ahora bien, una evaluación sobre la marcha no es un sustituto de las evaluaciones externas llevadas a cabo en las distintas etapas de una intervención. Es, eso sí, un buen complemento y en gran parte, su fundamento.
Relación entre el sistema de información y la autoevaluación
La relación entre el sistema de información y la autoevaluación constituye un engranaje fundamental dentro de un sistema de seguimiento para la consecución del aprendizaje sobre la marcha durante la etapa de ejecución. Los datos obtenidos a través del sistema de información pueden convertirse en conocimiento útil a través de la autoevaluación. La difusión de conclusiones y recomendaciones derivadas de esta autoevaluación posibilita el aprendizaje, tanto de la población como del equipo que gestiona, sigue y evalúa el programa.
El sistema de información y la autoevaluación han de estar diseñados uno en función del otro, de manera que en el sistema de información se incluyen casi todos los campos cubiertos por una evaluación interna sobre la marcha. En realidad, la línea divisoria de ambos es muy tenue, no es posible decir dónde se detiene el sistema de información y comienza la autoevaluación. Cualquier diferencia entre estos dos conceptos, muchas veces es meramente de énfasis. El sistema de información tiende a enfocarse más en las cuestiones de ejecución del programa, en tanto que la evaluación sobre la marcha aborda los resultados probables de las intervenciones.
Relación entre el sistema de información y la autoevaluación
Verificación y utilización de las recomendaciones
Las conclusiones que se vayan extrayendo de la autoevaluación han de ser verificadas y utilizadas. Un problema importante para diseñar un sistema de seguimiento es que los funcionarios u organizaciones que tienen acceso original a la información se muestran reacios a menudo a cotejarla y difundirla. Hay una tendencia consciente e inconsciente a pasar por alto información que advierte que hay un desempeño deficiente o bien a exagerar hechos positivos. También está el temor a que la información pueda ser utilizada en contra de los trabajadores. En la medida en que el personal del programa suministra información al sistema global, se ha de hacer hincapié en que esa información debe ser verificable y registrada de manera objetiva. Los datos tendenciosos pueden ser más perjudiciales para el sistema que un vacío, que se puede llenar más tarde mediante la recopilación directa de datos.
Por esta razón se hace hincapié en la palabra “interno” de manera que la información tenga un uso interno antes de su difusión. A nivel interno, dentro de la propia administración del programa se reduce enormemente esta tendencia a pasar por alto información. A nivel interno pueden ponerse sobre la mesa todos los problemas para poder buscar una solución, la realidad tal y como está siendo. No un dar cuentas sino un buscar soluciones. No un demostrar que se hacen bien las cosas sino hacerlas de hecho.
Intervención y especificación de metas
Por último se hace necesario definir el modelo de intervención del seguimiento y especificar metas para un eficaz uso de las recomendaciones de la autoevaluación por parte del equipo de gestión. En la ejecución de programas, el progreso hacia el logro de objetivos a corto plazo se mide por la consecución de metas para la conclusión del programa y por la adopción de servicios por la población señalada como objetivo a diversos intervalos.
Algunas de esas metas se especifican en los documentos de evaluación previa del programa, pero otras es necesario elaborarlas en la etapa de ejecución, en particular en el contexto de la preparación de los planes y presupuestos anuales. En los documentos de evaluación previa, algunas metas, aunque cuantificadas, puede que no sean fáciles de verificar a corto plazo. Una meta cuantificada que se pueda verificar con carácter regular y sin demora como parte del proceso de seguimiento, se denomina una meta verificable. Es importante que estas metas, se expresen con referencia a la población beneficiaria prevista y sus grupos de interés.
El sistema de seguimiento se fundamenta en un modelo de intervención –ya sea explícito o no– que explica la relación existente entre éste y el programa, entre las recomendaciones derivadas del seguimiento y el programa. Esta conexión proporciona continua supervisión del programa con la mira puesta en avanzar de las condiciones existentes hacia el estado deseado.
Redacción de informes: el enlace entre el seguimiento y el control
Es necesario definir en qué forma se transmitirá la información. El sistema de información deber ser un proceso de participación conjunta en el que intervenga cada nivel de administración. Su participación activa no sólo estimula a crear un diseño más representativo y que se ajusta más a las necesidades reales, sino que también establece redes de comunicaciones y relaciones que pueden contribuir más tarde a la difusión más amplia y la utilización más provechosa de las comprobaciones y recomendaciones del proceso de seguimiento.
El seguimiento realizado ha de finalizar con la redacción de los informes de seguimiento, recopilación de toda la supervisión realizada hasta el momento de su redacción. Estos informes suponen el suministro –más o menos continuo– de información al sistema global por parte de la administración del programa. Se trata de informes de redacción sencilla que han de contener lo esencial de los hallazgos, haciendo uso de anexos y apéndices en caso de querer extenderse a mayores detalles.
Las administraciones que actúan a cada nivel deben enviar informes periódicos a sus superiores. La redacción de informes durante la etapa de ejecución supone el enlace formal entre la supervisión realizada por el equipo de seguimiento del programa y el control realizado por las autoridades permanentes. Todos los informes realizados por el equipo de seguimiento sirven de base para la realización de los controles y de los informes de control.
El objetivo de estos informes es informar sobre la marcha de los dos principales contenidos del seguimiento, los datos físicos y financieros y las relaciones con los beneficiarios. Principales incidencias, decisiones tomadas, resultados obtenidos… datos que han de ir acompañados de cuadros y tablas que aclaren el mensaje que se desea transmitir e ilustren los puntos sobre los que se desea hacer hincapié.
En el caso de todas las intervenciones plurianuales es conveniente la presentación de informes de seguimiento y control cada año. En los informes se presentarán de forma pormenorizada los progresos de la ejecución de la intervención durante el año anterior. Estos informes se deben elaborar sobre la base de los siguientes elementos:
- Datos sobre el contexto de ejecución de la intervención.
- Progresos realizados en la consecución de las prioridades y objetivos específicos de las medidas y, en su caso, los progresos efectuados en los grandes proyectos, demostrados cuantitativamente mediante los indicadores de seguimiento adoptados al efecto.
- Ejecución financiera de la intervención a nivel de la medida, sobre la base de indicadores cuantificados.
Un aspecto importante para facilitar la transmisión de la información es su informatización. La base de datos creada para el seguimiento ha de permitir emitir los informes de una manera sencilla y rápida en cualquier momento en que se necesiten.
About Carlos Plaza
Puesta en marcha de un sistema de información para el seguimiento
Para la puesta en marcha de un sistema de seguimiento es necesario poner en funcionamiento un sistema de información y un sistema de autoevaluación.
Desarrollo del sistema de S&E durante la etapa de ejecución con la puesta en práctica del seguimiento
El sistema de información se constituye como pieza clave del mecanismo de integración en la etapa de ejecución. Ya desde el inicio del programa empieza el intercambio de información del programa al sistema de seguimiento. Se da continuidad así a la integración de las actividades de S&E en el programa.
El proyecto constituye la unidad de recogida de información por excelencia del sistema de información. Aunque luego haya varios niveles de reflexión a nivel actuación, medida, eje… es necesario recoger la máxima información de utilidad que a nivel proyecto se pueda conseguir. La principal ventaja de este sistema de información a nivel proyecto está en la cercanía del gestor a éste a la hora de aportar información. Cuando se realiza un ejercicio especial de evaluación es difícil contar con que los expertos evaluadores lleguen a conocer todos los proyectos. El que mejor los conoce es el encargado de gestionarlos y seguirlos, y es importante que llegue a sistematizar la recogida de los aspectos clave de los proyectos implementados.
Las tareas preparatorias para establecer el sistema de seguimiento servirán para detectar las deficiencias del sistema de información. Podrá ser necesario recurrir a asistencia técnica o a expertos independientes para solventar las posibles deficiencias y carencias, mejorar las condiciones generales de aplicación y aumentar la eficacia del seguimiento.
A su vez el mecanismo de aprendizaje a través de la autoevaluación produce continuas recomendaciones, como resultado de las reflexiones a nivel proyecto, medida, eje…una vez se ha ido agregando la información de los proyectos (o aportando nueva información en cada uno de estos niveles). Las recomendaciones han de ser asimiladas por el programa y garantizar así su contribución a un verdadero desarrollo de las potencialidades del territorio sobre el que actúa. Este flujo de recomendaciones garantiza la integración del programa en las actividades de seguimiento.
Exponemos a continuación el desarrollo del sistema de información que caracteriza parte de esta integración. Posteriormente, al hablar del aprendizaje, desarrollamos el segundo elemento clave del sistema de seguimiento: la autoevaluación.
Definición de las necesidades de información
El primer paso para la creación del sistema de información del seguimiento es definir la información mínima esencial que se recogerá a nivel de cada uno de los proyectos. Como se explicará más adelante en el apartado sobre el contenido del seguimiento, este sistema de información habrá de centrarse en el seguimiento físico y financiero y en el seguimiento del contacto con los beneficiarios.
Es difícil determinar estas necesidades de información debido, en parte, a que con mucha frecuencia los propios usuarios no han decidido lo que necesitan realmente. La experiencia habida en muchos programas muestra que los administradores describen los temas o cuestiones sólo en términos generales. Por lo tanto, los diseñadores del sistema de información deben tratar de ayudar a los gestores e identificar partidas específicas de información siguiendo los siguientes pasos:
- Examen del programa y su contexto: El diseño del sistema de información debe incluir un examen del programa y de su contexto. Ha de hacerse un análisis del diagnóstico y de la jerarquía de los objetivos del programa con objeto de determinar las poblaciones consideradas como objetivo, las actividades críticas y las tareas que han de seguirse comparadas con los objetivos convenidos.
- Identificación de prioridades: Después de este examen, el primer paso al diseñar un sistema de información consiste en identificar la prioridad de los usuarios (las personas encargadas de la gestión que realizarán el seguimiento y harán uso de ese sistema de información). La identificación de las necesidades de éstos requiere un marco para el diálogo que ha de sostenerse entre el usuario y el diseñador del sistema. La experiencia también indica que no debe utilizarse un marco conceptual elaborado por expertos externos con objeto de identificar necesidades de información. Los programas que no han incluido el diálogo necesario con los usuarios para identificar necesidades reales de su gestión diaria, o que han hecho meramente una estimación superficial de tales necesidades, han tendido a producir sistemas costosos que en gran parte no tienen conexión con las necesidades de los usuarios.
- Selección de prioridades: Habida cuenta de los limitados recursos de personal, dinero y tiempo, es improbable que el sistema de información satisfaga plena y eficazmente las necesidades de todos los usuarios. Esto demanda que se asigne la máxima prioridad a las necesidades de seguimiento del personal del programa, después vienen las demandas de los organismos que supervisan y controlan. Los responsables del seguimiento deben definir, sobre la base de las prioridades y de la capacidad, la estructura del sistema de seguimiento y el grado de detalle necesario para poder satisfacer las necesidades de los diferentes grupos.
Diseño de un sistema de indicadores
El diseño del sistema de información ha de concretarse en la identificación de un sistema de indicadores. Estos indicadores deben informar a los gestores de los efectos a corto y largo plazo de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales del programa. Varios criterios se pueden emplear para la selección de indicadores de calidad (Comisión UE, 2004; Innes & Boother, 2000):
- Se puede cuantificar a intervalos regulares con una frecuencia adecuada al programa. Teniendo en cuenta que tener un número no significa necesariamente el tener un buen indicador. El problema no consiste solamente en completar o reducir el número de indicadores, sino en la dificultad de los sistemas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas.
- Puede utilizarse poco tiempo después de la recogida de los datos sobre los cuales se ha construido.
- Es directo y no da pie a ambigüedades. Se puede comprobar su sensibilidad y fiabilidad en relación con los fenómenos a medir.
- Permite comparaciones entre las medidas del programa, y con otros programas o grupos de destinatarios.
- Es transparente y no puede ser manipulado para mostrar logros donde no existen.
- Su obtención. Los indicadores deben ser identificados por participación. Deben ser desarrollados con la participación de aquellos que los usarán y aprenderán de ellos, pues solo serán realmente útiles si se convierten en parte de su modo de pensar.
Un seguimiento eficaz exige la elaboración de indicadores de realizaciones en relación con todas o la mayor parte de las medidas. No obstante, en lo que se refiere a los indicadores de resultados y de impacto puede admitirse un enfoque algo más selectivo. Los indicadores han de ser escogidos de forma que al final podamos contar con un sistema en el que podamos identificar:
- Indicadores clave o marco: Unos pocos indicadores globales de medidas que reflejen los valores centrales de la intervención. Han de ser cuidadosamente diseñados, claramente visibles, participados y consensuados y deben ayudar a enmarcar la intervención y a señalar la dirección en la cual se quiere avanzar. Con la idea clara de que los indicadores no son respuestas sino el punto de partida para la discusión.
- Indicadores de gestión: Un número mayor de indicadores que reflejen las principales actividades y resultados para los encargados de la gestión y seguimiento. Han de ayudar al diseño y rediseño (en caso de que no avancen en la dirección deseada) de la intervención, al mantenimiento de la eficacia, a diagnosticar la causa de los problemas, a realizar ajustes, a fijar prioridades y a responder a los cambios que se produzcan. Dada la gran importancia de la distribución territorial en el desarrollo es conveniente el uso de los sistemas de información geográfica en los indicadores.
- Indicadores rápidos de retroalimentación para todos los implicados en la intervención de forma que supongan una ayuda en su toma de decisiones diaria sobre sus propias acciones y a hacer un mejor uso sobre los recursos disponibles. El acceso individual a mejor y más puntual información es crucial en el proceso de desarrollo. Se trata de actuar con la mayor información disponible y poder escoger lo más conveniente. Una de las principales tareas aquí es la exploración de las oportunidades que ofrecen las nuevas tecnologías de la información y tratar de utilizarlas en la medida de lo posible.
Una vez escogidos los indicadores, se recomiendan cuatro grandes criterios para comprobar la calidad del sistema de indicadores diseñado:
- Una buena cobertura del programa completo.
- Un buen equilibrio entre productos, resultados e impactos.
- Pragmatismo en lo relativo a las cifras.
- Pertinencia, es decir, una selección de indicadores que toman en cuenta la importancia estratégica y operativa de la información. El sistema de indicadores debe facilitar información dirigida a mejorar la calidad y la eficacia de la intervención.
Elaboración de una base de datos y recogida de información
Para el manejo y organización de esta información se hace necesaria la realización de una base de datos diseñada especialmente para cada programa y de fácil manejo para el personal que ha de operar con ella.
La recogida de la información en la base de datos ha de verse facilitada por la redacción de documentos: los cuestionarios para la petición de ayudas, las memorias de los trabajos para la selección de las subvenciones, los informes sobre las visitas de campo y la elaboración de fichas para el seguimiento de cada beneficiario. De una manera más informal – pero no por ello menos importante – está el continuo contacto con los beneficiarios en el día a día del programa.
Cuestionarios para la petición de ayudas
En el cuestionario para la petición de ayudas los beneficiarios potenciales del programa deben aportar sus datos personales, datos sobre la localización del proyecto, la descripción del mismo y sus objetivos, distribución de los gastos según medidas y el resto de ayudas públicas que se hubiesen solicitado. También ha de aportar la documentación y justificantes que sean precisos y el compromiso de cumplir los requisitos del programa para la concesión de una subvención. Se ha de aprovechar el cuestionario para la obtención de indicadores iniciales de tipo físico, económico y social y todo tipo de observaciones e información adicional para complementar la valoración del proyecto.
Memoria explicativa de los trabajos para la selección de subvenciones
Las herramientas utilizadas para la selección de las subvenciones han de evitar, en la medida de lo posible, apreciaciones subjetivas a la hora de conceder las ayudas, racionalizando y sistematizando el proceso de selección. También han de facilitar la función de control por las administraciones encargadas del programa y la autoevaluación del propio grupo.
El primer paso es la selección de unos criterios de decisión definidos y consensuados por todos los implicados en el programa de acuerdo con los objetivos y filosofía del programa. El segundo paso es la ponderación de los criterios en función de su grado de prioridad adjuntándoles un coeficiente de ponderación (normalmente tres, uno para prioridad muy alta, otro para la alta y otro para la prioridad normal).
Cada proyecto susceptible de recibir ayuda debe ser valorado con cada uno de los criterios establecidos. Esta valoración es definida según la repercusión del proyecto sobre cada uno de los criterios. Pueden establecerse cinco niveles de valoración: muy positivo, positivo, normal, negativo y muy negativo.
Es importante que el análisis de la subvencionabilidad se agilice haciéndolo de forma informatizada como puede ser una hoja de cálculo (Excel en entorno de Windows por ejemplo). Las únicas celdas a modificar serán las correspondientes a las valoraciones de cada criterio (y al máximo de subvención con cargo al programa establecido para el proyecto en caso de ser necesario). La hoja ha de estar diseñada para el cálculo automático de la valoración y subvención final para el proyecto.
Cada evaluación multicriterio realizada debe ser completada con una breve memoria explicativa con objeto de aclarar las valoraciones dadas a cada criterio.
Informes de las visitas de seguimiento
En las visitas de campo a los proyectos subvencionados se ha de constatar que las condiciones que llevaron a la selección del proyecto siguen siendo vigentes. Se ha de comprobar que el proyecto no ha cambiado de localización y se han mantenido las inversiones. Datos de interés son las posibles renovaciones, la ampliación o reducción de la inversión, horario de funcionamiento, mantenimiento de empleos, principales problemas o potencialidades detectadas y todo tipo de observación que se considere de interés.
Estas visitas han de dar lugar a un informe donde se ha de recoger toda esta información, junto con la fecha y lugar de la visita, título del proyecto y promotor junto con el nombre de las personas presentes en la visita. Es recomendable que el informe esté tipificado y el informe se realice con facilidad rellenando las casillas en blanco dejadas al efecto.
Fichas para el seguimiento de cada beneficiario
La sede administrativa del programa ha de contar con una ficha de seguimiento de cada uno de los beneficiarios del programa que vaya recogiendo las principales incidencias con cada uno de ellos. Es importante que esta información se informatice y pase a la base de datos del sistema de información.
Seguimiento informal
Aunque no se recoja en ningún tipo de informe de manera oficial, el seguimiento informal de los beneficiarios y del resto de la población afectada por parte del equipo de seguimiento se considerada esencial. Muchas veces constituye la fuente para una más adecuada valoración de los proyectos y de los beneficiarios. La fuente para detectar malestares entre la población o por el contrario una actitud de satisfacción hacia el programa.
Referencias citadas:
Comisión UE (2004). Indicadores comunes para el seguimiento de la programación de desarrollo rural 2000-2006. Dirección General VI de Agricultura, Bruselas.
Innes, J.E. & Boother, D.E. (2000). Indicators for sustainable communities. A strategy building on complexity theory and distributed intelligence. Planning Theory & Practice, 1(2), 173-186.
About Carlos Plaza
Contenido del seguimiento: La aplicación y gestión de los programas
El contenido del seguimiento de un programa ha de estar centrado en su aplicación y gestión. Ha de ir comprobando el cumplimiento de la programación prevista, que los resultados son aceptables y que lo que se previó era lo más adecuado.
Contenido de seguimiento en la etapa de ejecución
Sin embargo, el estar centrado en este aspecto que conecta la lógica de intervención del programa con los resultados que se van obteniendo, le obliga a ir analizando estos resultados y volver sobre la lógica de intervención para analizar las causas de lo que pueda no estar funcionando. Esto supone un continuo aprendizaje que resulta de la puesta en práctica de lo que en un principio se conocía solamente en un plano teórico.
Aspectos concretos que son analizados de la aplicación del programa son la eficiencia y la eficacia, comprobando el logro sobre la marcha de unos niveles aceptables de ambos aspectos. Este examen es más riguroso en la evaluación intermedia, aunque las conclusiones finales sobre la eficiencia y eficacia del programa no se podrán dar hasta la etapa de terminación donde contaremos con la evaluación final.
Para el seguimiento de la aplicación y gestión, el seguimiento cuenta con dos contenidos fundamentales: la información física y financiera y las relaciones con los beneficiarios.
Seguimiento físico y financiero
El seguimiento coordinado de la información física y financiera es esencial para la ejecución y operación eficiente de todo programa. Esta parte del sistema de información y su uso debe reconocerse como la base para el desarrollo de la función completa del seguimiento.
Los datos físicos y financieros deben consistir principalmente en cantidades directas físicas y financieras para cada actividad. Los indicadores representativos apenas tienen lugar en este aspecto del seguimiento, aunque los porcentajes pueden ser útiles, en particular en lo que se refiere a fondos asignados de hecho gastados comparados con los totales presupuestados.
Ambos datos –físicos y financieros– han de estar relacionados, para asegurar el logro de los objetivos a costos reales aceptables.
Seguimiento del contacto con el beneficiario
Este seguimiento es la clave para que el seguimiento global del programa resulte un éxito. El seguimiento físico y financiero mide en general la provisión y suministro de servicios e insumos del programa. Pero los gestores de programas también necesitan saber si están aceptándose los servicios y cómo están integrándose en la zona de aplicación y en los diferentes sectores de población.
A medida que se va ejecutando un programa, las percepciones de sus futuros beneficiarios conducen a una creciente demanda de sus servicios o bien a que se vean fuera de propósito. Si los beneficiarios tienen incentivos diferentes de los que sustentan el programa, importa poco cuáles son los más sensatos desde el punto de vista financiero.
En el personal de seguimiento recae la responsabilidad primaria de iniciar y mantener contactos con los beneficiarios y de mantener bien organizados los registros del programa. Este personal también coteja y resume los datos derivados del seguimiento físico y financiero y más tarde integra esos datos a la información acerca de las reacciones de los beneficiarios.
En ambos seguimientos la elección de indicadores apropiados que se van a medir es crucial para establecer un seguimiento eficaz de las realizaciones del programa y las reacciones de los beneficiarios. Indicadores impropios pueden predestinar el fracaso a un sistema de información. Además, el fracaso se ratifica cuando los administradores eligen todos los indicadores que se les ocurren o aparecen en las listas de varios principios guía. A medida que se alarga la lista así también sucede con el número de indicadores impropios.
About Carlos Plaza
El seguimiento por proyectos
Los evaluadores entienden el valor de las actividades de evaluación en los niveles locales y rurales, y por ello es necesario el seguimiento. Las actividades de seguimiento son de trascendental importancia para el control de cualquier programa por parte del personal responsable de su ejecución. Cuenta con dos instrumentos característicos principales: el sistema de información y la autoevaluación o evaluación continua sobre la marcha. La base a través de la cual se realiza el seguimiento son típicamente los proyectos.
El sistema de seguimiento ha de quedar definido en la etapa de diseño. La evaluación previa ha debido de asegurar las disposiciones para la construcción, mantenimiento y uso de un sistema de información y un mecanismo de autoevaluación, y poner así las bases para el correcto funcionamiento del equipo de seguimiento. Se aborda aquí el diseño del sistema de seguimiento dando unas pautas generales, los diseños precisos para la creación de sistemas de información y autoevaluación pueden diferir de un programa a otro según los objetivos, la índole y el ambiente del programa. No es posible dar un enfoque detallado estandarizado para cualquier programa.
Las características de integración, participación y aprendizaje iniciados en la etapa de diseño tienen su continuidad en la etapa de ejecución a través del sistema de seguimiento. Dicho sistema ha de ser flexible, de modo que una vez detallado en la etapa de evaluación previa puede ser modificado durante la ejecución y poder reaccionar así ante nuevos problemas y oportunidades. Aunque las rectificaciones en la etapa de ejecución son más difíciles que en a etapa de diseño, el concepto operativo central es el de aprender sobre la marcha, y para ello es indispensable la capacidad de observar el funcionamiento del programa. No obstante se puede puntualizar aquello que consideramos debe caracterizar a todo buen sistema de seguimiento.
La Integración
La integración sigue la misma dinámica indicada para la etapa de diseño y la evaluación previa. Simplemente recalcar el papel de esta integración entre el seguimiento y la evaluación intermedia que se realizan en esta etapa de ejecución del programa. Esta evaluación, como la final, tiene como base al sistema de seguimiento del que toma parte de la información que necesita. La mayor profundidad de análisis de los ejercicios de evaluación puede detectar la necesidad de modificar algunos aspectos del sistema de seguimiento. En tal caso, estas necesidades se concretan a modo de recomendaciones. Así se produce la integración mutua entre el sistema de seguimiento y los ejercicios especiales de evaluación.
La Participación
La participación tiene su papel –al igual que en la etapa de diseño aunque con los matices propios de esta nueva etapa de ejecución– en el sistema de información, en la autoevaluación y aprendizaje y en la dinamización de la población. El proceso de participación permite realizar el seguimiento de los proyectos llevados a cabo, que no pueden ser bien evaluados si no han sido seguidos a lo largo de su ciclo de vida.
La Participación como fuente de información
La participación local constituye una fuente de información fundamental para la continua mejora del programa y de su sistema de seguimiento. La participación de la población en el seguimiento ha de quedar reflejada en el sistema de información. A través de ésta supone una fuente de aprendizaje de dónde se extraen las recomendaciones y conclusiones que pueden ser contrastadas con otros datos que también vayan llegando del sistema de información.
Es fundamental el seguimiento de los beneficiarios de la intervención como medio de hacerse una idea completa de los proyectos en los que se basa nuestro seguimiento. Para mantenerse informado de las actitudes de los beneficiarios y de la marcha de los proyectos es necesario:
- Mantener registros (como los vistos en la recogida de información) con respecto a cada participante y analizar éstos de manera periódica para seguir la penetración del servicio y el establecimiento de una clientela.
- Establecer un calendario regular de visitas para analizar las reacciones de los beneficiarios
- Aprovechar el proceso de participación de la evaluación intermedia.
La Participación como fuente de aprendizaje
La autoevaluación supone la principal herramienta de aprendizaje en el seguimiento. En la medida de lo posible, ha de hacerse con la participación de otros agentes representativos de la sociedad local, buscando fomentar la participación de un número creciente de agentes locales. El número, la diversidad y la representatividad de las personas que participan en la autoevaluación, por una parte, y el nivel de profundización del análisis por otra, son los dos principales factores de fiabilidad de los resultados obtenidos del aprendizaje durante la etapa de ejecución.
La Participación como fuente de dinamización
Además, en la etapa de ejecución de los programas es esencial informar y sensibilizar a la población dando a conocer las iniciativas que se desarrollen, sus posibilidades y crear una imagen comarcal de desarrollo.
Es necesaria la dinamización tanto de los responsables políticos como de los técnicos con responsabilidad en el proceso de desarrollo. Estos agentes son esenciales para el buen funcionamiento del proceso y en muchos casos existen deficiencias por no saber hacer partícipe a los distintos agentes o no implicarse de forma directa.
Otros aspectos interesantes a resaltar para mejorar el éxito participativo en la ejecución de los programas de desarrollo son:
- La realización de proyectos colectivos.
- La identidad territorial o cultural.
- Constitución de los grupos de desarrollo.
- Transparencia en el funcionamiento.
El Aprendizaje
La autoevaluación es la pieza clave para el aprendizaje durante la etapa de ejecución. A través de ella, el modelo diseñado impulsa un continuo aprendizaje por parte del equipo planificador y evaluador y por parte de la población local convirtiendo el desarrollo en un proceso continuo que se pone en marcha desde el inicio del programa.
Es necesario un proceso sistemático de evaluación por parte del personal encargado del seguimiento centrado en los logros y emprendido con arreglo a los indicadores de seguimiento y criterios del éxito definidos en la evaluación previa. La autoevaluación se basa en la vigilancia sistemática de esos indicadores y en un examen oficial periódico a diferentes niveles de reflexión: a nivel de los proyectos, medidas, ejes y programa en su conjunto.
Es conveniente facilitar en este proceso un apoyo que pueda proporcionar a los gestores del programa, directivas metodológicas y observaciones sobre las valoraciones internas, y aumentar así el valor de los informes que se han de presentar periódicamente.
