La existencia de un sistema de indicadores fiable y adecuado es un elemento indispensable de un sistema de seguimiento y evaluación. No existe receta sobre cómo desarrollar un sistema de indicadores. Cada comunidad y región deben desarrollar un sistema basado en sus propias circunstancias y necesidades. Lo que proponemos es el siguiente esquema como base para su elaboración:
Diseño de un sistema apropiado de indicadores para el seguimiento y evaluación
Tipos de indicadores empleados
El sistema cuenta con varios tipos de indicadores: de contexto, de programa, de aspectos concretos de evaluación y los indicadores clave para efectuar la comparación entre programas. Vemos cada uno de ellos:
- Indicadores de contexto aplicados a la totalidad de un territorio, población o categoría. Utilizados especialmente en la evaluación previa para situar el programa en perspectiva y describir una situación básica antes de la intervención y una situación deseada después de la intervención
- Indicadores del programa referidos a aquella parte de una población o un territorio a la que se aplica la intervención. Su finalidad es medir los efectos directos o indirectos del programa, pueden ser indicadores de recursos o financieros, de realizaciones, de resultados o de impacto. Cuando se utilizan para precisar los objetivos de una intervención reciben el nombre de indicadores de cuantificación previa.
- Indicadores de evaluación para tratar una serie de cuestiones específicas, como son la pertinencia, la eficiencia, la eficacia, la utilidad y la durabilidad. La eficacia y eficiencia permiten comparar los logros alcanzados con los previstos (eficacia) o con los recursos utilizados (eficiencia).
- Indicadores clave para realizar comparaciones entre programas o medidas similares y presentar una imagen general de los efectos de un programa o de una serie de programas. La diversidad de prácticas y definiciones existentes sugiere que pueden considerarse “clave” distintos tipos de indicadores en función de los diferentes grupos usuarios y de los objetivos perseguidos. Pueden hacer referencia a las realizaciones, a los resultados, al impacto…
Los indicadores clave pueden elegirse por tener una importancia estratégica, o bien los responsables de los programas pueden estar interesados, en función de sus necesidades, en definir indicadores sencillos que puedan calcularse y controlarse fácilmente. La utilización de indicadores clave puede contribuir a difundir las buenas prácticas de seguimiento.
El número de indicadores clave debe ser limitado para ser adecuados y manejables en lo que se refiere al seguimiento del programa y al análisis temático o comparativo. Los criterios que se proponen para la selección de estos indicadores son:
- Relevancia: para las prioridades.
- Cuantificación: capacidad de fijar objetivos y en su caso establecer situaciones de base.
- Fiabilidad: claridad de definición y facilidad de agregación.
- Disponibilidad: sobre el terreno para su incorporación al sistema de seguimiento.
Utilización de indicadores en las distintas etapas de un sistema de seguimiento y evaluación
En cada una de las etapas del modelo los indicadores representan una fuente fundamental de información. En la etapa de diseño se emplean indicadores de contexto para el establecimiento de la situación de base, e indicadores de cuantificación previa para precisar los objetivos de las intervenciones y facilitar así su posterior S&E. Para el resto de vida del programa contamos con los indicadores utilizados en el sistema de seguimiento y en los ejercicios especiales de evaluación.
Es importante destacar la distinción entre los indicadores de seguimiento y los de evaluación. Los indicadores de seguimiento se utilizan para la construcción de un sistema de seguimiento que facilite la información sobre el consumo de recursos, la tasa de productividad y el número de beneficiarios…. Los indicadores de evaluación son fundamentalmente indicadores de resultados, impacto, eficacia y eficiencia. La información facilitada por los indicadores de seguimiento puede servir de base para la evaluación.
Límites entre el seguimiento y evaluación
Indicadores de seguimiento
Los indicadores de seguimiento incluyen indicadores de contexto, programa y evaluación. Los primeros permiten facilitar la información contextual más reciente sobre las principales características de la zona cubierta. Los demás suministran información sobre la utilización física y financiera de las medidas para cada uno de los años del programa y permiten establecer comparaciones entre la utilización real y la prevista inicialmente en el diseño.
Los datos conviene darlos anualmente tanto en variaciones en comparación con el año anterior como en acumulaciones que agreguen todas las cifras de puesta en práctica desde el principio del programa. En todas las medidas habrá indicadores generales extensibles a todas ellas como los indicadores financieros, proyectos presentados…, y otros específicos de cada una de ellas.
Como se verá al hablar más específicamente del sistema de indicadores de seguimiento, todos los indicadores empleados en él se organizan en tres niveles: clave, de gestión y de rápida retroalimentación.
Indicadores de evaluación
El evaluador desempeñará un papel activo para mejorar la calidad de los sistemas de indicadores. Al mismo tiempo, los indicadores están sujetos a evaluaciones específicas en diferentes etapas. La evaluación previa debe analizar la existencia y pertinencia de indicadores de realización, resultados e impacto en relación con cada uno de los niveles de la intervención
Los equipos de seguimiento recibirán evaluaciones intermedias que les permitirán examinar los primeros resultados de las intervenciones, la pertinencia de los objetivos y el grado de consecución de los mismos. La evaluación intermedia debe examinar el grado de eficacia alcanzado sobre la base de los indicadores recogidos durante el seguimiento.
Asimismo, evaluará la calidad, pertinencia y nivel de cuantificación de dichos indicadores. Los indicadores de eficacia se referirán, fundamentalmente, a las realizaciones y los resultados. También podrán estar disponibles algunos indicadores de impacto, pero, por lo general, estos se medirán en una fase posterior de la ejecución del programa. Se seleccionará un número limitado de indicadores de seguimiento (indicadores clave), con el fin de medir la eficacia general del programa. Asimismo, se utilizarán otros indicadores relativos a la ejecución financiera y a la calidad general de la gestión (incluidos el seguimiento, el control, la selección de proyectos y la evaluación).
Finalmente, la evaluación final, sobre la base de los datos de seguimiento definitivos, compara los objetivos previstos con los realmente alcanzados (incluido el impacto) y realiza un análisis profundo de la aplicación y resultados del programa. En caso necesario puede recurrirse a la elaboración de nuevos indicadores, más propios de un análisis detallado como el que supone esta evaluación, que permita adaptar este ejercicio de evaluación a los requerimientos de las autoridades que la encargan.
About Carlos Plaza
