Inicio » Entradas etiquetadas como «seguimiento»
Archivos de la etiqueta: seguimiento
Puesta en marcha de un sistema de información para el seguimiento
Para la puesta en marcha de un sistema de seguimiento es necesario poner en funcionamiento un sistema de información y un sistema de autoevaluación.
Desarrollo del sistema de S&E durante la etapa de ejecución con la puesta en práctica del seguimiento
El sistema de información se constituye como pieza clave del mecanismo de integración en la etapa de ejecución. Ya desde el inicio del programa empieza el intercambio de información del programa al sistema de seguimiento. Se da continuidad así a la integración de las actividades de S&E en el programa.
El proyecto constituye la unidad de recogida de información por excelencia del sistema de información. Aunque luego haya varios niveles de reflexión a nivel actuación, medida, eje… es necesario recoger la máxima información de utilidad que a nivel proyecto se pueda conseguir. La principal ventaja de este sistema de información a nivel proyecto está en la cercanía del gestor a éste a la hora de aportar información. Cuando se realiza un ejercicio especial de evaluación es difícil contar con que los expertos evaluadores lleguen a conocer todos los proyectos. El que mejor los conoce es el encargado de gestionarlos y seguirlos, y es importante que llegue a sistematizar la recogida de los aspectos clave de los proyectos implementados.
Las tareas preparatorias para establecer el sistema de seguimiento servirán para detectar las deficiencias del sistema de información. Podrá ser necesario recurrir a asistencia técnica o a expertos independientes para solventar las posibles deficiencias y carencias, mejorar las condiciones generales de aplicación y aumentar la eficacia del seguimiento.
A su vez el mecanismo de aprendizaje a través de la autoevaluación produce continuas recomendaciones, como resultado de las reflexiones a nivel proyecto, medida, eje…una vez se ha ido agregando la información de los proyectos (o aportando nueva información en cada uno de estos niveles). Las recomendaciones han de ser asimiladas por el programa y garantizar así su contribución a un verdadero desarrollo de las potencialidades del territorio sobre el que actúa. Este flujo de recomendaciones garantiza la integración del programa en las actividades de seguimiento.
Exponemos a continuación el desarrollo del sistema de información que caracteriza parte de esta integración. Posteriormente, al hablar del aprendizaje, desarrollamos el segundo elemento clave del sistema de seguimiento: la autoevaluación.
Definición de las necesidades de información
El primer paso para la creación del sistema de información del seguimiento es definir la información mínima esencial que se recogerá a nivel de cada uno de los proyectos. Como se explicará más adelante en el apartado sobre el contenido del seguimiento, este sistema de información habrá de centrarse en el seguimiento físico y financiero y en el seguimiento del contacto con los beneficiarios.
Es difícil determinar estas necesidades de información debido, en parte, a que con mucha frecuencia los propios usuarios no han decidido lo que necesitan realmente. La experiencia habida en muchos programas muestra que los administradores describen los temas o cuestiones sólo en términos generales. Por lo tanto, los diseñadores del sistema de información deben tratar de ayudar a los gestores e identificar partidas específicas de información siguiendo los siguientes pasos:
- Examen del programa y su contexto: El diseño del sistema de información debe incluir un examen del programa y de su contexto. Ha de hacerse un análisis del diagnóstico y de la jerarquía de los objetivos del programa con objeto de determinar las poblaciones consideradas como objetivo, las actividades críticas y las tareas que han de seguirse comparadas con los objetivos convenidos.
- Identificación de prioridades: Después de este examen, el primer paso al diseñar un sistema de información consiste en identificar la prioridad de los usuarios (las personas encargadas de la gestión que realizarán el seguimiento y harán uso de ese sistema de información). La identificación de las necesidades de éstos requiere un marco para el diálogo que ha de sostenerse entre el usuario y el diseñador del sistema. La experiencia también indica que no debe utilizarse un marco conceptual elaborado por expertos externos con objeto de identificar necesidades de información. Los programas que no han incluido el diálogo necesario con los usuarios para identificar necesidades reales de su gestión diaria, o que han hecho meramente una estimación superficial de tales necesidades, han tendido a producir sistemas costosos que en gran parte no tienen conexión con las necesidades de los usuarios.
- Selección de prioridades: Habida cuenta de los limitados recursos de personal, dinero y tiempo, es improbable que el sistema de información satisfaga plena y eficazmente las necesidades de todos los usuarios. Esto demanda que se asigne la máxima prioridad a las necesidades de seguimiento del personal del programa, después vienen las demandas de los organismos que supervisan y controlan. Los responsables del seguimiento deben definir, sobre la base de las prioridades y de la capacidad, la estructura del sistema de seguimiento y el grado de detalle necesario para poder satisfacer las necesidades de los diferentes grupos.
Diseño de un sistema de indicadores
El diseño del sistema de información ha de concretarse en la identificación de un sistema de indicadores. Estos indicadores deben informar a los gestores de los efectos a corto y largo plazo de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales del programa. Varios criterios se pueden emplear para la selección de indicadores de calidad (Comisión UE, 2004; Innes & Boother, 2000):
- Se puede cuantificar a intervalos regulares con una frecuencia adecuada al programa. Teniendo en cuenta que tener un número no significa necesariamente el tener un buen indicador. El problema no consiste solamente en completar o reducir el número de indicadores, sino en la dificultad de los sistemas de seguimiento para garantizar la cuantificación periódica de los indicadores acordados y que ya existen en los programas.
- Puede utilizarse poco tiempo después de la recogida de los datos sobre los cuales se ha construido.
- Es directo y no da pie a ambigüedades. Se puede comprobar su sensibilidad y fiabilidad en relación con los fenómenos a medir.
- Permite comparaciones entre las medidas del programa, y con otros programas o grupos de destinatarios.
- Es transparente y no puede ser manipulado para mostrar logros donde no existen.
- Su obtención. Los indicadores deben ser identificados por participación. Deben ser desarrollados con la participación de aquellos que los usarán y aprenderán de ellos, pues solo serán realmente útiles si se convierten en parte de su modo de pensar.
Un seguimiento eficaz exige la elaboración de indicadores de realizaciones en relación con todas o la mayor parte de las medidas. No obstante, en lo que se refiere a los indicadores de resultados y de impacto puede admitirse un enfoque algo más selectivo. Los indicadores han de ser escogidos de forma que al final podamos contar con un sistema en el que podamos identificar:
- Indicadores clave o marco: Unos pocos indicadores globales de medidas que reflejen los valores centrales de la intervención. Han de ser cuidadosamente diseñados, claramente visibles, participados y consensuados y deben ayudar a enmarcar la intervención y a señalar la dirección en la cual se quiere avanzar. Con la idea clara de que los indicadores no son respuestas sino el punto de partida para la discusión.
- Indicadores de gestión: Un número mayor de indicadores que reflejen las principales actividades y resultados para los encargados de la gestión y seguimiento. Han de ayudar al diseño y rediseño (en caso de que no avancen en la dirección deseada) de la intervención, al mantenimiento de la eficacia, a diagnosticar la causa de los problemas, a realizar ajustes, a fijar prioridades y a responder a los cambios que se produzcan. Dada la gran importancia de la distribución territorial en el desarrollo es conveniente el uso de los sistemas de información geográfica en los indicadores.
- Indicadores rápidos de retroalimentación para todos los implicados en la intervención de forma que supongan una ayuda en su toma de decisiones diaria sobre sus propias acciones y a hacer un mejor uso sobre los recursos disponibles. El acceso individual a mejor y más puntual información es crucial en el proceso de desarrollo. Se trata de actuar con la mayor información disponible y poder escoger lo más conveniente. Una de las principales tareas aquí es la exploración de las oportunidades que ofrecen las nuevas tecnologías de la información y tratar de utilizarlas en la medida de lo posible.
Una vez escogidos los indicadores, se recomiendan cuatro grandes criterios para comprobar la calidad del sistema de indicadores diseñado:
- Una buena cobertura del programa completo.
- Un buen equilibrio entre productos, resultados e impactos.
- Pragmatismo en lo relativo a las cifras.
- Pertinencia, es decir, una selección de indicadores que toman en cuenta la importancia estratégica y operativa de la información. El sistema de indicadores debe facilitar información dirigida a mejorar la calidad y la eficacia de la intervención.
Elaboración de una base de datos y recogida de información
Para el manejo y organización de esta información se hace necesaria la realización de una base de datos diseñada especialmente para cada programa y de fácil manejo para el personal que ha de operar con ella.
La recogida de la información en la base de datos ha de verse facilitada por la redacción de documentos: los cuestionarios para la petición de ayudas, las memorias de los trabajos para la selección de las subvenciones, los informes sobre las visitas de campo y la elaboración de fichas para el seguimiento de cada beneficiario. De una manera más informal – pero no por ello menos importante – está el continuo contacto con los beneficiarios en el día a día del programa.
Cuestionarios para la petición de ayudas
En el cuestionario para la petición de ayudas los beneficiarios potenciales del programa deben aportar sus datos personales, datos sobre la localización del proyecto, la descripción del mismo y sus objetivos, distribución de los gastos según medidas y el resto de ayudas públicas que se hubiesen solicitado. También ha de aportar la documentación y justificantes que sean precisos y el compromiso de cumplir los requisitos del programa para la concesión de una subvención. Se ha de aprovechar el cuestionario para la obtención de indicadores iniciales de tipo físico, económico y social y todo tipo de observaciones e información adicional para complementar la valoración del proyecto.
Memoria explicativa de los trabajos para la selección de subvenciones
Las herramientas utilizadas para la selección de las subvenciones han de evitar, en la medida de lo posible, apreciaciones subjetivas a la hora de conceder las ayudas, racionalizando y sistematizando el proceso de selección. También han de facilitar la función de control por las administraciones encargadas del programa y la autoevaluación del propio grupo.
El primer paso es la selección de unos criterios de decisión definidos y consensuados por todos los implicados en el programa de acuerdo con los objetivos y filosofía del programa. El segundo paso es la ponderación de los criterios en función de su grado de prioridad adjuntándoles un coeficiente de ponderación (normalmente tres, uno para prioridad muy alta, otro para la alta y otro para la prioridad normal).
Cada proyecto susceptible de recibir ayuda debe ser valorado con cada uno de los criterios establecidos. Esta valoración es definida según la repercusión del proyecto sobre cada uno de los criterios. Pueden establecerse cinco niveles de valoración: muy positivo, positivo, normal, negativo y muy negativo.
Es importante que el análisis de la subvencionabilidad se agilice haciéndolo de forma informatizada como puede ser una hoja de cálculo (Excel en entorno de Windows por ejemplo). Las únicas celdas a modificar serán las correspondientes a las valoraciones de cada criterio (y al máximo de subvención con cargo al programa establecido para el proyecto en caso de ser necesario). La hoja ha de estar diseñada para el cálculo automático de la valoración y subvención final para el proyecto.
Cada evaluación multicriterio realizada debe ser completada con una breve memoria explicativa con objeto de aclarar las valoraciones dadas a cada criterio.
Informes de las visitas de seguimiento
En las visitas de campo a los proyectos subvencionados se ha de constatar que las condiciones que llevaron a la selección del proyecto siguen siendo vigentes. Se ha de comprobar que el proyecto no ha cambiado de localización y se han mantenido las inversiones. Datos de interés son las posibles renovaciones, la ampliación o reducción de la inversión, horario de funcionamiento, mantenimiento de empleos, principales problemas o potencialidades detectadas y todo tipo de observación que se considere de interés.
Estas visitas han de dar lugar a un informe donde se ha de recoger toda esta información, junto con la fecha y lugar de la visita, título del proyecto y promotor junto con el nombre de las personas presentes en la visita. Es recomendable que el informe esté tipificado y el informe se realice con facilidad rellenando las casillas en blanco dejadas al efecto.
Fichas para el seguimiento de cada beneficiario
La sede administrativa del programa ha de contar con una ficha de seguimiento de cada uno de los beneficiarios del programa que vaya recogiendo las principales incidencias con cada uno de ellos. Es importante que esta información se informatice y pase a la base de datos del sistema de información.
Seguimiento informal
Aunque no se recoja en ningún tipo de informe de manera oficial, el seguimiento informal de los beneficiarios y del resto de la población afectada por parte del equipo de seguimiento se considerada esencial. Muchas veces constituye la fuente para una más adecuada valoración de los proyectos y de los beneficiarios. La fuente para detectar malestares entre la población o por el contrario una actitud de satisfacción hacia el programa.
Referencias citadas:
Comisión UE (2004). Indicadores comunes para el seguimiento de la programación de desarrollo rural 2000-2006. Dirección General VI de Agricultura, Bruselas.
Innes, J.E. & Boother, D.E. (2000). Indicators for sustainable communities. A strategy building on complexity theory and distributed intelligence. Planning Theory & Practice, 1(2), 173-186.
About Carlos Plaza
Contenido del seguimiento: La aplicación y gestión de los programas
El contenido del seguimiento de un programa ha de estar centrado en su aplicación y gestión. Ha de ir comprobando el cumplimiento de la programación prevista, que los resultados son aceptables y que lo que se previó era lo más adecuado.
Contenido de seguimiento en la etapa de ejecución
Sin embargo, el estar centrado en este aspecto que conecta la lógica de intervención del programa con los resultados que se van obteniendo, le obliga a ir analizando estos resultados y volver sobre la lógica de intervención para analizar las causas de lo que pueda no estar funcionando. Esto supone un continuo aprendizaje que resulta de la puesta en práctica de lo que en un principio se conocía solamente en un plano teórico.
Aspectos concretos que son analizados de la aplicación del programa son la eficiencia y la eficacia, comprobando el logro sobre la marcha de unos niveles aceptables de ambos aspectos. Este examen es más riguroso en la evaluación intermedia, aunque las conclusiones finales sobre la eficiencia y eficacia del programa no se podrán dar hasta la etapa de terminación donde contaremos con la evaluación final.
Para el seguimiento de la aplicación y gestión, el seguimiento cuenta con dos contenidos fundamentales: la información física y financiera y las relaciones con los beneficiarios.
Seguimiento físico y financiero
El seguimiento coordinado de la información física y financiera es esencial para la ejecución y operación eficiente de todo programa. Esta parte del sistema de información y su uso debe reconocerse como la base para el desarrollo de la función completa del seguimiento.
Los datos físicos y financieros deben consistir principalmente en cantidades directas físicas y financieras para cada actividad. Los indicadores representativos apenas tienen lugar en este aspecto del seguimiento, aunque los porcentajes pueden ser útiles, en particular en lo que se refiere a fondos asignados de hecho gastados comparados con los totales presupuestados.
Ambos datos –físicos y financieros– han de estar relacionados, para asegurar el logro de los objetivos a costos reales aceptables.
Seguimiento del contacto con el beneficiario
Este seguimiento es la clave para que el seguimiento global del programa resulte un éxito. El seguimiento físico y financiero mide en general la provisión y suministro de servicios e insumos del programa. Pero los gestores de programas también necesitan saber si están aceptándose los servicios y cómo están integrándose en la zona de aplicación y en los diferentes sectores de población.
A medida que se va ejecutando un programa, las percepciones de sus futuros beneficiarios conducen a una creciente demanda de sus servicios o bien a que se vean fuera de propósito. Si los beneficiarios tienen incentivos diferentes de los que sustentan el programa, importa poco cuáles son los más sensatos desde el punto de vista financiero.
En el personal de seguimiento recae la responsabilidad primaria de iniciar y mantener contactos con los beneficiarios y de mantener bien organizados los registros del programa. Este personal también coteja y resume los datos derivados del seguimiento físico y financiero y más tarde integra esos datos a la información acerca de las reacciones de los beneficiarios.
En ambos seguimientos la elección de indicadores apropiados que se van a medir es crucial para establecer un seguimiento eficaz de las realizaciones del programa y las reacciones de los beneficiarios. Indicadores impropios pueden predestinar el fracaso a un sistema de información. Además, el fracaso se ratifica cuando los administradores eligen todos los indicadores que se les ocurren o aparecen en las listas de varios principios guía. A medida que se alarga la lista así también sucede con el número de indicadores impropios.
About Carlos Plaza
Lecciones de la experiencia sobre las características de un buen sistema de seguimiento y evaluación
A continuación se exponen una serie de conclusiones concernientes a las características que son aconsejables a la hora de diseñar un buen sistema de seguimiento y evaluación (S&E): la integración, la participación y el aprendizaje, entre otras.
En relación con la integración…
El S&E debe ser concebido como un proceso integrado y continuo. La integración supone la unión entre actividades de seguimiento y evaluación, y el vínculo de éstas actividades con el programa y su contexto territorial, legislativo e institucional. La continuidad supone el encadenamiento de las distintas actividades de S&E de forma que ninguna de ellas sea entendida como una tarea puntual en la vida de la intervención.
La integración del S&E con las actividades de programación resulta imprescindible para una buena adaptación a las necesidades de las intervenciones con las que se trabaja y proporcionarles una continua y adecuada orientación.
La integración permite evitar el desfase entre el ciclo de programación y de evaluación y las consiguientes dificultades que este desfase produce en el proceso de aprendizaje.
La autoevaluación facilita la integración del proceso de evaluación en el propio sistema de seguimiento, con lo que los trabajos de S&E se ven favorecidos en el suministro de información.
En relación con la participación…
El S&E debe comenzar con reuniones con los beneficiarios, averiguar dónde están, en qué están interesados, sus aportaciones al proceso de S&E, para luego unir las perspectivas de la evaluación con las locales.
El proceso de participación ha de ayudar a conseguir un proceso de S&E útil, que incremente el conocimiento que los diversos agentes tienen del programa, enriqueciendo el proceso de reflexión en torno al mismo y la resolución de los problemas o necesidades para los que éste surgió.
La participación ha de dar como resultado un programa que tenga relación con la actividad diaria de los participantes y no se pierda en ideas abstractas sin conexión real con la masa social.
El énfasis del proceso participativo ha de estar en la creación de significado local, de objetivos compartidos, un clima de consenso y construcción de una comunidad que comparte un enfoque común.
El mecanismo de participación ha de ser diseñado de manera que se asegure que en alguna de sus fases los participantes sean influenciados por los demás y se produzca así un proceso de socialización que de pie a la discusión y al diálogo.
Los ejercicios especiales de evaluación suponen ejercicios especiales de participación y aprendizaje al ser trabajos más amplios y profundos que el seguimiento continuo de los programas.
La utilización de la información extraída de la participación permite en muchos casos, suplir el bajo nivel de desarrollo de las bases estadísticas existentes y dar mayor credibilidad a los indicadores utilizados al facilitar el contraste entre fuentes de información.
La activación de un proceso de participación permite evitar el peligro de la exaltación de la objetividad. Con la participación, la atención se centra en la obtención y superposición de distintos puntos de vista tanto del conocimiento experto como del conocimiento local con el objetivo de enriquecer los trabajos realizados.
En relación con el aprendizaje…
Es necesaria la activación de un mecanismo de aprendizaje distinto del activado por la participación. Este mecanismo permite no conformarse con un simple aprendizaje pasivo ─como si se tratara de una ósmosis─ sino que activa un aprendizaje activo que aprovecha al máximo las posibilidades de retroalimentación.
Las actividades de S&E tienen un gran protagonismo en el aprovechamiento del capital intangible para la generación del desarrollo. Parte importante de este capital es el capital social.
La gestión del conocimiento y la innovación es parte importante del S&E como realidad obligada por el progreso tecnológico y la necesidad de crear un verdadero desarrollo.
La gestión del conocimiento e innovación ha de abordarse desde una perspectiva claramente centrada en los aspectos humanos pues sólo las personas desarrollan, incorporan y usan conocimiento. Una perspectiva basada en las posibilidades tecnológicas anteponiéndose a cualquier otra consideración, es errónea.
En relación con otras características…
La continuidad con los procedimientos y herramientas clásicas utilizadas hasta ahora en el S&E permite una mayor participación y un mejor hacer de los implicados por estar ya familiarizados con algunos de estos procedimientos y herramientas.
Un modelo de S&E ha de ser flexible. La flexibilidad permite la adaptación a las diversas situaciones encontradas en el dinámico contexto del S&E del desarrollo (diseño a la medida). Para lograr esta flexibilidad la cultura de la evaluación debe acrecentarse y enriquecerse y se hace necesario establecer marcos comunes guía en la concepción general de los procesos evaluativos.
Un enfoque positivo del S&E, más centrado en el desarrollo de las capacidades que en el análisis de problemas, permite entrar en una positiva dinámica de aprendizaje que valorice los resultados obtenidos, de cara a la mejora del programa y su perfeccionamiento en fases posteriores.
Conceder la debida importancia a los aspectos específicos que las distintas intervenciones puedan presentar evita centrar todos los esfuerzos en el estudio del impacto y el llamado reduccionismo economicista que centra los trabajos de manera excesiva en los aspectos económicos y financieros.
La definición de preguntas clave de evaluación permite concretar los objetivos de los trabajos centrando desde un principio los esfuerzos realizados
Un modelo sencillo que no precise de unos elevados conocimientos financieros, económicos, estadísticos o de cualquier tipo facilita el aprendizaje y la adquisición de una capacidad evaluadora por parte de la población local.
La aplicación de nuevas tecnologías al S&E de los programas de desarrollo permite reducir el tiempo de análisis de la información y facilita la estandarización y homogeneización de procesos y formatos, el aumento de la calidad de la información y la reducción drástica de errores.
About Carlos Plaza
Sistema de indicadores para el seguimiento y evaluación
La existencia de un sistema de indicadores fiable y adecuado es un elemento indispensable de un sistema de seguimiento y evaluación. No existe receta sobre cómo desarrollar un sistema de indicadores. Cada comunidad y región deben desarrollar un sistema basado en sus propias circunstancias y necesidades. Lo que proponemos es el siguiente esquema como base para su elaboración:
Diseño de un sistema apropiado de indicadores para el seguimiento y evaluación
Tipos de indicadores empleados
El sistema cuenta con varios tipos de indicadores: de contexto, de programa, de aspectos concretos de evaluación y los indicadores clave para efectuar la comparación entre programas. Vemos cada uno de ellos:
- Indicadores de contexto aplicados a la totalidad de un territorio, población o categoría. Utilizados especialmente en la evaluación previa para situar el programa en perspectiva y describir una situación básica antes de la intervención y una situación deseada después de la intervención
- Indicadores del programa referidos a aquella parte de una población o un territorio a la que se aplica la intervención. Su finalidad es medir los efectos directos o indirectos del programa, pueden ser indicadores de recursos o financieros, de realizaciones, de resultados o de impacto. Cuando se utilizan para precisar los objetivos de una intervención reciben el nombre de indicadores de cuantificación previa.
- Indicadores de evaluación para tratar una serie de cuestiones específicas, como son la pertinencia, la eficiencia, la eficacia, la utilidad y la durabilidad. La eficacia y eficiencia permiten comparar los logros alcanzados con los previstos (eficacia) o con los recursos utilizados (eficiencia).
- Indicadores clave para realizar comparaciones entre programas o medidas similares y presentar una imagen general de los efectos de un programa o de una serie de programas. La diversidad de prácticas y definiciones existentes sugiere que pueden considerarse “clave” distintos tipos de indicadores en función de los diferentes grupos usuarios y de los objetivos perseguidos. Pueden hacer referencia a las realizaciones, a los resultados, al impacto…
Los indicadores clave pueden elegirse por tener una importancia estratégica, o bien los responsables de los programas pueden estar interesados, en función de sus necesidades, en definir indicadores sencillos que puedan calcularse y controlarse fácilmente. La utilización de indicadores clave puede contribuir a difundir las buenas prácticas de seguimiento.
El número de indicadores clave debe ser limitado para ser adecuados y manejables en lo que se refiere al seguimiento del programa y al análisis temático o comparativo. Los criterios que se proponen para la selección de estos indicadores son:
- Relevancia: para las prioridades.
- Cuantificación: capacidad de fijar objetivos y en su caso establecer situaciones de base.
- Fiabilidad: claridad de definición y facilidad de agregación.
- Disponibilidad: sobre el terreno para su incorporación al sistema de seguimiento.
Utilización de indicadores en las distintas etapas de un sistema de seguimiento y evaluación
En cada una de las etapas del modelo los indicadores representan una fuente fundamental de información. En la etapa de diseño se emplean indicadores de contexto para el establecimiento de la situación de base, e indicadores de cuantificación previa para precisar los objetivos de las intervenciones y facilitar así su posterior S&E. Para el resto de vida del programa contamos con los indicadores utilizados en el sistema de seguimiento y en los ejercicios especiales de evaluación.
Es importante destacar la distinción entre los indicadores de seguimiento y los de evaluación. Los indicadores de seguimiento se utilizan para la construcción de un sistema de seguimiento que facilite la información sobre el consumo de recursos, la tasa de productividad y el número de beneficiarios…. Los indicadores de evaluación son fundamentalmente indicadores de resultados, impacto, eficacia y eficiencia. La información facilitada por los indicadores de seguimiento puede servir de base para la evaluación.
Límites entre el seguimiento y evaluación
Indicadores de seguimiento
Los indicadores de seguimiento incluyen indicadores de contexto, programa y evaluación. Los primeros permiten facilitar la información contextual más reciente sobre las principales características de la zona cubierta. Los demás suministran información sobre la utilización física y financiera de las medidas para cada uno de los años del programa y permiten establecer comparaciones entre la utilización real y la prevista inicialmente en el diseño.
Los datos conviene darlos anualmente tanto en variaciones en comparación con el año anterior como en acumulaciones que agreguen todas las cifras de puesta en práctica desde el principio del programa. En todas las medidas habrá indicadores generales extensibles a todas ellas como los indicadores financieros, proyectos presentados…, y otros específicos de cada una de ellas.
Como se verá al hablar más específicamente del sistema de indicadores de seguimiento, todos los indicadores empleados en él se organizan en tres niveles: clave, de gestión y de rápida retroalimentación.
Indicadores de evaluación
El evaluador desempeñará un papel activo para mejorar la calidad de los sistemas de indicadores. Al mismo tiempo, los indicadores están sujetos a evaluaciones específicas en diferentes etapas. La evaluación previa debe analizar la existencia y pertinencia de indicadores de realización, resultados e impacto en relación con cada uno de los niveles de la intervención
Los equipos de seguimiento recibirán evaluaciones intermedias que les permitirán examinar los primeros resultados de las intervenciones, la pertinencia de los objetivos y el grado de consecución de los mismos. La evaluación intermedia debe examinar el grado de eficacia alcanzado sobre la base de los indicadores recogidos durante el seguimiento.
Asimismo, evaluará la calidad, pertinencia y nivel de cuantificación de dichos indicadores. Los indicadores de eficacia se referirán, fundamentalmente, a las realizaciones y los resultados. También podrán estar disponibles algunos indicadores de impacto, pero, por lo general, estos se medirán en una fase posterior de la ejecución del programa. Se seleccionará un número limitado de indicadores de seguimiento (indicadores clave), con el fin de medir la eficacia general del programa. Asimismo, se utilizarán otros indicadores relativos a la ejecución financiera y a la calidad general de la gestión (incluidos el seguimiento, el control, la selección de proyectos y la evaluación).
Finalmente, la evaluación final, sobre la base de los datos de seguimiento definitivos, compara los objetivos previstos con los realmente alcanzados (incluido el impacto) y realiza un análisis profundo de la aplicación y resultados del programa. En caso necesario puede recurrirse a la elaboración de nuevos indicadores, más propios de un análisis detallado como el que supone esta evaluación, que permita adaptar este ejercicio de evaluación a los requerimientos de las autoridades que la encargan.
About Carlos Plaza
Etapas de un sistema de seguimiento y evaluación
Un sistema de seguimiento y evaluación (S&E) completo ha de cubrir las necesidades de S&E a lo largo de toda la vida de un programa de desarrollo, desde los primeros preparativos hasta que finaliza. Para ello se debería contar con la realización de una evaluación previa, la activación de un sistema de seguimiento y la elaboración de ejercicios especiales de evaluación.
Desarrollo de un sistema completo de seguimiento y evaluación en cada una de sus etapas
Un elemento esencial del modelo es la interacción de todos sus elementos, que se presentan como un sistema en el que las influencias se producen en todos los sentidos y en cada una de las etapas. En la figura que representa el desarrollo de un sistema completo de S&E en cada una de sus etapas, estos elementos se organizan en cuatro niveles que de abajo arriba son: desarrollo generado (en color rojo), el contexto socioeconómico (marrón), el programa aplicado (azul) y el S&E sobre el programa (verde).
Las características de integración y participación se representan verticalmente en cada etapa (flechas de ida y vuelta verticales). Su continuidad a lo largo de todas las etapas se representa horizontalmente (flechas horizontales). El aprendizaje es representado de manera cíclica en cada una de las etapas del programa con ciclos que cubren los cuatro niveles del esquema.
La mayor profundidad de análisis de los ejercicios de evaluación (intermedia y final) respecto al seguimiento trae como consecuencia una mayor profundidad en el aprendizaje. En el esquema esta idea se representa con una mayor longitud del ciclo de aprendizaje en los ejercicios de evaluación. En efecto, se trata de dos ocasiones en las que hacer una profunda reflexión sobre el desarrollo que se está generando. Especial relieve adquiere el ciclo final de aprendizaje (con vuelta a la etapa de diseño) donde los resultados de todo el proceso han de servir al aprendizaje de futuras programaciones.
Un sistema de S&E que acompaña a un programa de desarrollo puede contribuir así a la creación del capital social necesario para complementar los recursos humanos y físicos del contexto socio-económico en el que nos encontremos. Esto presupone la construcción de una capacidad de evaluación local que forme parte de ese capital social. Sobre la base de que el desarrollo no se basa en la sola satisfacción de las necesidades de un territorio sino que ha de buscar la construcción de capacidades locales y el fortalecimiento institucional.
Etapas del modelo
En la etapa de diseño además de planificar la intervención se procede a diseñar su S&E. Un análisis minucioso de las necesidades locales y su articulación con las distintas percepciones y demandas, lleva al diseño del programa y de su sistema de S&E. Durante esta etapa se realiza la evaluación previa para preparar los programas, asegurar su viabilidad y facilitar su aplicación.
La etapa de iniciación y la entrada en la etapa de ejecución supone la activación de un dispositivo de seguimiento. Desde el primer momento se empieza a aplicar el enfoque por objetivos de modo que se parta de una idea clara de cuales son las pretensiones del sistema de S&E que se empieza a implementar.
En la etapa de ejecución, programa y sistema de S&E van de la mano y se retroalimentan de continuo de forma que un enfoque de procesos resulta necesario para incorporar la nueva experiencia que vaya surgiendo: se trata de ir adaptando con agilidad el sistema de S&E a las nuevas circunstancias que se vayan dando.
Una primera ocasión especial para profundizar en el aprendizaje y reorientación de las actividades puede presentarse con el primer ejercicio especial de evaluación: la evaluación intermedia a mitad de la ejecución (si es que este se realiza). Estos ejercicios suponen el empleo de un número elevado de medios humanos y materiales que posibilitan profundizar en el análisis y hacer una seria reflexión sobre la situación que está viviendo el programa. Esta mayor profundidad en el análisis supone una mayor profundidad en el aprendizaje. Esta circunstancia viene representada en el esquema por un alargamiento del ciclo de aprendizaje (con respecto al ciclo del seguimiento) hacia arriba, si hablamos del aprendizaje del equipo evaluador, o hacia abajo si nos fijamos en la población afectada por el programa.
En la etapa de terminación, el programa concluye con una serie de resultados que son recogidos por la evaluación final. Se trata de una última reflexión en profundidad que ha de llevar a un serio aprendizaje.
Relación entre las distintas etapas
El modelo de S&E diseñado comienza en la etapa de diseño y las labores de evaluación previa y finaliza en la etapa de terminación del programa con la realización de la evaluación final. Por el camino se encuentran las labores de seguimiento y los trabajos de evaluación intermedia y final. Se trata de un modelo que sirve como instrumento para ser utilizado tanto por aquellos que preparan el encargo del seguimiento y evaluación como por los responsables de llevarla a cabo.
Este desarrollo en etapas es necesario para una explicación detallada pero en ningún caso se trata de ejercicios individuales, antes bien, la relación continuada entre ellas forma parte fundamental del sistema de S&E. Los elementos resultantes de cada procedimiento de S&E sirven de punto de partida y son incorporados a los ejercicios de S&E posteriores, en caso necesario y si están disponibles, ya que no siempre son realizados de la manera prevista.
Normalmente, el encadenamiento de sucesivas programaciones origina el encadenamiento de sucesivos ciclos de S&E que han de organizarse de manera eficiente para evitar la duplicación de trabajo. Es fundamental saber combinar los trabajos de S&E durante el programa con el uso de las conclusiones del S&E realizado en el periodo de programación anterior. La posible comparación en la programación de dos periodos consecutivos, hace posible el uso de recientes conclusiones del periodo anterior para juzgar la relevancia de las nuevas medidas propuestas.
Encadenamiento de sucesivos ciclos de evaluación en las sucesivas programaciones
La evaluación previa saca partido, en caso de existir, de los trabajos de evaluación precedentes. El diseño de toda política exige tanto definir con claridad el modelo al que se pretende llegar como analizar adecuadamente los resultados de políticas anteriores. La evaluación intermedia con su función de comprobar si los objetivos siguen siendo relevantes y se están alcanzando, se basa fundamentalmente en la información suministrada por el sistema de seguimiento pero también se sirve de la información que puedan suministrar los documentos del S&E del periodo de programación anterior —sobre todo en lo referente a las mismas áreas de intervención— y en la evaluación previa del mismo periodo.
La evaluación final, basada principalmente en los trabajos de S&E de su mismo periodo de programación, debe sacar conclusiones de la experiencia acumulada en periodos de programación anteriores para la mejora de los futuros programas.
Vemos así como la evaluación interna (autoevaluación del seguimiento) y la evaluación externa (ejercicios especiales de evaluación) no son excluyentes, sino que por el contrario la evaluación externa tiene su fundamento en la evaluación interna. Dicho de otra manera, el seguimiento supone un buen fundamento para los ejercicios especiales de evaluación.
About Carlos Plaza
Contenidos de un sistema de S&E
Como se puede ver en la figura, que se irá explicando a lo largo de esta entrada, el seguimiento y evaluación (S&E) distingue tres principales aspectos clave a evaluar: el planteamiento y lógica de intervención, la aplicación y gestión y los resultados e impacto (ver parte superior de la figura).
El conjunto de encadenamientos entre los diferentes objetivos, medidas y proyectos constituye la estructura misma de un programa de desarrollo, un modelo lógico que queda dibujado en la figura. A partir de esta estructura se procede a evaluar por un lado el programa en sí mismo y por otro, sus efectos.
Aspectos clave del contenido de un sistema de seguimiento y evaluación
En la evaluación del programa en sí se analizan por un lado el planteamiento y lógica de la intervención (de color azul en la figura) y por otro, su aplicación —puesta en funcionamiento y gestión— analizando si las medidas fijadas han conseguido sus objetivos y si los encadenamientos entre objetivos y medidas se han desarrollado según las previsiones (de color rojo en la figura). En la evaluación de los efectos y resultados se analizan éstos, especialmente en lo que se refiere a los objetivos que el programa se proponía (de color verde en la figura).
El planteamiento y lógica de intervención
Las actividades de S&E comienzan con el ejercicio de evaluación previa que ha de centrarse en el primero de los aspectos: el planteamiento y lógica de intervención (ver parte inferior de la figura). Su misión consiste en asegurar un adecuado planteamiento del programa que se está diseñando (cuadros de color azul en la figura). Ha de analizar el fundamento, la pertinencia, la claridad y coherencia y hacer una estimación sobre la futura utilidad y sostenibilidad de la intervención. Es por ello que esta primera evaluación ha de mirar hacia el futuro y avanzar algo sobre los otros dos aspectos clave de modo que analice la adecuación y calidad de los mecanismos de ejecución y se haga una estimación de los resultados del programa (flecha roja y verde que acompaña a la evaluación ex-ante en la parte inferior de la figura).
Una evaluación intermedia o final ha de buscar una perspectiva general de cómo está funcionando o ha funcionado el planteamiento del programa. Por ello el primer paso de estas evaluaciones también puede estar dedicado a la lógica del programa. Esto es claramente necesario si la lógica inicial contiene puntos oscuros o escasamente justificados, es decir, si la evaluación previa no se hizo correctamente o si sus conclusiones no se tomaron en cuenta. Puede ocurrir además que los objetivos fueran modificados a medio camino, por lo que sería necesario presentar una nueva lógica de programa al principio del informe de evaluación y comprobar si la coherencia general del programa se ha mantenido a pesar de estas modificaciones. Más a menudo, las necesidades a satisfacer o los problemas a resolver han cambiado durante la ejecución del programa. Si es necesario, la evaluación intermedia y final deben revisar la lógica de programa en vista de este nuevo contexto.
En cualquier caso, el estudio de la lógica de intervención en estas evaluaciones intermedias o finales se suele abordar como un ejercicio puntual, muy diferente a los trabajos de la evaluación previa donde las labores de análisis de la lógica de intervención constituyen un trabajo continuo durante toda la etapa de diseño. En una evaluación intermedia, conduce a recomendaciones para mejorar el sistema de control y los métodos de gestión. En una evaluación final, este análisis se utiliza para aclarar los objetivos cuando éstos no se han expresado de forma clara.
La aplicación y gestión
Iniciado el programa, comienza el seguimiento con el objetivo fundamental de analizar —y reorientar en caso necesario— el segundo aspecto clave, la aplicación y gestión del programa (color rojo en la figura). Un seguimiento físico, financiero y de los beneficiarios de la intervención junto con una adecuada autoevaluación han de ser instrumentos suficientes para asegurar la buena gestión del programa. Un adecuado sistema de seguimiento ha de ir valorando también los resultados que se vayan produciendo y facilitar cualquier rectificación que se vea necesaria en el planteamiento del programa. De ahí que partiendo de la aplicación se dirija hacia los resultados y vuelva al planteamiento inicial de la intervención con ánimo de mejorarla (ciclo que rodea al seguimiento en la parte inferior de la figura).
Durante el diseño, la evaluación previa se ha de hacer un análisis de la adecuación y calidad de los instrumentos de gestión. En la etapa de ejecución encontramos la evaluación intermedia que se centra en este aspecto de evaluación. Centrada en la gestión, supone un primer análisis profundo de la marcha del programa hasta la fecha y una oportunidad de cambiar el rumbo de los posibles planteamientos de la intervención que no terminen de funcionar correctamente. La evaluación final ha de sacar conclusiones sobre los resultados de la aplicación y gestión con vista a la mejora de futuras programaciones.
Resultados e impacto
Ya en la etapa de terminación nos encontramos con la evaluación final centrada en el análisis del tercer aspecto clave: los resultados e impacto del programa (de color verde en la figura). Esta evaluación ha de permitir descubrir cual ha sido la incidencia real del programa en su ámbito de aplicación. Ha de abordar también los otros dos aspectos clave (flecha azul y roja que acompaña a la evaluación final en la parte inferior de la figura). No sólo a modo de recopilación de todos los datos y conclusiones obtenidas en las actividades de S&E precedentes, sino como un análisis profundo y final que permita extraer las mejores conclusiones y enseñanzas posibles.
Si bien el proceso de aprendizaje es continuo desde el inicio de la intervención (flechas en la parte inferior de la figura), la evaluación final constituye un punto de referencia fundamental a la hora de extraer el conjunto de enseñanzas que pudiesen derivarse del sistema de S&E implementado.
En la evaluación previa se ha de hacer una estimación de los resultados que se esperan alcanzar, del impacto previsto. En la evaluación intermedia el estudio del impacto hace referencia al estado en que éste se encuentra en el momento de su realización. La evaluación final se apoya en los resultados y respuestas de la evaluación intermedia precisándolas si fuese necesario.
About Carlos Plaza
La integración entre el seguimiento, la evaluación, el programa y su contexto
La integración puede ser concebida de dos diferentes formas: por un lado supone el nexo de unión interno entre las actividades de seguimiento y evaluación, y por otro supone el nexo de unión externo entre el sistema de seguimiento y evaluación (S&E), el programa y su contexto.
Nexo de unión interno
La integración como nexo de unión interno es el vínculo entre las actividades de seguimiento y evaluación, especialmente a través de una adecuada gestión del conocimiento e innovación. Esta integración está representada por los engranajes de la figura.
La actividad principal lo constituye el seguimiento que supone la base de los ejercicios de evaluación, con la aportación de información y primeras reflexiones. Por su parte, los ejercicios de evaluación orientan y permiten corregir las deficiencias que pueda estar presentando el sistema de seguimiento. Todo ello a través de una adecuada gestión del conocimiento e innovación que se vaya generando.
Nexo de unión externo
Las actividades de S&E (representadas en la figura por los engranajes S y E) han de estar en contacto con la realidad del programa y su contexto (representados por la cascada de agua), para extraer los conocimientos y experiencia existentes y, gracias a una gestión adecuada (engranajes G), convertirlos en conocimiento útil incorporable al sistema de S&E.
La integración como nexo de unión externo es imprescindible para lograr la adecuación de las actividades de S&E al programa y su contexto, la adaptación en todo momento a las necesidades que puedan surgir en las tareas de programación.
Por otro lado permite la integración de los resultados de las actividades de S&E en la programación de forma que le sirvan de orientación y las intervenciones introduzcan los cambios que se vean necesarios.
La integración tiene entonces un doble papel. Por un lado, permite el aprendizaje adaptativo para la adecuación del S&E al programa y su contexto, y por otro lado permite el aprendizaje generativo para la mejora de las intervenciones a través de cambios e innovaciones.
Todo buen plan de seguimiento y evaluación debe estar concluido antes de que finalice la etapa de diseño de un programa. El proceso de integración como nexo de unión externo lleva consigo, en definitiva, el diseño de un adecuado plan de S&E, un estudio de cada etapa del programa —diseño, iniciación, ejecución, terminación— y un análisis detallado de las correspondientes necesidades en cada una de las etapas:
- En la etapa de diseño, la evaluación previa ha de encargarse de que el programa diseñado pueda ser evaluado más adelante.
- En la etapa de iniciación el seguimiento realiza un control de retrasos.
- En la etapa de ejecución del programa, el seguimiento y evaluación intermedia han de encargarse de que el programa siga siendo pertinente, eficaz y eficiente.
- En la etapa final, corresponde al seguimiento y evaluación final la medición y la valoración de los resultados del programa, su aplicación, resultados e impacto y la extracción de conclusiones que sirvan de experiencia en el futuro.
Diseño de un plan apropiado de S&E de un programa de desarrollo.
En definitiva, la integración supone el proceso mediante el cual el S&E se convierte en parte de la normal planificación y gestión de un programa, lo que supone su institucionalización e internalización. Ello permitirá realizar una adecuada gestión de los cambios e innovaciones que se consideren necesarios.
La integración interna entre el seguimiento y la evaluación, y la integración externa entre el sistema S&E y el programa y su contexto.
About Carlos Plaza
Características metodológicas de un sistema de seguimiento y evaluación
Nuestra propuesta es que un buen sistema de seguimiento y evaluación (S&E) ha de buscar la integración con los programas —su planificación y gestión— y su contexto, ha de contar con la participación activa de todos los implicados, y se ha de fundamentar en el aprendizaje. El modelo propuesto consta así de tres características principales: la integración, la participación y el aprendizaje. Ninguna es independiente de las otras y para lograr cualquiera de ellas es imprescindible que las tres alcancen un adecuado desarrollo dentro de las actividades de S&E.
Puesto que dedicaremos una entrada a cada una de estas tres características principales, nos ceñimos ahora a explicar otras características que resultan básicas a la hora de abordar los problemas que se intentan resolver:
- Complementación: El modelo se fundamenta en la complementación de enfoques básicos que han venido orientando las actividades de S&E. Supone una guía para la complementación de los enfoques cuantitativo y cualitativo, S&E de objetivos y S&E de procesos y de los enfoques ascendente y descendente. Supone además la complementación de fuentes de información cuantitativas y cualitativas, primarias y secundarias.
- Continuidad: El modelo parte de los procedimientos clásicos utilizados hasta ahora. El modelo no supone una ruptura sino una continuidad con lo que se ha venido haciendo. Es una apuesta por la participación y el aprendizaje que en muchos trabajos ya se realiza y por la complementación de enfoques que han orientado muchos de los estudios en el campo del S&E.
- Sencillez: Es importante que el modelo no precise de unos elevados conocimientos financieros, económicos, estadísticos o de cualquier tipo. En caso contrario, el proceso de S&E quedaría en manos de expertos externos a la comunidad que se pretende desarrollar, no contribuyendo al aprendizaje local.
- Flexibilidad: Aspecto que rompe con la —en ocasiones frecuente— rigidez de estos procedimientos. Esta característica busca preparar al modelo para el elevado grado de incertidumbre que se suele encontrar en el dinámico contexto del S&E del desarrollo. Contar con los mecanismos necesarios para una adecuada adaptación a las más diversas situaciones. Estos mecanismos se basan en la combinación de los enfoques de S&E por objetivos y los enfoques de S&E de procesos.
Mecanismo para asegurar la flexibilidad en el modelo de S&E.
- Enfoque positivo: Superar la visión a veces un poco negativa que centra sus esfuerzos en el análisis de los problemas que se han solucionado o quedan por resolver. El objetivo es buscar un enfoque más positivo, más centrado en el desarrollo de las capacidades y potencialidades que en el análisis de problemas.
- Precisión: Definir con claridad el contenido de las actividades de S&E —y especialmente de los ejercicios especiales de evaluación— concretando los objetivos de los esfuerzos que se vayan a realizar.
- Centralidad de los aspectos específicos: El modelo cuenta con los medios para detectar, seguir y evaluar los aspectos específicos que puedan presentar una intervención. Este aspecto permite no centrar siempre todos los esfuerzos en el estudio del impacto, permitiendo cuestionar el frecuente vínculo automático que se suele hacer entre evaluación e impacto. Existen criterios alternativos a la hora de evaluar un programa de desarrollo, como es su potencial de replicación, su capacidad innovadora, el nivel de participación local o su contribución al fortalecimiento de la sociedad civil.
About Carlos Plaza
Relación entre seguimiento y evaluación
El seguimiento y la evaluación están íntimamente vinculados. Ambos constituyen instrumentos necesarios para aportar elementos de juicio al proceso de toma de decisiones y demostrar la rendición de cuentas. Ninguno de los dos reemplaza al otro. La evaluación aprovecha la base de datos creada durante el proceso de seguimiento, suplementándola según sea necesario con datos sobre el efecto causado por el programa y repasando la información combinada en el curso de un período prolongado a fin de juzgar lo realizado.
Las funciones de seguimiento y evaluación de un programa de desarrollo. Fuente: Elaboración propia.
Las características y diferencias de una y otra actividad se definen en la siguiente tabla:
Características y diferencias entre seguimiento y evaluación |
|
Seguimiento |
Evaluación |
| Continuo | Periódica, en etapas importantes: a mitad del período de implementación del programa, al final o al cabo de un período sustancial después de finalizado el programa |
| Análisis poco profundo, supervisa, analiza y documenta los progresos registrados | Análisis a fondo; compara la planificación con los logros reales |
| Se centra en el seguimiento del beneficiario y en las realizaciones físicas y financieras | Se centra en el análisis del planteamiento y lógica de intervención, aplicación y gestión, y en el impacto |
| Responde qué actividades se realizaron y qué resultados se obtuvieron | Responde por qué y cómo se obtuvieron los resultados al contar con una mayor profundidad en el análisis. |
| Alerta a los administradores acerca de los problemas y brinda opciones para la adopción de medidas correctivas | Brinda a los administradores opciones de estrategia y de política |
| Análisis interno (autoevaluación) de los gestores y los interesados locales | Análisis externo a cargo de los evaluadores externos |
| Consumo interno del que se benefician los gestores y los interesados locales de la intervención | Consumo interno y externo del que se benefician los gestores, los interesados locales y los encargados del control externo de la intervención |
El seguimiento debe ser integrado a la estructura de gestión del programa, pero la evaluación, con sus horizontes más amplios, no es necesariamente un componente tan integral. Debemos considerar el seguimiento y la evaluación como funciones independientes una de la otra. Se encuentran separadas por sus objetivos, períodos de referencia, necesidades de análisis y usuarios. Pero una vez destacadas las diferencias, es necesario hacer constatar que hay características comunes que realzan la relación existente entre las dos actividades.
El seguimiento del programa y la evaluación deben colaborar con objeto de utilizar los recursos de manera eficiente sin perder de vista la finalidad primaria de acopiar recursos para información interna del programa, esto es, el suministro de un sistema de información diseñado para satisfacer las necesidades de gestión del programa.
Relación entre las funciones de seguimiento y evaluación
Conceptos relacionados con la evaluación: seguimiento, control, auditoría, investigación
Al no haber unidad de criterio al definir el seguimiento y la evaluación se produce una cierta confusión semántica por lo que trataré de llegar a unas definiciones adecuadas dentro del campo del desarrollo (U.N., 1984; Casley & Kumar, 1990; FAO, 1999; Comisión de la UE, 1999; 2002).
Lo más práctico es comprender el uso de los términos de seguimiento y evaluación, advirtiendo la relación existente entre ellos y las distinciones que cabe establecer. Esta distinción depende del uso y significado que se haga de ellos. En Norteamérica el seguimiento es conocido como la gestión de sistemas de información (management information systems), dejando claro que el propósito de ambas actividades es más para la gestión que para la evaluación (Patton, 1997).
Por seguimiento podemos entender la valoración continua tanto del funcionamiento de las actividades del programa en el contexto de los calendarios de ejecución como de la utilización de los insumos del programa por parte de las poblaciones fijadas como objetivo en el contexto de las expectativas del diseño. Un examen exhaustivo y periódico de los recursos, productos (outputs) y resultados de las intervenciones.
El seguimiento es parte integral del día a día de la gestión. Responsabilidad de los gestores encargados de la implantación de una intervención. El seguimiento es una actividad interna del programa (evaluación interna) realizada por los propios gestores del programa, parte esencial de una buena práctica de gestión y, por tanto, parte integral de la gestión diaria.
Esto supone que gran parte de la labor de vigilancia será realizada por los propios gestores de programa, con la ventaja de asegurar una retroalimentación óptima de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse.
Se distinguen en el seguimiento dos tareas fundamentales, por un lado la elaboración de un sistema de información, y por otro, la valoración continua de la marcha del programa que llamaremos autoevaluación (self-evaluation), de consumo interno y basada en el sistema de información.
El seguimiento se basa en un sistema de información coherente que incluye informes, estudios, balances, indicadores, etc. Ese sistema comprende los registros básicos físicos y financieros, los detalles de insumos y servicios suministrados a beneficiarios y los datos obtenidos de encuestas y otros mecanismos de registro, diseñados específicamente para atender a la función de seguimiento. Sin embargo, la evaluación, por lo común lleva consigo el establecer comparaciones que requieren información procedente externa al programa, en tiempo, zona o población.
La autoevaluación puede definirse como un proceso sistemático de valoración continua (evaluación sobre la marcha) de la pertinencia, eficiencia y eficacia de un programa durante su ejecución, realizado por los gestores de una intervención. La autoevaluación debe ser un ejercicio de reflexión interna de carácter voluntario dirigido a facilitar el aprendizaje. La autoevaluación trata de ejercicios sencillos encaminados a poner el acento en las recomendaciones prácticas que permitan el aprendizaje social y posibles cambios de rumbo en los programas.
La autoevaluación y el sistema de información deben estar diseñados uno en función del otro de manera que en el sistema de información se incluyen casi todos los campos cubiertos por la autoevaluación. En muchas ocasiones la línea divisoria entre ambos resulta muy tenue y no es posible decir dónde se detiene uno y comienza el otro. Cualquier diferencia entre estas dos actividades es meramente de énfasis. El sistema de información tiende a enfocarse más a las cuestiones de ejecución del programa, en tanto que la autoevaluación aborda los resultados probables de las intervenciones. Y en general puede decirse que el sistema de información alimenta la autoevaluación y posibilita la elaboración de recomendaciones prácticas, cuya verificación y uso permitan la mejora de la intervención.
De acuerdo con esta visión, las descripciones individuales de seguimiento del contacto con el beneficiario, de las realizaciones físicas y financieras y la evaluación interna en conjunto constituyen lo que se ha venido llamando seguimiento del programa. En definitiva podemos definir el seguimiento como: La actividad interna de una intervención, realizada por los propios gestores como parte integral de la gestión diaria, que realiza una valoración continua del contacto con los beneficiarios y de las realizaciones de la intervención sobre la base de un sistema de información y autoevaluación y dirigida a facilitar el aprendizaje, el fortalecimiento, adquisición de capacidades y la mejora continua.
La evaluación se distingue de otros procedimientos más normativos, tales como el control, la auditoría (audit) financiera o de gestión, que están encaminados a verificar, ya sea la regularidad, ya sea la legalidad o la ortodoxia financiera, o incluso a detectar errores, fallos o vicios de procedimiento. La principal distinción con la evaluación está por tanto en el objetivo y centro de atención, que en el caso de la evaluación es la valoración del mérito, valor e importancia. En otros términos, la evaluación no debe ser una herramienta de legitimación o deslegitimación de la ayuda, sino un mecanismo de aprendizaje que retroalimente información hacia quienes toman las decisiones. Otra distinción es quién realiza cada actividad: el seguimiento la realizan los gestores de una intervención, la evaluación evaluadores externos que se contratan, y el control y auditoría típicamente está relacionada con los organismos públicos de control.
Por último la evaluación se distingue de la investigación también en su objetivo: mientras que la investigación busca demostrar aspectos de la realidad con evidencias científicas, la evaluación busca mejorar esa realidad a través de juicios de valor en los que se pueda apoyar la toma de decisiones. La investigación busca en primera instancia aumentar el conocimiento (generalizable) en un determinado campo del saber mientras que la evaluación busca ayudar a la toma de decisiones y servir a propósitos específicos de las partes interesadas afectadas por lo que se está evaluando. Esas partes interesadas son las que en gran medida marcan la agenda de la evaluación, mientras que la agenda de la investigación la suele marcar el investigador que la realiza. La motivación por tanto también suele tener un enfoque distinto: curiosidad e interés científico en el caso de la investigación, y solucionar un problema concreto en el caso de la evaluación.
Referencias citadas (Puedes conseguir un ejemplar pinchando en los enlaces):
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
FAO (1999). Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación. Organización de las Naciones Unidas para la Agricultura y la Alimentación. Roma.
U.N. (1984). Guiding principles for the design and use of monitoring and evaluation in rural development projects and programmes. ACC Task Force on Rural Development. Panel on monitoring and evaluation. United Nations. Roma.
