Lógica de intervención: articulando control, seguimiento y evaluación
La siguiente figura visualiza cómo se puede plantear la articulación entre el control, seguimiento y la evaluación: el control se queda en los medios, el seguimiento alcanza las realizaciones materiales y parte de los resultados, mientras que la evaluación profundiza hasta los impactos a largo plazo.
Articulación entre el control, seguimiento y evaluación en términos de resultados e impactos.
En términos de contenido de la evaluación, ésta deberá articularse de forma coherente a la estructura de los programas, haciendo corresponder a cada ámbito del programa (necesidades, objetivos, medios, realizaciones, resultados e impactos) unos criterios de evaluación específicos. La siguiente figura esquematiza las relaciones que se pueden establecer para juzgar el valor de un programa, lo que se ha venido llamando lógica de intervención o modelo lógico.
Intervención lógica de un programa.
Esta lógica de la programación tiene una gran incidencia en el seguimiento y la evaluación. La propia programación de las intervenciones se realiza a partir de un cierto número de hipótesis que permiten esperar que las acciones planificadas vayan a producir determinados resultados y generar determinado tipo de impactos. Así, las intervenciones se programan:
- En un contexto determinado y atendiendo a unos objetivos globales (marcan los impactos a largo plazo esperados) que ofrece la perspectiva básica desde la que deberán implementarse las intervenciones.
- Estos objetivos globales suponen la consecución de una serie de objetivos específicos (marcan los resultados esperados) que permiten precisar la naturaleza y características de las intervenciones a realizar.
- La ejecución de estas intervenciones implica la realización concreta de un cierto número de acciones que, a su vez, van a producir una serie de realizaciones que deben permitir alcanzar los objetivos operativos programados.
El objetivo básico que se asigna al sistema de seguimiento de los programas consiste en verificar con regularidad su realización progresiva y efectiva, tanto física como financiera, así como las realizaciones y parte de los resultados respecto a los objetivos prefijados. Como refuerzo al sistema de seguimiento las evaluaciones deben aportar un juicio crítico sobre los impactos obtenidos y contribuir, con regularidad, a una gestión eficaz. De esta forma, el seguimiento del programa sigue la lógica esquematizada:
- Las acciones realizadas, consumidoras de una cantidad determinada de recursos (medios), dan lugar a unas realizaciones que han de juzgarse en base a los objetivos operativos.
- Las realizaciones dan lugar a unos resultados que deben contrastarse con los objetivos específicos prefijados.
- Estos resultados dan lugar a la generación de un impacto global que es el que debe compararse con los objetivos globales con ayuda de la evaluación.
A la hora de evaluar los impactos generados por el programa conviene tener presente que éstos no son ni mecánicos ni automáticos y pueden haberse visto afectados por factores de incidencia externos al propio programa. En este sentido, se apunta el interés de comprobar con el sistema de seguimiento las relaciones de causalidad (indicadores) entre las acciones y los resultados, así como entre los resultados y los impactos.
De esta forma, en sentido descendente, los objetivos específicos de un nivel deben servir como marco de referencia global para la intervención en el nivel inferior y constituyen su objetivo básico, mientras que los resultados esperados de un determinado nivel constituyen los objetivos específicos que han de alcanzarse con la intervención en el nivel inferior.
A la inversa, en sentido ascendente, los objetivos específicos de un nivel constituyen los resultados que se espera conseguir en el nivel superior y, del mismo modo, el objetivo global de un nivel es contribuir a la consecución del objetivo específico del nivel superior.
La aplicación de la lógica de intervención no es sencilla y debe realizarse caso a caso, teniendo en cuenta los recursos movilizados y la propia complejidad de las intervenciones.
Además de articular el seguimiento y la evaluación ayudándose de la lógica de intervención, es importante articular los distintos ejercicios de evaluación de un programa: las evaluaciones previa, intermedia y final. A las evaluaciones intermedias, debido al momento de su realización, se les asigna una influencia directa en la configuración de los programas para lo cual deben ayudar a la identificación de sus deficiencias y presentar recomendaciones que favorezcan su mejora y/o modificación.
Las evaluaciones intermedias quedan así estrechamente relacionadas, por un lado, con las evaluaciones previas (con el objeto de determinar si los objetivos fijados en la fase de planificación se están alcanzando) y, por otro lado, con las evaluaciones finales/posteriores (con el objeto de incluir las disposiciones necesarias para la medición resultado final). Cuando estas relaciones son débiles, bien por la falta de un nivel de precisión adecuado en la definición y cuantificación de los objetivos en las evaluaciones previas, bien por deficiencias en el propio sistema de seguimiento, tanto las evaluaciones intermedias como las finales/posteriores se resienten y no llegan a cumplir plenamente su función.
Integración entre los programas y sus evaluaciones en las diferentes fases de aplicación.
En la figura se refleja la interacción entre un programa y su evaluación en las diferentes fases de aplicación. Las flechas de línea discontinua indican que en la evaluación se obtiene y procesa información sobre los resultados y el impacto del programa aplicado. Las flechas de línea continua indican el momento de la evaluación y como las conclusiones y recomendaciones de esa evaluación deben incidir en el programa y en su aplicación o en las medidas que den continuidad al mismo. El esquema indica también que la evaluación debe aprovechar los resultados de evaluaciones anteriores (flechas superiores), es decir, que la evaluación intermedia debe tener presentes los resultados de la previa, y la evaluación final las conclusiones de la evaluación intermedia.
Relación entre seguimiento y evaluación
El seguimiento y la evaluación están íntimamente vinculados. Ambos constituyen instrumentos necesarios para aportar elementos de juicio al proceso de toma de decisiones y demostrar la rendición de cuentas. Ninguno de los dos reemplaza al otro. La evaluación aprovecha la base de datos creada durante el proceso de seguimiento, suplementándola según sea necesario con datos sobre el efecto causado por el programa y repasando la información combinada en el curso de un período prolongado a fin de juzgar lo realizado.
Las funciones de seguimiento y evaluación de un programa de desarrollo. Fuente: Elaboración propia.
Las características y diferencias de una y otra actividad se definen en la siguiente tabla:
Características y diferencias entre seguimiento y evaluación |
|
Seguimiento |
Evaluación |
| Continuo | Periódica, en etapas importantes: a mitad del período de implementación del programa, al final o al cabo de un período sustancial después de finalizado el programa |
| Análisis poco profundo, supervisa, analiza y documenta los progresos registrados | Análisis a fondo; compara la planificación con los logros reales |
| Se centra en el seguimiento del beneficiario y en las realizaciones físicas y financieras | Se centra en el análisis del planteamiento y lógica de intervención, aplicación y gestión, y en el impacto |
| Responde qué actividades se realizaron y qué resultados se obtuvieron | Responde por qué y cómo se obtuvieron los resultados al contar con una mayor profundidad en el análisis. |
| Alerta a los administradores acerca de los problemas y brinda opciones para la adopción de medidas correctivas | Brinda a los administradores opciones de estrategia y de política |
| Análisis interno (autoevaluación) de los gestores y los interesados locales | Análisis externo a cargo de los evaluadores externos |
| Consumo interno del que se benefician los gestores y los interesados locales de la intervención | Consumo interno y externo del que se benefician los gestores, los interesados locales y los encargados del control externo de la intervención |
El seguimiento debe ser integrado a la estructura de gestión del programa, pero la evaluación, con sus horizontes más amplios, no es necesariamente un componente tan integral. Debemos considerar el seguimiento y la evaluación como funciones independientes una de la otra. Se encuentran separadas por sus objetivos, períodos de referencia, necesidades de análisis y usuarios. Pero una vez destacadas las diferencias, es necesario hacer constatar que hay características comunes que realzan la relación existente entre las dos actividades.
El seguimiento del programa y la evaluación deben colaborar con objeto de utilizar los recursos de manera eficiente sin perder de vista la finalidad primaria de acopiar recursos para información interna del programa, esto es, el suministro de un sistema de información diseñado para satisfacer las necesidades de gestión del programa.
Relación entre las funciones de seguimiento y evaluación
Conceptos relacionados con la evaluación: seguimiento, control, auditoría, investigación
Al no haber unidad de criterio al definir el seguimiento y la evaluación se produce una cierta confusión semántica por lo que trataré de llegar a unas definiciones adecuadas dentro del campo del desarrollo (U.N., 1984; Casley & Kumar, 1990; FAO, 1999; Comisión de la UE, 1999; 2002).
Lo más práctico es comprender el uso de los términos de seguimiento y evaluación, advirtiendo la relación existente entre ellos y las distinciones que cabe establecer. Esta distinción depende del uso y significado que se haga de ellos. En Norteamérica el seguimiento es conocido como la gestión de sistemas de información (management information systems), dejando claro que el propósito de ambas actividades es más para la gestión que para la evaluación (Patton, 1997).
Por seguimiento podemos entender la valoración continua tanto del funcionamiento de las actividades del programa en el contexto de los calendarios de ejecución como de la utilización de los insumos del programa por parte de las poblaciones fijadas como objetivo en el contexto de las expectativas del diseño. Un examen exhaustivo y periódico de los recursos, productos (outputs) y resultados de las intervenciones.
El seguimiento es parte integral del día a día de la gestión. Responsabilidad de los gestores encargados de la implantación de una intervención. El seguimiento es una actividad interna del programa (evaluación interna) realizada por los propios gestores del programa, parte esencial de una buena práctica de gestión y, por tanto, parte integral de la gestión diaria.
Esto supone que gran parte de la labor de vigilancia será realizada por los propios gestores de programa, con la ventaja de asegurar una retroalimentación óptima de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse.
Se distinguen en el seguimiento dos tareas fundamentales, por un lado la elaboración de un sistema de información, y por otro, la valoración continua de la marcha del programa que llamaremos autoevaluación (self-evaluation), de consumo interno y basada en el sistema de información.
El seguimiento se basa en un sistema de información coherente que incluye informes, estudios, balances, indicadores, etc. Ese sistema comprende los registros básicos físicos y financieros, los detalles de insumos y servicios suministrados a beneficiarios y los datos obtenidos de encuestas y otros mecanismos de registro, diseñados específicamente para atender a la función de seguimiento. Sin embargo, la evaluación, por lo común lleva consigo el establecer comparaciones que requieren información procedente externa al programa, en tiempo, zona o población.
La autoevaluación puede definirse como un proceso sistemático de valoración continua (evaluación sobre la marcha) de la pertinencia, eficiencia y eficacia de un programa durante su ejecución, realizado por los gestores de una intervención. La autoevaluación debe ser un ejercicio de reflexión interna de carácter voluntario dirigido a facilitar el aprendizaje. La autoevaluación trata de ejercicios sencillos encaminados a poner el acento en las recomendaciones prácticas que permitan el aprendizaje social y posibles cambios de rumbo en los programas.
La autoevaluación y el sistema de información deben estar diseñados uno en función del otro de manera que en el sistema de información se incluyen casi todos los campos cubiertos por la autoevaluación. En muchas ocasiones la línea divisoria entre ambos resulta muy tenue y no es posible decir dónde se detiene uno y comienza el otro. Cualquier diferencia entre estas dos actividades es meramente de énfasis. El sistema de información tiende a enfocarse más a las cuestiones de ejecución del programa, en tanto que la autoevaluación aborda los resultados probables de las intervenciones. Y en general puede decirse que el sistema de información alimenta la autoevaluación y posibilita la elaboración de recomendaciones prácticas, cuya verificación y uso permitan la mejora de la intervención.
De acuerdo con esta visión, las descripciones individuales de seguimiento del contacto con el beneficiario, de las realizaciones físicas y financieras y la evaluación interna en conjunto constituyen lo que se ha venido llamando seguimiento del programa. En definitiva podemos definir el seguimiento como: La actividad interna de una intervención, realizada por los propios gestores como parte integral de la gestión diaria, que realiza una valoración continua del contacto con los beneficiarios y de las realizaciones de la intervención sobre la base de un sistema de información y autoevaluación y dirigida a facilitar el aprendizaje, el fortalecimiento, adquisición de capacidades y la mejora continua.
La evaluación se distingue de otros procedimientos más normativos, tales como el control, la auditoría (audit) financiera o de gestión, que están encaminados a verificar, ya sea la regularidad, ya sea la legalidad o la ortodoxia financiera, o incluso a detectar errores, fallos o vicios de procedimiento. La principal distinción con la evaluación está por tanto en el objetivo y centro de atención, que en el caso de la evaluación es la valoración del mérito, valor e importancia. En otros términos, la evaluación no debe ser una herramienta de legitimación o deslegitimación de la ayuda, sino un mecanismo de aprendizaje que retroalimente información hacia quienes toman las decisiones. Otra distinción es quién realiza cada actividad: el seguimiento la realizan los gestores de una intervención, la evaluación evaluadores externos que se contratan, y el control y auditoría típicamente está relacionada con los organismos públicos de control.
Por último la evaluación se distingue de la investigación también en su objetivo: mientras que la investigación busca demostrar aspectos de la realidad con evidencias científicas, la evaluación busca mejorar esa realidad a través de juicios de valor en los que se pueda apoyar la toma de decisiones. La investigación busca en primera instancia aumentar el conocimiento (generalizable) en un determinado campo del saber mientras que la evaluación busca ayudar a la toma de decisiones y servir a propósitos específicos de las partes interesadas afectadas por lo que se está evaluando. Esas partes interesadas son las que en gran medida marcan la agenda de la evaluación, mientras que la agenda de la investigación la suele marcar el investigador que la realiza. La motivación por tanto también suele tener un enfoque distinto: curiosidad e interés científico en el caso de la investigación, y solucionar un problema concreto en el caso de la evaluación.
Referencias citadas (Puedes conseguir un ejemplar pinchando en los enlaces):
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
FAO (1999). Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación. Organización de las Naciones Unidas para la Agricultura y la Alimentación. Roma.
U.N. (1984). Guiding principles for the design and use of monitoring and evaluation in rural development projects and programmes. ACC Task Force on Rural Development. Panel on monitoring and evaluation. United Nations. Roma.
Buscando una definición de evaluación
La evaluación no debe ser vista ante todo como una actividad técnica o metodológica. Tampoco ha de ser entendida como la elaboración de informes. Es una actividad que principalmente implica pensar. La evaluación es en su sentido más profundo una vía para reflexionar sobre lo que está pasando. Muy íntimamente unida a esta apertura de un ámbito para reflexión, está el potencial de la evaluación para hacer repensar y analizar, generar capacidades entre la población afectada por un proceso de evaluación, y la mejora de las intervenciones que modifican la realidad que les rodea.
La evaluación como práctica profesional se ha venido definiendo como “el proceso de determinar el mérito, interés e importancia de las cosas” (Scriven, 2005, p. 235). Pero veamos cada uno de estos tres términos.
El mérito (merit) está relacionado con las propiedades intrínsecas, características o atributos de lo que estamos evaluando en comparación con los criterios de calidad utilizados. Por ejemplo, en el caso de una manzana estaríamos hablando de su sabor, apariencia, color, estado de madurez… En la evaluación de programas decimos que un programa tiene mérito cuando: 1) cumple con lo que estaba llamado a hacer, logrando los resultados esperados, y 2) supone una diferencia significativa en la realidad como consecuencia de su implementación.
El interés (worth) es la estimación de lo que vale lo que estamos evaluando en comparación o equivalencia a otra cosa, típicamente el dinero. Así que mientras el mérito puede ser difícil de medir, el valor suele expresarse en un valor monetario fácilmente medible. En el caso de la manzana estaríamos hablando de su precio. En el caso de la evaluación de programas podemos estar hablando de la comparación de dos programas (uno más barato que otro y por tanto con más valor) o la comparación de un mismo programa en dos sitios distintos (uno con más impacto que otro y por tanto con más valor).
La importancia (significance) se refiere a los valores y significación que asociamos a aquello que estamos evaluando. Es preguntarse por lo que lo hace especial o significativo para unos individuos concretos. En el caso de la manzana podríamos estar hablando de su importancia por quién me la ha regalado o por el hecho de que es lo único que tengo para comer; su mérito y valor pueden ser pequeños pero su importancia mucha. En el caso de la evaluación de programas podemos hablar de programa ineficaces, con impacto muy limitado, pero con una alta importancia por su valor simbólico por ser el único que cubre una determinada necesidad de un sector vulnerable de la población.
La evaluación supone así la emisión de un juicio por parte de un sujeto sobre el mérito derivado de las características intrínsecas de lo que evaluamos, el interés en referencia a una determinada moneda (u otro referente que se considere adecuado) y la importancia en relación a características adheridas por el contexto y las personas que rodean lo que evaluamos. Pero es fundamental que ese juicio sobre el mérito, interés e importancia que se emite se fundamente en hechos objetivos y concretos. La evaluación es una actividad en la que partiendo de los hechos (objetivos) llegamos a un juicio (realizado por un sujeto) sobre esos hechos. Este juicio es subjetivo por naturaleza, pero deberá tratar de aproximarse a la realidad y objetividad de los hechos lo máximo posible.
En la evaluación de programas, podemos decir que una evaluación es una valoración, tan sistemática y objetiva como sea posible, de un proyecto, programa o política en marcha o terminado, su diseño, aplicación y resultados (Comisión de la UE, 2002). Evaluar una acción, una operación, un proyecto, un programa, significa examinarlo en su contexto de aplicación, para poder apreciar los efectos en relación con una situación de referencia, y juzgar su impacto en relación con los objetivos perseguidos: impacto global, utilidad social, interés económico… En este sentido, la evaluación es una valoración periódica del programa en el contexto de sus objetivos declarados (Casley & Kumar, 1990).
Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en la toma de decisiones. Para ello es importante preservar la independencia y objetividad de los evaluadores con respecto a los gestores y autoridades financieras, y que la evaluación constituya una actividad externa del programa realizada por profesionales ajenos a la gestión y control del programa.
La evaluación aplicada a un programa de desarrollo, examina de que manera el programa, y las diversas operaciones que lo integran, aporta soluciones a los problemas identificados, alcanza los objetivos fijados, crea nuevos valores económicos, sociales y culturales, así como las condiciones de una dinámica sostenible de desarrollo. En definitiva podemos intentar definir la evaluación de programas como: La actividad externa de una intervención, tan sistemática y objetiva como sea posible, que lleva a cabo de forma periódica el análisis y valoración a fondo de la intervención o aspectos concretos de ella, su diseño, aplicación y resultados, con referencia a unos criterios y estándares explícitos; lo que lleva a un juicio de valor sobre el mérito, interés e importancia y a una oportunidad para el aprendizaje y mejora continua de la intervención y la toma de decisiones sobre futuras intervenciones.
Referencias citadas:
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
SCRIVEN, M. (2005). Logic of evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 235-238). Thousand Oaks, CA: Sage.
