En los ejercicios especiales de evaluación se ha de estudiar la lógica de intervención y hacer una reconstrucción de la cadena de relaciones que conduce de las medidas a los resultados más inmediatos y al impacto más a largo plazo del programa y esquematizarla de una manera sencilla. No se trata únicamente de describir el programa sino de determinar las relaciones existentes entre los objetivos que se persiguen con la intervención, las medidas aplicadas para alcanzar dichos objetivos y los resultados obtenidos. Se trata de realizar un análisis crítico que permita dar respuesta a la pregunta de cómo las medidas contribuyen al logro de los objetivos.
Para responder a la primera pregunta sobre lo adecuado de la programación planteada es necesario reconstruir la estructura del programa. Esta estructura debe existir puesto que ha servido de base para la construcción del programa. Sin embargo, muchas veces no está bien definida y faltan pasos intermedios que conviene clarificar. En estos casos, es necesario precisar los objetivos del programa en sus diferentes niveles. Esto se hace en general identificando los grupos de acciones concretas que persiguen una meta análoga. Se define esta meta y se expresa en términos de objetivo determinando en que se desea modificar la situación de referencia.
Una vez tenemos la estructura del programa se realiza el análisis de su lógica de intervención. Este análisis debe haber sido realizado en la programación a la vez que revisado en las primeras etapas de evaluación (evaluación previa) y corroborado en etapas posteriores. Por tanto no debe ser necesario más que un pequeño análisis crítico que permita dar respuesta a los criterios de evaluación de pertinencia y coherencia.
Pertinencia
En el caso de una evaluación de fase intermedia, el equipo de evaluación debe examinar hasta qué punto están evolucionando las necesidades socio económicas y los problemas de desarrollo, si empeoran o mejoran, e intentar explicar por qué. El objetivo es examinar si la estrategia establecida mantiene su pertinencia en vista de las nuevas circunstancias que puedan darse. En caso de no ser así la evaluación intermedia debe permitir adecuar el programa al nuevo contexto territorial.
El objeto de este cuestionamiento en la evaluación final es sobre todo el de conocer si el programa bajo estudio es el medio para resolver los problemas que se están abordando, o por el contrario debe apostarse por otras vías de solución.
Una buena herramienta para analizar este criterio es la realización de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estén desarrollando. De este modo se evalúan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.
Claridad y coherencia de los objetivos: Coordinación con otros programas
Es importante la reconstrucción de los objetivos que realmente se han seguido si éstos no coincidieran con los inicialmente planteados. Esto nos debe servir para estudiar su coherencia interna y la claridad con que fueron definidos.
En el caso de la coherencia externa, el principal riesgo es la aparición, a medio camino, de otras intervenciones que duplican o contradicen el programa evaluado. Si fuera necesario, la evaluación intermedia debe revisar las políticas similares y estudiar si prolongan, complementan, solapan o contradicen el programa en marcha. Este estudio consiste en entrevistas con los gestores y operadores de programas y con cualquier otra persona en situación de proporcionar información fiable.
En el caso de la evaluación intermedia la posible detección de estos cambios en las políticas e intervenciones relacionadas con el programa deben llevar a un replanteamiento de la intervención en caso de que se vea necesario. En el caso de la evaluación final el objetivo es el de verificar la efectiva coordinación de la lógica de intervención con el resto de intervenciones a lo largo del programa.
Coherencia interna entre los objetivos y medidas
La búsqueda de la coherencia interna entre las medidas y los objetivos del programa tendrá una gran importancia en el caso de la evaluación de fase intermedia, cuando el programa aún puede mejorarse. En ese caso, la evaluación debe contribuir al reorientación de las medidas hacia los objetivos en caso de que sea necesario: bien porque los objetivos hayan cambiado, bien porque las medidas no hayan sido correctamente orientadas.
En la evaluación final el estudio de esta coherencia busca la comprobación de que ésta se haya dado a lo largo de la aplicación del programa. En caso negativo, el estudio debe llevar a comprender las razones de la falta de coherencia detectada y así contribuir al aprendizaje para próximas programaciones.
La herramienta que se aconseja es la realización de una matriz que enfrente las medidas aplicadas con los objetivos que se persiguen. Esta matriz permite verificar que las medidas cubren todos los objetivos y lo hacen de una manera adecuada.
Calidad del documento de programación
Así como la evaluación previa vela por el logro de un documento de programación con una calidad adecuada, la evaluación intermedia y sobretodo la final, comprueban que efectivamente se da esa calidad. Las perspectivas son distintas, cuando se realizan estas dos últimas evaluaciones el programa está en marcha o ya ha terminado con lo que ya existe una experiencia práctica del programa. Con ella se detectan posibles desajustes, faltas de claridad, incoherencias… que antes de poner en práctica el programa son difíciles de identificar.
El objetivo es analizar si los defectos detectados en el documento de programación son justificables por las circunstancias y medios empleados en su momento, o por el contrario responden a una falta de profesionalidad o de buen hacer. Los criterios de calidad que se proponen son los siguientes:
- Satisfacción de las necesidades: ¿Aporta la evaluación la información suficiente para preparar un plan y se ajusta a las condiciones establecidas?
- Alcance: ¿Incluye el fundamento del programa y los resultados e impactos esperados?
- Concepción: ¿La concepción de la evaluación es apropiada para responder a preguntas clave en el momento preciso?
- Datos: ¿Son adecuados los datos útiles recabados y se tiene suficientemente en cuenta su fiabilidad?
- Validez del análisis: ¿Se somete la información disponible a los análisis oportunos?
- Credibilidad de los resultados: ¿Se derivan lógicamente del análisis los resultados y están justificados por el mismo?
- Imparcialidad de las conclusiones: ¿Son las conclusiones objetivas y operativas y están libres de la influencia de las opiniones de los interesados?
- Claridad: ¿Está el informe escrito de una forma fácil de comprender?
