El plan temporal de una evaluación sirve para guiar posteriormente las actividades de evaluación. Sin necesidad de emplear mucho tiempo en su diseño sirve para propósitos de gran importancia:
- En primer lugar, provee de un enfoque coherente para llevar a cabo la evaluación y hacer uso de los resultados. Ayuda a que los recursos se empleen adecuadamente y los resultados de evaluación sean usados para su intención original.
- Guía las actividades de evaluación al explicitar sus objetivos, cuándo han de realizarse, cómo, y asignando responsables de llevarlas a buen fin.
- Ayuda a la transparencia de la evaluación al documentar el proceso de evaluación para todas las partes implicadas.
- Asegura la fidelidad a la implementación de la evaluación al explicitar con claridad el proceso de evaluación en sus diferentes actividades.
En definitiva, al crear un plan de evaluación se facilita que los recursos no se malgasten a la hora de llevar a cabo la evaluación y se produzcan resultados que ayuden a la mejora de los programas.
Todo plan de evaluación ha de recorrer varias etapas con diferentes actividades cada una. Michael Scriven en 1980 dio el primer paso hacia la conceptualización de estas etapas a través del análisis de un gran número de evaluaciones de programas. Estas etapas principales por las que discurre una evaluación son:
- Estructurar como se desarrollarán los trabajos de evaluación.
- Observar los datos disponibles y los cambios que se producen en el programa acorde a la estructuración de la evaluación realizada anteriormente.
- Analizar los datos recogidos.
- Emitir un juicio sobre el programa evaluado.
En la figura se representan las cuatro etapas junto con los pasos que implica cada una de ellas.
Etapas principales del proceso de evaluación.
Fuente: Elaboración propia a partir de Scriven (1980)
El gráfico de diamante que aparece en la parte derecha de la figura es obra de Michael Scriven, y refleja como desde la etapa de estructuración hasta la de observación la información se va “acumulando”; se parte de la definición de lo que se va a medir con la evaluación para llegar a una gran cantidad de información recopilada sobre aquello que se va a medir en el programa, ya dentro de la etapa de observación. Tras ello, la cantidad de información vuelve a disminuir al sintetizarse en unos juicios sobre el mérito, valor e importancia del programa evaluado.
A continuación se detallan los contenidos de cada una de las etapas:
Estructurar
La primera etapa, aunque es previa al propio ejercicio de evaluación, se incluye dentro de las fases de una evaluación. Es importante planificar cualquier acción que se lleve a cabo y todo lo referente a esta planificación y estructuración constituye la primera tarea a realizar. En esta fase es necesario:
- Analizar cuáles son los agentes implicados en la evaluación, conectar con ellos, involucrarlos y asegurar su participación a lo largo de la evaluación. Para ello es importante considerar sus necesidades en el diseño de la evaluación.
- Describir el programa, las necesidades que venía a cubrir, objetivos y expectativas, actividades realizadas, recursos implementados, contexto actual y principales influencias que lo afectan…
- Diseñar la evaluación a través de dos pasos esenciales: (1) Análisis y clasificación de los efectos a evaluar definiendo criterios y estándares; y (2) elección de los instrumentos de observación.
Observar
La siguiente etapa ―observar― comprende los siguientes dos pasos:
- Definición del campo de observación: Consiste en definir un campo de observación suficientemente limitado como para que la extracción de datos no genere costes excesivos, y suficientemente grande como para producir información fiable, contrastada y suficiente como para poder medir los efectos del programa que serán evaluados. Por tanto, es una decisión que condicionará la evaluabilidad del programa.
- Recopilación de datos: Consiste en la recopilación de datos primarios a través de las diversas herramientas diseñadas para esta función. Este paso resulta esencial si la evaluación no puede basarse exclusivamente en datos secundarios (que son fundamentalmente aquellos generados por la evaluación previa o por otros documentos y los datos estadísticos existentes). Las herramientas que se aplican en este paso permiten la recolección de hechos y opiniones y la reconstrucción de lo sucedido de una forma cualitativa o cuantitativa.
Es importante obtener datos que permitan dar evidencias que permitan gozar a la evaluación de una buena credibilidad cuando el evaluador tenga que elaborar sus juicios de valor.
Analizar
La tercera etapa comprende los siguientes dos pasos:
- Comparación de datos: Consiste en la presentación de los datos primarios y/o secundarios de tal manera que se puedan extraer conclusiones.
- Estimación de los efectos: Estimar los efectos del programa requiere un análisis de la causalidad que casi siempre sigue un enfoque deductivo, es decir, un enfoque basado en la verificación de las hipótesis de causa y efecto. La bibliografía científica sobre evaluación propone mayoritariamente herramientas de tipo cuantitativo para realizar este análisis.
Juzgar
La última etapa comprende los siguientes dos pasos:
- Análisis en los términos de los diferentes criterios: La evaluación debe ser capaz de juzgar si los resultados obtenidos del programa son suficientes o insuficientes. Hay varias herramientas que pueden ser utilizadas en la etapa de análisis, las más relevantes en la evaluación de programas socioeconómicos son los análisis coste-eficacia y la evaluación comparativa.
- Formulación de un análisis sintético: El octavo y último paso en una evaluación consistirá en la formulación de las conclusiones a partir de la síntesis final de los análisis parciales sobre diferentes criterios. Queda a elección del usuario de la evaluación y el equipo evaluador la necesidad o no de que el equipo emita recomendaciones en base a los resultados del proceso de evaluación.
En la actualidad se discute si los evaluadores deben dar recomendaciones a la luz del juicio del programa. Muchos autores sostienen que la labor de la evaluación acaba al proporcionar un juicio —con la máxima objetividad posible— sobre el programa. Este juicio debe estar argumentado sobre un proceso con la suficiente claridad como para permitir a los gestores del programa emprender las acciones correctoras necesarias para la mejora del mismo. Bajo esta concepción de la evaluación, el análisis de las posibles medidas correctoras del programa es competencia exclusiva de los gestores del mismo. Otros autores sostienen, en cambio, que el evaluador, al cabo del proceso de evaluación posee suficientes argumentos y conocimiento del programa como para emitir una serie de recomendaciones que permitan a los gestores reorientar el programa en caso de que sea necesario.
Es importante asegurar el uso de los resultados de evaluación, para lo que consideramos que es importante incluir una última etapa dentro del plan temporal: el diseño de una estrategia de diseminación y comunicación de resultados que permita compartir los resultados obtenidos.
Referencias citadas:
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
