Los informes de evaluación constituyen el principal flujo de información del programa hacia su exterior y han de suponer el resultado de todos los trabajos de seguimiento y evaluación realizados sobre un determinado programa hasta la fecha en que se está evaluando. Es cierto que están los informes de seguimiento y control pero ninguno de ellos tiene la profundidad y alcance de un ejercicio especial de evaluación. Es por ello que, junto con el informe de programación, son los documentos de elaboración más cuidada. Los resultados de la evaluación deben ser presentados de modo que puedan ser entendidos y utilizados.
En muchas ocasiones las evaluaciones trascienden el nivel de análisis de un simple proyecto o programa y pasan a formar parte normalmente de ejercicios de evaluación realizados a otros niveles como planes regionales, nacionales… y por ello es necesaria su homogeneidad. Homogeneidad que no es sólo de metodología y análisis sino que también de redacción, contenido y estructura de los informes.
Estructura de los informes de evaluación
Con la mente puesta en estos casos, la estructura de los informes de evaluación debe ser tal que garantice el tratamiento de todos los aspectos esenciales y unos resultados comparables que permita su síntesis. La estructura puede consistir en un resumen, un informe principal y unos anejos. El conjunto, y desglosando el contenido del informe principal se debe contar con:
- Resumen: Con un máximo de 10 páginas, una breve descripción del trabajo realizado, la metodología aplicada y una síntesis de las conclusiones y recomendaciones del estudio, en forma de respuestas a las preguntas de evaluación.
- Introducción: Incluye una descripción del contexto del programa, características de la aplicación y finalidad de la evaluación.
- Explicación del enfoque metodológico: descripción de la concepción y análisis, recopilación de datos y fuentes utilizadas, así como la fiabilidad de los datos y las conclusiones.
- Presentación y análisis de la información recopilada: información financiera y realizaciones, información sobre los beneficiarios utilizada, respuestas a las preguntas comunes, constataciones en relación con las preguntas específicas del programa, etc.
- Conclusiones y recomendaciones en relación con los objetivos de las políticas implementadas, los objetivos específicos del programa, la eficacia, eficiencia, utilidad y sostenibilidad de los resultados.
- Anexos.
Calidad de los informes de evaluación
Los informes de evaluación deben tener una calidad adecuada. Para ello podemos analizar el cumplimiento de los siguientes criterios extraídos del volumen I de la colección MEANS (Comisión de la UE, 1999):
- Satisfacción de necesidades: ¿Satisface apropiadamente la evaluación las necesidades de información? ¿se ajusta al pliego de condiciones?
- Alcance pertinente: ¿Se analiza plenamente la motivación del programa, sus realizaciones, resultados e impacto, incluida la interacción entre las diversas medidas y sus consecuencias, previstas o imprevistas?
- Concepción adecuada: ¿Está concebida la evaluación de forma apropiada para garantizar que queden recogidas la totalidad de las constataciones, así como las limitaciones metodológicas, para responder a las preguntas de evaluación?
- Datos fiables: ¿En qué medida los datos primarios y secundarios recopilados o seleccionados son apropiados, esto es, ofrecen un grado de fiabilidad adecuado para el uso a que se destinan?
- Análisis sólido: ¿Se analiza la información cuantitativa y cualitativa apropiada y sistemáticamente, conforme a las técnicas más avanzadas, de modo que sea posible responder a las preguntas de evaluación de forma válida?
- Constataciones fiables: ¿Las constataciones hechas son la consecuencia lógica de un análisis de datos y una interpretación, basados en hipótesis racionales y cuidadosamente descritas, que constituyen su justificación?
- Conclusiones imparciales: ¿Son las recomendaciones justas, sin que en ellas se interfieran opiniones personales o intereses particulares, y lo suficientemente detalladas, de manera que puedan ponerse en práctica?
- Informe claro: ¿Se describe claramente el programa evaluado, incluidos el contexto y finalidad del mismo, así como los procedimientos y constataciones de la evaluación, de modo que la información aportada pueda comprenderse fácilmente?
Informe principal
El informe principal ha de contener los aspectos esenciales que describen el programa que se evalúa, la metodología empleada y los resultados de la evaluación realizada: sus conclusiones y recomendaciones.
La descripción del programa ha de abarcar de modo breve la descripción del programa ─estrategias, medidas, objetivos, modos de gestión y financiación─ y su contexto. Dentro de este contexto, hacer un escueto repaso del contexto territorial (el capital con el que cuenta el territorio), del contexto legal e institucional. Esta descripción enmarca la evaluación y facilita la interpretación de los resultados en el caso de una persona ajena al territorio. Se proporciona así una herramienta para comprender mejor las circunstancias que rodean la intervención.
La descripción de la metodología empleada debe ceñirse a lo escuetamente necesario para comprender los pasos seguidos con la evaluación. Marco legal de referencia, aspectos principales que se evalúan, definición de preguntas clave de evaluación, metodología de respuesta, nivel de análisis escogido y fuentes de información. Se trata de introducir lo que constituye el grueso del documento: los resultados de la evaluación llevada a cabo. Una vez familiarizado con la metodología empleada la lectura de este tercer bloque ha de resultar más fácil y comprensible.
Los resultados de la evaluación realizada pueden comenzar con un repaso de las actividades de control, seguimiento y evaluación desarrolladas hasta la fecha. Las conclusiones de este repaso nos llevan a la descripción de los resultados obtenidos. Primero con respecto al planteamiento y lógica de intervención respondiendo a la pregunta sobre si la programación ha sido la adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.
El segundo bloque los constituye la aplicación del programa y su gestión respondiendo a la pregunta de si se ha seguido la programación prevista y de si esto se consiguió con una gestión adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.
El tercer bloque resume las respuestas a las preguntas sobre los resultados e impacto del programa. Comenzando con las preguntas específicas el bloque termina con el análisis de las preguntas globales. Todas las preguntas estructuradas por su finalidad, criterio, análisis, respuesta y limitaciones encontradas.
El documento debe finalizar con una serie de conclusiones y recomendaciones que extraigan todo el aprendizaje que se pueda concluir tras la realización de la evaluación. Esto facilita el aprendizaje de quién se propone la mejora del programa evaluado (evaluación intermedia) o la mejora de una posterior programación (evaluación final).
Resumen
El informe principal ha de estar acompañado por un breve resumen con los datos básicos sobre el programa, la metodología de evaluación y sobre todo, sobre los resultados de la evaluación: conclusiones y resultados. El resumen facilitará la difusión de estas conclusiones y recomendaciones y posibilitará su puesta en práctica así como su difusión a todas las instituciones implicadas en el programa. También resulta fundamental para la agregación de resultados en posibles evaluaciones a niveles superiores de análisis.
Anejos
El informe principal también ha de ir acompañado de una serie de anejos. La función de estos anejos es la de descargar al informe principal de información que no es básica y se facilite así su lectura. Tablas de datos, información excesivamente desagregada o especializada, encuestas realizadas, datos financieros, explicaciones más detalladas de algunos aspectos… Es información valiosa pero su inclusión en el informe principal dificultaría su lectura más que ilustrar los resultados obtenidos. Cualquier persona interesada en profundizar en algún aspecto concreto de la evaluación puede acudir a los anejos y encontrarla allí.
Pueden incluirse anejos que describan con mayor precisión y especialización la metodología empleada, la participación social realizada o la gestión interna de los programas. Otros anejos pueden condensar toda la información obtenida, fuentes y datos estadísticos, datos financieros del programa, fuentes documentales e informáticas consultadas. Otros pueden tratar con más extensión los informes y controles realizados con anterioridad al programa o desarrollar con más extensión toda la normativa aplicable.
Referencias citadas:
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
About Carlos Plaza
