En la evaluación previa se realiza un diagnóstico sobre los resultados que se esperan alcanzar con el programa que se implementa. En el sistema de seguimiento se constatan resultados e impactos que se van detectando aunque el primer estudio serio del impacto se realiza con la evaluación intermedia. Pero el único documento donde queda reflejado el impacto del programa a lo largo de su aplicación es el de la evaluación final. Este es muchas veces el aspecto clave en la realización de la evaluación final.
Conocer los resultados (efectos directos) de un programa supone conocer bien las características de la acción o acciones en las que se ha materializado el programa. Interesan especialmente aquellas características relacionadas con los objetivos del programa, por ejemplo los empleos creados, la población formada o los alojamientos creados. El impacto de una actuación o programa es una de las cuestiones que más interesan de un ejercicio de evaluación. Se ha de establecer de forma relativizada relacionándolo con cifras de población o superficie afectadas por el programa, con objeto de que se pueda comparar con otros programas u otras localidades.
En este tercer aspecto de evaluación, además de llevar el análisis de la eficacia y eficiencia más allá de las realizaciones puramente materiales, se aborda el estudio de la utilidad y sostenibilidad de los impactos producidos con la intervención, con los que se terminan de abordar los aspectos clave que normalmente deben analizarse en toda evaluación.
Reconstrucción de la situación de referencia: la situación sin programa
El análisis de los datos obtenidos se realiza de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluación sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. El primer paso para ello es la reconstrucción de la situación de referencia, el punto de partida antes de la aplicación del programa. A partir de ahí el análisis de los datos nos muestra lo que ha ido ocurriendo, pero cabe siempre la pregunta de qué es lo que se debe realmente al programa evaluado: para ello se puede realizar la hipótesis de lo que hubiese ocurrido si el programa no se hubiese llevado a cabo.
Esta hipótesis se realiza partiendo de la situación de referencia o hipotética –a menudo es necesario reconstruir la situación de referencia a partir del pasado– y se analiza qué hubiese sucedido sin la intervención, definiéndose habitualmente como “la situación sin programa“. No se trata de la situación inicial sino de la situación que viviría el territorio si el programa no hubiera existido. En el caso de que cierto número de operaciones sean complementarias a otros programas existentes se hace especialmente importante tener esto en cuenta. Se trata de un trabajo costoso y laborioso.
El método que se emplea más corrientemente es aquel que consiste en elaborar tendencias a partir del análisis del período anterior a la aplicación del programa. Por supuesto, esto supone que se disponga de indicadores pertinentes, “variables“, es decir un fenómeno que evoluciona en el tiempo y en el espacio. Son los mismos indicadores que permiten caracterizar los objetivos operacionales, pues no son más que una modificación de la situación de referencia (modificación de la tendencia). Por lo tanto, se les caracteriza utilizando las mismas herramientas
Esta situación puede clarificarse mediante indagaciones sobre el valor añadido de la ayuda, si los promotores hubiesen invertido sin la ayuda. La comparación entre grupos puede también servir para determinar los efectos netos de la ayuda, es decir, lo que cabe atribuir directamente a la ayuda. Para ello, un grupo de beneficiarios se compara con otro grupo similar que no goce de ayuda, tal vez antes y después de la intervención. La comparación de grupos puede servir también para determinar los efectos ajenos a la intervención. A este respecto, la realización de una encuesta entre no beneficiarios puede servir para analizar si determinados proyectos se habrían llevado a cabo aun sin ayuda.
Ejemplos del estudio de la situación sin programa en la evaluación del POSEICAN Canario realizada desde el Dto. de Proyectos en 1999. En ellos se ve la evolución de las producciones de carne de gallina y ganado ovino de 1985 a 1996 y una estimación (líneas punteadas) de lo que hubiera sucedido si el programa no se hubiese aplicado.Fuente: Elaboración propia a partir de los Datos Estadísticos Agrícolas, Ganaderos y Forestales canarios del Servicio de Estadística de la Consejería de Agricultura, Pesca y Alimentación del Gobierno de Canarias.
Cualquiera que sea el fenómeno a analizar, siempre conviene elaborar un indicador que permita caracterizar tanto la situación de referencia como el objetivo, aún cuando este último sea decididamente de naturaleza cualitativa.
Aspectos globales y específicos
La definición y análisis de los objetivos globales y específicos (aspectos específicos) del programa constituye un punto de referencia fundamental a la hora de analizar el impacto del programa.
El estudio del impacto se aborda en primer lugar a través de los aspectos específicos del programa y su impacto en la zona de aplicación. El estudio se termina con un enfoque más global que trata de detectar los impactos ya a un nivel más general del programa en su conjunto. Se desarrollan por tanto dos tipos de preguntas de evaluación. Por un lado, preguntas específicas para cada uno de los objetivos específicos del programa (especificidades), por otro, algunas preguntas globales para cada uno de los objetivos globales, y que han de cubrir todo el programa en su conjunto. Las primeras tratarán de detectar cual es el valor añadido que aportan las especificidades del programa, mientras que las últimas analizan el impacto global, la relación existente entre cada una de las especificidades y medidas, así como su aportación al impacto global detectado.
Aspectos específicos
En un primer paso el estudio del impacto se centra en los impactos específicos, propios de un programa concreto, fundamentados en los aspectos específicos que presenta la intervención. En un segundo paso el estudio se centra en el impacto a un nivel ya más global que nos permita valorar en su conjunto el resultado e impacto del programa.
Orientadas a analizar el impacto global, las preguntas específicas para la detección de aspectos específicos del programa, aun siendo importantes en sí mismas, hay que responderlas teniendo en cuenta el contexto global. De esta forma responden no sólo al funcionamiento de esa especificidad sino que además ayudan a responder las preguntas sobre el impacto global del programa.
Aspectos globales: Combinación de resultados
El estudio del impacto global del programa responde a preguntas relacionadas con los logros para la generación de un desarrollo sostenible fundamentado en los propios recursos del territorio, en su capital territorial. Conocer el nivel de desarrollo alcanzado como consecuencia del programa y si éste es de carácter sostenible, analizando el apoyo en los recursos propios de la zona y su capacidad para reproducirse por sí mismo a nivel económico, financiero, social y cultural una vez desaparezcan las ayudas.
Comprobar si se ha logrado una participación de los agentes sociales y económicos. Analizar la influencia de las características específicas del programa en la consecución de los objetivos fijados inicialmente. También es importante valorar la consecución de un impacto global positivo en temas como los problemas medioambientales, la desigualdad de mujeres y jóvenes, la contribución a la creación de empleo o su conservación, el despoblamiento y envejecimiento de la población… o cualesquiera que sean los problemas más acuciantes del territorio con el que se trabaje.
La respuesta a estas preguntas globales no sólo deben ofrecer una imagen global del impacto. Debe complementar esta imagen con una visión de la relación entre las diferentes características específicas del programa y entre las diferentes medidas implementadas y la influencia de estos aspectos internos en el impacto generado. También es importante que reflejen el análisis sobre la influencia de los factores externos (incluidas las diligencias administrativas) en el impacto generado.
Examen de las relaciones causa-efecto
Durante el análisis del impacto se ha de dar importancia al examen de las relaciones causa-efecto entre las acciones y los resultados (efectos inmediatos) y entre éstos y el impacto (efectos a largo plazo) sobre los objetivos. Ante la dificultad de identificar estar relaciones se hace especialmente importante la participación social en la reconstrucción de las cadenas de causalidad.
Evaluación de los resultados e impacto en los ejercicios especiales de evaluación
Es bueno que durante el análisis del impacto se aplique la combinación de enfoques top-down y bottom-up de forma que se vayan realizando aproximaciones sucesivas a lo que realmente constituye el impacto del programa. Estas aproximaciones surgen del contraste de informaciones. Contraste de la información agregada obtenida con una perspectiva global por el enfoque descendente con la información deducida del enfoque ascendente por agregación. Contraste de la información detallada del enfoque ascendente con la deducida del enfoque descendente por desagregación. Para la agregación y desagregación de información se hace necesaria la participación social de forma que éstas se hagan con el mayor grado de corrección posible.
Cuando del contraste de información surgen desavenencias que hay que interpretar, corregir, reorientar… también se debe contar con la participación social puesto que la población local es muchas veces la que mejor puede interpretar y buscar una solución a estos resultados.
