Al diseñar y elaborar una evaluación comenzamos con la necesidad de determinar el nivel de análisis con que se van a abordar –junto con el cuidado de la homogeneidad para la comparación de resultados y organización de los flujos de información– y terminamos con la elaboración del documento final. Por el camino hemos de definir el contenido de la evaluación (por ejemplo a través de preguntas clave) y el modo de tratar cada uno de esos contenidos.

Toda evaluación comienza con el estudio del programa que se va a evaluar, de su contexto y política que lo enmarca. Este estudio permite comprender lo que se puede esperar del trabajo de evaluación que se va a llevar a cabo. A partir de entonces, se pueden definir las necesidades de información y comenzar a trabajar.

 

Definir el contenido de evaluación a través de preguntas clave

Decidido el nivel de análisis (local, regional, nacional o internacional) con el que se va a trabajar, es necesario realizar las evaluaciones de forma que pueda agregarse su información con otros trabajos de evaluación realizados bajo el mismo modelo. Un modo sencillo de conseguirlo lo constituyen las preguntas clave de evaluación. Junto a ellas se encuentra un conjunto de indicadores clave que se ha de definir representando parte de las respuestas y conclusiones a las que llega la evaluación.

El tratamiento de cada una de las preguntas clave –y en especial la respuesta, conclusiones y recomendaciones– ha de dar respuestas cualitativas concisas acompañadas de indicadores clave que permiten una agregación cómoda y sencilla. Es claro que la agregación a niveles superiores necesita de datos y métodos cuantitativos que faciliten esta agregación. Sin embargo no son suficientes y han de ir acompañados de datos y comentarios cualitativos que impidan que la información cuantitativa se desvirtúe en su flujo hacia niveles superiores.

La experiencia adquirida nos muestra que el fracaso que se obtiene en el campo de la evaluación es muchas veces consecuencia de no comprender y definir adecuadamente que se busca con una determinada evaluación. Para evitar esta primera desorientación, es interesante tener como guía la formulación de una serie de preguntas clave de evaluación, elaboradas específicamente para cada actuación de manera que permitan determinar cual es el objetivo y utilidad esperada de la evaluación que se emprende.

La definición de estas preguntas presupone un proceso previo de estructuración y es conveniente que vengan formuladas en los términos de referencia de la evaluación, con lo que desde el principio el cliente que encarga la evaluación deja claro que es lo que desea saber de la actuación que se puso en marcha.

Si es así, han de venir definidas de tal manera que al evaluador le ha de quedar claro que se espera de la evaluación y que aspectos son los que se han de tratar, pues como venimos viendo son muchos los aspectos que de un mismo programa podemos evaluar. Pero en muchos casos estas preguntas no vienen definidas y es el mismo evaluador el que ha de determinar un conjunto de preguntas clave que le permitan, a través de una metodología de respuesta, recoger adecuadamente la realidad del programa.

Las preguntas han de centrarse en los aspectos esenciales del programa sin descuidar con ello aspectos tradicionales como la importancia de las diferentes medidas previstas en el programa, el volumen de la financiación… Esto supone que, salvo en casos excepcionales, el modelo puede concentrarse en aquellas preguntas que respondan realmente a los aspectos clave y específicos del programa sin olvidar de tratar aspectos más generales. Esa especial dedicación no debe, de ningún modo, mermar el alcance y calidad de la evaluación.

En el caso de programas con un amplio ámbito de aplicación es especialmente delicado delimitar el interés de las preguntas. Por regla general, consideramos que se ha de hacer lo posible por no limitarlo a los beneficiarios del programa, sino que se ha de extender a los diferentes ámbitos administrativos que impliquen al programa (sectorial, regional, nacional, …). De este modo se garantiza la determinación de los resultados del programa en los diferentes niveles de intervención, aunque todo depende de cuales sean los objetivos de la evaluación que se está llevando a cabo. En definitiva se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar.

 

Tratamiento de cada pregunta: metodología de respuesta

En un modelo de evaluación basado en un conjunto de preguntas clave, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas. Se establecen así para cada pregunta un conjunto de criterios e indicadores adaptados al programa, que permiten recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados.

Es recomendable aportar, en la medida de lo posible respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre es necesario proporcionar una respuesta cualitativa bien justificada. Los pasos a seguir para el tratamiento de cada pregunta una vez formulada se señalan a continuación.

 

Finalidad y comprensión de la pregunta

Explicación de la pregunta haciendo una pequeña descripción de lo que se busca con ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta al contexto global de la evaluación y se da razón de su importancia para la evaluación.

 

Criterios para la evaluación

En este punto se especifican los criterios que ayudan a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.

El criterio sirve para evaluar el éxito de la ayuda examinada, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que se ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Esta división es conveniente desde el momento en que los programas se crean en muchos casos para el logro de objetivos específicos de carácter regional, local o sectorial, en el marco de los objetivos fijados en una legislación más amplia. Por ello, para un determinado criterio puede ser necesario fijar diferentes niveles de objetivo en diversos programas.

El nivel de objetivo buscado (los niveles a los que el programa aspira) puede definirse en relación con un punto o línea básica de referencia, que normalmente será la situación de los beneficiarios al iniciarse el programa aunque puede venir dado por normas existentes o por el conocimiento de cuál es la mejor práctica en el sector, lo que se habrá determinado, por ejemplo, en la evaluación posterior de un programa anterior.

En la medida de lo posible es importante huir de una formulación genérica del nivel de objetivo dando simplemente una línea básica con un punto de referencia. Atendiendo a las características del programa y a las circunstancias locales hay que delimitarlo con mayor precisión.

Los niveles de objetivo buscados tendrían que venir expresados en el documento de programación a través de la evaluación previa. Pero no siempre el equipo evaluador se encuentra en esta situación. En muchas ocasiones no están definidos y es necesario hacerlo. Para ello se puede acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea básica con un punto de referencia. En estos casos, corresponde al equipo evaluador, cuando proceda y atendiendo a las características del programa o a las circunstancias locales, delimitar el objetivo con mayor precisión.

 

Análisis para la respuesta

Se realiza aquí el análisis de toda la información obtenida para lograr una respuesta a la pregunta planteada lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso. Tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia es necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones y así responder a la pregunta.

Las preguntas pueden referirse a la eficacia, la eficiencia, la utilidad, etc., lo que hay que tener presente a la hora de recopilar información. Al mismo tiempo, para evaluar los efectos netos y lograr así que los resultados de la evaluación sean más fiables es necesario tener en cuenta factores exógenos, el efecto de desplazamiento, etc.

Una vez recopilados los datos, se efectúa la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo. Para analizar los datos y llegar a conclusiones que permitan formular un juicio, se pueden utilizar diversos instrumentos. La elección del instrumento depende del tipo de programa evaluado, su complejidad o el tipo de información que se busque. Así, por ejemplo, para formular un juicio en relación con aspectos específicos y bien delimitados del programa como son las realizaciones materiales, se puede recurrir al análisis coste-eficacia. En el caso de aspectos más complejos es más apropiada una técnica multicriterio.

 

Análisis de efectos

En algunos casos, deben analizarse los efectos de sustitución y de desplazamiento. Las entrevistas son útiles para determinar estos efectos. Posteriormente, puede determinarse el efecto neto del programa deduciendo del efecto bruto los efectos ajenos a la intervención, el efecto de sustitución y el de desplazamiento. Cuando proceda, deben analizarse también los efectos imprevistos, incluidos los negativos, y la influencia de factores exógenos significativos.

Con el fin de apreciar los efectos de complementariedad y de sinergia, hay que analizar la relación con otros programas y/o entre diversas medidas de un mismo programa. Distintas medidas o programas pueden generar un mismo impacto o reforzarse mutuamente.

También ha de plantearse el problema de los objetivos explícitos y de los objetivos implícitos, los primeros representan lo que se ha programado, anunciado y por ende, lo que debería llevarse a cabo normalmente. Los objetivos implícitos, por el contrario, corresponden a aquello que los agentes esperan del programa. Los agentes dominantes procuran, necesariamente, reorientar implícitamente el programa, en el sentido de sus propios intereses.

 

Obtención de indicadores

Es importante concluir el análisis con la búsqueda de indicadores que mejor recojan el análisis de la información realizado y preparen la respuesta a la pregunta. Como norma general, se eligen indicadores que puedan medir los progresos en la consecución de los objetivos del programa. Los indicadores relacionan las medidas implementadas con los resultados e impactos del programa. Sea cuál sea la fase de aplicación del programa, los indicadores se refieren a una realización, un resultado o un determinado impacto.

Así como una misma pregunta puede contener varios criterios, también puede tener varios indicadores. Los indicadores se cuantifican a través de los sistemas de seguimiento o basándose en los datos recogidos ex profeso para la evaluación. En principio deben referirse al mismo ámbito geográfico que el programa de desarrollo. Sin embargo se debe contemplar la posibilidad de que algunas medidas no sean aplicadas en la totalidad de la zona abarcada por el programa, o que persigan objetivos específicos adaptados a la zona cubierta.

Los indicadores son importantes para llegar a conocer los hechos, pero, a menudo, ni abarcan en su totalidad ni explican las causas que motivan esos hechos. Por tanto, deben ser considerados instrumentos que ayudan a responder a las preguntas de evaluación, pero no constituyen la respuesta completa. En la búsqueda de la respuesta se recomienda acudir a otras fuentes de información diferentes de los indicadores, tales como evaluaciones anteriores, estudios o investigaciones y en general cualquier tipo de información cualitativa.

Se deben elegir indicadores que puedan ofrecer información útil con relación a la lógica de intervención del programa, de manera que puedan utilizarse en las diferentes fases de la lógica de intervención. Dependiendo de cuál sea el nivel de evaluación tendremos: indicadores de realizaciones cuando se evalúan las realizaciones, de resultados cuando se evalúan los resultados y de impacto cuando se evalúe el impacto. Es importante apreciar también la interrelación existente entre los elementos de la lógica de intervención y detectar cuando una determinada realización puede producir varios impactos a la vez.

Es importante no perderse en interminables baterías de indicadores y concentrarse en los indicadores más significativos potencialmente. No es necesario definir demasiados indicadores, un buen sistema de indicadores deberá limitarse a los más pertinentes.

 

Respuesta: Conclusiones y recomendaciones

Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se da una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber como ocurrieron las cosas y por qué.

Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de considerar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.

Evaluar para reprogramar de otra manera, este es considerado un objetivo de la evaluación. De aquí la idea de sustituir una programación que se ocupa de los programas uno tras otro, teniendo cuidado de comenzar el siguiente sólo cuando se ha terminado con el anterior. Esta procede por evaluaciones continuas, lo que le permite modificar permanentemente las intervenciones y la estructuración de las mismas. De esta manera se crea un proceso que pasaría por las siguientes secuencias: evaluación en curso, nueva elaboración, nueva programación, ejecución, evaluación, etc.

En la búsqueda de la respuesta se recomienda acudir a indicadores y contrastar su información con comentarios de tipo cualitativo. Todas las recomendaciones y conclusiones que se hagan han de venir justificadas por esta información y han de expresarse de manera clara y sencilla.

Limitaciones de la respuesta

Indicar aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.