Al diseñar y elaborar una evaluación comenzamos con la necesidad de determinar el nivel de análisis con que se van a abordar –junto con el cuidado de la homogeneidad para la comparación de resultados y organización de los flujos de información– y terminamos con la elaboración del documento final. Por el camino hemos de definir el contenido de la evaluación (por ejemplo a través de preguntas clave) y el modo de tratar cada uno de esos contenidos.

Toda evaluación comienza con el estudio del programa que se va a evaluar, de su contexto y política que lo enmarca. Este estudio permite comprender lo que se puede esperar del trabajo de evaluación que se va a llevar a cabo. A partir de entonces, se pueden definir las necesidades de información y comenzar a trabajar.

 

Definir el contenido de evaluación a través de preguntas clave

Decidido el nivel de análisis (local, regional, nacional o internacional) con el que se va a trabajar, es necesario realizar las evaluaciones de forma que pueda agregarse su información con otros trabajos de evaluación realizados bajo el mismo modelo. Un modo sencillo de conseguirlo lo constituyen las preguntas clave de evaluación. Junto a ellas se encuentra un conjunto de indicadores clave que se ha de definir representando parte de las respuestas y conclusiones a las que llega la evaluación.

El tratamiento de cada una de las preguntas clave –y en especial la respuesta, conclusiones y recomendaciones– ha de dar respuestas cualitativas concisas acompañadas de indicadores clave que permiten una agregación cómoda y sencilla. Es claro que la agregación a niveles superiores necesita de datos y métodos cuantitativos que faciliten esta agregación. Sin embargo no son suficientes y han de ir acompañados de datos y comentarios cualitativos que impidan que la información cuantitativa se desvirtúe en su flujo hacia niveles superiores.

La experiencia adquirida nos muestra que el fracaso que se obtiene en el campo de la evaluación es muchas veces consecuencia de no comprender y definir adecuadamente que se busca con una determinada evaluación. Para evitar esta primera desorientación, es interesante tener como guía la formulación de una serie de preguntas clave de evaluación, elaboradas específicamente para cada actuación de manera que permitan determinar cual es el objetivo y utilidad esperada de la evaluación que se emprende.

La definición de estas preguntas presupone un proceso previo de estructuración y es conveniente que vengan formuladas en los términos de referencia de la evaluación, con lo que desde el principio el cliente que encarga la evaluación deja claro que es lo que desea saber de la actuación que se puso en marcha.

Si es así, han de venir definidas de tal manera que al evaluador le ha de quedar claro que se espera de la evaluación y que aspectos son los que se han de tratar, pues como venimos viendo son muchos los aspectos que de un mismo programa podemos evaluar. Pero en muchos casos estas preguntas no vienen definidas y es el mismo evaluador el que ha de determinar un conjunto de preguntas clave que le permitan, a través de una metodología de respuesta, recoger adecuadamente la realidad del programa.

Las preguntas han de centrarse en los aspectos esenciales del programa sin descuidar con ello aspectos tradicionales como la importancia de las diferentes medidas previstas en el programa, el volumen de la financiación… Esto supone que, salvo en casos excepcionales, el modelo puede concentrarse en aquellas preguntas que respondan realmente a los aspectos clave y específicos del programa sin olvidar de tratar aspectos más generales. Esa especial dedicación no debe, de ningún modo, mermar el alcance y calidad de la evaluación.

En el caso de programas con un amplio ámbito de aplicación es especialmente delicado delimitar el interés de las preguntas. Por regla general, consideramos que se ha de hacer lo posible por no limitarlo a los beneficiarios del programa, sino que se ha de extender a los diferentes ámbitos administrativos que impliquen al programa (sectorial, regional, nacional, …). De este modo se garantiza la determinación de los resultados del programa en los diferentes niveles de intervención, aunque todo depende de cuales sean los objetivos de la evaluación que se está llevando a cabo. En definitiva se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar.

 

Tratamiento de cada pregunta: metodología de respuesta

En un modelo de evaluación basado en un conjunto de preguntas clave, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas. Se establecen así para cada pregunta un conjunto de criterios e indicadores adaptados al programa, que permiten recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados.

Es recomendable aportar, en la medida de lo posible respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre es necesario proporcionar una respuesta cualitativa bien justificada. Los pasos a seguir para el tratamiento de cada pregunta una vez formulada se señalan a continuación.

 

Finalidad y comprensión de la pregunta

Explicación de la pregunta haciendo una pequeña descripción de lo que se busca con ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta al contexto global de la evaluación y se da razón de su importancia para la evaluación.

 

Criterios para la evaluación

En este punto se especifican los criterios que ayudan a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.

El criterio sirve para evaluar el éxito de la ayuda examinada, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que se ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Esta división es conveniente desde el momento en que los programas se crean en muchos casos para el logro de objetivos específicos de carácter regional, local o sectorial, en el marco de los objetivos fijados en una legislación más amplia. Por ello, para un determinado criterio puede ser necesario fijar diferentes niveles de objetivo en diversos programas.

El nivel de objetivo buscado (los niveles a los que el programa aspira) puede definirse en relación con un punto o línea básica de referencia, que normalmente será la situación de los beneficiarios al iniciarse el programa aunque puede venir dado por normas existentes o por el conocimiento de cuál es la mejor práctica en el sector, lo que se habrá determinado, por ejemplo, en la evaluación posterior de un programa anterior.

En la medida de lo posible es importante huir de una formulación genérica del nivel de objetivo dando simplemente una línea básica con un punto de referencia. Atendiendo a las características del programa y a las circunstancias locales hay que delimitarlo con mayor precisión.

Los niveles de objetivo buscados tendrían que venir expresados en el documento de programación a través de la evaluación previa. Pero no siempre el equipo evaluador se encuentra en esta situación. En muchas ocasiones no están definidos y es necesario hacerlo. Para ello se puede acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea básica con un punto de referencia. En estos casos, corresponde al equipo evaluador, cuando proceda y atendiendo a las características del programa o a las circunstancias locales, delimitar el objetivo con mayor precisión.

 

Análisis para la respuesta

Se realiza aquí el análisis de toda la información obtenida para lograr una respuesta a la pregunta planteada lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso. Tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia es necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones y así responder a la pregunta.

Las preguntas pueden referirse a la eficacia, la eficiencia, la utilidad, etc., lo que hay que tener presente a la hora de recopilar información. Al mismo tiempo, para evaluar los efectos netos y lograr así que los resultados de la evaluación sean más fiables es necesario tener en cuenta factores exógenos, el efecto de desplazamiento, etc.

Una vez recopilados los datos, se efectúa la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo. Para analizar los datos y llegar a conclusiones que permitan formular un juicio, se pueden utilizar diversos instrumentos. La elección del instrumento depende del tipo de programa evaluado, su complejidad o el tipo de información que se busque. Así, por ejemplo, para formular un juicio en relación con aspectos específicos y bien delimitados del programa como son las realizaciones materiales, se puede recurrir al análisis coste-eficacia. En el caso de aspectos más complejos es más apropiada una técnica multicriterio.

 

Análisis de efectos

En algunos casos, deben analizarse los efectos de sustitución y de desplazamiento. Las entrevistas son útiles para determinar estos efectos. Posteriormente, puede determinarse el efecto neto del programa deduciendo del efecto bruto los efectos ajenos a la intervención, el efecto de sustitución y el de desplazamiento. Cuando proceda, deben analizarse también los efectos imprevistos, incluidos los negativos, y la influencia de factores exógenos significativos.

Con el fin de apreciar los efectos de complementariedad y de sinergia, hay que analizar la relación con otros programas y/o entre diversas medidas de un mismo programa. Distintas medidas o programas pueden generar un mismo impacto o reforzarse mutuamente.

También ha de plantearse el problema de los objetivos explícitos y de los objetivos implícitos, los primeros representan lo que se ha programado, anunciado y por ende, lo que debería llevarse a cabo normalmente. Los objetivos implícitos, por el contrario, corresponden a aquello que los agentes esperan del programa. Los agentes dominantes procuran, necesariamente, reorientar implícitamente el programa, en el sentido de sus propios intereses.

 

Obtención de indicadores

Es importante concluir el análisis con la búsqueda de indicadores que mejor recojan el análisis de la información realizado y preparen la respuesta a la pregunta. Como norma general, se eligen indicadores que puedan medir los progresos en la consecución de los objetivos del programa. Los indicadores relacionan las medidas implementadas con los resultados e impactos del programa. Sea cuál sea la fase de aplicación del programa, los indicadores se refieren a una realización, un resultado o un determinado impacto.

Así como una misma pregunta puede contener varios criterios, también puede tener varios indicadores. Los indicadores se cuantifican a través de los sistemas de seguimiento o basándose en los datos recogidos ex profeso para la evaluación. En principio deben referirse al mismo ámbito geográfico que el programa de desarrollo. Sin embargo se debe contemplar la posibilidad de que algunas medidas no sean aplicadas en la totalidad de la zona abarcada por el programa, o que persigan objetivos específicos adaptados a la zona cubierta.

Los indicadores son importantes para llegar a conocer los hechos, pero, a menudo, ni abarcan en su totalidad ni explican las causas que motivan esos hechos. Por tanto, deben ser considerados instrumentos que ayudan a responder a las preguntas de evaluación, pero no constituyen la respuesta completa. En la búsqueda de la respuesta se recomienda acudir a otras fuentes de información diferentes de los indicadores, tales como evaluaciones anteriores, estudios o investigaciones y en general cualquier tipo de información cualitativa.

Se deben elegir indicadores que puedan ofrecer información útil con relación a la lógica de intervención del programa, de manera que puedan utilizarse en las diferentes fases de la lógica de intervención. Dependiendo de cuál sea el nivel de evaluación tendremos: indicadores de realizaciones cuando se evalúan las realizaciones, de resultados cuando se evalúan los resultados y de impacto cuando se evalúe el impacto. Es importante apreciar también la interrelación existente entre los elementos de la lógica de intervención y detectar cuando una determinada realización puede producir varios impactos a la vez.

Es importante no perderse en interminables baterías de indicadores y concentrarse en los indicadores más significativos potencialmente. No es necesario definir demasiados indicadores, un buen sistema de indicadores deberá limitarse a los más pertinentes.

 

Respuesta: Conclusiones y recomendaciones

Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se da una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber como ocurrieron las cosas y por qué.

Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de considerar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.

Evaluar para reprogramar de otra manera, este es considerado un objetivo de la evaluación. De aquí la idea de sustituir una programación que se ocupa de los programas uno tras otro, teniendo cuidado de comenzar el siguiente sólo cuando se ha terminado con el anterior. Esta procede por evaluaciones continuas, lo que le permite modificar permanentemente las intervenciones y la estructuración de las mismas. De esta manera se crea un proceso que pasaría por las siguientes secuencias: evaluación en curso, nueva elaboración, nueva programación, ejecución, evaluación, etc.

En la búsqueda de la respuesta se recomienda acudir a indicadores y contrastar su información con comentarios de tipo cualitativo. Todas las recomendaciones y conclusiones que se hagan han de venir justificadas por esta información y han de expresarse de manera clara y sencilla.

Limitaciones de la respuesta

Indicar aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.

Cuando un programa ofrece incentivos a los agentes económicos para llevar a cabo determinadas actuaciones, la evaluación conlleva interesarse por la adecuación de la difusión (grado de conocimiento, idoneidad de los canales empleados, calidad de la información transmitida,…), de los trámites necesarios para acceder a las ayudas, de los requerimientos, de la asistencia técnica prestada, etc. y en definitiva cómo se ha aplicado y gestionado el programa.

 

Análisis de la aplicación del programa

Para responder a la pregunta sobre el cumplimiento de la programación prevista se han de examinar las medidas y verificar si éstas se han desarrollado y según qué modalidades. Sólo a este nivel se puede apreciar la conformidad en términos de “volumen” o de objetivos físicos de las medidas previstas. Se debe analizar cada medida del programa, por una parte, con relación al eje en el que se sitúe (análisis en su contexto) y, por otra, en relación con un cierto número de criterios de desarrollo provenientes de experiencias anteriores y difundidos ampliamente.

En los ejercicios especiales de evaluación a mitad o final del programa, se puede ir mucho más allá y examinar los detalles de las medidas administrativas, la distribución de responsabilidades entre gestores y operadores, los documentos de ejecución entregados a los operadores, los criterios de selección de proyectos, etc.

 

Análisis económico y financiero

En el trabajo de evaluación, son particularmente relevantes tres clases de análisis económico y financiero. Estos son la viabilidad financiera, el análisis coste-beneficio y el análisis coste-eficacia.

• La viabilidad financiera es normalmente muy simple, ya nos encontremos en actividades de producción o de desarrollo social. Se trata de estimar los costes reales en relación con los recursos financieros que están o estarán disponibles a lo largo del tiempo. Situarse estrictamente en el nivel financiero permite determinar la factibilidad financiera de las actuaciones, su autonomía en relación con la factibilidad económica. La estructura de la financiación (importancia relativa de la autofinanciación, de los empréstitos y de las subvenciones) puede dificultar la factibilidad de la acción en el plano financiero, cuando ésta es factible en el plano económico.
• El análisis coste-beneficio se utiliza principalmente cuando la utilidad de un programa puede medirse en términos monetarios. Esto puede hacerse en programas con un enfoque puramente productivo; pero es bastante más complicado, si no imposible, cuando se trate de programas que tienen un enfoque social u otro de carácter no productivo. Con el análisis coste-beneficio la pregunta que hay que responder es si el valor de rentabilidad del programa, su beneficio, justifica los costes en los que se incurre.
• El coste-eficacia puede estimarse después de transcurrido cierto tiempo. Se trata de enfrentar los recursos (costes) del programa con los resultados obtenidos (beneficios) y analizarlos en relación con el número de usuarios, con programas similares en otra parte, etc. para valorar si los resultados son aceptables para la inversión realizada. Aquí el evaluador debe preguntarse si podrían haberse alcanzado resultados similares a un coste menor; por ejemplo, utilizando otros medios o formulando el programa de manera diferente. Debe asimismo considerarse si podrían haberse reducido los costes sin un impacto demasiado negativo sobre los resultados.

Para obtener los costes basta recurrir a los gastos de las medidas encaminadas al mantenimiento de la administración del programa, su gestión, seguimiento y evaluación. La suma de estos gastos nos da el coste total del programa. El estudio de los beneficios es más complicado. Es necesario recurrir al estudio del impacto y hacer un análisis global que nos lleve a los principales logros del programa. Solución de problemas como el empleo, la contaminación ambiental, la desigualdad entre hombres y mujeres, la dificultad al acceso laboral de los jóvenes, la falta de capital territorial, la falta de iniciativa local… u otros problemas coyunturales formarán parte de estos principales logros. Finalmente, es importante ilustrar este análisis con indicadores cuantitativos como el coste de gestión por proyecto, o por nuevo puesto de trabajo fijo creado… Indicadores que ilustran las magnitudes que se manejan y que constituyen tan sólo un apoyo a todo el análisis realizado.

Al final de este análisis económico-financiero se conoce el nivel de realización de cada uno de los objetivos operacionales señalando cual ha sido el funcionamiento de cada una de las medidas aplicadas. Nos permite hacer una primera estimación de cómo y porqué las operaciones y acciones han permitido o no alcanzar los objetivos propuestos.

 

Realizaciones

Los ejercicios especiales de evaluación comprueban la realización efectiva de la actividad determinando el grado de cumplimiento del programa (retrasos sobre la programación). También estudian el grado de acogida o aceptación y las razones que explican su éxito o fracaso de acogida.

Estas evaluaciones realizan un análisis de porcentajes de realización según volumen de medios utilizados, del alcance (beneficiarios), plazos y duración prevista con la ayuda de indicadores. Esto permite medir la eficacia del programa en este ámbito más inmediato (efectos directos o inmediatos), examinando, a través del análisis de los indicadores, el grado de consecución de los objetivos más inmediatos propuestos. Este análisis determina la aportación de cada medida aplicada permitiendo formar un juicio sobre la calidad y rendimiento de cada una de ellas.

Para formular un juicio en relación a estos primeros aspectos específicos y bien delimitados de un programa puede recurrirse al análisis coste-eficacia.

 

Desviaciones encontradas

Se ha de terminar con el análisis de las desviaciones encontradas. Se trata de identificar las desviaciones observadas entre los objetivos, por un lado y las medidas por otro, con el fin de determinar las relaciones entre los dos. Toma un papel importante en este caso la participación social para valorar qué agentes han causado la desviación, externos o internos, y de que manera lo han hecho. Se hace necesario responder a la razón de estas desviaciones: las medidas pueden no ser eficientes, pueden no ser pertinentes o coherentes con los objetivos, los objetivos operacionales pueden no ser suficientes para poner en práctica el eje en cuestión… También es importante considerar si las capacidades humanas y materiales movilizadas son las adecuadas y si existe suficiente coordinación institucional para asegurar el buen funcionamiento. Habría que determinar si para la solución de estas desviaciones bastaría con las financiaciones obtenidas o, si al contrario, habría que emprender acciones a una escala mucho más grande.

Valoración de la gestión y seguimiento

En la valoración de la gestión y seguimiento se valoran numerosos aspectos tales como la correcta gestión interna del equipo administrador del programa –en cuanto a procedimientos establecidos, criterios de valorización y selección, y requisitos exigidos–; el adecuado control por parte de las instancias superiores al programa –verificaciones iniciales, apoyo técnico, plan de controles e informes realizados–; y la existencia de una correcta coordinación entre las diferentes instituciones implicadas en la gestión a nivel local, regional y demás niveles superiores, así como el grado de autonomía y flexibilidad alcanzados.

 

Resultados de los controles de aplicación

Como primer paso conviene analizar los resultados de las verificaciones iniciales y controles realizados por las instituciones implicadas en el programa. En los informes de control deben haberse recogido los resultados sobre el cumplimiento de los procedimientos establecidos, de las normas legales y principios que rigen el programa. Una vez comprobado que estos controles fueron bien realizados, que las comprobaciones se hicieron de la manera idónea y que, en definitiva, su información es fiable, esta información puede utilizarse como punto de partida para la evaluación de la gestión del programa.

Organización interna y toma de decisiones

Estos resultados han de complementarse con el estudio de la gestión interna y el sistema de seguimiento (realizaciones y beneficiarios) implementado. Se analiza la comunicación con los beneficiarios potenciales de forma que éstos conozcan los procedimientos para la concesión de las ayudas, los criterios de subvencionabilidad, los requisitos exigibles y la documentación a aportar así como las características generales del programa. Se aborda también el estudio del modelo de toma de decisiones –su estructura y adecuación– los requisitos exigidos a los beneficiarios y los criterios de subvencionabilidad.

Los ejercicios especiales de evaluación estudian el vínculo entre los criterios de selección de proyectos y los objetivos del programa En ese caso de detección de anomalías, la evaluación debe contribuir a la elección de criterios que sean más acertados a los objetivos que se plantean (sobre todo en el caso de evaluación intermedia). Estos criterios constituyen un factor clave para el éxito del programa, por el tipo de proyecto que se selecciona o por la asignación de prioridades.

 

Coordinación y retrasos

La administración interna de un programa nunca es un ente aislado, sino que forma parte de un engranaje administrativo diferente según el país donde nos encontremos. Por ello es importante analizar la coordinación existente entre la administración del programa y el resto de instituciones que de alguna manera están implicadas en el programa, bien en su control, bien en su financiación, bien en su apoyo técnico.

Es posible que el estudio de esta coordinación detecte fallos que hayan llevado a numerosos retrasos en la aplicación del programa, en la llegada de las ayudas, en la realización de los controles… En estos casos es necesario analizar las causas e intentar facilitar vías de solución para mejorar la coordinación del programa (evaluación intermedia) o bien pensando en futuras programaciones (evaluación final).

Es importante también el estudio de aspectos como la flexibilidad (aparición de rigideces) y el grado de autonomía alcanzado por la administración interna del programa. En ambos casos valorar si se trata de una flexibilidad y autonomía adecuadas a las circunstancias que se presentan.

Otro aspecto a estudiar es la existencia en la modulación de gastos, sueldos, viajes, alquiler de locales, teléfono, fax, internet… de forma que no aparezcan gastos y sueldos de programas similares con diferencias difíciles de justificar.

 

En los ejercicios especiales de evaluación se ha de estudiar la lógica de intervención y hacer una reconstrucción de la cadena de relaciones que conduce de las medidas a los resultados más inmediatos y al impacto más a largo plazo del programa y esquematizarla de una manera sencilla. No se trata únicamente de describir el programa sino de determinar las relaciones existentes entre los objetivos que se persiguen con la intervención, las medidas aplicadas para alcanzar dichos objetivos y los resultados obtenidos. Se trata de realizar un análisis crítico que permita dar respuesta a la pregunta de cómo las medidas contribuyen al logro de los objetivos.

Para responder a la primera pregunta sobre lo adecuado de la programación planteada es necesario reconstruir la estructura del programa. Esta estructura debe existir puesto que ha servido de base para la construcción del programa. Sin embargo, muchas veces no está bien definida y faltan pasos intermedios que conviene clarificar. En estos casos, es necesario precisar los objetivos del programa en sus diferentes niveles. Esto se hace en general identificando los grupos de acciones concretas que persiguen una meta análoga. Se define esta meta y se expresa en términos de objetivo determinando en que se desea modificar la situación de referencia.

Una vez tenemos la estructura del programa se realiza el análisis de su lógica de intervención. Este análisis debe haber sido realizado en la programación a la vez que revisado en las primeras etapas de evaluación (evaluación previa) y corroborado en etapas posteriores. Por tanto no debe ser necesario más que un pequeño análisis crítico que permita dar respuesta a los criterios de evaluación de pertinencia y coherencia.

 

Pertinencia

En el caso de una evaluación de fase intermedia, el equipo de evaluación debe examinar hasta qué punto están evolucionando las necesidades socio económicas y los problemas de desarrollo, si empeoran o mejoran, e intentar explicar por qué. El objetivo es examinar si la estrategia establecida mantiene su pertinencia en vista de las nuevas circunstancias que puedan darse. En caso de no ser así la evaluación intermedia debe permitir adecuar el programa al nuevo contexto territorial.

El objeto de este cuestionamiento en la evaluación final es sobre todo el de conocer si el programa bajo estudio es el medio para resolver los problemas que se están abordando, o por el contrario debe apostarse por otras vías de solución.

Una buena herramienta para analizar este criterio es la realización de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estén desarrollando. De este modo se evalúan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.

 

Claridad y coherencia de los objetivos: Coordinación con otros programas

Es importante la reconstrucción de los objetivos que realmente se han seguido si éstos no coincidieran con los inicialmente planteados. Esto nos debe servir para estudiar su coherencia interna y la claridad con que fueron definidos.

En el caso de la coherencia externa, el principal riesgo es la aparición, a medio camino, de otras intervenciones que duplican o contradicen el programa evaluado. Si fuera necesario, la evaluación intermedia debe revisar las políticas similares y estudiar si prolongan, complementan, solapan o contradicen el programa en marcha. Este estudio consiste en entrevistas con los gestores y operadores de programas y con cualquier otra persona en situación de proporcionar información fiable.

En el caso de la evaluación intermedia la posible detección de estos cambios en las políticas e intervenciones relacionadas con el programa deben llevar a un replanteamiento de la intervención en caso de que se vea necesario. En el caso de la evaluación final el objetivo es el de verificar la efectiva coordinación de la lógica de intervención con el resto de intervenciones a lo largo del programa.

 

Coherencia interna entre los objetivos y medidas

La búsqueda de la coherencia interna entre las medidas y los objetivos del programa tendrá una gran importancia en el caso de la evaluación de fase intermedia, cuando el programa aún puede mejorarse. En ese caso, la evaluación debe contribuir al reorientación de las medidas hacia los objetivos en caso de que sea necesario: bien porque los objetivos hayan cambiado, bien porque las medidas no hayan sido correctamente orientadas.

En la evaluación final el estudio de esta coherencia busca la comprobación de que ésta se haya dado a lo largo de la aplicación del programa. En caso negativo, el estudio debe llevar a comprender las razones de la falta de coherencia detectada y así contribuir al aprendizaje para próximas programaciones.

La herramienta que se aconseja es la realización de una matriz que enfrente las medidas aplicadas con los objetivos que se persiguen. Esta matriz permite verificar que las medidas cubren todos los objetivos y lo hacen de una manera adecuada.

 

Calidad del documento de programación

Así como la evaluación previa vela por el logro de un documento de programación con una calidad adecuada, la evaluación intermedia y sobretodo la final, comprueban que efectivamente se da esa calidad. Las perspectivas son distintas, cuando se realizan estas dos últimas evaluaciones el programa está en marcha o ya ha terminado con lo que ya existe una experiencia práctica del programa. Con ella se detectan posibles desajustes, faltas de claridad, incoherencias… que antes de poner en práctica el programa son difíciles de identificar.

El objetivo es analizar si los defectos detectados en el documento de programación son justificables por las circunstancias y medios empleados en su momento, o por el contrario responden a una falta de profesionalidad o de buen hacer. Los criterios de calidad que se proponen son los siguientes:

• Satisfacción de las necesidades: ¿Aporta la evaluación la información suficiente para preparar un plan y se ajusta a las condiciones establecidas?
• Alcance: ¿Incluye el fundamento del programa y los resultados e impactos esperados?
• Concepción: ¿La concepción de la evaluación es apropiada para responder a preguntas clave en el momento preciso?
• Datos: ¿Son adecuados los datos útiles recabados y se tiene suficientemente en cuenta su fiabilidad?
• Validez del análisis: ¿Se somete la información disponible a los análisis oportunos?
• Credibilidad de los resultados: ¿Se derivan lógicamente del análisis los resultados y están justificados por el mismo?
• Imparcialidad de las conclusiones: ¿Son las conclusiones objetivas y operativas y están libres de la influencia de las opiniones de los interesados?
• Claridad: ¿Está el informe escrito de una forma fácil de comprender?