La evaluación previa examina la lógica del programa propuesto y juzga si es claro, completo y coherente. Este es su objetivo principal, al que se suman otros objetivos como el examen de la calidad de los mecanismos de ejecución y la estimación de los impactos.

Análisis continuo de la lógica de intervención

La evaluación previa se centra y tiene como principales criterios de evaluación el fundamento, la pertinencia y la coherencia del programa (dejando para una fase posterior del proceso de evaluación el análisis exhaustivo de la eficiencia y la eficacia), en definitiva, la lógica de intervención del programa, de manera que verifica que el programa que se pone en marcha es el adecuado y va a contar con una buena evaluabilidad y una buena sostenibilidad. También se ha de dejar constancia de la viabilidad y utilidad del programa.

Contenido de evaluación en la etapa de diseño y evaluación previa

Estos criterios de evaluación constituyen el principal contendido de la evaluación previa y son analizados de una manera continua durante la etapa de diseño. No se trata de trabajos puntuales. La definición de los criterios que sirven para la evaluación y selección de las actuaciones propuestas han de basarse y han de incluir estos componentes de la evaluación previa. Describimos a continuación los criterios más importantes a la hora de abordar la evaluación previa y selección de estrategias, son aspectos sobre los que, una vez avanzadas las actividades de evaluación previa, conviene sacar conclusiones de cara al documento final de programación.

 

Fundamento: Análisis del contexto

El diagnóstico realizado ha de facilitar información suficiente para comprobar la necesidad y oportunidad de realizar la inversión que se va a llevar a cabo. Necesaria por existir los problemas que la originan y no poder ser resueltos de otro modo, y oportuna por suponer un aprovechamiento de las potencialidades que se detectan.

En el diagnóstico del territorio han de describirse las ventajas, desventajas y potencial de desarrollo. Es necesario que no falte una descripción y valoración de los recursos físicos, ambientales, culturales, humanos, económicos y financieros. Para sintetizar esta información se recomienda la utilización del análisis DAFO, dejando muy claramente expresadas las necesidades que fundamentan la intervención que se evalúa.

 

Pertinencia

Es la adecuación de los objetivos del programa a las necesidades sectoriales y problemas socioeconómicos a los que se dirige. Expresado de otro modo, se trata de la evaluación de la coherencia de los objetivos del programa con las características y necesidades específicas de las zonas en cuestión. Un buen método para ir siguiendo este criterio es la realización de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estén desarrollando. De este modo se supervisan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.

Una parte vital del trabajo de un evaluador consiste en determinar si un programa ha tenido éxito en resolver la problemática para la cual fue diseñado. En muchos programas ello ha sido difícil ya que, a la hora de diseñar el programa, no se entendió bien la problemática, y no quedó establecida su vinculación con la solución proporcionada por el programa.

 

Coherencia interna del programa

A partir de los objetivos establecidos, la evaluación previa debe cuidar la coherencia interna del programa, la forma en que los recursos financieros y administrativos se transformarán en los resultados apropiados a través de los mecanismos de aplicación previstos en el programa. La evaluación previa examina y estudia las relaciones de causalidad entre las realizaciones financiadas, los resultados y las repercusiones previstas. Podemos distinguir entre la coherencia de los objetivos y la coherencia de las medidas aplicadas.

Coherencia de los objetivos: El estudio de la coherencia interna comienza con la supervisión de los objetivos del programa. Los contenidos de evaluación en este caso son:

Análisis de la claridad de los objetivos y prioridades diseñadas en relación con la situación de partida. La finalidad es la obtención de unos objetivos claros, medibles, fáciles de verificar y cuantificados en la medida de lo posible.

• Análisis de la estructuración de los objetivos del programa comprobando si existe una jerarquía adecuada de los objetivos de forma que las realizaciones (objetivos operativos) puedan transformarse en resultados (objetivos específicos) y éstos en impactos (correspondientes a los objetivos globales). Para este análisis se aconseja la realización de una cascada de objetivos que refleje claramente la jerarquía y las relaciones entre los distintos niveles de objetivos.
• Estudio de la coherencia de los objetivos específicos del programa con los de la política en la que se enmarque. Para este estudio se aconseja la realización de una matriz que enfrente los objetivos del programa con los objetivos de la política que lo enmarca. El estudio ha de permitir dictaminar si los objetivos de la política están siendo cubiertos por los objetivos del programa que evaluamos.

Coherencia de las medidas aplicadas: Es importante que la evaluación previa vaya analizando las actuaciones y medidas que se vayan a emplear para la consecución de los objetivos propuestos por el programa. Se aconseja la realización de una matriz que enfrente las medidas que se van a aplicar con los objetivos que se persiguen. Esta matriz permite ir verificando que las medidas cubren todos los objetivos y lo hacen de una manera adecuada. En concreto habría que:

• Estudiar la adecuación de los recursos asignados teniendo en cuenta los objetivos definidos.
• Evaluación del calendario, programación adecuada, procedimientos, criterios de selección y condiciones financieras, de conformidad con la estrategia propuesta.
• Comprobación de las medidas de evaluación, incluida la definición de indicadores.

 

Coherencia externa: Coordinación con otras intervenciones

Un programa no debe contentarse solo con una coherencia interna –entre el diagnóstico realizado, los objetivos y estrategias diseñadas– sino que también debe buscar una coherencia con las demás políticas e intervenciones que interfieran con él: se trata de la coherencia externa. La evaluación previa debe cuidar la coordinación y coherencia del programa con otras intervenciones que se estén desarrollando en la zona de aplicación.

El estudio empieza con la descripción de las otras políticas (sean locales, regionales, nacionales o internacionales) y de los programas aplicados o que vayan a aplicarse en el país o región en cuestión, especialmente en los ámbitos susceptibles de ejercer una influencia en la aplicación, los resultados o las repercusiones de nuestra intervención.

El estudio de la estas intervenciones se aborda mediante un análisis de sus objetivos, ejes de desarrollo y medidas estratégicas. Una vez analizados se escoge entre uno de estos tres elementos para abordar el estudio de la coordinación. Nuestra experiencia nos indica que lo más apropiado es acudir a los ejes y medidas de desarrollo de forma que se detecten los campos conflictivos de actuación y poder determinar los siguientes aspectos:

• Posible complementariedad con el programa.
• Posible sinergia o duplicación de tareas con el programa.
• Forma en que se tiene en cuenta la interacción potencial en la elaboración del programa.

Resulta conveniente esquematizar las conclusiones del estudio en una matriz que enfrente nuestro programa con el resto de las intervenciones de manera que quede clara la interacción con cada uno de ellas. Una vez realizado este estudio se pueden sacar conclusiones sobre la viabilidad de la programación que se va a iniciar dentro del contexto político estudiado.

 

Valoración de la evaluabilidad (evaluativity assesment)

Es de vital importancia establecer dentro del diseño del programa las condiciones para un sistema de seguimiento y evaluación efectivo durante las restantes etapas del programa. Todos los que participan en el diseño y la aprobación de programas deben cerciorarse de que cada programa nuevo podrá beneficiarse de futuros procesos de S&E. En la etapa de diseño y aprobación se debe incorporar una tarea de verificación de la futura “evaluabilidad” del programa, y los documentos presentados para la aprobación del programa deben incluir la lógica de intervención y demás elementos que garanticen tal “evaluabilidad”.

La verificación de “evaluabilidad” es una tarea que debe realizarse para determinar hasta qué grado el diseño descrito en los documentos del programa permite realizar un S&E adecuados. Dicha verificación:

• Ayudará a asegurar que el programa es de la más alta calidad técnica.
• Asegurará que la estrategia de ejecución del programa proporciona criterios adecuados para su S&E.
• Indicará hasta qué punto se han incorporado las lecciones y experiencias de otros programas.
• Asegurará que se está siguiendo una lógica en la intervención.

La utilidad

La utilidad supone un análisis sobre el interés y beneficio del proceso de desarrollo que se va a poner en marcha. El análisis de la utilidad va unido al del fundamento. Los criterios utilizados para el análisis del fundamento analizan también la sostenibilidad.

La reflexión sobre la utilidad ha de dejar constancia sobre el grado en que el trabajo de S&E proporciona información práctica a las necesidades de quien va a hacer uso de esa información. Sobre el aprendizaje que potencialmente puede generar para la mejora a nivel interno de la intervención y a nivel externo de cara al desarrollo de la población con la que se trabaja.

La viabilidad

La viabilidad verifica la confluencia de prioridades e ideologías entre los planificadores y los receptores del programa, la existencia de una capacidad institucional suficiente e investiga el grado de compromiso de las diferentes instituciones y grupos de interés implicados.

La viabilidad está relacionada con el propio proceso de desarrollo o, por decirlo de otra manera, los factores externos al programa como las políticas de apoyo, aspectos institucionales, condiciones financieras y económicas, factores tecnológicos, socioculturales y medioambientales. En la evaluación previa de cualquier intervención de desarrollo es necesario un examen previo sistemático de estos factores. Quizás se hará evidente la necesidad de cambiar o modificar elementos en la jerarquía de objetivos; quizás se identifiquen nuevos supuestos o factores externos esenciales para el programa.

No todos estos factores de desarrollo tendrán la misma importancia en cada uno de los programas, dependerá de cada caso el papel que éstos tengan en las distintas intervenciones.

La sostenibilidad

La sostenibilidad analiza la capacidad de los efectos esperados de perdurar en el medio o largo plazo. Los efectos son sostenibles si perduran después de acabarse los fondos dotados por la intervención. No son sostenibles si una actividad es incapaz de generar sus propios recursos, o si van acompañados de efectos negativos, sobre todo sobre el medio ambiente, y si por ello surgen bloqueos o rechazos.

La sostenibilidad mantiene una estrecha relación con los recursos del territorio, ya que el éxito de un modelo de desarrollo sostenible depende de la conservación de los recursos endógenos con los que cuenta. Desde el punto de vista ambiental la sostenibilidad ha de preocuparse de la interacción de los proyectos que se van a realizar con tres funciones indispensables de los territorios:

• Fuente de recursos naturales y materias primas que utilizarán los proyectos. Tener en cuenta tasas de renovación de los recursos renovables, el ritmo de utilización de los no renovables que se consumen con el uso, y la intensidad de uso de los no renovables que no se consumen con el uso.
• Soporte de los elementos físicos que forman los proyectos (ocupaciones/transoformaciones del espacio). Analizar la capacidad de acogida de las actividades y los riesgos naturales que se puedan derivar.
• Receptor de los efluentes (emisiones, vertidos, residuos) que puedan emitir estos proyectos. Analizar si se respetan las capacidades de asimilación del aire (capacidad dispersante), del agua (capacidad autodepuradora) y del suelo (capacidad de procesado/filtrado).

Pero a la vez, la sostenibilidad es un concepto amplio que supera el ámbito territorial y ambiental. La sostenibilidad responde a un planteamiento integral que incluye también el estudio del contexto legal e institucional (muy unido a la viabilidad). Es necesario realizar una labor de investigación sobre la normativa aplicable al programa y poder así verificar su correcto cumplimiento. Del análisis que se realice se han de concretar datos y referencias de obligado cumplimiento que sirvan para el establecimiento de criterios de evaluación para el equipo evaluador.

Adecuación y calidad de los mecanismos de ejecución

El éxito de una intervención en el desarrollo depende en gran medida de la capacidad de gestión y de la actuación de los órganos ejecutivos. La evaluación previa ha de asegurar la adecuación y calidad de los mecanismos de ejecución, la elaboración de planes de acción donde:

• Exista una auténtica obligación de rendir cuentas acorde con las exigencias de las normativas pertinentes.
• Se cuente con una gestión y un seguimiento sólido y eficaz. La evaluación previa ha de asegurarse del funcionamiento de los equipos de gestión y seguimiento y ha de dejar definido un sistema de información y autoevaluación que permita un seguimiento adecuado.
• Contemos con un procedimiento de selección de los proyectos más competitivos.

 

Estimación de resultados y anticipación de problemas

Para abordar la estimación de los impactos esperados, es preciso recabar información que permita comprender la medida en que la intervención va a contribuir a la consecución de los objetivos generales y específicos. La evaluación previa debe contribuir a determinar los indicadores pertinentes para cuantificar los impactos y los resultados de los planes y de los programas.

En ocasiones también resulta de interés la posible anticipación de problemas potenciales que pudieran surgir relativos a la evaluación y al seguimiento, elaboración de indicadores, obtención de datos… de manera que se cuente ya desde el principio con un claro aviso de las dificultades que se podrían encontrar en el ejercicio del S&E de un determinado programa.