Una vez realizados los trabajos previos pasamos a la tarea principal de una evaluación previa: la supervisión del diseño de la intervención, de su programación y puesta en marcha.

 

Preparación de la idea

En todos los procesos de desarrollo es necesario que exista un agente promotor de la idea. Existen tres posibilidades:

• Que la Administración defina una actuación sobre unos territorios concretos y específicos.
• Que los agentes locales preparen la idea y la integren en un programa marco de la administración.
• Que los agentes locales preparen y ejecuten un programa propio y definido con apoyo de la administración o sin él.

En virtud del principio de participación es importante incluir representantes de todos los intereses pertinentes y significativos en el desarrollo de la idea. El mejor agente promotor para preparar la idea y realizar una primera visión de conjunto del territorio lo constituyen los agentes locales: un grupo amplio y que reúna a todos los sectores representativos. Para la preparación de la idea desarrollan un papel importante las entidades colectivas, como asociaciones, cooperativas, organizaciones, etc… del territorio e incluso de un ámbito territorial superior, lo que supone una ayuda para el conocimiento de otras problemáticas en otros territorios. La evaluación previa debe:

• Asegurar la identificación y contribución de agentes y colectivos representativos de los diversos sectores y de líderes cuyo conocimiento permita concretar un análisis de todos los problemas y soluciones.
• Asegurar la interesante ayuda de profesionales externos que haciendo la evaluación puedan dar una visión muy válida e imparcial.
• Constituir una dinámica de reflexión generalmente referida a los siguientes aspectos sobre el programa de desarrollo: los recursos locales, las categorías sociales y sectores geográficos, los problemas que puede generar el programa, los objetivos del programa y las fuerzas de cambio.

 

El diagnóstico del territorio

La principal contribución de la evaluación previa es la posibilidad de comprobar la prioridad que debe atribuirse a las distintas necesidades socioeconómicas y establecer un entendimiento claro de la problemática a resolver. Para ello es indispensable realizar un diagnóstico de todos los sectores que afectan al desarrollo: un análisis DAFO de las dificultades, amenazas, facilidades y oportunidades.

Este diagnóstico constituye una condición previa para definir los ejes estratégicos y las prioridades. La evaluación previa ha de asegurar que se tienen en cuenta las siguientes variables generales, en el marco de un programa de desarrollo:

• El medio físico en todos sus aspectos (morfología, climatología…).
• Las incidencias del medio natural y del medio-ambiente.
• El sector socio-económico, las tendencias demográficas y del mercado de trabajo, sus infraestructuras y servicios.
• Sectores productivos, sus asociaciones y colectividades y su forma de organización.
• Marco legal e institucional sobre el territorio, con la aplicación de los distintos programas por sectores.

La evaluación previa debe supervisar además que:

• La información recogida se contrasta con la proveniente de la población local en la fase más avanzada de participación social.
• Son analizadas las operaciones previas y los resultados de evaluaciones anteriores de manera que sirvan al equipo evaluador de experiencia y no se vuelva a caer en los mismos errores. Tras el examen de las enseñanzas del pasado, es preciso proceder a un análisis más profundo del contexto socioeconómico.

 

Situación de base e indicadores de contexto

La definición de indicadores de contexto (que se aplican a todo un territorio o población) en el marco de la evaluación previa contribuye a evaluar la pertinencia del programa y sirve como base para todo el proceso de S&E. Forman parte del proceso de programación y sitúan el territorio en el conjunto de la región o país en el que se trabaja. Para ello han de recogerse a nivel local y a nivel regional o nacional. Al mismo tiempo, ofrecen una base para:

• Los análisis socioeconómicos y estratégicos que constituyen la base de la estrategia del programa.
• El seguimiento del contexto general.
• La ejecución y definición de objetivos cuantificados.
• La evaluación de los impactos socioeconómicos del programa.

La situación de base hace referencia al valor inicial respecto del cual se mide un indicador de contexto o de impacto. Dichos datos deben establecerse en relación con los objetivos del programa y son indispensables para que los indicadores del programa sean significativos.

En algunos casos, podría ser conveniente recoger datos específicos sobre los beneficiarios del programa. Otra serie de indicadores más detallados por sector de actividad, tamaño o sexo facilitarán una descripción más completa de los beneficiarios y permitirán establecer comparaciones.

Los datos de la situación de base se obtienen de las estadísticas oficiales, que en algunos casos tendrán que completarse con encuestas o indicadores indirectos.

 

Definición de la estrategia y objetivos: la clave de la adaptación

El diseño de la estrategia y objetivos del programa de desarrollo se obtiene del cruce de líneas surgido en el diagnóstico y evaluación de potencialidades y de la participación social generada durante la etapa de diseño. La labor de la evaluación previa resulta entonces crucial y puede resumirse en dos tareas fundamentales:

• La supervisión de la lógica de intervención de la estrategia
• La supervisión de la identificación de prioridades y objetivos.

El papel de la evaluación previa en la definición de la estrategia y objetivos de la intervención, punto clave para obtener un programa adecuado y evaluable

La supervisión de la lógica de intervención de la estrategia

Normalmente los programas de desarrollo poseen unas líneas específicas que se deben desarrollar, en caso contrario deben definirse en función de la potencialidad de cada territorio y sus características socio-económicas. La síntesis del diagnóstico de los recursos disponibles junto con las líneas de desarrollo preferente aportadas por los expertos y la población local suponen la base para la elaboración del programa.

Un paso obligado de cara a la definición del programa de desarrollo es la evaluación de las líneas y proyectos de inversión propuestas de cara a su adaptación al programa y a su contexto y de cara al cumplimiento de los criterios impuestos por la evaluación previa. Estos criterios que se han de definir con anterioridad conforme a los resultados del diagnóstico, la opinión de los expertos y la participación social. En el caso de que la propuesta cumpla estos criterios se propone su inclusión en la estrategia del programa. Estos criterios son de tres tipos:

• Criterios de contexto: derivados del diagnóstico realizado y con el objetivo de buscar la adaptación al contexto territorial, legal e institucional del programa.
• Criterios de programa: derivados de la filosofía, orientaciones y reglamentaciones del programa manejado. Su principal objetivo es la adaptación al programa.
• Criterios de evaluación: criterios de especial vigilancia en la evaluación previa como el fundamento, pertinencia, coherencia, evaluabilidad, utilidad, viabilidad y sostenibilidad.

Estos criterios servirán de base a la futura gestión del programa durante la etapa de ejecución donde una de las tareas fundamentales es la selección de proyectos de inversión para cada una de las líneas seleccionadas. En esta etapa de diseño, su aplicación tiene como resultado la clasificación de cada propuesta como:

• Rechazable: la propuesta no se adapta al programa.
• Indiferente: no resulta un proyecto típicamente desarrollable a través del programa pero tampoco es contrario.
• Aceptable: el proyecto reúne las características exigidas por el programa.
• Especial interés: el proyecto reúne las características y es especialmente novedoso o importante para la estrategia de desarrollo del sector primario.
• Replanteable: el proyecto puede encajar en caso de realizarse ciertas adaptaciones, o bien no existe suficiente nivel de detalle en la propuesta para la valoración de su adaptación al programa.

 

La supervisión de la identificación de prioridades y objetivos

Posteriormente la evaluación previa debe supervisar la asignación de los fondos para la ejecución del programa en función de las necesidades de los diferentes sectores del territorio. Para ello se evalúan, en función de los criterios anteriormente expuestos las propuestas realizadas y se realiza su agregación en función de las líneas más amplias de desarrollo. La evaluación previa debe vigilar la identificación de prioridades y objetivos de cada una de las medidas.

Normalmente no suele existir relación evidente entre la actividad diaria de los participantes y los objetivos globales de un programa, lo que los convierte en abstractos y poco dinamizadores. Es por ello que la supervisión realizada debe prestar especial atención en la selección de objetivos intermedios en los que los participantes vean la conexión con sus actividades diarias. Estas actividades pueden luego ser relacionadas así con los objetivos globales más difusos.

Por la especial necesidad de información sobre fuentes de financiación y otras posibles ayudas es conveniente indicar qué otras líneas de apoyo podrían existir para las propuestas presentadas en su ámbito.

 

Establecimiento de indicadores de cuantificación previa

Una vez definidas las prioridades, la cuantificación de los objetivos es un cometido importante para determinar los resultados que cabe esperar del programa. Los ejercicios de cuantificación se aplican tanto a los objetivos de la intervención como a las prioridades y medidas que se van a aplicar. Los objetivos cuantificados constituyen la base para todo el S&E del programa. Sin esta cuantificación será difícil evaluar en qué medida se están cumpliendo los objetivos originales.

La evaluación previa debe asegurar que se realiza esta cuantificación e incluir una opinión sobre su fiabilidad. Para realizarla es necesario un elemento de juicio además del tratamiento de los datos. Estos datos necesarios suelen encontrarse en la situación de base y los valores de referencia y de comparación de anteriores ejercicios de S&E:

• Los datos de la situación de base facilitan información sobre la situación socioeconómica del territorio en cuestión, incluidos los grupos a los que se dirige el programa y su nivel de eficacia o de innovación. Estos datos permiten la cuantificación y estimación de los efectos.
• Las bases de comparación ofrecen otra fuente adicional de información para cuantificar los objetivos asociados a las medidas y permiten comparar la eficacia y la eficiencia de las acciones en cuestión.

El nivel de cuantificación requerido depende del tipo de intervención y con frecuencia no es posible medir de forma precisa el objetivo perseguido. En tales casos, que no se prestan a la cuantificación directa, es más adecuado establecer una serie de objetivos posibles o basarse en indicadores cualitativos o indirectos, cuyos valores pueden refinarse durante la fase de ejecución.

Es importante ir estableciendo los indicadores de realización, de resultado e impacto con arreglo a la estrategia del programa, sus realizaciones esperadas y sus efectos previstos a corto y largo plazo. En función del avance del programa, la utilización de indicadores de resultados o de repercusiones será más o menos pertinente. Algunos efectos solamente pueden ser identificables al cabo de varios años de aplicación.

 

Redacción del documento de programación y evaluación previa

La última parte de la programación es la redacción y ejecución del programa. La labor de la evaluación previa consiste en conseguir que se plasme acertadamente todo lo expuesto anteriormente en el documento base de programación y evaluación previa. Todos los elementos del diseño del programa han de adaptarse convenientemente a los resultados de esta evaluación.

No es necesaria la realización de un documento de evaluación previa, si no que ésta va incluida en el documento de programación. Dentro del documento que perfila el futuro programa se constata su realización y principales logros. Es misión también de esta evaluación el asegurar que dicho documento alcanza la calidad deseada y contiene una descripción detallada de las funciones de seguimiento y evaluación que se vayan a realizar en el transcurso del programa. La redacción del programa debe incluir:

• Una descripción de las actividades de evaluación que han tenido lugar:
• Quién realizó la evaluación previa.
• Recursos que fueron necesarios (especialmente de tiempo).
• Actividades de evaluación específicas efectuadas.
• Un resumen de los principales resultados de la evaluación previa. De qué forma las conclusiones y recomendaciones de la evaluación previa fueron tenidas en cuenta en la programación y en qué medida condujeron a modificar la propuesta del programa.
• Conviene extraer conclusiones sobre la evaluabilidad, sostenibilidad y viabilidad de la intervención propuesta.

La redacción de este documento debe evitar la realización de un estudio teórico que cumpla unos requisitos administrativos. Se elabora de una manera prioritariamente práctica, emanando de los propios agentes afectados. No se limita a hacer una simple descripción del programa sino que ahonda en todos los aspectos presentes, de cara a tener una información exhaustiva para la futura toma de decisiones.

El documento se divide en función de las fases elaboradas: preparación de la idea, diagnóstico, participación social y descripción del programa (estrategia y objetivos).

 

Inicio del programa y control de retrasos

La ejecución del programa debe contar con la contratación de un equipo de gestión que organice y prevea la manera de abordar las actividades de S&E. Con la evaluación previa se ha de asegurar el buen funcionamiento de los equipos de gestión, especialmente de su equipo de seguimiento, pieza clave para la aplicación del sistema de S&E.

Entre las primeras funciones de la gestión está el control de los retrasos. Los retrasos prolongados en la iniciación de los programas son un indicador bastante exacto de que habrá problemas en el futuro. Los retrasos pueden tener su origen en muchos factores: problemas políticos, ambientales, falta de compromiso por parte de los interesados o mala gestión. Ya se trate de problemas que estén bajo el control de los responsables del programa u obedezcan a circunstancias externas, pueden representar una grave amenaza para el éxito del programa.

Todo buen plan de S&E debe incluir un mecanismo para señalar los retrasos en la iniciación que no sean razonables. Si es preciso realizar algunos ajustes para que el programa siga adelante, habrá que indicar las condiciones que se impondrán al respecto, como por ejemplo, una revisión de indicadores, nuevos datos de referencia, o el tiempo que se permitirá que tarde el programa en cumplir las condiciones.