La constitución, selección y preparación de equipos constituye otro de los trabajos preparatorios necesarios. Antes de comenzar cualquier intervención es necesario distribuir los papeles y responsabilidades para llevar a cabo el seguimiento y evaluación (S&E) y su relación con la gestión y control de la intervención. Pautas de conducta claras y acertadas contribuyen a la calidad de los trabajos y evitan obstáculos. El papel de las personas, el compromiso que éstas adquieran y su formación, es una pieza fundamental en un sistema de S&E.

Equipos participantes en el control, gestión, seguimiento y evaluación de un programa de desarrollo

Han de quedar claras las responsabilidades de los tres equipos que a continuación se citan:

• Equipo de expertos en S&E, equipo contratado para transmitir sus conocimientos en estas materias y servir de facilitadores de todo el proceso. Especial protagonismo adquiere durante los momentos de evaluación previa, intermedia y final.
• Equipo de gestión y seguimiento de la intervención, equipo que realiza el seguimiento de la intervención durante toda la ejecución.
• Equipo de control formado normalmente por organismos de la administración y que velan porque todo se realice de forma adecuada según lo establecido.

En lo que a un buen sistema de S&E se refiere, nos interesa la constitución del equipo de seguimiento y la selección de los equipos expertos en S&E. El equipo de seguimiento (y gestión del programa) es clave por varias razones:

• Es el que posibilita la integración con el resto de los equipos, el programa y su contexto.
• Realiza una participación continua y se encarga de integrar los resultados de la participación realizada en la evaluación.

Realiza una gestión del conocimiento e innovación básica cuyos resultados se han de difundir entre los demás equipos y usar en la implementación de la intervención. Además de servir de base a la gestión y evaluación, recoge los resultados de esta. En definitiva, el equipo de seguimiento es la clave para el aprendizaje.

La constitución de los equipos de S&E y su mutua interrelación.

El equipo de expertos en S&E utiliza la información del sistema de seguimiento (además de otras fuentes de información), realiza los ejercicios especiales de participación y genera una serie de conocimientos y recomendaciones para el seguimiento y la aplicación del programa. Sus resultados resultan especialmente útiles al equipo encargado del control de la intervención.

Tanto en el equipo de seguimiento como en el equipo de expertos conviene establecer responsabilidades claramente diferenciadas y atribuidas para cada una de las actividades que se han de realizar con especial atención a la integración, participación y aprendizaje.

 

Constitución del equipo de gestión y seguimiento

Gestionar un programa no significa simplemente definirlo y aplicarlo, es un proceso complejo que exige múltiples ajustes. Se ha de asegurar que el equipo técnico encargado de realizar la gestión cuenta con la capacidad para realizar las siguientes tareas:

• Planificación y anticipación: Continua identificación y formulación de prioridades, estrategias y objetivos.
• Organización: Distribución adecuada de papeles, tareas y recursos necesarios para la puesta en práctica de las estrategias definidas.
• Toma de decisiones: Proceso que implica la definición previa de criterios para la selección de proyectos, a fin de que siempre se puedan justificar las decisiones tomadas.
• Coordinación: Acciones interdependientes e integradas en un plan coherente. Especial interés requiere la coordinación con el equipo de evaluación.
• Distribución de las responsabilidades: Es de gran interés que exista un reparto de responsabilidades. Cada organismo asociado al programa, así como cada miembro del equipo técnico, debe disponer de una misión definida con precisión.
• Seguimiento y mejora de resultados: Una labor importante en toda gestión es la de verificar que el programa se desarrolla según el plan previsto, que se alcanzan los objetivos dentro de las fechas establecidas, que se siguen los métodos y procedimientos adoptados. Es necesario un estado de alerta, de observación atenta de todo lo que ocurre.

La continua relación y transmisión de la información es esencial para el buen funcionamiento de los programas. Esto supone un continuo esfuerzo para establecer programas de entrevistas, reuniones, mesas redondas, grupos de trabajo… donde los intercambios de información y negociaciones son continuos.

No bastan las cualidades personales de los responsables, ya que es indispensable el conocimiento de técnicas adecuadas que éstos podrán adquirir mediante la formación adecuada. Los integrantes del equipo de seguimiento han de contar con imprescindibles dosis de profesionalismo. El planteamiento de las relaciones con los beneficiarios de la intervención ha de suponer la introducción de técnicas de negociación y comunicación adaptadas al desarrollo.

Aunque se pueda disponer de aptitudes más o menos para la negociación, sólo se puede ser un buen negociador mediante la adquisición de determinadas técnicas. Para que una negociación de buen resultado, es necesario que nadie pierda prestigio, que todos ganen algo: es un juego de suma positiva. El arte del negociador consiste en conducir a sus interlocutores hacia sus propias posiciones, demostrándoles que es en su propio interés. Por eso resulta conveniente:

• Conocer las posiciones y los intereses que se confrontan.
• Distinguir lo esencial, aquello sobre lo que no se cederá en la discusión, y lo accesorio, lo que podrá ser sujeto a compromisos.
• Elaborar construcciones convincentes teniendo en cuenta el interlocutor.
• Crear un clima, una calidad en la relación, mantener el deseo de llegar a obtener resultados.
• Evitar las actitudes agresivas o de desprecio.

La comunicación es otra de las claves del éxito en la conducción de programas de desarrollo. La comunicación necesita también de un enfoque profesional, no es una simple difusión de la información sino transmitir un mensaje “fuerte”, capaz de contribuir eficazmente al éxito de la intervención. Es necesario saber escuchar y sacar provecho de los mensajes que se reciban.

• La consecución de una buena comunicación interna (entre los miembros del equipo gestor) contribuye a mejorar la gestión y la calidad de las relaciones tanto en el seno del equipo del programa como con los organismos asociados. Esto resulta esencial para mantener un nivel elevado de motivación.
• La consecución de una buena comunicación externa (entre los gestores y los beneficiados) inspira confianza a los beneficiarios del programa y más en general a la población; permitiendo tender un puente entre el equipo gestor y otros organismos; facilitando una mejor comprensión de los objetivos que se quieran lograr y de las acciones que se quieran llevar a cabo.

 

Selección del equipo de expertos en S&E

El equipo de evaluación formado por expertos en materia de S&E ha de cumplir un simple papel de facilitador del proceso. Ha de ayudar a crear un proceso que ayude al resto de los equipos a realizar su trabajo. El papel de los profesionales ha de ser en muchos casos más el de colaboradores y facilitadores que el de expertos. El saber hacer de los profesionales no es impuesto al resto de los equipos sino que supone un recurso para ellos. Este papel sugiere que la labor de los profesionales depende más del contexto en el que trabajen que de herramientas comunes que puedan aplicarse de forma predeterminada.

Los ejercicios especiales de evaluación han estado generalmente a cargo de organismos independientes de la gestión de la intervención evaluada. En el caso de la evaluación previa en cambio no ha habido acuerdo en la práctica internacional sobre quien debe realizarla. En el presente trabajo se considera que toda iniciativa tendente a una evaluación independiente y objetiva es acogida favorablemente. Una vez respetado este principio, toda posición que se adopte ulteriormente dependerá de las necesidades específicas de asesoramiento técnico en los distintos campos de actividad. Nuestra postura es la de una evaluación previa realizada conjuntamente por el equipo que gestionará el programa y un grupo de expertos que ayude a su correcta realización.

A la hora de contratar al equipo evaluador, los requisitos que deben ser exigidos a éste son principalmente:

• Independencia: pertenecientes a organismos no involucrados en la aplicación, gestión y financiación de los programas. La independencia no supone, en modo alguno, que el evaluador deba evitar cooperar con los gestores del programa. En la evaluación previa esa cooperación es considerada esencial para mejorar la intervención.
• Capacidad: el evaluador debe estar al día en lo que se refiere a las técnicas de evaluación.

Otros requisitos pueden ser:

• La destreza para la obtención de accesos a la información y a los distintos actores protagonistas.
• Conocimiento y experiencia previa en el área del programa.
• Especiales conocimientos en un campo determinado.
• Exigencias económicas.

Cuando se decide contratar un equipo de evaluación externo, las posibilidades son varias y muchas son las organizaciones que pueden llevar a cabo una evaluación externa. Dos de las más usadas son las consultorías –con altos precios y gran eficiencia– y las instituciones académicas con un alto grado de conocimiento científico y gran independencia. El peligro de las primeras está en que siendo un negocio puedan convertir los trabajos de evaluación en meras auditorías. El peligro de las segundas está en que siendo instituciones para la creación de nuevos conocimientos, puedan convertir los trabajos de evaluación en estudios científicos. Nuestra experiencia nos afirma en la idea de que una buena solución estriba en la creación de equipos mixtos de evaluación en una asociación empresa-universidad que ha venido dando muy buenos resultados.

Una vez seleccionado el equipo, éste puede realizar la evaluación en las diferentes fases del ciclo de programación. En muchos casos, esta solución favorece la continuidad y reduce los costes de evaluación.

 

Formación profesional de los equipos

Para que un sistema de S&E funcione es necesario formar a todos los implicados para posteriormente incorporar las nuevas herramientas. Esta formación ha de alcanzar a los equipos de gestión y seguimiento del programa, a los equipos de expertos en S&E y al equipo que realiza el control institucional de la intervención. Para el desarrollo de esta labor es preciso incidir en una labor de formación y preparación personal a la vez que profesional que, junto a una claridad conceptual, permita a los implicados moverse con soltura dentro de un contexto en continua evolución e innovación.

Esta formación ha de permitir la puesta en práctica de procesos de integración, participación y aprendizaje y ha de hacer ver la necesidad de educar a otros para gestionar sus propios asuntos en áreas que conocen (o deberían conocer) mejor que un evaluador externo. Se trata de la creación de un nuevo papel para evaluadores que tratan de ayudar a otros a ayudarse a sí mismos. Formar equipos de trabajo que sepan aprender de otros y crear una comunidad dinámica de personas aprendiendo y en continua formación.

La definición del ámbito de seguimiento y evaluación (S&E) es otro de los trabajos preparatorios necesarios. En muchas ocasiones existen tensiones y conflictos entre las necesidades de evaluación nacionales e internacionales. Gestionar estas tensiones y necesidades a diferentes niveles es un reto importante, y antes de dar comienzo a la intervención, la evaluación previa ha de dejar definido el ámbito del S&E, lo que será seguido y evaluado en el ámbito operativo (intervenciones), institucional (autoridades), temporal (periodos a considerar) y geográfico (territorios). Para ello se han de decidir los objetivos, la profundidad de estudio, el nivel de análisis inicial y se han de organizar los flujos de información.

Elección de objetivos y profundidad del análisis

Es importante dejar claro desde el comienzo, los objetivos (cuestiones a tratar) y la profundidad de análisis con que se va a llevar a cabo el S&E. Un análisis válido requiere tiempo y dinero y se ha de decidir claramente dónde se quieren centrar los recursos pudiendo escoger entre tres niveles de profundidad de análisis:

• El tratamiento más superficial consiste en una simple descripción de los cambios observables en la zona de aplicación.
• Profundizando un poco más se pueden realizar análisis comparativos basados en la observación de territorios no afectados por el programa. Estos análisis son posibles incluso con medios limitados.
• Un nivel mayor de análisis lo constituye el análisis de las relaciones de causalidad, necesario para la comprensión y estimación de los impactos producidos por la intervención. Este análisis se puede realizar siempre que se cuente con los medios apropiados y tiempo para los estudios de gabinete y campo que requiere.

Los dos primeros niveles de análisis son más propios del seguimiento, reservando para los ejercicios especiales de evaluación, o cuestiones especiales del seguimiento, el nivel más profundo.

En cualquier caso el S&E global de un programa de desarrollo ha de concretar en qué aspectos va a centrarse para no perderse y no quedarse en un nivel superficial en sus aspectos más importantes. No se puede pretender llegar a todos los impactos y con un gran nivel de profundidad sino que es importante centrar bien los esfuerzos desde un principio. Y para ello es básica la elección del nivel de análisis inicial y lo que se va a abarcar con los trabajos de evaluación.

Elección del nivel de análisis inicial

Decidir el nivel de análisis en muchas ocasiones no es una cuestión de fácil decisión. De cara a establecer criterios para la determinación de este nivel de análisis nos remitimos –en primer lugar– a la buena experiencia de evaluar programas con una aplicación territorial provincial o incluso comarcal (formadas por un conjunto de municipios). Por otro lado está la cada vez mayor globalización de los programas y políticas que se implementan, cada vez con una más amplia aplicación territorial, que hace del nivel comarcal un nivel de excesivo desglose.

Para encontrar el equilibrio entre un enfoque local u otro más global y determinar el nivel de análisis inicial han de definirse los objetivos buscados con las actividades de S&E y evaluar los medios con los que se cuenta. En cualquier caso es adecuada una cierta homogeneidad territorial que consolide y facilite el conocimiento de la identidad del territorio en que se trabaja. Otros criterios los imponen las propias actividades de S&E, de manera que:

• Ha de ser posible la integración de estas actividades en el programa de desarrollo. Esto implica un nivel de análisis lo suficientemente cercano al programa, su diseño y gestión.
• Ha de poder realizarse una buena participación, lo que supone también una cercanía adecuada del nivel de análisis al programa y su contexto. Los propios mecanismos de participación imponen la necesidad de esta proximidad.
• Han de poder desarrollarse también los mecanismos de aprendizaje lo que implica también un contacto y una proximidad que no se puede dar en niveles demasiado globales de análisis.

También es importante destacar que, en general, es imposible realizar un análisis detallado a un nivel muy bajo de la estructura del programa, puesto que los niveles inferiores suelen alcanzar un nivel muy alto de descomposición. Por consiguiente, se debe elegir un nivel de análisis adecuado a la intervención que se esté evaluando, con la posibilidad de descender a niveles inferiores escogiendo las acciones o proyectos más significativos de cada operación para someterlas también a un análisis detallado (proyectos tipo y estudio de casos).

En general se propone como nivel de análisis inicial el nivel de programa local o regional. Un programa formado por una serie de medidas en las que se incluyen los proyectos de desarrollo dentro de un ámbito de aplicación más o menos reducido. Este nivel de análisis no supone un desglose excesivo de cara a la evaluación a niveles superiores de una política global ni supone una agregación excesiva de actuaciones de desarrollo inabarcable para un equipo de S&E.

Organización de los flujos de información

Es importante organizar los flujos de información entre los diferentes niveles de análisis que el programa permita (local, regional, nacional…). La transmisión de la información a través de estos flujos ha de hacer llegar los resultados de la evaluación a los responsables de la implementación de políticas y programas, a los financiadores del programa, a los financiadores de su evaluación, a los beneficiados por la intervención, al equipo gestor de la intervención y a otros grupos de interés como la comunidad académica. Adaptándose a las necesidades del nivel de análisis inicial, los resultados han de poder sintetizarse a niveles de análisis superiores y compararse.

Hay que tener en cuenta ciertas especificidades que se desprenden del contexto diferente que suponen los diversos niveles de análisis posibles (local, regional, nacional o niveles superiores). La orientación de la evaluación dentro de una perspectiva nacional/regional es un tanto distinta a la orientación a nivel local. Cada nivel es responsable de una cierta eficacia y eficiencia y tiene sus reglas de juego y su funcionamiento. Las características específicas de los programas que conviene evaluar son distintas en cada nivel y sugieren la orientación que podría seguirse en la evaluación. Cada nivel tiene por tanto sus necesidades de evaluación.

Para responder a estas distintas necesidades debe aportarse información sobre los resultados de las intervenciones individuales, de manera que se puedan añadir datos, a partir del nivel local “hacia arriba” (procedimiento ascendente), comparar las distintas intervenciones e identificar modelos que representen las mejores prácticas. Para poder realizar un S&E a niveles superiores es necesaria la agregación de los datos.

Para ello la clave está en la homogeneidad a la hora de realizar los trabajos de S&E, especialmente en el caso de los ejercicios especiales de evaluación: herramientas básicas de estos flujos de información entre los diferentes niveles de análisis. En la mayoría de los casos, estos ejercicios constituyen el único vehículo de información de un nivel de análisis determinado a niveles superiores. Dentro de las labores de S&E constituyen los trabajos con un mayor alcance y protagonismo, mayor cuanto mayor es la distancia con el nivel de análisis inicial.

Esta homogeneidad se consigue con la aplicación del mismo modelo de evaluación: los datos son los mismos, su tratamiento e interpretación también, con lo que la agregación es posible y sencilla. Un papel muy importante en la organización de los flujos de información lo tiene la selección de indicadores clave del modelo en función de su relevancia, cuantificación, disponibilidad y fiabilidad.

Como en cualquier toma de decisiones, para la implementación de un programa de desarrollo es imprescindible preparar la idea, motivar y formar a la población, formular una estrategia a partir de la población y elaborar un plan de actuación. El objeto de la evaluación previa es supervisar todos estos pasos y asegurar su correcta ejecución.

Desarrollo del sistema de seguimiento y evaluación durante la etapa de diseño y evaluación previa

Para desarrollar un sistema de seguimiento y evaluación en la etapa de diseño de una intervención es necesario seguir una serie de pasos que van desde los trabajos preparatorios hasta la puesta en marcha del programa. Si se quiere conseguir que los programas sean evaluables en el futuro, es esencial una cuidadosa planificación del trabajo de S&E. Antes de comenzar el S&E han de estar determinados sus objetivos, ámbito de aplicación, cuestiones a tratar, calendarios, equipos encargados de realizarlo, planificación del trabajo de campo y recogida de información. También han de estar realizados los trabajos preparatorios de revisión de documentación y estudio del programa y su contexto para la correcta adecuación de las actividades que se vayan a realizar

Todos estos trabajos preparatorios podemos agruparlos en tres: la adaptación al programa y su contexto, la constitución de equipos, y la definición del ámbito de evaluación. Abordamos a continuación la adaptación al programa y su contexto.

Para lograr solventar muchas de las dificultades que resultan de la aplicación de un modelo de S&E es preciso prestar atención a los aspectos esenciales de los programas y las circunstancias que rodean su implementación. Es necesaria una adaptación a las características del programa y su contexto territorial. En un marco ya más global es necesaria esta adaptación con el contexto legal e institucional en el que se desarrolla el programa.

La adaptación a las características del programa permite el perfecto ajuste entre las actividades de S&E y las características de la intervención. Este ajuste se ha de centrar en los objetivos perseguidos, la estrategia y el funcionamiento de la gestión y financiación. Para ello es necesario conocer muy bien el programa a lo que puede contribuir la realización de un modelo lógico del programa como puede ser el Enfoque del Marco Lógico (EML). Estos modelos lógicos organizan la información sobre el programa tal y como está definida en su jerarquía de objetivos, describe sus elementos principales y qué se espera lograr en el corto y largo plazo. Las ventajas de estos modelos para lograr el conocimiento y comprensión del programa son:

• La utilización sistemática del conocimiento sobre el programa.
• La agregación de conocimiento, de forma que se puede realizar un análisis a un nivel agregado centrado en unos pocos criterios centrales. Se logra evitar así una información excesivamente detallada.

La adaptación al contexto territorial conlleva un estudio y análisis en profundidad que permite a los equipos encargados del S&E partir de una idea clara de las capacidades reales y potenciales para la generación del desarrollo. El margen de maniobra para poder juzgar en su debida medida los logros que se fueran consiguiendo. Especialmente hay que clarificar el valor de las posibles mejoras en al menos cuatro dimensiones de la competitividad territorial.

• Competitividad del entorno: Capacidad de los agentes locales para valorizar su entorno.
• Competitividad social: Capacidad de actuar juntos.
• Competitividad económica: Capacidad de crear vínculos entre sectores de tal modo que se mantenga in situ el máximo de valor añadido.
• Localización en el contexto global: Capacidad de establecer relaciones con otros territorios y con el resto del mundo.

La adaptación al contexto legal tiene dos aspectos, el que afecta al programa y el que afecta a las propias actividades de S&E. Éste marco normalmente viene expresado a modo de directivas, reglamentos, normativas que en algunos casos son orientativas y en otros son de obligado cumplimiento. Algunos de los criterios de evaluación han de basarse en el examen detallado de este contexto y las actividades de S&E deben amoldarse al menos a los requisitos mínimos exigidos.

Por último está la adaptación al contexto institucional. Todo programa de desarrollo está sometido a un control externo a él realizado por parte de una serie de instituciones más o menos implicadas en la inversión. El modelo de S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacerlo más transparente: especialmente en el caso de las comprobaciones iniciales, los controles de aplicación y la elaboración de informes. Además ha de ser capaz de aprovechar e incluir en el aprendizaje el probable apoyo técnico suministrado por los equipos de control.

 

 

La evaluación previa examina la lógica del programa propuesto y juzga si es claro, completo y coherente. Este es su objetivo principal, al que se suman otros objetivos como el examen de la calidad de los mecanismos de ejecución y la estimación de los impactos.

Análisis continuo de la lógica de intervención

La evaluación previa se centra y tiene como principales criterios de evaluación el fundamento, la pertinencia y la coherencia del programa (dejando para una fase posterior del proceso de evaluación el análisis exhaustivo de la eficiencia y la eficacia), en definitiva, la lógica de intervención del programa, de manera que verifica que el programa que se pone en marcha es el adecuado y va a contar con una buena evaluabilidad y una buena sostenibilidad. También se ha de dejar constancia de la viabilidad y utilidad del programa.

Contenido de evaluación en la etapa de diseño y evaluación previa

Estos criterios de evaluación constituyen el principal contendido de la evaluación previa y son analizados de una manera continua durante la etapa de diseño. No se trata de trabajos puntuales. La definición de los criterios que sirven para la evaluación y selección de las actuaciones propuestas han de basarse y han de incluir estos componentes de la evaluación previa. Describimos a continuación los criterios más importantes a la hora de abordar la evaluación previa y selección de estrategias, son aspectos sobre los que, una vez avanzadas las actividades de evaluación previa, conviene sacar conclusiones de cara al documento final de programación.

 

Fundamento: Análisis del contexto

El diagnóstico realizado ha de facilitar información suficiente para comprobar la necesidad y oportunidad de realizar la inversión que se va a llevar a cabo. Necesaria por existir los problemas que la originan y no poder ser resueltos de otro modo, y oportuna por suponer un aprovechamiento de las potencialidades que se detectan.

En el diagnóstico del territorio han de describirse las ventajas, desventajas y potencial de desarrollo. Es necesario que no falte una descripción y valoración de los recursos físicos, ambientales, culturales, humanos, económicos y financieros. Para sintetizar esta información se recomienda la utilización del análisis DAFO, dejando muy claramente expresadas las necesidades que fundamentan la intervención que se evalúa.

 

Pertinencia

Es la adecuación de los objetivos del programa a las necesidades sectoriales y problemas socioeconómicos a los que se dirige. Expresado de otro modo, se trata de la evaluación de la coherencia de los objetivos del programa con las características y necesidades específicas de las zonas en cuestión. Un buen método para ir siguiendo este criterio es la realización de una matriz donde se crucen las matrices DAFO con los objetivos del programa que se estén desarrollando. De este modo se supervisan si quedan cubiertas las principales debilidades, amenazas, fortalezas y oportunidades con los objetivos propuestos.

Una parte vital del trabajo de un evaluador consiste en determinar si un programa ha tenido éxito en resolver la problemática para la cual fue diseñado. En muchos programas ello ha sido difícil ya que, a la hora de diseñar el programa, no se entendió bien la problemática, y no quedó establecida su vinculación con la solución proporcionada por el programa.

 

Coherencia interna del programa

A partir de los objetivos establecidos, la evaluación previa debe cuidar la coherencia interna del programa, la forma en que los recursos financieros y administrativos se transformarán en los resultados apropiados a través de los mecanismos de aplicación previstos en el programa. La evaluación previa examina y estudia las relaciones de causalidad entre las realizaciones financiadas, los resultados y las repercusiones previstas. Podemos distinguir entre la coherencia de los objetivos y la coherencia de las medidas aplicadas.

Coherencia de los objetivos: El estudio de la coherencia interna comienza con la supervisión de los objetivos del programa. Los contenidos de evaluación en este caso son:

Análisis de la claridad de los objetivos y prioridades diseñadas en relación con la situación de partida. La finalidad es la obtención de unos objetivos claros, medibles, fáciles de verificar y cuantificados en la medida de lo posible.

• Análisis de la estructuración de los objetivos del programa comprobando si existe una jerarquía adecuada de los objetivos de forma que las realizaciones (objetivos operativos) puedan transformarse en resultados (objetivos específicos) y éstos en impactos (correspondientes a los objetivos globales). Para este análisis se aconseja la realización de una cascada de objetivos que refleje claramente la jerarquía y las relaciones entre los distintos niveles de objetivos.
• Estudio de la coherencia de los objetivos específicos del programa con los de la política en la que se enmarque. Para este estudio se aconseja la realización de una matriz que enfrente los objetivos del programa con los objetivos de la política que lo enmarca. El estudio ha de permitir dictaminar si los objetivos de la política están siendo cubiertos por los objetivos del programa que evaluamos.

Coherencia de las medidas aplicadas: Es importante que la evaluación previa vaya analizando las actuaciones y medidas que se vayan a emplear para la consecución de los objetivos propuestos por el programa. Se aconseja la realización de una matriz que enfrente las medidas que se van a aplicar con los objetivos que se persiguen. Esta matriz permite ir verificando que las medidas cubren todos los objetivos y lo hacen de una manera adecuada. En concreto habría que:

• Estudiar la adecuación de los recursos asignados teniendo en cuenta los objetivos definidos.
• Evaluación del calendario, programación adecuada, procedimientos, criterios de selección y condiciones financieras, de conformidad con la estrategia propuesta.
• Comprobación de las medidas de evaluación, incluida la definición de indicadores.

 

Coherencia externa: Coordinación con otras intervenciones

Un programa no debe contentarse solo con una coherencia interna –entre el diagnóstico realizado, los objetivos y estrategias diseñadas– sino que también debe buscar una coherencia con las demás políticas e intervenciones que interfieran con él: se trata de la coherencia externa. La evaluación previa debe cuidar la coordinación y coherencia del programa con otras intervenciones que se estén desarrollando en la zona de aplicación.

El estudio empieza con la descripción de las otras políticas (sean locales, regionales, nacionales o internacionales) y de los programas aplicados o que vayan a aplicarse en el país o región en cuestión, especialmente en los ámbitos susceptibles de ejercer una influencia en la aplicación, los resultados o las repercusiones de nuestra intervención.

El estudio de la estas intervenciones se aborda mediante un análisis de sus objetivos, ejes de desarrollo y medidas estratégicas. Una vez analizados se escoge entre uno de estos tres elementos para abordar el estudio de la coordinación. Nuestra experiencia nos indica que lo más apropiado es acudir a los ejes y medidas de desarrollo de forma que se detecten los campos conflictivos de actuación y poder determinar los siguientes aspectos:

• Posible complementariedad con el programa.
• Posible sinergia o duplicación de tareas con el programa.
• Forma en que se tiene en cuenta la interacción potencial en la elaboración del programa.

Resulta conveniente esquematizar las conclusiones del estudio en una matriz que enfrente nuestro programa con el resto de las intervenciones de manera que quede clara la interacción con cada uno de ellas. Una vez realizado este estudio se pueden sacar conclusiones sobre la viabilidad de la programación que se va a iniciar dentro del contexto político estudiado.

 

Valoración de la evaluabilidad (evaluativity assesment)

Es de vital importancia establecer dentro del diseño del programa las condiciones para un sistema de seguimiento y evaluación efectivo durante las restantes etapas del programa. Todos los que participan en el diseño y la aprobación de programas deben cerciorarse de que cada programa nuevo podrá beneficiarse de futuros procesos de S&E. En la etapa de diseño y aprobación se debe incorporar una tarea de verificación de la futura “evaluabilidad” del programa, y los documentos presentados para la aprobación del programa deben incluir la lógica de intervención y demás elementos que garanticen tal “evaluabilidad”.

La verificación de “evaluabilidad” es una tarea que debe realizarse para determinar hasta qué grado el diseño descrito en los documentos del programa permite realizar un S&E adecuados. Dicha verificación:

• Ayudará a asegurar que el programa es de la más alta calidad técnica.
• Asegurará que la estrategia de ejecución del programa proporciona criterios adecuados para su S&E.
• Indicará hasta qué punto se han incorporado las lecciones y experiencias de otros programas.
• Asegurará que se está siguiendo una lógica en la intervención.

La utilidad

La utilidad supone un análisis sobre el interés y beneficio del proceso de desarrollo que se va a poner en marcha. El análisis de la utilidad va unido al del fundamento. Los criterios utilizados para el análisis del fundamento analizan también la sostenibilidad.

La reflexión sobre la utilidad ha de dejar constancia sobre el grado en que el trabajo de S&E proporciona información práctica a las necesidades de quien va a hacer uso de esa información. Sobre el aprendizaje que potencialmente puede generar para la mejora a nivel interno de la intervención y a nivel externo de cara al desarrollo de la población con la que se trabaja.

La viabilidad

La viabilidad verifica la confluencia de prioridades e ideologías entre los planificadores y los receptores del programa, la existencia de una capacidad institucional suficiente e investiga el grado de compromiso de las diferentes instituciones y grupos de interés implicados.

La viabilidad está relacionada con el propio proceso de desarrollo o, por decirlo de otra manera, los factores externos al programa como las políticas de apoyo, aspectos institucionales, condiciones financieras y económicas, factores tecnológicos, socioculturales y medioambientales. En la evaluación previa de cualquier intervención de desarrollo es necesario un examen previo sistemático de estos factores. Quizás se hará evidente la necesidad de cambiar o modificar elementos en la jerarquía de objetivos; quizás se identifiquen nuevos supuestos o factores externos esenciales para el programa.

No todos estos factores de desarrollo tendrán la misma importancia en cada uno de los programas, dependerá de cada caso el papel que éstos tengan en las distintas intervenciones.

La sostenibilidad

La sostenibilidad analiza la capacidad de los efectos esperados de perdurar en el medio o largo plazo. Los efectos son sostenibles si perduran después de acabarse los fondos dotados por la intervención. No son sostenibles si una actividad es incapaz de generar sus propios recursos, o si van acompañados de efectos negativos, sobre todo sobre el medio ambiente, y si por ello surgen bloqueos o rechazos.

La sostenibilidad mantiene una estrecha relación con los recursos del territorio, ya que el éxito de un modelo de desarrollo sostenible depende de la conservación de los recursos endógenos con los que cuenta. Desde el punto de vista ambiental la sostenibilidad ha de preocuparse de la interacción de los proyectos que se van a realizar con tres funciones indispensables de los territorios:

• Fuente de recursos naturales y materias primas que utilizarán los proyectos. Tener en cuenta tasas de renovación de los recursos renovables, el ritmo de utilización de los no renovables que se consumen con el uso, y la intensidad de uso de los no renovables que no se consumen con el uso.
• Soporte de los elementos físicos que forman los proyectos (ocupaciones/transoformaciones del espacio). Analizar la capacidad de acogida de las actividades y los riesgos naturales que se puedan derivar.
• Receptor de los efluentes (emisiones, vertidos, residuos) que puedan emitir estos proyectos. Analizar si se respetan las capacidades de asimilación del aire (capacidad dispersante), del agua (capacidad autodepuradora) y del suelo (capacidad de procesado/filtrado).

Pero a la vez, la sostenibilidad es un concepto amplio que supera el ámbito territorial y ambiental. La sostenibilidad responde a un planteamiento integral que incluye también el estudio del contexto legal e institucional (muy unido a la viabilidad). Es necesario realizar una labor de investigación sobre la normativa aplicable al programa y poder así verificar su correcto cumplimiento. Del análisis que se realice se han de concretar datos y referencias de obligado cumplimiento que sirvan para el establecimiento de criterios de evaluación para el equipo evaluador.

Adecuación y calidad de los mecanismos de ejecución

El éxito de una intervención en el desarrollo depende en gran medida de la capacidad de gestión y de la actuación de los órganos ejecutivos. La evaluación previa ha de asegurar la adecuación y calidad de los mecanismos de ejecución, la elaboración de planes de acción donde:

• Exista una auténtica obligación de rendir cuentas acorde con las exigencias de las normativas pertinentes.
• Se cuente con una gestión y un seguimiento sólido y eficaz. La evaluación previa ha de asegurarse del funcionamiento de los equipos de gestión y seguimiento y ha de dejar definido un sistema de información y autoevaluación que permita un seguimiento adecuado.
• Contemos con un procedimiento de selección de los proyectos más competitivos.

 

Estimación de resultados y anticipación de problemas

Para abordar la estimación de los impactos esperados, es preciso recabar información que permita comprender la medida en que la intervención va a contribuir a la consecución de los objetivos generales y específicos. La evaluación previa debe contribuir a determinar los indicadores pertinentes para cuantificar los impactos y los resultados de los planes y de los programas.

En ocasiones también resulta de interés la posible anticipación de problemas potenciales que pudieran surgir relativos a la evaluación y al seguimiento, elaboración de indicadores, obtención de datos… de manera que se cuente ya desde el principio con un claro aviso de las dificultades que se podrían encontrar en el ejercicio del S&E de un determinado programa.

La evaluación previa acompaña al diseño de los programas para asegurar un buen diseño y la evaluabilidad de los programas. Vemos este acompañamiento a través de la integración, la participación y el aprendizaje que se da en la evaluación previa.

La integración

La evaluación previa se alimenta del diseño de la intervención que se está gestando y de la información que surge del estudio del contexto territorial. Se trata de la integración de los trabajos de S&E en los trabajos de planificación. Esta integración ha de dar como resultado una mayor adaptación de la evaluación al programa y su contexto, de manera que atienda a sus principales aspectos específicos.

La evaluación previa durante la etapa de diseño y evaluación previa

La evaluación previa sigue muy de cerca la intervención durante su diseño teniendo una misión específica (ver figura) en cada una de las etapas en las que se va perfilando la intervención. Este primer ejercicio de evaluación ha de ir realizando una serie de recomendaciones que deben ser asimiladas antes del inicio de la intervención. Se trata de la integración de los trabajos de planificación en los trabajos de evaluación. Esta integración ha de dar como resultado un programa adecuado y evaluable.

La participación

El objetivo principal de la participación es conseguir la integración de la población en la elaboración del programa de desarrollo. Durante el proceso de planificación en la etapa de diseño es importante conocer las medidas que la población local –relacionada con los diversos sectores de su economía– considera de desarrollo preferente. La mayoría de estas aportaciones se limitan a ideas de posibles actuaciones para resolver problemas de los diferentes sectores, pero normalmente carecen de la definición suficiente para poder ser evaluadas o identificadas como actuaciones a seguir. Una labor importante es la de definir y concretar estas aportaciones a nivel de ideas, que muchas veces son tanto o más interesantes que las realizadas a nivel de proyectos. Además, el proceso de participación ha de permitir la identificación de pioneros y emprendedores entre la población.

En cuanto al S&E, la participación ha de suponer la posibilidad de discutir los aspectos esenciales que han de tratar el S&E, sus objetivos, prioridades, destinatarios, usos y obtener definiciones compartidas. Es necesario estar preparado para el uso de los resultados desde el principio del plan de evaluación, lo que no es algo natural, automático o fácil de realizar, sino que hay que facilitarlo implicando a la gente en el proceso de evaluación a través de la participación. La evaluación previa debe supervisar la realización de las siguientes fases de participación:

La participación durante la etapa de diseño y evaluación previa

Entrevistas a gestores

En una primera fase se realizan una serie de entrevistas personales en profundidad con los agentes encargados de la gestión del programa en los diferentes niveles. Las entrevistas han de llevar a:

• Empezar a discutir los aspectos esenciales del S&E.
• Recoger las primeras aportaciones sobre la concepción del programa.
• Identificar a los pioneros y emprendedores, personas de reconocida experiencia, e integrarlos en la elaboración del programa con el fin de aumentar su credibilidad. Los rasgos que pueden identificar y valorar al pionero y emprendedor pueden ser su iniciativa, capacidad de adaptación y negociación, competencia y disponibilidad.
• Confirmar la adecuación del modelo de cara a su aplicación práctica y de las estrategias diseñadas.
• Contar con una visión de la situación de los sectores objeto de estudio.

 

Entrevistas a informantes clave

Una vez identificadas las personas y sus características se procede a la preparación de las entrevistas y al diseño de cuestionarios. Actuar de manera inversa llevaría a no aprovechar la información potencial que tienen o a desorientar ante líneas de actuación y preguntas poco adecuadas. En una segunda fase, se desarrollan las siguientes actividades:

• Entrevistas personales con los informantes clave identificados.
• Reunir la información necesaria para el análisis, obteniendo una visión individualizada de la situación de los sectores productivos en las distintas zonas.
• Seguir con la identificación de los líderes, personas dinámicas y emprendedoras dotadas de gran popularidad entre la población local.

 

Reuniones públicas y mesas redondas

En la tercera fase se mantienen reuniones públicas de trabajo, entrevistas personales, grupos de discusión y mesas redondas dirigidas a toda la población. Es importante que la participación facilite un proceso de socialización haciendo públicos los resultados y opiniones, dando pie a la discusión y al diálogo entre la propia población. Esta apertura del proceso facilita el intercambio de información, el razonamiento de las ideas expuestas y permite llegar a consensos que normalmente constituyen el fruto más preciado de la participación.

Se ha de prestar especial atención a las personas identificadas como emprendedoras y líderes, cuidando una serie de cuestiones previas:

• Información previa por canales adecuados (Ayuntamientos).
• Adecuación del lenguaje utilizado.
• Realización de intervenciones cortas, utilizando varios ponentes.
• Participación del público (aportaciones comunes y encuestas personales).
• Utilización de lugares familiares (Ayuntamiento, Casa de Cultura…).
• Realización en horario no laboral (última hora de la tarde).

En las reuniones de trabajo se debe realizar una presentación del programa, con mayor profundidad en aquellos lugares donde la información previa sobre el programa ha sido menor. A continuación se realiza una fase de preguntas con el objeto de solucionar las dudas más genéricas que se producen entre los asistentes. Por último, se entra en la fase más importante: se entrevista en profundidad a los asistentes más representativos de las reuniones.

Durante las entrevistas se sigue un cuestionario diseñado para ese fin conforme la información recogida en la primera y segunda fase de la participación social, se tratan todos los aspectos sobre los que se desea obtener información pero de manera que sea lo suficientemente abierto para permitir que en la entrevista se puedan tratar con mayor profundidad aquellos aspectos que más interesaran o inquietan al entrevistado.

 

El aprendizaje

Para que los trabajos de evaluación previa sean de la mayor utilidad posible es importante partir con unos objetivos claros de lo que se espera de ella (evaluación por objetivos). A la vez, es necesaria cierta flexibilidad y que un enfoque por procesos permita la adaptación de los trabajos de evaluación a los nuevos conocimientos y circunstancias que vayan surgiendo. Estos conocimientos han de ser gestionados de modo que se realice:

Identificación del conocimiento existente (la información facilitada por el contexto, la experiencia de la población y expertos y los conocimientos que ya se encuentran en el engranaje de S&E o conocimiento útil).
Conversión del conocimiento identificado en conocimiento útil que se pueda difundir y utilizar, mediante la interpretación del conocimiento inicial identificado y la reflexión a partir de él.
Difusión de este conocimiento generado para su posterior utilización.

Para enriquecer este aprendizaje, además de buscar la participación en la zona de intervención, es conveniente conocer otras experiencias viajando a otras zonas y conocer nuevas ideas y proyectos.

 

El aprendizaje durante la etapa de diseño y evaluación previa