La definición del ámbito de seguimiento y evaluación (S&E) es otro de los trabajos preparatorios necesarios. En muchas ocasiones existen tensiones y conflictos entre las necesidades de evaluación nacionales e internacionales. Gestionar estas tensiones y necesidades a diferentes niveles es un reto importante, y antes de dar comienzo a la intervención, la evaluación previa ha de dejar definido el ámbito del S&E, lo que será seguido y evaluado en el ámbito operativo (intervenciones), institucional (autoridades), temporal (periodos a considerar) y geográfico (territorios). Para ello se han de decidir los objetivos, la profundidad de estudio, el nivel de análisis inicial y se han de organizar los flujos de información.
Elección de objetivos y profundidad del análisis
Es importante dejar claro desde el comienzo, los objetivos (cuestiones a tratar) y la profundidad de análisis con que se va a llevar a cabo el S&E. Un análisis válido requiere tiempo y dinero y se ha de decidir claramente dónde se quieren centrar los recursos pudiendo escoger entre tres niveles de profundidad de análisis:
- El tratamiento más superficial consiste en una simple descripción de los cambios observables en la zona de aplicación.
- Profundizando un poco más se pueden realizar análisis comparativos basados en la observación de territorios no afectados por el programa. Estos análisis son posibles incluso con medios limitados.
- Un nivel mayor de análisis lo constituye el análisis de las relaciones de causalidad, necesario para la comprensión y estimación de los impactos producidos por la intervención. Este análisis se puede realizar siempre que se cuente con los medios apropiados y tiempo para los estudios de gabinete y campo que requiere.
Los dos primeros niveles de análisis son más propios del seguimiento, reservando para los ejercicios especiales de evaluación, o cuestiones especiales del seguimiento, el nivel más profundo.
En cualquier caso el S&E global de un programa de desarrollo ha de concretar en qué aspectos va a centrarse para no perderse y no quedarse en un nivel superficial en sus aspectos más importantes. No se puede pretender llegar a todos los impactos y con un gran nivel de profundidad sino que es importante centrar bien los esfuerzos desde un principio. Y para ello es básica la elección del nivel de análisis inicial y lo que se va a abarcar con los trabajos de evaluación.
Elección del nivel de análisis inicial
Decidir el nivel de análisis en muchas ocasiones no es una cuestión de fácil decisión. De cara a establecer criterios para la determinación de este nivel de análisis nos remitimos –en primer lugar– a la buena experiencia de evaluar programas con una aplicación territorial provincial o incluso comarcal (formadas por un conjunto de municipios). Por otro lado está la cada vez mayor globalización de los programas y políticas que se implementan, cada vez con una más amplia aplicación territorial, que hace del nivel comarcal un nivel de excesivo desglose.
Para encontrar el equilibrio entre un enfoque local u otro más global y determinar el nivel de análisis inicial han de definirse los objetivos buscados con las actividades de S&E y evaluar los medios con los que se cuenta. En cualquier caso es adecuada una cierta homogeneidad territorial que consolide y facilite el conocimiento de la identidad del territorio en que se trabaja. Otros criterios los imponen las propias actividades de S&E, de manera que:
- Ha de ser posible la integración de estas actividades en el programa de desarrollo. Esto implica un nivel de análisis lo suficientemente cercano al programa, su diseño y gestión.
- Ha de poder realizarse una buena participación, lo que supone también una cercanía adecuada del nivel de análisis al programa y su contexto. Los propios mecanismos de participación imponen la necesidad de esta proximidad.
- Han de poder desarrollarse también los mecanismos de aprendizaje lo que implica también un contacto y una proximidad que no se puede dar en niveles demasiado globales de análisis.
También es importante destacar que, en general, es imposible realizar un análisis detallado a un nivel muy bajo de la estructura del programa, puesto que los niveles inferiores suelen alcanzar un nivel muy alto de descomposición. Por consiguiente, se debe elegir un nivel de análisis adecuado a la intervención que se esté evaluando, con la posibilidad de descender a niveles inferiores escogiendo las acciones o proyectos más significativos de cada operación para someterlas también a un análisis detallado (proyectos tipo y estudio de casos).
En general se propone como nivel de análisis inicial el nivel de programa local o regional. Un programa formado por una serie de medidas en las que se incluyen los proyectos de desarrollo dentro de un ámbito de aplicación más o menos reducido. Este nivel de análisis no supone un desglose excesivo de cara a la evaluación a niveles superiores de una política global ni supone una agregación excesiva de actuaciones de desarrollo inabarcable para un equipo de S&E.
Organización de los flujos de información
Es importante organizar los flujos de información entre los diferentes niveles de análisis que el programa permita (local, regional, nacional…). La transmisión de la información a través de estos flujos ha de hacer llegar los resultados de la evaluación a los responsables de la implementación de políticas y programas, a los financiadores del programa, a los financiadores de su evaluación, a los beneficiados por la intervención, al equipo gestor de la intervención y a otros grupos de interés como la comunidad académica. Adaptándose a las necesidades del nivel de análisis inicial, los resultados han de poder sintetizarse a niveles de análisis superiores y compararse.
Hay que tener en cuenta ciertas especificidades que se desprenden del contexto diferente que suponen los diversos niveles de análisis posibles (local, regional, nacional o niveles superiores). La orientación de la evaluación dentro de una perspectiva nacional/regional es un tanto distinta a la orientación a nivel local. Cada nivel es responsable de una cierta eficacia y eficiencia y tiene sus reglas de juego y su funcionamiento. Las características específicas de los programas que conviene evaluar son distintas en cada nivel y sugieren la orientación que podría seguirse en la evaluación. Cada nivel tiene por tanto sus necesidades de evaluación.
Para responder a estas distintas necesidades debe aportarse información sobre los resultados de las intervenciones individuales, de manera que se puedan añadir datos, a partir del nivel local “hacia arriba” (procedimiento ascendente), comparar las distintas intervenciones e identificar modelos que representen las mejores prácticas. Para poder realizar un S&E a niveles superiores es necesaria la agregación de los datos.
Para ello la clave está en la homogeneidad a la hora de realizar los trabajos de S&E, especialmente en el caso de los ejercicios especiales de evaluación: herramientas básicas de estos flujos de información entre los diferentes niveles de análisis. En la mayoría de los casos, estos ejercicios constituyen el único vehículo de información de un nivel de análisis determinado a niveles superiores. Dentro de las labores de S&E constituyen los trabajos con un mayor alcance y protagonismo, mayor cuanto mayor es la distancia con el nivel de análisis inicial.
Esta homogeneidad se consigue con la aplicación del mismo modelo de evaluación: los datos son los mismos, su tratamiento e interpretación también, con lo que la agregación es posible y sencilla. Un papel muy importante en la organización de los flujos de información lo tiene la selección de indicadores clave del modelo en función de su relevancia, cuantificación, disponibilidad y fiabilidad.
