Inicio » ¿Cómo se diseñan evaluaciones? » Diseño de un sistema de seguimiento y evaluación (S&E)
Archivos de la categoría: Diseño de un sistema de seguimiento y evaluación (S&E)
Consejos para poner en marcha un buen sistema de seguimiento y evaluación
Existen una serie de aspectos importantes para la correcta aplicación práctica de un sistema de seguimiento y evaluación (S&E) en cada una de sus etapas. Lecciones de experiencia que actúan como simples consejos, indican alguna realidad a tener en cuenta o señalan aspectos donde es necesario poner especial atención.
Etapa de diseño
- Nada hay más práctico que una buena teoría. Hay que partir siempre de un modelo cuya comprensión supone un componente crítico para la buena práctica del S&E, una guía de los pasos que se han de seguir. Una buena teoría elimina las concepciones erróneas y la falta de definición de tareas.
- El diseño de un plan apropiado para el S&E del desarrollo ha de suponer un plan de integración de las actividades de S&E en las actividades de programación. Un proceso mediante el cual el S&E se convierten en parte de la normal planificación y gestión del programa, lo que lleva a su institucionalización e internalización.
- El logro de una buena adecuación al programa y su contexto ya en la etapa de diseño. Los múltiples aspectos, circunstancias y perspectivas en que nos podríamos fijar exigen un análisis profundo de los objetivos, estrategia y funcionamiento del programa y un estudio de su contexto.
- El plan de S&E debe estar concluido antes de que finalice la etapa de diseño. En esta etapa, lo más importante es diseñar un programa que pueda ser seguido y evaluado más adelante. El inmediato comienzo de las actividades de S&E en el diseño permite mejorar el buen desempeño de los programas y de las propias actividades de S&E.
- Es importante proveer al sistema de S&E de los mecanismos necesarios para detectar los retrasos, analizar la amenaza que suponen y realizar los ajustes necesarios para que los programas sigan adelante.
- Falta concienciación sobre la necesidad de realizar seriamente la evaluación previa. Muchas programaciones no la incluyen y cuando lo hacen, la realizan de una forma muy superficial.
- Una utilidad importante del S&E radica en su potencial para usarse en el fortalecimiento y construcción de capacidades, principalmente capacidades de gestión, seguimiento y evaluación. El S&E puede diseñarse para ayudar a la gente a ayudarse a sí misma y mejorar sus programas.
- Arrancar desde un principio los mecanismos de participación y aprendizaje. Para conseguirlo hace falta aunar voluntades y esfuerzos de cara a una perfecta integración de las actividades de S&E.
- Es preciso preparar a los distintos agentes para usar tanto los resultados como el proceso de evaluación. El uso adecuado del proceso puede convertirse en una vía para aprovechar el potencial del S&E para generar capacidades entre la población.
- Las actividades de S&E han de concebirse como un proceso sistemático de aprendizaje que activa un ciclo de retroalimentación. El aprendizaje de la población implicada constituye el medio para la construcción de capacidades locales.
Etapa de ejecución
- La implementación efectiva de un buen sistema de seguimiento. En muchas ocasiones se trata de un sistema casi inexistente o bien muy deficiente que crea una excesiva dependencia de la evaluación intermedia para la reorientación de los programas en esta etapa. Como en el caso de la evaluación previa, es necesaria una labor de concienciación sobre la necesidad de realizar un buen seguimiento.
- Contar con un adecuado sistema de seguimiento por proyectos es uno de los mejores medios para una evaluación adecuada en ámbito de subprogramas, medidas y proyectos. La cercanía de los gestores a estos niveles compensa la lejanía y desconocimiento de los evaluadores en este campo.
- La adecuada formación de los encargados de la gestión del programa. Es necesaria una confianza pero también se hace necesaria una labor de control y apoyo técnico por parte de las instituciones pertinentes.
- La ubicación apropiada para las funciones de S&E dentro de las estructuras de gestión y autoridad del programa. La práctica demuestra que pueden aparecer problemas institucionales con el enfoque orientado hacia la gestión, en particular en programas complejos en los que intervienen varios organismos diferentes. La solución está en disponer lo necesario para el S&E.
- Sólo si se concede prioridad a una función de seguimiento concebida para satisfacer las necesidades de la gestión se pueden desarrollar sistemas de información ajustados a la realidad y eficaces. Esos sistemas no sólo prestan asistencia a los gestores sino que proporcionan muchos datos para llevar a cabo un S&E pegado a la realidad.
- Los ejercicios de evaluación –en especial las evaluaciones intermedias– constituyen la más clara oportunidad para mejorar los sistemas de seguimiento ineficientes.
- Los gestores han de estar dispuestos a poner esfuerzo y recursos para contribuir a crear un proceso organizativo que permita la gestión del conocimiento y la innovación.
- El trabajo en equipo como una fuente fundamental de aprendizaje puede resultar muy útil para la eficacia del S&E. Ahora bien, existen situaciones en las que compartir conocimiento puede resultar contraproducente y otras en las que un desempeño individual, basado en el conocimiento individual, puede resultar lo más indicado.
- Sólo una valoración realizada sistemáticamente sobre todas las acciones iniciadas conduce a una correcta autoevaluación. Su práctica pone de manifiesto su dificultad. Se llega fácilmente a valoraciones generales sin basarse en elementos concretos y cuando se basa en ejemplos, se corre el riesgo de obtener una valoración no representativa del conjunto del trabajo realizado.
Ejercicios especiales de evaluación
- La falta de concienciación de la necesidad de la evaluación previa y el seguimiento. En muchos casos se trata más que de una verdadera falta de concienciación – pues su aceptación es más o menos generalizada – de la falta de una correcta implementación, de un modelo adecuado para realizarlas.
- La necesidad de partir prácticamente de cero. El resultado de la dificultad anterior son evaluaciones caras y que no llegan a ahondar en los aspectos que tratan por una clara falta de antecedentes.
- Conseguir una efectiva continuidad de todas las etapas de S&E, que las distintas evaluaciones no sean ejercicios individuales sin conexión con el resto del proceso de S&E. Para ello hay que reforzar las relaciones entre las distintas evaluaciones apoyándose las unas en las otras y reforzar su relación con el seguimiento, según un proceso de S&E continuo.
- Un buen modelo de S&E ha de facilitar la preparación de la evaluación final desde la etapa de diseño.
- El beneficio más importante que aportan las actividades de S&E a largo plazo son los conocimientos que generan para el futuro, en definitiva el aprendizaje resultante. Por ello es necesario suplir la frecuente ausencia de mecanismos de aprendizaje y retroalimentación y aprovechar al máximo los conocimientos generados.
- Aprendemos más de los fallos que de los éxitos. En la mayoría de los casos los implicados en una evaluación no quieren oír hablar de lo que está yendo mal en su trabajo. Están interesados en buenas evaluaciones de forma que los programas sigan recibiendo inversión. Convierten en algo negativo el hecho de que el programa falle cuando realmente, el aprendizaje de esos fallos permite poner los medios para evitar esos errores.
- Es necesario que la evaluación de pie a comunidades que aprenden compuestas por personas sin miedo al fracaso. Personas que vean el fracaso como una oportunidad de aprender. El único fracaso real es no aprender, y fracasar en el conocimiento de lo que está sucediendo, repitiendo los mismos errores sin aprender de ellos.
- Abordar cualquier cambio exige crear primero una cultura que posteriormente incorpore estos cambios como respuesta a una necesidad generada.
La simple disponibilidad de herramientas de gestión del conocimiento no garantiza una adecuada gestión del mismo. Por el contrario, se han obtenido experiencias en las que una implantación excesivamente temprana de la tecnología ha generado rechazo y anulado las oportunidades de mejora.
About Carlos Plaza
Lecciones de la experiencia sobre las características de un buen sistema de seguimiento y evaluación
A continuación se exponen una serie de conclusiones concernientes a las características que son aconsejables a la hora de diseñar un buen sistema de seguimiento y evaluación (S&E): la integración, la participación y el aprendizaje, entre otras.
En relación con la integración…
El S&E debe ser concebido como un proceso integrado y continuo. La integración supone la unión entre actividades de seguimiento y evaluación, y el vínculo de éstas actividades con el programa y su contexto territorial, legislativo e institucional. La continuidad supone el encadenamiento de las distintas actividades de S&E de forma que ninguna de ellas sea entendida como una tarea puntual en la vida de la intervención.
La integración del S&E con las actividades de programación resulta imprescindible para una buena adaptación a las necesidades de las intervenciones con las que se trabaja y proporcionarles una continua y adecuada orientación.
La integración permite evitar el desfase entre el ciclo de programación y de evaluación y las consiguientes dificultades que este desfase produce en el proceso de aprendizaje.
La autoevaluación facilita la integración del proceso de evaluación en el propio sistema de seguimiento, con lo que los trabajos de S&E se ven favorecidos en el suministro de información.
En relación con la participación…
El S&E debe comenzar con reuniones con los beneficiarios, averiguar dónde están, en qué están interesados, sus aportaciones al proceso de S&E, para luego unir las perspectivas de la evaluación con las locales.
El proceso de participación ha de ayudar a conseguir un proceso de S&E útil, que incremente el conocimiento que los diversos agentes tienen del programa, enriqueciendo el proceso de reflexión en torno al mismo y la resolución de los problemas o necesidades para los que éste surgió.
La participación ha de dar como resultado un programa que tenga relación con la actividad diaria de los participantes y no se pierda en ideas abstractas sin conexión real con la masa social.
El énfasis del proceso participativo ha de estar en la creación de significado local, de objetivos compartidos, un clima de consenso y construcción de una comunidad que comparte un enfoque común.
El mecanismo de participación ha de ser diseñado de manera que se asegure que en alguna de sus fases los participantes sean influenciados por los demás y se produzca así un proceso de socialización que de pie a la discusión y al diálogo.
Los ejercicios especiales de evaluación suponen ejercicios especiales de participación y aprendizaje al ser trabajos más amplios y profundos que el seguimiento continuo de los programas.
La utilización de la información extraída de la participación permite en muchos casos, suplir el bajo nivel de desarrollo de las bases estadísticas existentes y dar mayor credibilidad a los indicadores utilizados al facilitar el contraste entre fuentes de información.
La activación de un proceso de participación permite evitar el peligro de la exaltación de la objetividad. Con la participación, la atención se centra en la obtención y superposición de distintos puntos de vista tanto del conocimiento experto como del conocimiento local con el objetivo de enriquecer los trabajos realizados.
En relación con el aprendizaje…
Es necesaria la activación de un mecanismo de aprendizaje distinto del activado por la participación. Este mecanismo permite no conformarse con un simple aprendizaje pasivo ─como si se tratara de una ósmosis─ sino que activa un aprendizaje activo que aprovecha al máximo las posibilidades de retroalimentación.
Las actividades de S&E tienen un gran protagonismo en el aprovechamiento del capital intangible para la generación del desarrollo. Parte importante de este capital es el capital social.
La gestión del conocimiento y la innovación es parte importante del S&E como realidad obligada por el progreso tecnológico y la necesidad de crear un verdadero desarrollo.
La gestión del conocimiento e innovación ha de abordarse desde una perspectiva claramente centrada en los aspectos humanos pues sólo las personas desarrollan, incorporan y usan conocimiento. Una perspectiva basada en las posibilidades tecnológicas anteponiéndose a cualquier otra consideración, es errónea.
En relación con otras características…
La continuidad con los procedimientos y herramientas clásicas utilizadas hasta ahora en el S&E permite una mayor participación y un mejor hacer de los implicados por estar ya familiarizados con algunos de estos procedimientos y herramientas.
Un modelo de S&E ha de ser flexible. La flexibilidad permite la adaptación a las diversas situaciones encontradas en el dinámico contexto del S&E del desarrollo (diseño a la medida). Para lograr esta flexibilidad la cultura de la evaluación debe acrecentarse y enriquecerse y se hace necesario establecer marcos comunes guía en la concepción general de los procesos evaluativos.
Un enfoque positivo del S&E, más centrado en el desarrollo de las capacidades que en el análisis de problemas, permite entrar en una positiva dinámica de aprendizaje que valorice los resultados obtenidos, de cara a la mejora del programa y su perfeccionamiento en fases posteriores.
Conceder la debida importancia a los aspectos específicos que las distintas intervenciones puedan presentar evita centrar todos los esfuerzos en el estudio del impacto y el llamado reduccionismo economicista que centra los trabajos de manera excesiva en los aspectos económicos y financieros.
La definición de preguntas clave de evaluación permite concretar los objetivos de los trabajos centrando desde un principio los esfuerzos realizados
Un modelo sencillo que no precise de unos elevados conocimientos financieros, económicos, estadísticos o de cualquier tipo facilita el aprendizaje y la adquisición de una capacidad evaluadora por parte de la población local.
La aplicación de nuevas tecnologías al S&E de los programas de desarrollo permite reducir el tiempo de análisis de la información y facilita la estandarización y homogeneización de procesos y formatos, el aumento de la calidad de la información y la reducción drástica de errores.
About Carlos Plaza
Un sistema completo de seguimiento y evaluación en pocas palabras
Exponemos ahora los aspectos fundamentales para el seguimiento y evaluación (S&E) de un programa de desarrollo a través de un modelo integrado y participativo basado en el aprendizaje, la gestión del conocimiento e innovación. Un modelo que busca la integración con los programas –su planificación y gestión– y su contexto, la participación activa de todos los implicados, y se fundamenta en el aprendizaje. Es por ello que, haciendo alusión a estos conceptos clave, denominamos al modelo como Modelo para el Seguimiento y Evaluación Integrado y Participativo basado en el Aprendizaje (SEIPA).
Este modelo es fruto de más de 20 años de experiencia, de una reflexión continua realizada a lo largo de años de trabajo en distintos ámbitos del S&E. Supone por tanto una labor de síntesis, ordenada y en forma de modelo, de las experiencias en distintos trabajos de “investigación-acción” que han dado lugar a procesos de aprendizaje que se han ido documentando y sistematizando. Lo que se expone a continuación es una guía resumida para la aplicación del modelo y un análisis práctico de las dificultades que en el contexto actual de los programas de desarrollo, podemos encontrar para aplicar el SEIPA en sus diferentes etapas. Esta guía está estructurada en tres grandes bloques correspondientes a la puesta en marcha de las características del modelo, el establecimiento y organización de los contenidos de S&E y desarrollo del SEIPA en cada una de sus etapas: la evaluación previa en la etapa de diseño, el seguimiento en la etapa de ejecución y los ejercicios especiales de evaluación (intermedia y final). En cada una de estas etapas es necesaria una adecuada puesta en marcha de las características del modelo y un apropiado establecimiento de los contenidos de S&E.
Etapa de diseño
En el caso de la evaluación previa distinguimos unos trabajos iniciales para la puesta en marcha de las características del modelo y el establecimiento y organización de los contenidos de S&E a través de: la adaptación del modelo al programa y contexto que se van a manejar, la constitución y formación de los equipos de gestión y evaluación, y la definición del ámbito del S&E con el establecimiento del nivel de análisis de éstas actividades y la organización de los flujos de información.
Desde los primeros pasos es importante tener en cuenta la necesidad de revisar de forma continua la lógica de intervención, el asegurar la adecuación y calidad de los mecanismos de ejecución y realizar una anticipación de los resultados y problemas de las estrategias que se vayan desarrollando. En definitiva, tener muy presente el contenido de evaluación definido para esta etapa.
Guía para la aplicación del SEIPA en la evaluación previa durante la etapa de diseño
Etapa de ejecución
En el caso de la aplicación del SEIPA al seguimiento, distinguimos tres pasos fundamentales: el establecimiento del sistema de información, del sistema de autoevaluación y el comienzo de las actividades de seguimiento con la verificación y utilización de las recomendaciones de la autoevaluación, la intervención y especificación de metas y la redacción de los informes de seguimiento que servirán de base al control y evaluación de la intervención.
La participación, reflejada en el seguimiento mediante un continuo contacto con los beneficiarios y con la población en general, es fuente de información en el establecimiento del sistema de información y fuente de aprendizaje en el sistema de autoevaluación.
Guía para la aplicación del SEIPA en el seguimiento durante la etapa de ejecución
Ejercicios especiales de evaluación
Puestas en marcha las características del modelo, el primer paso en los ejercicios especiales de evaluación es definir el nivel de análisis inicial y el contenido de evaluación mediante las preguntas clave. Posteriormente se trata cada pregunta según la metodología de respuesta diseñada. Especial interés requiere el análisis donde un trabajo de gabinete inicial analiza la información secundaria recogida y un trabajo de gabinete final analiza y contrasta la información secundaria recogida al inicio y la obtenida en el trabajo de campo. Tras este análisis se procede a dar respuesta a cada una de las preguntas de evaluación, sacando conclusiones y recomendaciones precisas y claras.
El último paso consiste en plasmar los resultados obtenidos en el documento de evaluación intermedia o final, según el caso. Especial relieve ha de tener en ellos el conjunto de conclusiones y recomendaciones que sirvan al mecanismo de aprendizaje.
Guía para la aplicación del SEIPA en los ejercicios especiales de evaluación: intermedia (etapa de ejecución) y final (etapa de terminación)
About Carlos Plaza
Sistema de indicadores para el seguimiento y evaluación
La existencia de un sistema de indicadores fiable y adecuado es un elemento indispensable de un sistema de seguimiento y evaluación. No existe receta sobre cómo desarrollar un sistema de indicadores. Cada comunidad y región deben desarrollar un sistema basado en sus propias circunstancias y necesidades. Lo que proponemos es el siguiente esquema como base para su elaboración:
Diseño de un sistema apropiado de indicadores para el seguimiento y evaluación
Tipos de indicadores empleados
El sistema cuenta con varios tipos de indicadores: de contexto, de programa, de aspectos concretos de evaluación y los indicadores clave para efectuar la comparación entre programas. Vemos cada uno de ellos:
- Indicadores de contexto aplicados a la totalidad de un territorio, población o categoría. Utilizados especialmente en la evaluación previa para situar el programa en perspectiva y describir una situación básica antes de la intervención y una situación deseada después de la intervención
- Indicadores del programa referidos a aquella parte de una población o un territorio a la que se aplica la intervención. Su finalidad es medir los efectos directos o indirectos del programa, pueden ser indicadores de recursos o financieros, de realizaciones, de resultados o de impacto. Cuando se utilizan para precisar los objetivos de una intervención reciben el nombre de indicadores de cuantificación previa.
- Indicadores de evaluación para tratar una serie de cuestiones específicas, como son la pertinencia, la eficiencia, la eficacia, la utilidad y la durabilidad. La eficacia y eficiencia permiten comparar los logros alcanzados con los previstos (eficacia) o con los recursos utilizados (eficiencia).
- Indicadores clave para realizar comparaciones entre programas o medidas similares y presentar una imagen general de los efectos de un programa o de una serie de programas. La diversidad de prácticas y definiciones existentes sugiere que pueden considerarse “clave” distintos tipos de indicadores en función de los diferentes grupos usuarios y de los objetivos perseguidos. Pueden hacer referencia a las realizaciones, a los resultados, al impacto…
Los indicadores clave pueden elegirse por tener una importancia estratégica, o bien los responsables de los programas pueden estar interesados, en función de sus necesidades, en definir indicadores sencillos que puedan calcularse y controlarse fácilmente. La utilización de indicadores clave puede contribuir a difundir las buenas prácticas de seguimiento.
El número de indicadores clave debe ser limitado para ser adecuados y manejables en lo que se refiere al seguimiento del programa y al análisis temático o comparativo. Los criterios que se proponen para la selección de estos indicadores son:
- Relevancia: para las prioridades.
- Cuantificación: capacidad de fijar objetivos y en su caso establecer situaciones de base.
- Fiabilidad: claridad de definición y facilidad de agregación.
- Disponibilidad: sobre el terreno para su incorporación al sistema de seguimiento.
Utilización de indicadores en las distintas etapas de un sistema de seguimiento y evaluación
En cada una de las etapas del modelo los indicadores representan una fuente fundamental de información. En la etapa de diseño se emplean indicadores de contexto para el establecimiento de la situación de base, e indicadores de cuantificación previa para precisar los objetivos de las intervenciones y facilitar así su posterior S&E. Para el resto de vida del programa contamos con los indicadores utilizados en el sistema de seguimiento y en los ejercicios especiales de evaluación.
Es importante destacar la distinción entre los indicadores de seguimiento y los de evaluación. Los indicadores de seguimiento se utilizan para la construcción de un sistema de seguimiento que facilite la información sobre el consumo de recursos, la tasa de productividad y el número de beneficiarios…. Los indicadores de evaluación son fundamentalmente indicadores de resultados, impacto, eficacia y eficiencia. La información facilitada por los indicadores de seguimiento puede servir de base para la evaluación.
Límites entre el seguimiento y evaluación
Indicadores de seguimiento
Los indicadores de seguimiento incluyen indicadores de contexto, programa y evaluación. Los primeros permiten facilitar la información contextual más reciente sobre las principales características de la zona cubierta. Los demás suministran información sobre la utilización física y financiera de las medidas para cada uno de los años del programa y permiten establecer comparaciones entre la utilización real y la prevista inicialmente en el diseño.
Los datos conviene darlos anualmente tanto en variaciones en comparación con el año anterior como en acumulaciones que agreguen todas las cifras de puesta en práctica desde el principio del programa. En todas las medidas habrá indicadores generales extensibles a todas ellas como los indicadores financieros, proyectos presentados…, y otros específicos de cada una de ellas.
Como se verá al hablar más específicamente del sistema de indicadores de seguimiento, todos los indicadores empleados en él se organizan en tres niveles: clave, de gestión y de rápida retroalimentación.
Indicadores de evaluación
El evaluador desempeñará un papel activo para mejorar la calidad de los sistemas de indicadores. Al mismo tiempo, los indicadores están sujetos a evaluaciones específicas en diferentes etapas. La evaluación previa debe analizar la existencia y pertinencia de indicadores de realización, resultados e impacto en relación con cada uno de los niveles de la intervención
Los equipos de seguimiento recibirán evaluaciones intermedias que les permitirán examinar los primeros resultados de las intervenciones, la pertinencia de los objetivos y el grado de consecución de los mismos. La evaluación intermedia debe examinar el grado de eficacia alcanzado sobre la base de los indicadores recogidos durante el seguimiento.
Asimismo, evaluará la calidad, pertinencia y nivel de cuantificación de dichos indicadores. Los indicadores de eficacia se referirán, fundamentalmente, a las realizaciones y los resultados. También podrán estar disponibles algunos indicadores de impacto, pero, por lo general, estos se medirán en una fase posterior de la ejecución del programa. Se seleccionará un número limitado de indicadores de seguimiento (indicadores clave), con el fin de medir la eficacia general del programa. Asimismo, se utilizarán otros indicadores relativos a la ejecución financiera y a la calidad general de la gestión (incluidos el seguimiento, el control, la selección de proyectos y la evaluación).
Finalmente, la evaluación final, sobre la base de los datos de seguimiento definitivos, compara los objetivos previstos con los realmente alcanzados (incluido el impacto) y realiza un análisis profundo de la aplicación y resultados del programa. En caso necesario puede recurrirse a la elaboración de nuevos indicadores, más propios de un análisis detallado como el que supone esta evaluación, que permita adaptar este ejercicio de evaluación a los requerimientos de las autoridades que la encargan.
About Carlos Plaza
Etapas de un sistema de seguimiento y evaluación
Un sistema de seguimiento y evaluación (S&E) completo ha de cubrir las necesidades de S&E a lo largo de toda la vida de un programa de desarrollo, desde los primeros preparativos hasta que finaliza. Para ello se debería contar con la realización de una evaluación previa, la activación de un sistema de seguimiento y la elaboración de ejercicios especiales de evaluación.
Desarrollo de un sistema completo de seguimiento y evaluación en cada una de sus etapas
Un elemento esencial del modelo es la interacción de todos sus elementos, que se presentan como un sistema en el que las influencias se producen en todos los sentidos y en cada una de las etapas. En la figura que representa el desarrollo de un sistema completo de S&E en cada una de sus etapas, estos elementos se organizan en cuatro niveles que de abajo arriba son: desarrollo generado (en color rojo), el contexto socioeconómico (marrón), el programa aplicado (azul) y el S&E sobre el programa (verde).
Las características de integración y participación se representan verticalmente en cada etapa (flechas de ida y vuelta verticales). Su continuidad a lo largo de todas las etapas se representa horizontalmente (flechas horizontales). El aprendizaje es representado de manera cíclica en cada una de las etapas del programa con ciclos que cubren los cuatro niveles del esquema.
La mayor profundidad de análisis de los ejercicios de evaluación (intermedia y final) respecto al seguimiento trae como consecuencia una mayor profundidad en el aprendizaje. En el esquema esta idea se representa con una mayor longitud del ciclo de aprendizaje en los ejercicios de evaluación. En efecto, se trata de dos ocasiones en las que hacer una profunda reflexión sobre el desarrollo que se está generando. Especial relieve adquiere el ciclo final de aprendizaje (con vuelta a la etapa de diseño) donde los resultados de todo el proceso han de servir al aprendizaje de futuras programaciones.
Un sistema de S&E que acompaña a un programa de desarrollo puede contribuir así a la creación del capital social necesario para complementar los recursos humanos y físicos del contexto socio-económico en el que nos encontremos. Esto presupone la construcción de una capacidad de evaluación local que forme parte de ese capital social. Sobre la base de que el desarrollo no se basa en la sola satisfacción de las necesidades de un territorio sino que ha de buscar la construcción de capacidades locales y el fortalecimiento institucional.
Etapas del modelo
En la etapa de diseño además de planificar la intervención se procede a diseñar su S&E. Un análisis minucioso de las necesidades locales y su articulación con las distintas percepciones y demandas, lleva al diseño del programa y de su sistema de S&E. Durante esta etapa se realiza la evaluación previa para preparar los programas, asegurar su viabilidad y facilitar su aplicación.
La etapa de iniciación y la entrada en la etapa de ejecución supone la activación de un dispositivo de seguimiento. Desde el primer momento se empieza a aplicar el enfoque por objetivos de modo que se parta de una idea clara de cuales son las pretensiones del sistema de S&E que se empieza a implementar.
En la etapa de ejecución, programa y sistema de S&E van de la mano y se retroalimentan de continuo de forma que un enfoque de procesos resulta necesario para incorporar la nueva experiencia que vaya surgiendo: se trata de ir adaptando con agilidad el sistema de S&E a las nuevas circunstancias que se vayan dando.
Una primera ocasión especial para profundizar en el aprendizaje y reorientación de las actividades puede presentarse con el primer ejercicio especial de evaluación: la evaluación intermedia a mitad de la ejecución (si es que este se realiza). Estos ejercicios suponen el empleo de un número elevado de medios humanos y materiales que posibilitan profundizar en el análisis y hacer una seria reflexión sobre la situación que está viviendo el programa. Esta mayor profundidad en el análisis supone una mayor profundidad en el aprendizaje. Esta circunstancia viene representada en el esquema por un alargamiento del ciclo de aprendizaje (con respecto al ciclo del seguimiento) hacia arriba, si hablamos del aprendizaje del equipo evaluador, o hacia abajo si nos fijamos en la población afectada por el programa.
En la etapa de terminación, el programa concluye con una serie de resultados que son recogidos por la evaluación final. Se trata de una última reflexión en profundidad que ha de llevar a un serio aprendizaje.
Relación entre las distintas etapas
El modelo de S&E diseñado comienza en la etapa de diseño y las labores de evaluación previa y finaliza en la etapa de terminación del programa con la realización de la evaluación final. Por el camino se encuentran las labores de seguimiento y los trabajos de evaluación intermedia y final. Se trata de un modelo que sirve como instrumento para ser utilizado tanto por aquellos que preparan el encargo del seguimiento y evaluación como por los responsables de llevarla a cabo.
Este desarrollo en etapas es necesario para una explicación detallada pero en ningún caso se trata de ejercicios individuales, antes bien, la relación continuada entre ellas forma parte fundamental del sistema de S&E. Los elementos resultantes de cada procedimiento de S&E sirven de punto de partida y son incorporados a los ejercicios de S&E posteriores, en caso necesario y si están disponibles, ya que no siempre son realizados de la manera prevista.
Normalmente, el encadenamiento de sucesivas programaciones origina el encadenamiento de sucesivos ciclos de S&E que han de organizarse de manera eficiente para evitar la duplicación de trabajo. Es fundamental saber combinar los trabajos de S&E durante el programa con el uso de las conclusiones del S&E realizado en el periodo de programación anterior. La posible comparación en la programación de dos periodos consecutivos, hace posible el uso de recientes conclusiones del periodo anterior para juzgar la relevancia de las nuevas medidas propuestas.
Encadenamiento de sucesivos ciclos de evaluación en las sucesivas programaciones
La evaluación previa saca partido, en caso de existir, de los trabajos de evaluación precedentes. El diseño de toda política exige tanto definir con claridad el modelo al que se pretende llegar como analizar adecuadamente los resultados de políticas anteriores. La evaluación intermedia con su función de comprobar si los objetivos siguen siendo relevantes y se están alcanzando, se basa fundamentalmente en la información suministrada por el sistema de seguimiento pero también se sirve de la información que puedan suministrar los documentos del S&E del periodo de programación anterior —sobre todo en lo referente a las mismas áreas de intervención— y en la evaluación previa del mismo periodo.
La evaluación final, basada principalmente en los trabajos de S&E de su mismo periodo de programación, debe sacar conclusiones de la experiencia acumulada en periodos de programación anteriores para la mejora de los futuros programas.
Vemos así como la evaluación interna (autoevaluación del seguimiento) y la evaluación externa (ejercicios especiales de evaluación) no son excluyentes, sino que por el contrario la evaluación externa tiene su fundamento en la evaluación interna. Dicho de otra manera, el seguimiento supone un buen fundamento para los ejercicios especiales de evaluación.
About Carlos Plaza
Contenidos de un sistema de S&E
Como se puede ver en la figura, que se irá explicando a lo largo de esta entrada, el seguimiento y evaluación (S&E) distingue tres principales aspectos clave a evaluar: el planteamiento y lógica de intervención, la aplicación y gestión y los resultados e impacto (ver parte superior de la figura).
El conjunto de encadenamientos entre los diferentes objetivos, medidas y proyectos constituye la estructura misma de un programa de desarrollo, un modelo lógico que queda dibujado en la figura. A partir de esta estructura se procede a evaluar por un lado el programa en sí mismo y por otro, sus efectos.
Aspectos clave del contenido de un sistema de seguimiento y evaluación
En la evaluación del programa en sí se analizan por un lado el planteamiento y lógica de la intervención (de color azul en la figura) y por otro, su aplicación —puesta en funcionamiento y gestión— analizando si las medidas fijadas han conseguido sus objetivos y si los encadenamientos entre objetivos y medidas se han desarrollado según las previsiones (de color rojo en la figura). En la evaluación de los efectos y resultados se analizan éstos, especialmente en lo que se refiere a los objetivos que el programa se proponía (de color verde en la figura).
El planteamiento y lógica de intervención
Las actividades de S&E comienzan con el ejercicio de evaluación previa que ha de centrarse en el primero de los aspectos: el planteamiento y lógica de intervención (ver parte inferior de la figura). Su misión consiste en asegurar un adecuado planteamiento del programa que se está diseñando (cuadros de color azul en la figura). Ha de analizar el fundamento, la pertinencia, la claridad y coherencia y hacer una estimación sobre la futura utilidad y sostenibilidad de la intervención. Es por ello que esta primera evaluación ha de mirar hacia el futuro y avanzar algo sobre los otros dos aspectos clave de modo que analice la adecuación y calidad de los mecanismos de ejecución y se haga una estimación de los resultados del programa (flecha roja y verde que acompaña a la evaluación ex-ante en la parte inferior de la figura).
Una evaluación intermedia o final ha de buscar una perspectiva general de cómo está funcionando o ha funcionado el planteamiento del programa. Por ello el primer paso de estas evaluaciones también puede estar dedicado a la lógica del programa. Esto es claramente necesario si la lógica inicial contiene puntos oscuros o escasamente justificados, es decir, si la evaluación previa no se hizo correctamente o si sus conclusiones no se tomaron en cuenta. Puede ocurrir además que los objetivos fueran modificados a medio camino, por lo que sería necesario presentar una nueva lógica de programa al principio del informe de evaluación y comprobar si la coherencia general del programa se ha mantenido a pesar de estas modificaciones. Más a menudo, las necesidades a satisfacer o los problemas a resolver han cambiado durante la ejecución del programa. Si es necesario, la evaluación intermedia y final deben revisar la lógica de programa en vista de este nuevo contexto.
En cualquier caso, el estudio de la lógica de intervención en estas evaluaciones intermedias o finales se suele abordar como un ejercicio puntual, muy diferente a los trabajos de la evaluación previa donde las labores de análisis de la lógica de intervención constituyen un trabajo continuo durante toda la etapa de diseño. En una evaluación intermedia, conduce a recomendaciones para mejorar el sistema de control y los métodos de gestión. En una evaluación final, este análisis se utiliza para aclarar los objetivos cuando éstos no se han expresado de forma clara.
La aplicación y gestión
Iniciado el programa, comienza el seguimiento con el objetivo fundamental de analizar —y reorientar en caso necesario— el segundo aspecto clave, la aplicación y gestión del programa (color rojo en la figura). Un seguimiento físico, financiero y de los beneficiarios de la intervención junto con una adecuada autoevaluación han de ser instrumentos suficientes para asegurar la buena gestión del programa. Un adecuado sistema de seguimiento ha de ir valorando también los resultados que se vayan produciendo y facilitar cualquier rectificación que se vea necesaria en el planteamiento del programa. De ahí que partiendo de la aplicación se dirija hacia los resultados y vuelva al planteamiento inicial de la intervención con ánimo de mejorarla (ciclo que rodea al seguimiento en la parte inferior de la figura).
Durante el diseño, la evaluación previa se ha de hacer un análisis de la adecuación y calidad de los instrumentos de gestión. En la etapa de ejecución encontramos la evaluación intermedia que se centra en este aspecto de evaluación. Centrada en la gestión, supone un primer análisis profundo de la marcha del programa hasta la fecha y una oportunidad de cambiar el rumbo de los posibles planteamientos de la intervención que no terminen de funcionar correctamente. La evaluación final ha de sacar conclusiones sobre los resultados de la aplicación y gestión con vista a la mejora de futuras programaciones.
Resultados e impacto
Ya en la etapa de terminación nos encontramos con la evaluación final centrada en el análisis del tercer aspecto clave: los resultados e impacto del programa (de color verde en la figura). Esta evaluación ha de permitir descubrir cual ha sido la incidencia real del programa en su ámbito de aplicación. Ha de abordar también los otros dos aspectos clave (flecha azul y roja que acompaña a la evaluación final en la parte inferior de la figura). No sólo a modo de recopilación de todos los datos y conclusiones obtenidas en las actividades de S&E precedentes, sino como un análisis profundo y final que permita extraer las mejores conclusiones y enseñanzas posibles.
Si bien el proceso de aprendizaje es continuo desde el inicio de la intervención (flechas en la parte inferior de la figura), la evaluación final constituye un punto de referencia fundamental a la hora de extraer el conjunto de enseñanzas que pudiesen derivarse del sistema de S&E implementado.
En la evaluación previa se ha de hacer una estimación de los resultados que se esperan alcanzar, del impacto previsto. En la evaluación intermedia el estudio del impacto hace referencia al estado en que éste se encuentra en el momento de su realización. La evaluación final se apoya en los resultados y respuestas de la evaluación intermedia precisándolas si fuese necesario.
About Carlos Plaza
El aprendizaje en un sistema de seguimiento y evaluación: Generación y gestión de la innovación
Muy relacionada con la gestión del conocimiento está la gestión del cambio y la innovación que éste genera. Entendiendo esta innovación como el arte de transformar el conocimiento en calidad de vida, en un sentido amplio que abarca todos los conceptos de desarrollo: estrategia, procesos de gestión o coordinación, productos/servicios, resultados… Un proceso de aprendizaje social que requiere de esfuerzo más que de genialidad, y de una estrategia para la gestión del cambio.
Una estrategia para la gestión del cambio tiene como punto de partida la creación de un clima que cuide los siguientes puntos como caldo de cultivo para la generación de innovación:
- Respeto de la autonomía, el permitir a todos los individuos actuar con libertad supone una posible fuente de innovación. Los individuos han de poder actuar con el mayor grado de libertad posible para aprovechar el potencial de ideas que representen nuevas oportunidades.
- Generación de un estado de tensión, de retos elevados dentro de un límite adecuado que no lleva a la frustración, que dirija a todos los implicados hacia la búsqueda del cambio y no hacia la mera adaptación al entorno. Este estado de tensión y caos creativo supone un caldo de cultivo que impulsa la innovación.
- El diálogo como proceso para la transformación que posibilita a sus participantes el abandono de sus propias perspectivas y formulación de nuevos escenarios de entendimiento.
- La visión compartida que permita a los individuos compartir e integrar aspectos de sus conocimientos que no son comunes entre ellos y construya nuevas experiencias a través del desarrollo de trabajos o proyectos conjuntos.
- El desaprendizaje implica desechar aquellos conocimientos que se han quedado obsoletos venciendo la resistencia que en muchos casos se presenta. Esta actividad es fundamental para una correcta interpretación compartida, pues el esfuerzo por mantener las visiones anteriores, puede conducir a que la información se interprete dentro de un ámbito muy limitado, obteniendo como resultado una miopía colectiva que impida detectar nuevas oportunidades [1].
Al igual que en la gestión del conocimiento, la documentación es una actividad importante en la gestión de la innovación para hacer explícitas, fáciles de entender y accesibles a todos las potenciales innovaciones que se puedan introducir. También es importante la vigilancia del entorno introduciendo actividades de medición y diagnóstico a través del seguimiento o monitero para realizar una búsqueda sistemática de información. Todos los que lo realizan deben convertirse en escaneadores del entorno, es decir, en recopiladores y transmisores de información.
Gestión de la innovación
Estas actividades han de permitir focalizar la atención y los esfuerzos en alguna estrategia concreta de innovación. Una vez lograda esta focalización, los esfuerzos pueden orientarse a la capacitación de la estrategia elegida dedicando los recursos necesarios para implantarla. La reflexión sobre todos los elementos anteriores y la revisión de las experiencias tanto de éxito como de fracaso ha de llevar al aprendizaje y mejora continua entre la población, en definitiva, a su fortalecimiento desde el punto de vista del desarrollo.
La innovación puede ser gestionada si se sabe dónde y cómo mirar (Drucker, 1991). La gestión del cambio y la innovación suponen un auténtico reto organizativo. Elaborar una auténtica estrategia del cambio, donde en primer lugar se identifican las necesidades de cambio y las resistencias a éste junto con las propuestas concretas de innovación. Posteriormente —a través de un modelo de actuación que incentiva la innovación— se realiza el desplazamiento deseado y consensuado con la participación.
En este sentido, destaca la dificultad que encuentran las comunidades con experiencia en programas de desarrollo para desechar las formas de actuar que en el pasado dieron resultado. Esta resistencia probablemente tiene su origen en las reticencias de las personas con experiencia a abandonar parte de los conocimientos y formas de actuar adquiridos a lo largo de los años y que constituyen su único capital.
Mecanismo de aprendizaje para la generación y gestión de la innovación en el modelo de S&E
Cinco son los elementos clave para gestión del cambio y la innovación en el modelo:
- Identificación del liderazgo local como proceso interpersonal mediante el cual influir en el comportamiento para que logren metas de innovación. Sin un líder comprometido con el aprendizaje y la innovación, difícilmente se logrará el cambio.
- Implantación de una cultura que incentive la innovación, la experimentación y el riesgo y motive a la población a desarrollar su capacidad de aprendizaje. Hacer a todos los implicados responsables de la intervención —que se identifiquen más intensamente con ella— y vean sus posibles beneficios, aumenta su motivación.
- Selección de personal con un elevado grado de profesionalización en cuanto a técnicas de negociación y comunicación, que permita potenciar las actitudes cooperativas de los trabajadores y facilitar la confianza y el trabajo en equipo. Es importante su formación de cara al éxito en la gestión del cambio.
- Estrategia que articule la orientación futura de acuerdo con el capital territorial y con una combinación óptima entre la explotación de los recursos y capacidades existentes y la exploración de nuevas alternativas.
- Estructura organizativa, elemento que da soporte a los anteriores especificando las interacciones entre los individuos y grupos dentro del sistema de S&E. El desafío para lograr una gestión eficiente de la innovación pasa por la combinación de los conocimientos, las comunicaciones laterales y formas organizativas flexibles y autónomas que permitan la experimentación y la integración de nuevos conocimientos.
Referencias citadas:
Davenport, TH., DeLong, DW. and Beers, MC. (1998). Succesful knowledge management projects. Sloan Management Review, 39 (2), 43‐57.
Drucker, P. (1991). La innovación y el empresario innovador. Barcelona: Edhasa.
About Carlos Plaza
El aprendizaje en un sistema de seguimiento y evaluación: Generación y gestión del conocimiento
La concepción de las actividades de seguimiento y evaluación (S&E) como un proceso sistemático de aprendizaje que activa un ciclo de retroalimentación es el medio para para la construcción de capacidades locales y la creación de un capital que genere un verdadero desarrollo.
Como hemos visto, el mecanismo de participación activa un proceso de aprendizaje sobre la marcha entre todos los participantes, población local y expertos. Pero el aprendizaje que se propone no es un simple aprendizaje pasivo —como si se tratara de una ósmosis— sino un aprendizaje activo. Además del aprendizaje que genera la participación hay que encauzar y fomentar el aprendizaje mediante una adecuada gestión del conocimiento e innovación donde deberá indicarse cómo se “destilará” y se transmitirá la experiencia adquirida.
Esta gestión ha de derivar en el mejor aprovechamiento de los resultados obtenidos para la identificación de las mejores prácticas y lecciones más interesantes y guiar así el futuro del programa y las futuras programaciones.
El aprendizaje activo dentro del modelo se genera mediante dos ciclos que se han de gestionar adecuadamente. Un ciclo continuo dentro del sistema de seguimiento y otro —puntual y más profundo— dentro del sistema de evaluación. Los ejercicios especiales de evaluación suponen ejercicios especiales de aprendizaje con mayores medios y mayor profundidad en el análisis.
Ciclos de gestión del conocimiento en el modelo de S&E
Generación de conocimiento
Davenport, DeLong y Beers (1998) definieron el conocimiento como “la información combinada con experiencia, contexto, interpretación y reflexión”. Nuestra propuesta es que la generación del conocimiento se base en estos cuatro elementos del conocimiento definidos por Davenport:
- Experiencia: Conocimiento que se adquiere mediante la práctica. Es aportado por la población en cuanto a conocimiento del contexto y por los profesionales en cuanto a la aplicación de técnicas de S&E. Es importante garantizar ─mediante la selección de líderes en el proceso de participación y mediante la selección de los equipos profesionales que han de realizar el S&E─ la presencia de la necesaria experiencia por ambas partes.
- Contexto: Unión de informaciones que se entrelazan y son dependientes entre sí. Cualquier información del programa se complementa con toda la información relativa al entorno o los factores que afectan a esa información. Una contextualización adecuada requiere de información precisa en determinados momentos, para lo que se ha de disponer de un sistema de información apropiado que permita el acceso a la información rápido y eficaz.
- Interpretación: Explicación adecuada de la información. Una adecuada interpretación requiere unas normas explícitas sobre la codificación, el sentido y el alcance de los términos empleados. Además, estas normas deben ser utilizadas y entendidas por todos, lo que supone que debe de realizarse una formación adecuada en este aspecto.
- Reflexión: Considerar detenidamente la información y todo su contexto. Se trata de la última etapa de tratamiento de la información que culmina con el aprendizaje y la toma de decisiones y acciones.
Por otro lado, Kerzner (2001) propone hasta cuatro fuentes de generación de conocimientos: la transferencia de conocimiento, la formación, la experiencia adquirida en el trabajo y una cuarta denominada como la identificación de las mejores prácticas (benchmarking) y mejora continua. En el caso de los trabajos de S&E conviene añadir una quinta que es la observación atenta y directa de la realidad, que en Kerzner estaría incluida en la experiencia adquirida en el trabajo. Tendríamos así cinco fuentes:
- Transferencia de conocimiento: el conocimiento generado ha de difundirse entrando en el ciclo de retroalimentación del S&E para la generación de nuevos conocimientos.
- Formación: la formación ha de ser considerada como una de las inversiones más importantes de cara al desarrollo.
- Experiencia adquirida en el trabajo: pieza clave para generación de nuevos conocimientos a través de la aplicación práctica de los nuevos conocimientos que se van generando.
- Benchmarking y mejora continua: principal punto de atención de las actividades de gestión del conocimiento.
- Observación atenta: generación de conocimiento directa sobre el terreno.
Gestión del conocimiento
La experiencia en trabajos de evaluación pone de manifiesto la importancia de la diseminación y transferencia del conocimiento adquirido en las actividades que han dado buenos resultados. En el momento actual existe un creciente convencimiento de que el conocimiento constituye un activo cada vez más importante. No es de extrañar que haya un progresivo interés por su gestión que en la práctica no resulta nada fácil.
Para poder gestionar el conocimiento es necesario hacerlo visible, explícito en la medida de lo posible. Podemos considerar que el conocimiento en el desarrollo de un programa tiene tres fuentes: los conocimientos y saber hacer de los implicados —población y expertos—, toda la información que proporciona el entorno y por último, el conocimiento estructural que se encuentra ya explicitado dentro del engranaje que constituyen el programa y su S&E (conocimiento generado).
El arte de la gestión del conocimiento reside fundamentalmente en convertir, tanto como sea posible, los dos primeros tipos en el tercero que es, en definitiva, el conocimiento útil dentro del sistema. Un conocimiento que posibilita el acceso y la recuperación del mismo y facilita su desarrollo y utilización.
Generación y gestión del conocimiento en el modelo de S&E
La generación de conocimiento útil constituye la base para convertir el aprendizaje individual —de cada persona implicada— y grupal —de cada uno de los equipos— en aprendizaje de todos. Se trata de la construcción de una comunidad, una cultura y un lenguaje con un enfoque común, unos objetivos compartidos poniendo el énfasis en la creación de significado local. El programa no tiene sentido sin este tipo de significado.
La documentación es un paso esencial en este proceso. Confiere al conocimiento un cierto grado de permanencia que evita que éste solo exista en la mente de las personas o en el entorno. Su objeto es hacer el conocimiento explícito, fácil de entender y accesible a todos los que lo necesitan. Para ello, al conocimiento hay que darle una estructura, un formato en el que se pueda almacenar, compartir, combinar de formas muy diversas. La principal dificultad de este proceso es evitar la pérdida de propiedades distintivas que conviertan el conocimiento en información poco relevante o en simples datos.
Para gestionar el conocimiento de manera eficaz y eficiente, primero hay que identificar el conocimiento útil en cada programa y en cada circunstancia, para luego difundirlo y favorecer su utilización. Estos tres pasos —identificación, difusión y uso— constituyen la base para la gestión del conocimiento en un sistema de S&E. La difusión ha de conllevar una socialización del conocimiento que ha de poder difundirse entre las diversas personas que lo pueden necesitar. El uso ha de suponer una previa detección de las oportunidades que dé el conocimiento para darle la mejor utilidad posible.
El modelo supone la incorporación de métodos para asegurar la adecuada interpretación de la información, la disponibilidad de un sistema eficaz para su contextualización y la presencia de la experiencia necesaria. En estas condiciones, la utilización sistemática de un proceso definido y estructurado de reflexión, garantiza el aprendizaje en el S&E.
Uno de los objetivos finales de la gestión del conocimiento propuesta está en la construcción de capacidades de S&E local. El fortalecimiento de la capacidad de evaluación asegura que se disponga de datos sobre evaluación y el éxito del sistema de S&E, ya que éste no puede imponerse efectivamente en donde no se desea su puesta en práctica. El fortalecimiento de la capacidad de evaluación es una tarea larga y compleja que exige un compromiso importante y sostenido por parte de todos los implicados.
About Carlos Plaza
La participación en el diseño de una evaluación
Los criterios y saber hacer de los grupos afectados deben formar parte integral de las actividades de evaluación, máxime cuando se trata del seguimiento y evaluación (S&E) de programas de desarrollo. Un objetivo deseable es el de introducir la participación de los grupos afectados en todas las fases del proceso de S&E, se activa en la etapa de diseño y no finaliza mientras continua la intervención hasta la etapa de terminación. Esta continuidad la permite el diseño de un sistema de seguimiento que obligue a un continuo contacto con la población local.
La participación aspira a que todos los implicados se beneficien al máximo con los esfuerzos de S&E. Los objetivos de la participación son por lo menos tres:
- Aprovechar las aportaciones de la población afectada (la participación como fuente de información).
- Aumentar el capital social del territorio (la participación como fuente de aprendizaje).
- Lograr una mayor implicación de la población local (la participación como fuente de dinamización).
Mecanismo de participación en un sistema de seguimiento y evaluación
La participación como fuente de información
La participación tiene como primer objetivo el aprovechamiento de la información contenida en los conocimientos y experiencias de la población local. Esta información es recogida de forma continua por el sistema de seguimiento y, de manera puntual y con mayor profundidad, por los ejercicios especiales de evaluación.
La información recogida por el seguimiento pasa a los ejercicios especiales de evaluación. Pero éstos cuentan además con ejercicios especiales de participación: una profundización en la participación y en el aprovechamiento del capital intelectual y social del territorio.
La participación como fuente de información.
Un aspecto fundamental para el aprovechamiento de la información generada en la participación está en la medición y gestión de los activos intangibles, el capital humano, estructural y muy especialmente, el capital social. El objetivo es buscar que el conocimiento de cada individuo, que en un principio es tácito, pueda ser rentabilizado, explotado al máximo e integrado en las rutinas y formas de actuación del sistema de S&E.
La participación como fuente de aprendizaje
Los expertos del S&E se benefician al tener la oportunidad de convertir el conocimiento experimentado de la población local en conocimiento experto (que les caracteriza como técnicos) y dar un valor añadido a su trabajo. La población local obtiene con su participación, además de la mejor implementación del programa y más eficaz satisfacción de sus necesidades, la posibilidad de adquirir cierto grado de conocimiento experto. Se mejoran así la capacidad de S&E y el capital social del territorio, entre cuyos componentes más importantes están las competencias de los individuos y la internalización de ciertos principios como la responsabilidad personal, de modo que la población aprenda a hacerse responsable de su propio proceso de desarrollo.
Este es el camino para la adaptación no ya sólo al programa sino también al contexto que lo rodea. Conocimiento experimentado y conocimiento experto juntos para conseguir la mejor adaptación posible de las actividades de S&E. Los técnicos de los programas de desarrollo rural deberán prestar por tanto una especial atención a los conocimientos y a las prácticas tradicionales, así como a la identidad y cultura de las comunidades locales.
La participación como fuente de dinamización
La dinamización hace referencia a los esfuerzos por promover la cooperación e implicación activa de la población en los procesos de S&E. El S&E puede ser una herramienta muy útil si cuenta con un sistema de participación que sensibilice y dinamice a gran parte de la población local implicada en el proceso de desarrollo. Un evaluador no desarrolla y no puede desarrollar a nadie, la gente se desarrolla a sí misma, a menudo con alguna asistencia y preparación (Fetterman, 2000). El objetivo es lograr que todos los protagonistas implicados colaboren unos con otros para facilitar la consecución de los objetivos de desarrollo que se persiguen.
La utilización de los procedimientos de S&E para mejorar el desempeño de los programas es una labor mancomunada que afecta a todas las partes interesadas en todas las etapas de programación. A través de la participación, se ha de buscar un compromiso firme y consciente de todos los implicados, en especial de los líderes o personas más influyentes, y hacer ver que el aprendizaje es un proceso que debe ser gestionado por todos. Se trata de crear lo que Kaplan y Norton (1996) califican como la cultura-clima-motivación para el aprendizaje y la acción. Un clima que conduzca al desarrollo y a la autodeterminación.
Referencias citadas:
Fetterman, D.M. (2000). Foundations of Empowerment Evaluation: Step by Step. Thousand Oaks: Sage Publications.
Kaplan, R. & Norton, D. (1996). The balanced scorecard: Translating strategy into action. Boston: Harvard Business School Press.
About Carlos Plaza
La integración entre el seguimiento, la evaluación, el programa y su contexto
La integración puede ser concebida de dos diferentes formas: por un lado supone el nexo de unión interno entre las actividades de seguimiento y evaluación, y por otro supone el nexo de unión externo entre el sistema de seguimiento y evaluación (S&E), el programa y su contexto.
Nexo de unión interno
La integración como nexo de unión interno es el vínculo entre las actividades de seguimiento y evaluación, especialmente a través de una adecuada gestión del conocimiento e innovación. Esta integración está representada por los engranajes de la figura.
La actividad principal lo constituye el seguimiento que supone la base de los ejercicios de evaluación, con la aportación de información y primeras reflexiones. Por su parte, los ejercicios de evaluación orientan y permiten corregir las deficiencias que pueda estar presentando el sistema de seguimiento. Todo ello a través de una adecuada gestión del conocimiento e innovación que se vaya generando.
Nexo de unión externo
Las actividades de S&E (representadas en la figura por los engranajes S y E) han de estar en contacto con la realidad del programa y su contexto (representados por la cascada de agua), para extraer los conocimientos y experiencia existentes y, gracias a una gestión adecuada (engranajes G), convertirlos en conocimiento útil incorporable al sistema de S&E.
La integración como nexo de unión externo es imprescindible para lograr la adecuación de las actividades de S&E al programa y su contexto, la adaptación en todo momento a las necesidades que puedan surgir en las tareas de programación.
Por otro lado permite la integración de los resultados de las actividades de S&E en la programación de forma que le sirvan de orientación y las intervenciones introduzcan los cambios que se vean necesarios.
La integración tiene entonces un doble papel. Por un lado, permite el aprendizaje adaptativo para la adecuación del S&E al programa y su contexto, y por otro lado permite el aprendizaje generativo para la mejora de las intervenciones a través de cambios e innovaciones.
Todo buen plan de seguimiento y evaluación debe estar concluido antes de que finalice la etapa de diseño de un programa. El proceso de integración como nexo de unión externo lleva consigo, en definitiva, el diseño de un adecuado plan de S&E, un estudio de cada etapa del programa —diseño, iniciación, ejecución, terminación— y un análisis detallado de las correspondientes necesidades en cada una de las etapas:
- En la etapa de diseño, la evaluación previa ha de encargarse de que el programa diseñado pueda ser evaluado más adelante.
- En la etapa de iniciación el seguimiento realiza un control de retrasos.
- En la etapa de ejecución del programa, el seguimiento y evaluación intermedia han de encargarse de que el programa siga siendo pertinente, eficaz y eficiente.
- En la etapa final, corresponde al seguimiento y evaluación final la medición y la valoración de los resultados del programa, su aplicación, resultados e impacto y la extracción de conclusiones que sirvan de experiencia en el futuro.
Diseño de un plan apropiado de S&E de un programa de desarrollo.
En definitiva, la integración supone el proceso mediante el cual el S&E se convierte en parte de la normal planificación y gestión de un programa, lo que supone su institucionalización e internalización. Ello permitirá realizar una adecuada gestión de los cambios e innovaciones que se consideren necesarios.
La integración interna entre el seguimiento y la evaluación, y la integración externa entre el sistema S&E y el programa y su contexto.
