Inicio » Artículos publicados por Evaluación y Desarrollo (Página 8)
Archivo del Autor: Evaluación y Desarrollo
Contenidos de un sistema de S&E
Como se puede ver en la figura, que se irá explicando a lo largo de esta entrada, el seguimiento y evaluación (S&E) distingue tres principales aspectos clave a evaluar: el planteamiento y lógica de intervención, la aplicación y gestión y los resultados e impacto (ver parte superior de la figura).
El conjunto de encadenamientos entre los diferentes objetivos, medidas y proyectos constituye la estructura misma de un programa de desarrollo, un modelo lógico que queda dibujado en la figura. A partir de esta estructura se procede a evaluar por un lado el programa en sí mismo y por otro, sus efectos.
Aspectos clave del contenido de un sistema de seguimiento y evaluación
En la evaluación del programa en sí se analizan por un lado el planteamiento y lógica de la intervención (de color azul en la figura) y por otro, su aplicación —puesta en funcionamiento y gestión— analizando si las medidas fijadas han conseguido sus objetivos y si los encadenamientos entre objetivos y medidas se han desarrollado según las previsiones (de color rojo en la figura). En la evaluación de los efectos y resultados se analizan éstos, especialmente en lo que se refiere a los objetivos que el programa se proponía (de color verde en la figura).
El planteamiento y lógica de intervención
Las actividades de S&E comienzan con el ejercicio de evaluación previa que ha de centrarse en el primero de los aspectos: el planteamiento y lógica de intervención (ver parte inferior de la figura). Su misión consiste en asegurar un adecuado planteamiento del programa que se está diseñando (cuadros de color azul en la figura). Ha de analizar el fundamento, la pertinencia, la claridad y coherencia y hacer una estimación sobre la futura utilidad y sostenibilidad de la intervención. Es por ello que esta primera evaluación ha de mirar hacia el futuro y avanzar algo sobre los otros dos aspectos clave de modo que analice la adecuación y calidad de los mecanismos de ejecución y se haga una estimación de los resultados del programa (flecha roja y verde que acompaña a la evaluación ex-ante en la parte inferior de la figura).
Una evaluación intermedia o final ha de buscar una perspectiva general de cómo está funcionando o ha funcionado el planteamiento del programa. Por ello el primer paso de estas evaluaciones también puede estar dedicado a la lógica del programa. Esto es claramente necesario si la lógica inicial contiene puntos oscuros o escasamente justificados, es decir, si la evaluación previa no se hizo correctamente o si sus conclusiones no se tomaron en cuenta. Puede ocurrir además que los objetivos fueran modificados a medio camino, por lo que sería necesario presentar una nueva lógica de programa al principio del informe de evaluación y comprobar si la coherencia general del programa se ha mantenido a pesar de estas modificaciones. Más a menudo, las necesidades a satisfacer o los problemas a resolver han cambiado durante la ejecución del programa. Si es necesario, la evaluación intermedia y final deben revisar la lógica de programa en vista de este nuevo contexto.
En cualquier caso, el estudio de la lógica de intervención en estas evaluaciones intermedias o finales se suele abordar como un ejercicio puntual, muy diferente a los trabajos de la evaluación previa donde las labores de análisis de la lógica de intervención constituyen un trabajo continuo durante toda la etapa de diseño. En una evaluación intermedia, conduce a recomendaciones para mejorar el sistema de control y los métodos de gestión. En una evaluación final, este análisis se utiliza para aclarar los objetivos cuando éstos no se han expresado de forma clara.
La aplicación y gestión
Iniciado el programa, comienza el seguimiento con el objetivo fundamental de analizar —y reorientar en caso necesario— el segundo aspecto clave, la aplicación y gestión del programa (color rojo en la figura). Un seguimiento físico, financiero y de los beneficiarios de la intervención junto con una adecuada autoevaluación han de ser instrumentos suficientes para asegurar la buena gestión del programa. Un adecuado sistema de seguimiento ha de ir valorando también los resultados que se vayan produciendo y facilitar cualquier rectificación que se vea necesaria en el planteamiento del programa. De ahí que partiendo de la aplicación se dirija hacia los resultados y vuelva al planteamiento inicial de la intervención con ánimo de mejorarla (ciclo que rodea al seguimiento en la parte inferior de la figura).
Durante el diseño, la evaluación previa se ha de hacer un análisis de la adecuación y calidad de los instrumentos de gestión. En la etapa de ejecución encontramos la evaluación intermedia que se centra en este aspecto de evaluación. Centrada en la gestión, supone un primer análisis profundo de la marcha del programa hasta la fecha y una oportunidad de cambiar el rumbo de los posibles planteamientos de la intervención que no terminen de funcionar correctamente. La evaluación final ha de sacar conclusiones sobre los resultados de la aplicación y gestión con vista a la mejora de futuras programaciones.
Resultados e impacto
Ya en la etapa de terminación nos encontramos con la evaluación final centrada en el análisis del tercer aspecto clave: los resultados e impacto del programa (de color verde en la figura). Esta evaluación ha de permitir descubrir cual ha sido la incidencia real del programa en su ámbito de aplicación. Ha de abordar también los otros dos aspectos clave (flecha azul y roja que acompaña a la evaluación final en la parte inferior de la figura). No sólo a modo de recopilación de todos los datos y conclusiones obtenidas en las actividades de S&E precedentes, sino como un análisis profundo y final que permita extraer las mejores conclusiones y enseñanzas posibles.
Si bien el proceso de aprendizaje es continuo desde el inicio de la intervención (flechas en la parte inferior de la figura), la evaluación final constituye un punto de referencia fundamental a la hora de extraer el conjunto de enseñanzas que pudiesen derivarse del sistema de S&E implementado.
En la evaluación previa se ha de hacer una estimación de los resultados que se esperan alcanzar, del impacto previsto. En la evaluación intermedia el estudio del impacto hace referencia al estado en que éste se encuentra en el momento de su realización. La evaluación final se apoya en los resultados y respuestas de la evaluación intermedia precisándolas si fuese necesario.
About Carlos Plaza
El aprendizaje en un sistema de seguimiento y evaluación: Generación y gestión de la innovación
Muy relacionada con la gestión del conocimiento está la gestión del cambio y la innovación que éste genera. Entendiendo esta innovación como el arte de transformar el conocimiento en calidad de vida, en un sentido amplio que abarca todos los conceptos de desarrollo: estrategia, procesos de gestión o coordinación, productos/servicios, resultados… Un proceso de aprendizaje social que requiere de esfuerzo más que de genialidad, y de una estrategia para la gestión del cambio.
Una estrategia para la gestión del cambio tiene como punto de partida la creación de un clima que cuide los siguientes puntos como caldo de cultivo para la generación de innovación:
- Respeto de la autonomía, el permitir a todos los individuos actuar con libertad supone una posible fuente de innovación. Los individuos han de poder actuar con el mayor grado de libertad posible para aprovechar el potencial de ideas que representen nuevas oportunidades.
- Generación de un estado de tensión, de retos elevados dentro de un límite adecuado que no lleva a la frustración, que dirija a todos los implicados hacia la búsqueda del cambio y no hacia la mera adaptación al entorno. Este estado de tensión y caos creativo supone un caldo de cultivo que impulsa la innovación.
- El diálogo como proceso para la transformación que posibilita a sus participantes el abandono de sus propias perspectivas y formulación de nuevos escenarios de entendimiento.
- La visión compartida que permita a los individuos compartir e integrar aspectos de sus conocimientos que no son comunes entre ellos y construya nuevas experiencias a través del desarrollo de trabajos o proyectos conjuntos.
- El desaprendizaje implica desechar aquellos conocimientos que se han quedado obsoletos venciendo la resistencia que en muchos casos se presenta. Esta actividad es fundamental para una correcta interpretación compartida, pues el esfuerzo por mantener las visiones anteriores, puede conducir a que la información se interprete dentro de un ámbito muy limitado, obteniendo como resultado una miopía colectiva que impida detectar nuevas oportunidades [1].
Al igual que en la gestión del conocimiento, la documentación es una actividad importante en la gestión de la innovación para hacer explícitas, fáciles de entender y accesibles a todos las potenciales innovaciones que se puedan introducir. También es importante la vigilancia del entorno introduciendo actividades de medición y diagnóstico a través del seguimiento o monitero para realizar una búsqueda sistemática de información. Todos los que lo realizan deben convertirse en escaneadores del entorno, es decir, en recopiladores y transmisores de información.
Gestión de la innovación
Estas actividades han de permitir focalizar la atención y los esfuerzos en alguna estrategia concreta de innovación. Una vez lograda esta focalización, los esfuerzos pueden orientarse a la capacitación de la estrategia elegida dedicando los recursos necesarios para implantarla. La reflexión sobre todos los elementos anteriores y la revisión de las experiencias tanto de éxito como de fracaso ha de llevar al aprendizaje y mejora continua entre la población, en definitiva, a su fortalecimiento desde el punto de vista del desarrollo.
La innovación puede ser gestionada si se sabe dónde y cómo mirar (Drucker, 1991). La gestión del cambio y la innovación suponen un auténtico reto organizativo. Elaborar una auténtica estrategia del cambio, donde en primer lugar se identifican las necesidades de cambio y las resistencias a éste junto con las propuestas concretas de innovación. Posteriormente —a través de un modelo de actuación que incentiva la innovación— se realiza el desplazamiento deseado y consensuado con la participación.
En este sentido, destaca la dificultad que encuentran las comunidades con experiencia en programas de desarrollo para desechar las formas de actuar que en el pasado dieron resultado. Esta resistencia probablemente tiene su origen en las reticencias de las personas con experiencia a abandonar parte de los conocimientos y formas de actuar adquiridos a lo largo de los años y que constituyen su único capital.
Mecanismo de aprendizaje para la generación y gestión de la innovación en el modelo de S&E
Cinco son los elementos clave para gestión del cambio y la innovación en el modelo:
- Identificación del liderazgo local como proceso interpersonal mediante el cual influir en el comportamiento para que logren metas de innovación. Sin un líder comprometido con el aprendizaje y la innovación, difícilmente se logrará el cambio.
- Implantación de una cultura que incentive la innovación, la experimentación y el riesgo y motive a la población a desarrollar su capacidad de aprendizaje. Hacer a todos los implicados responsables de la intervención —que se identifiquen más intensamente con ella— y vean sus posibles beneficios, aumenta su motivación.
- Selección de personal con un elevado grado de profesionalización en cuanto a técnicas de negociación y comunicación, que permita potenciar las actitudes cooperativas de los trabajadores y facilitar la confianza y el trabajo en equipo. Es importante su formación de cara al éxito en la gestión del cambio.
- Estrategia que articule la orientación futura de acuerdo con el capital territorial y con una combinación óptima entre la explotación de los recursos y capacidades existentes y la exploración de nuevas alternativas.
- Estructura organizativa, elemento que da soporte a los anteriores especificando las interacciones entre los individuos y grupos dentro del sistema de S&E. El desafío para lograr una gestión eficiente de la innovación pasa por la combinación de los conocimientos, las comunicaciones laterales y formas organizativas flexibles y autónomas que permitan la experimentación y la integración de nuevos conocimientos.
Referencias citadas:
Davenport, TH., DeLong, DW. and Beers, MC. (1998). Succesful knowledge management projects. Sloan Management Review, 39 (2), 43‐57.
Drucker, P. (1991). La innovación y el empresario innovador. Barcelona: Edhasa.
About Carlos Plaza
El aprendizaje en un sistema de seguimiento y evaluación: Generación y gestión del conocimiento
La concepción de las actividades de seguimiento y evaluación (S&E) como un proceso sistemático de aprendizaje que activa un ciclo de retroalimentación es el medio para para la construcción de capacidades locales y la creación de un capital que genere un verdadero desarrollo.
Como hemos visto, el mecanismo de participación activa un proceso de aprendizaje sobre la marcha entre todos los participantes, población local y expertos. Pero el aprendizaje que se propone no es un simple aprendizaje pasivo —como si se tratara de una ósmosis— sino un aprendizaje activo. Además del aprendizaje que genera la participación hay que encauzar y fomentar el aprendizaje mediante una adecuada gestión del conocimiento e innovación donde deberá indicarse cómo se “destilará” y se transmitirá la experiencia adquirida.
Esta gestión ha de derivar en el mejor aprovechamiento de los resultados obtenidos para la identificación de las mejores prácticas y lecciones más interesantes y guiar así el futuro del programa y las futuras programaciones.
El aprendizaje activo dentro del modelo se genera mediante dos ciclos que se han de gestionar adecuadamente. Un ciclo continuo dentro del sistema de seguimiento y otro —puntual y más profundo— dentro del sistema de evaluación. Los ejercicios especiales de evaluación suponen ejercicios especiales de aprendizaje con mayores medios y mayor profundidad en el análisis.
Ciclos de gestión del conocimiento en el modelo de S&E
Generación de conocimiento
Davenport, DeLong y Beers (1998) definieron el conocimiento como “la información combinada con experiencia, contexto, interpretación y reflexión”. Nuestra propuesta es que la generación del conocimiento se base en estos cuatro elementos del conocimiento definidos por Davenport:
- Experiencia: Conocimiento que se adquiere mediante la práctica. Es aportado por la población en cuanto a conocimiento del contexto y por los profesionales en cuanto a la aplicación de técnicas de S&E. Es importante garantizar ─mediante la selección de líderes en el proceso de participación y mediante la selección de los equipos profesionales que han de realizar el S&E─ la presencia de la necesaria experiencia por ambas partes.
- Contexto: Unión de informaciones que se entrelazan y son dependientes entre sí. Cualquier información del programa se complementa con toda la información relativa al entorno o los factores que afectan a esa información. Una contextualización adecuada requiere de información precisa en determinados momentos, para lo que se ha de disponer de un sistema de información apropiado que permita el acceso a la información rápido y eficaz.
- Interpretación: Explicación adecuada de la información. Una adecuada interpretación requiere unas normas explícitas sobre la codificación, el sentido y el alcance de los términos empleados. Además, estas normas deben ser utilizadas y entendidas por todos, lo que supone que debe de realizarse una formación adecuada en este aspecto.
- Reflexión: Considerar detenidamente la información y todo su contexto. Se trata de la última etapa de tratamiento de la información que culmina con el aprendizaje y la toma de decisiones y acciones.
Por otro lado, Kerzner (2001) propone hasta cuatro fuentes de generación de conocimientos: la transferencia de conocimiento, la formación, la experiencia adquirida en el trabajo y una cuarta denominada como la identificación de las mejores prácticas (benchmarking) y mejora continua. En el caso de los trabajos de S&E conviene añadir una quinta que es la observación atenta y directa de la realidad, que en Kerzner estaría incluida en la experiencia adquirida en el trabajo. Tendríamos así cinco fuentes:
- Transferencia de conocimiento: el conocimiento generado ha de difundirse entrando en el ciclo de retroalimentación del S&E para la generación de nuevos conocimientos.
- Formación: la formación ha de ser considerada como una de las inversiones más importantes de cara al desarrollo.
- Experiencia adquirida en el trabajo: pieza clave para generación de nuevos conocimientos a través de la aplicación práctica de los nuevos conocimientos que se van generando.
- Benchmarking y mejora continua: principal punto de atención de las actividades de gestión del conocimiento.
- Observación atenta: generación de conocimiento directa sobre el terreno.
Gestión del conocimiento
La experiencia en trabajos de evaluación pone de manifiesto la importancia de la diseminación y transferencia del conocimiento adquirido en las actividades que han dado buenos resultados. En el momento actual existe un creciente convencimiento de que el conocimiento constituye un activo cada vez más importante. No es de extrañar que haya un progresivo interés por su gestión que en la práctica no resulta nada fácil.
Para poder gestionar el conocimiento es necesario hacerlo visible, explícito en la medida de lo posible. Podemos considerar que el conocimiento en el desarrollo de un programa tiene tres fuentes: los conocimientos y saber hacer de los implicados —población y expertos—, toda la información que proporciona el entorno y por último, el conocimiento estructural que se encuentra ya explicitado dentro del engranaje que constituyen el programa y su S&E (conocimiento generado).
El arte de la gestión del conocimiento reside fundamentalmente en convertir, tanto como sea posible, los dos primeros tipos en el tercero que es, en definitiva, el conocimiento útil dentro del sistema. Un conocimiento que posibilita el acceso y la recuperación del mismo y facilita su desarrollo y utilización.
Generación y gestión del conocimiento en el modelo de S&E
La generación de conocimiento útil constituye la base para convertir el aprendizaje individual —de cada persona implicada— y grupal —de cada uno de los equipos— en aprendizaje de todos. Se trata de la construcción de una comunidad, una cultura y un lenguaje con un enfoque común, unos objetivos compartidos poniendo el énfasis en la creación de significado local. El programa no tiene sentido sin este tipo de significado.
La documentación es un paso esencial en este proceso. Confiere al conocimiento un cierto grado de permanencia que evita que éste solo exista en la mente de las personas o en el entorno. Su objeto es hacer el conocimiento explícito, fácil de entender y accesible a todos los que lo necesitan. Para ello, al conocimiento hay que darle una estructura, un formato en el que se pueda almacenar, compartir, combinar de formas muy diversas. La principal dificultad de este proceso es evitar la pérdida de propiedades distintivas que conviertan el conocimiento en información poco relevante o en simples datos.
Para gestionar el conocimiento de manera eficaz y eficiente, primero hay que identificar el conocimiento útil en cada programa y en cada circunstancia, para luego difundirlo y favorecer su utilización. Estos tres pasos —identificación, difusión y uso— constituyen la base para la gestión del conocimiento en un sistema de S&E. La difusión ha de conllevar una socialización del conocimiento que ha de poder difundirse entre las diversas personas que lo pueden necesitar. El uso ha de suponer una previa detección de las oportunidades que dé el conocimiento para darle la mejor utilidad posible.
El modelo supone la incorporación de métodos para asegurar la adecuada interpretación de la información, la disponibilidad de un sistema eficaz para su contextualización y la presencia de la experiencia necesaria. En estas condiciones, la utilización sistemática de un proceso definido y estructurado de reflexión, garantiza el aprendizaje en el S&E.
Uno de los objetivos finales de la gestión del conocimiento propuesta está en la construcción de capacidades de S&E local. El fortalecimiento de la capacidad de evaluación asegura que se disponga de datos sobre evaluación y el éxito del sistema de S&E, ya que éste no puede imponerse efectivamente en donde no se desea su puesta en práctica. El fortalecimiento de la capacidad de evaluación es una tarea larga y compleja que exige un compromiso importante y sostenido por parte de todos los implicados.
About Carlos Plaza
La participación en el diseño de una evaluación
Los criterios y saber hacer de los grupos afectados deben formar parte integral de las actividades de evaluación, máxime cuando se trata del seguimiento y evaluación (S&E) de programas de desarrollo. Un objetivo deseable es el de introducir la participación de los grupos afectados en todas las fases del proceso de S&E, se activa en la etapa de diseño y no finaliza mientras continua la intervención hasta la etapa de terminación. Esta continuidad la permite el diseño de un sistema de seguimiento que obligue a un continuo contacto con la población local.
La participación aspira a que todos los implicados se beneficien al máximo con los esfuerzos de S&E. Los objetivos de la participación son por lo menos tres:
- Aprovechar las aportaciones de la población afectada (la participación como fuente de información).
- Aumentar el capital social del territorio (la participación como fuente de aprendizaje).
- Lograr una mayor implicación de la población local (la participación como fuente de dinamización).
Mecanismo de participación en un sistema de seguimiento y evaluación
La participación como fuente de información
La participación tiene como primer objetivo el aprovechamiento de la información contenida en los conocimientos y experiencias de la población local. Esta información es recogida de forma continua por el sistema de seguimiento y, de manera puntual y con mayor profundidad, por los ejercicios especiales de evaluación.
La información recogida por el seguimiento pasa a los ejercicios especiales de evaluación. Pero éstos cuentan además con ejercicios especiales de participación: una profundización en la participación y en el aprovechamiento del capital intelectual y social del territorio.
La participación como fuente de información.
Un aspecto fundamental para el aprovechamiento de la información generada en la participación está en la medición y gestión de los activos intangibles, el capital humano, estructural y muy especialmente, el capital social. El objetivo es buscar que el conocimiento de cada individuo, que en un principio es tácito, pueda ser rentabilizado, explotado al máximo e integrado en las rutinas y formas de actuación del sistema de S&E.
La participación como fuente de aprendizaje
Los expertos del S&E se benefician al tener la oportunidad de convertir el conocimiento experimentado de la población local en conocimiento experto (que les caracteriza como técnicos) y dar un valor añadido a su trabajo. La población local obtiene con su participación, además de la mejor implementación del programa y más eficaz satisfacción de sus necesidades, la posibilidad de adquirir cierto grado de conocimiento experto. Se mejoran así la capacidad de S&E y el capital social del territorio, entre cuyos componentes más importantes están las competencias de los individuos y la internalización de ciertos principios como la responsabilidad personal, de modo que la población aprenda a hacerse responsable de su propio proceso de desarrollo.
Este es el camino para la adaptación no ya sólo al programa sino también al contexto que lo rodea. Conocimiento experimentado y conocimiento experto juntos para conseguir la mejor adaptación posible de las actividades de S&E. Los técnicos de los programas de desarrollo rural deberán prestar por tanto una especial atención a los conocimientos y a las prácticas tradicionales, así como a la identidad y cultura de las comunidades locales.
La participación como fuente de dinamización
La dinamización hace referencia a los esfuerzos por promover la cooperación e implicación activa de la población en los procesos de S&E. El S&E puede ser una herramienta muy útil si cuenta con un sistema de participación que sensibilice y dinamice a gran parte de la población local implicada en el proceso de desarrollo. Un evaluador no desarrolla y no puede desarrollar a nadie, la gente se desarrolla a sí misma, a menudo con alguna asistencia y preparación (Fetterman, 2000). El objetivo es lograr que todos los protagonistas implicados colaboren unos con otros para facilitar la consecución de los objetivos de desarrollo que se persiguen.
La utilización de los procedimientos de S&E para mejorar el desempeño de los programas es una labor mancomunada que afecta a todas las partes interesadas en todas las etapas de programación. A través de la participación, se ha de buscar un compromiso firme y consciente de todos los implicados, en especial de los líderes o personas más influyentes, y hacer ver que el aprendizaje es un proceso que debe ser gestionado por todos. Se trata de crear lo que Kaplan y Norton (1996) califican como la cultura-clima-motivación para el aprendizaje y la acción. Un clima que conduzca al desarrollo y a la autodeterminación.
Referencias citadas:
Fetterman, D.M. (2000). Foundations of Empowerment Evaluation: Step by Step. Thousand Oaks: Sage Publications.
Kaplan, R. & Norton, D. (1996). The balanced scorecard: Translating strategy into action. Boston: Harvard Business School Press.
About Carlos Plaza
La integración entre el seguimiento, la evaluación, el programa y su contexto
La integración puede ser concebida de dos diferentes formas: por un lado supone el nexo de unión interno entre las actividades de seguimiento y evaluación, y por otro supone el nexo de unión externo entre el sistema de seguimiento y evaluación (S&E), el programa y su contexto.
Nexo de unión interno
La integración como nexo de unión interno es el vínculo entre las actividades de seguimiento y evaluación, especialmente a través de una adecuada gestión del conocimiento e innovación. Esta integración está representada por los engranajes de la figura.
La actividad principal lo constituye el seguimiento que supone la base de los ejercicios de evaluación, con la aportación de información y primeras reflexiones. Por su parte, los ejercicios de evaluación orientan y permiten corregir las deficiencias que pueda estar presentando el sistema de seguimiento. Todo ello a través de una adecuada gestión del conocimiento e innovación que se vaya generando.
Nexo de unión externo
Las actividades de S&E (representadas en la figura por los engranajes S y E) han de estar en contacto con la realidad del programa y su contexto (representados por la cascada de agua), para extraer los conocimientos y experiencia existentes y, gracias a una gestión adecuada (engranajes G), convertirlos en conocimiento útil incorporable al sistema de S&E.
La integración como nexo de unión externo es imprescindible para lograr la adecuación de las actividades de S&E al programa y su contexto, la adaptación en todo momento a las necesidades que puedan surgir en las tareas de programación.
Por otro lado permite la integración de los resultados de las actividades de S&E en la programación de forma que le sirvan de orientación y las intervenciones introduzcan los cambios que se vean necesarios.
La integración tiene entonces un doble papel. Por un lado, permite el aprendizaje adaptativo para la adecuación del S&E al programa y su contexto, y por otro lado permite el aprendizaje generativo para la mejora de las intervenciones a través de cambios e innovaciones.
Todo buen plan de seguimiento y evaluación debe estar concluido antes de que finalice la etapa de diseño de un programa. El proceso de integración como nexo de unión externo lleva consigo, en definitiva, el diseño de un adecuado plan de S&E, un estudio de cada etapa del programa —diseño, iniciación, ejecución, terminación— y un análisis detallado de las correspondientes necesidades en cada una de las etapas:
- En la etapa de diseño, la evaluación previa ha de encargarse de que el programa diseñado pueda ser evaluado más adelante.
- En la etapa de iniciación el seguimiento realiza un control de retrasos.
- En la etapa de ejecución del programa, el seguimiento y evaluación intermedia han de encargarse de que el programa siga siendo pertinente, eficaz y eficiente.
- En la etapa final, corresponde al seguimiento y evaluación final la medición y la valoración de los resultados del programa, su aplicación, resultados e impacto y la extracción de conclusiones que sirvan de experiencia en el futuro.
Diseño de un plan apropiado de S&E de un programa de desarrollo.
En definitiva, la integración supone el proceso mediante el cual el S&E se convierte en parte de la normal planificación y gestión de un programa, lo que supone su institucionalización e internalización. Ello permitirá realizar una adecuada gestión de los cambios e innovaciones que se consideren necesarios.
La integración interna entre el seguimiento y la evaluación, y la integración externa entre el sistema S&E y el programa y su contexto.
About Carlos Plaza
Diseño de un sistema de seguimiento y evaluación (S&E)
El presente apartado pretende ordenar y exponer los aspectos fundamentales para el diseño de un sistema de seguimiento y evaluación (S&E) de un programa de desarrollo a través de un modelo integrado y participativo basado en el aprendizaje y la gestión del conocimiento e innovación. Este modelo es fruto de la experiencia y reflexión continua realizada a lo largo de años de trabajo en distintos ámbitos del S&E. Supone por tanto una labor de síntesis, ordenada y en forma de modelo, de las experiencias en distintos trabajos de “investigación-acción” que han dado lugar a procesos de aprendizaje que se han ido documentando y sistematizando.
A largo plazo, el beneficio más importante que aportan las actividades de seguimiento y evaluación son los conocimientos que generan para el futuro. El papel central concedido al aprendizaje en este modelo hace necesario cuidar su gestión dentro del S&E. El modelo que se propone destaca así la importancia de la gestión del conocimiento y la innovación tanto en el seguimiento como en la evaluación.
Se expone a continuación una pequeña reflexión sobre los principales contenidos y características de este sistema, que son el resultado de la combinación de métodos y herramientas complementarios, la apuesta firme por determinadas prácticas, la organización de numerosos elementos y la determinación firme de buscar soluciones a los problemas que se han venido detectando. Supone la búsqueda de un equilibrio entre la concepción del aprendizaje como vía de adaptación y como vía de creatividad e innovación.
About Carlos Plaza
Características metodológicas de un sistema de seguimiento y evaluación
Nuestra propuesta es que un buen sistema de seguimiento y evaluación (S&E) ha de buscar la integración con los programas —su planificación y gestión— y su contexto, ha de contar con la participación activa de todos los implicados, y se ha de fundamentar en el aprendizaje. El modelo propuesto consta así de tres características principales: la integración, la participación y el aprendizaje. Ninguna es independiente de las otras y para lograr cualquiera de ellas es imprescindible que las tres alcancen un adecuado desarrollo dentro de las actividades de S&E.
Puesto que dedicaremos una entrada a cada una de estas tres características principales, nos ceñimos ahora a explicar otras características que resultan básicas a la hora de abordar los problemas que se intentan resolver:
- Complementación: El modelo se fundamenta en la complementación de enfoques básicos que han venido orientando las actividades de S&E. Supone una guía para la complementación de los enfoques cuantitativo y cualitativo, S&E de objetivos y S&E de procesos y de los enfoques ascendente y descendente. Supone además la complementación de fuentes de información cuantitativas y cualitativas, primarias y secundarias.
- Continuidad: El modelo parte de los procedimientos clásicos utilizados hasta ahora. El modelo no supone una ruptura sino una continuidad con lo que se ha venido haciendo. Es una apuesta por la participación y el aprendizaje que en muchos trabajos ya se realiza y por la complementación de enfoques que han orientado muchos de los estudios en el campo del S&E.
- Sencillez: Es importante que el modelo no precise de unos elevados conocimientos financieros, económicos, estadísticos o de cualquier tipo. En caso contrario, el proceso de S&E quedaría en manos de expertos externos a la comunidad que se pretende desarrollar, no contribuyendo al aprendizaje local.
- Flexibilidad: Aspecto que rompe con la —en ocasiones frecuente— rigidez de estos procedimientos. Esta característica busca preparar al modelo para el elevado grado de incertidumbre que se suele encontrar en el dinámico contexto del S&E del desarrollo. Contar con los mecanismos necesarios para una adecuada adaptación a las más diversas situaciones. Estos mecanismos se basan en la combinación de los enfoques de S&E por objetivos y los enfoques de S&E de procesos.
Mecanismo para asegurar la flexibilidad en el modelo de S&E.
- Enfoque positivo: Superar la visión a veces un poco negativa que centra sus esfuerzos en el análisis de los problemas que se han solucionado o quedan por resolver. El objetivo es buscar un enfoque más positivo, más centrado en el desarrollo de las capacidades y potencialidades que en el análisis de problemas.
- Precisión: Definir con claridad el contenido de las actividades de S&E —y especialmente de los ejercicios especiales de evaluación— concretando los objetivos de los esfuerzos que se vayan a realizar.
- Centralidad de los aspectos específicos: El modelo cuenta con los medios para detectar, seguir y evaluar los aspectos específicos que puedan presentar una intervención. Este aspecto permite no centrar siempre todos los esfuerzos en el estudio del impacto, permitiendo cuestionar el frecuente vínculo automático que se suele hacer entre evaluación e impacto. Existen criterios alternativos a la hora de evaluar un programa de desarrollo, como es su potencial de replicación, su capacidad innovadora, el nivel de participación local o su contribución al fortalecimiento de la sociedad civil.
About Carlos Plaza
Factores que afectan al uso de la evaluación
El primer requisito de las actividades de evaluación es el de producir evaluaciones que sean útiles (Patton, 2008). Sin embargo, la utilidad de las evaluaciones es un aspecto que ha quedado relegado en muchos ejercicios de evaluación a favor del rigor metodológico, sofisticados análisis estadísticos, o dimensiones como la validez o la credibilidad que no resuelven el problema de que las evaluaciones no se usen. La actividad profesional se enfrenta así a un doble reto: fomentar usos apropiados de las evaluaciones y trabajar por eliminar usos inapropiados.
Las evaluaciones deben juzgase por su utilidad, y se usarán siempre que el fundamento para su uso sea cuidado apropiadamente. Para ello es necesario identificar los grupos afectados por la evaluación, sus necesidades y valores; realizar diseños de evaluación adecuados; así como cuidar la oportunidad del momento en que se realiza la evaluación y la diseminación de sus resultados.
Los evaluadores deben diseñar sus evaluaciones con atenta consideración a cómo todo lo que se hace, desde el comienzo hasta el final, afectará a la utilidad de la evaluación. Destacan aquí cinco factores a tener en cuenta (Patton, 2008).
-
El factor personal
El tema de la utilidad y uso de las evaluaciones no es una abstracción, se trata de un uso intencionado y concreto llevado a cabo por personas concretas. Es fundamental localizar a estas personas, reales y específicas, e interaccionar adecuadamente con ellas para determinar el tipo de evaluación que necesitan (en cuanto contenidos, métodos y usos). Son estas personas las que tendrán la responsabilidad de aplicar los resultados de la evaluación y poner en marcha sus recomendaciones. Y lo harán con mayor probabilidad si sienten que la evaluación en suya y se han visto envueltos en las actividades de evaluación. Es por ello que el primer reto de un evaluador es generar compromiso con la evaluación y su uso, que se valoren las actividades de evaluación y se comparta la visión de lo que se va a realizar.
-
Cultura de la organización
Todo lo dicho sobre el factor personal es aplicable a la organización en la que trabajan las personas implicadas en la evaluación. Las actividades de evaluación son parte de un proceso de aprendizaje más amplio que promueve la apropiación y establecimiento de procedimientos que permitan mejorar los programas y proyectos promovidos por la organización.
-
Consideraciones políticas
Es importante dar la información más oportuna a la gente más apropiada para fomentar el uso de la evaluación. Para ello hay que establecer los vínculos de relaciones adecuados durante el proceso de evaluación, entender cómo piensa la clase política e identifcar venatas de oportunidad para los resultados de las actividades de evaluación.
-
Evidencia
Proveer de buenas y creíbles evidencias es fundamental para el uso de los resultados de una evaluación. Estas evidencias contribuirán a reforzar creencias que ya existían o cambiar modos de pensar que contribuyan a la mejora continua.
-
Estrategia de comunicación y difusión de resultados
Es importante contar con una estrategia de comunicación y difusión de resultados que sea eficaz. Para ello es necesario preguntarse quién es el público al que va dirigida, cuáles son los intereses de ese público (contenido a difundir), cuál el momento más oportuno para hacerles llegar la información, y cómo hacerlo. Este cómo, el formato de comunicación, puede hacerse de muchas formas y bajo diferentes enfoques y herramientas. Para ello hay que tener en cuenta los diferentes intereses de las diferentes audiencias para diseñar productos diferenciados en nuestra estrategia: informes, resúmenes, pdfs interactivos en la red, informes visuales hechos con diapositivas, folletos, boletines, presentaciones orales, discusiones, exposiciones de fotos y posters, artículos periodísticos, escenas teatralizadas…
Referencias citadas:
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
About Carlos Plaza
Hacer evaluaciones útiles: El uso del proceso y los resultados
“Producir datos es una cosa. Conseguir que se usen es otra bien distinta” (House, 1972). Un problema actual es la clasificación, absorción y utilización de la cantidad de información que se genera. Conseguir que la gente haga uso de los conocimientos que existen se ha convertido en una de las principales preocupaciones entre los diferentes sectores de la sociedad. Conseguir que la gente aplique los conocimientos que se generan en una evaluación, o incluso lo que ellos mismos ya saben, es un reto que hay que afrontar.
En ocasiones se ha denunciado un vacío entre el mundo de la evaluación y el mundo del trabajo práctico diario. Sin embargo, lo que prueba la eficacia y éxito de una evaluación es su uso e impacto a la hora de mejorar la realidad que evaluan. En una evaluación se ha de vincular la generación de conocimientos y resultados con su efectiva utilización para la toma de decisiones y la mejora continua. Se ha de luchar por superar la resistencia que muchas veces presentamos ante los nuevos conocimientos, ante el cambio.
Es importante evitar que los frutos de una evaluación se queden en un conjunto de informes que muchas veces ni se leen, ni se usan. La cuestión del uso de la evaluación surge de la necesidad de vincular el conocimiento y la acción (Patton, 2008), y plantea preguntas fundamentales sobre la toma de decisiones y la aplicación del conocimiento para la creación de un mundo mejor.
Siguiendo a Patton (2008) una de las cuestiones más importantes es la construcción de capacidades que aseguren el uso del proceso y de los resultados de la evaluación. Se trata de poner el acento en el aprendizaje en el contexto de una comunidad que aprende (learning organizations), de modo que la evaluación no se centre en generar unos resultados, sino que esos resultados se usen y se use también el proceso que ha llevado a obtener esos resultados, de modo que den lugar a cambios que mejoren las realidades evaluadas.
El uso de los resultados de evaluación está íntimamente unido al planteamiento que esta tenga dentro de las corrientes del aprendizaje, la teoría o las pruebas. Y así, los resultados de evaluación pueden utilizarse principalmente para mejorar los programas, generar conocimiento o juzgar el valor de una intervención. El reto para los evaluadores está en adaptar estos usos a cada contexto concreto, con unos usuarios concretos. Han de adaptar sus conocimientos y experiencia a los factores y circunstancias que puedan afectar al uso de la evaluación.
El uso del proceso está íntimamente unido a la participación. Participar en el proceso de evaluación puede ser más útil para los implicados que el simple conocimiento de los resultados. Gran parte del aprendizaje descansa en el proceso al que da lugar una evaluación, cuanto más gente participe en él mayores serán los beneficios de este proceso. Los resultados e informes finalizan, pero lo que permanece es la capacidad de los implicados de pensar en términos de evaluación y de mejora continua. “El uso del proceso es en sí mismo un impacto en forma de adquisición de capacidades” (Patton, 1999). En aquellas evaluaciones donde es importante la participación es necesario apostar por un adecuado uso del proceso como vía para el fortalecimiento y adquisición de capacidades, sin olvidar la importancia del uso de los resultados.
Referencias citadas:
House, E.R. (1972). The conscience of educational evaluation. Teachers College Record, 73(3), 405-414.
Patton, M. Q. (1999). Utilization- Focused Evaluation in Africa: Evaluation Training Lectures delivered to the Inaugural Conference of the African Evaluation Association. Ed. P.N. Chaiban and M. Patel.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
About Carlos Plaza
Estándares de evaluación
Un proyecto pionero para el desarrollo de estándares profesionales para la evaluación de programas fue iniciado en Estados Unidos en 1975. Su objetivo era el de mejorar la evaluación de la educación y programas de formación. Se estableció un comité compuesto por 16 asociaciones profesionales de la educación, la Sociedad Americana de Evaluación (American Evaluation Association o AEA) y la Asociación Americana de Psicología. El resultado fue un conjunto de 30 criterios, el Programme Evaluation Standards (PES) organizados en torno a cuatro principios principales: utilidad, viabilidad, propiedad y precisión. Se describen a continuación estos principios que actualmente sirven de guía para asegurar la calidad de las actividades de evaluación.
Utilidad (Utilitity)
Como punto de partida es preciso destacar la utilidad de la evaluación, en la que ha de buscarse un uso concreto para agentes concretos. El resultado de una evaluación no puede considerarse satisfactorio si se limita únicamente a la exposición de los resultados alcanzados sin contribuir a que dicha exposición redunde en una mejora del desempeño general de las funciones propias de los actores involucrados en el objeto a evaluar. Por ello la metodología a emplear procurará hacer un uso adecuado del proceso de evaluación, así como de los resultados de evaluación (Patton, 1998; 2008). El objetivo es que la evaluación ayude a las personas o grupos interesados a: (1) tener acceso a las informaciones que necesitan para el desempeño de su actividad, (2) identificar los defectos y virtudes de lo evaluado y, (3) proponer soluciones a fin de mejorar el objeto que se evalúa. Este aspecto de utilidad comprende identificar las personas afectadas por la evaluación para poder dar respuesta a sus necesidades; dar credibilidad a los resultados para que tengan una máxima aceptación; seleccionar la información que permita responder a cuestiones pertinentes; describir cuidadosamente los enfoques, procedimientos y fundamentos utilizados para interpretar los resultados de modo que queden claras las bases de los juicios de valor; proporcionar información esencial y que se entienda fácilmente; y divulgar los resultados significativos y los informes de evaluación de manera que puedan utilizarse en el momento oportuno.
Unidos a este principio principal están otros principios como la credibilidad, claridad, puntualidad, diseminación de resultados, y la identificación de necesidades y valores.
Viabilidad (Feasibility)
Los procedimientos para llevar a cabo la evaluación no deben ser excesivamente complicados y sí eficientes. Han de garantizar que la evaluación se lleve a cabo de un modo realista, prudente y diplomático, que se hayan ponderado todos los puntos y tenido en cuenta los costes. Este aspecto de viabilidad comprende diseñar procedimientos prácticos de evaluación que permitan reducir al mínimo las interrupciones y molestias mientras que se obtiene la información necesaria; anticiparse a las diferentes posiciones de los diversos grupos de interés, de manera que pueda lograrse su cooperación y puedan evitarse o contrarrestarse los posibles intentos de cualquiera de estos grupos para limitar las actividades de evaluación o para sesgar o usar indebidamente los resultados; y producir informaciones con el suficiente valor, de modo que puedan justificarse los recursos empleados. Este principio comprende así fundamentalmente la viabilidad en términos políticos, prácticos y de coste-eficacia.
Propiedad (Propriety)
La evaluación debe estar basada en compromisos explícitos que aseguren la necesaria cooperación, la protección de los derechos de las partes implicadas y la honradez de los resultados, además debe proporcionar un informe equilibrado que ponga de manifiesto tanto aciertos como errores del objeto que se evalúa. Este aspecto de propiedad comprende diseñar la evaluación para ayudar a las organizaciones a atender y responder con eficacia a las necesidades de toda la variedad de participantes destinatarios; acordar las obligaciones de las partes formales de una evaluación (qué debe hacerse, cómo, por parte de quién, cuándo); diseñar la evaluación respetando y protegiendo los derechos y el bienestar de las personas; realizar una evaluación completa y justa; asegurar que los resultados de la evaluación resulten accesibles a personas afectadas por la evaluación; y llevar a cabo el gasto de recursos mediante procedimientos de rendición de cuentas acertadas y de un modo éticamente responsable. Bajo este principio por tanto, la evaluación ha de conducirse legalmente, éticamente y bajo la consideración de aquellas personas involucradas en la evaluación así como los afectados por sus resultados.
Precisión (Accuracy)
El objeto, su evolución y su contexto deben estar claramente descritos. Han de garantizar que la evaluación presente y transmita las informaciones técnicas adecuadas referentes al programa objeto de evaluación, resaltando tanto los aspectos positivos como negativos. Este aspecto de precisión comprende describir y documentar con claridad y precisión el programa evaluado y su contexto, así como los propósitos y procedimientos de la evaluación; describir las fuentes de información utilizadas en la evaluación de un programa, de modo que pueda valorarse la adecuación de la información; elegir e implementar procedimientos de recogida de información válidos y fiables; procesar y revisar sistemáticamente la información recogida; analizar de modo apropiado y sistemático tanto la información cuantitativa como cualitativa, de modo que se responda eficazmente a las preguntas de evaluación; justificar las conclusiones a las que se llegue de modo que los interesados puedan valorarlas; y elaborar informes imparciales.
Unidos a este principio están otros como la adecuación técnica, el análisis del contexto, el uso de fuentes de información defendibles e información válida y confiable, llegar a conclusiones justifidas y la imparcialidad.
Un principio extra: la flexibilidad
En muchas ocasiones el objeto a evaluar se encuentra indisolublemente unido a la acción de las personas y evolución en el tiempo. Esto implica un grado de incertidumbre a la hora de acometer la evaluación, en función del comportamiento de los individuos, grupos, y el conjunto de las instituciones y organizaciones en respuesta a cada nuevo paso que se da. Por consiguiente uno de los requisitos que se deben tener en cuenta es el grado de flexibilidad para adaptar la evaluación a la receptividad de los actores y a sus dinámicas internas. En el caso de los proyectos de desarrollo el camino elegido para la ejecución de una intervención es un elemento determinante de su calidad, puesto que es el propio proceso de desarrollo apoyado o impulsado el objetivo principal de la intervención. Esta visión, que pone el énfasis en la calidad del proceso de desarrollo como base para su sostenibilidad, más que en los resultados directos y a corto plazo, exige poner la atención de la evaluación en los procesos que se ponen en marcha a través de cada proyecto y los aprendizajes que genera.
Referencias citadas:
Patton, M. Q. (1998). Discovering process use. Evaluation, 4(2), 225-233.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
