14. Reflexión de conceptos etnográficos con interés para la evaluación
Existen una serie de conceptos etnográficos que pueden guiar y marca el ritmo del trabajo de campo cuando llevamos a cabo una evaluación participativa. Con la experiencia, estos conceptos se automatizan y terminar por regir la estrategia y comportamiento del evaluador. Se trata de conceptos que ayudan al evaluador menos experimentado a penetrar en la cultura y costumbres donde ha de realizar su trabajo participativo. Fetterman (2010) analiza todos los conceptos que deben tenerse en cuenta: cultura, contextualización y perspectiva holística, estudios micro y macro, perspectivas émica y ética, orientación no prejuzgadora, diversidad inter e intracultural, estructura y función, símbolo y ritual, y operatividad.
Cultura
El primero de estos conceptos es la cultura que bajo una perspectiva materialística clásica incluye patrones de comportamiento, costumbres y modos de vida; bajo una perspectiva cognoscitiva ideacional incluye ideas, creencias y conocimientos (orientado hacia el lenguaje, las definiciones de la realidad, la existencia y el significado de los símbolos).
Contextualización
La contextualización de los datos implica situar las observaciones que se hagan en una persepectiva más amplia, lo que resulta necesario para hacer una buena caracterización del mérito, valor e importancia de aquello que se observe. La interpretación de los datos está siempre condicionada por el contexto.
Perspectiva holística
Se trata de obtener una perspectiva integral y completa del grupo social o programa que se evalúa. El punto de partida es la descripción de su historia, religión, política, economía y medioambiente, de modo que se cubran todos los ángulos. Se trata de un concepto que ayuda a descubrir las interrelaciones entre los varios sistemas y subsistemas que subyacen en la comunidad o programa que es objeto de estudio.
Estudios micro y macro
La evaluación está determinada por los límites que se pongan en los estudios que se lleven a cabo. Según se marquen estos límites los estudios pueden ir del nivel micro —cuando adoptamos una visión de primer plano, detallada y cercana, del objeto de estudio— al nivel macro, cuando adoptamos una perspectiva más general.
Perspectivas émicas y éticas
La perspectiva émica es la perspectiva interna de las personas afectadas por una intervención, la perspectiva local o nativa. Se trata de una perspectiva que ayuda a entender situaciones y comportamientos, y fomenta la aceptación de múltiples realidades. La perspectiva ética es la perspectiva externa o científica de quien observa el mismo fenómeno, del que no es partícipe, desde fuera. La mayoría de los evaluadores comienzan a recoger datos desde una perspectiva émica y luego tratan de dar sentido a esos datos conjuntando la visión local con su propia persepectiva científica.
Orientación no prejuzgadora
Esta orientación requiere que el evaluador suspenda su propia valoración personal de cualquier práctica cultural. El hecho de luchar contra los propios prejucios obliga al evaluador a explorer nuevas direcciones, asegura la validez de los datos recogidos y previene la contaminación de los mismos. Es importante destacar que los evaluadores no pueden ser completamente neutrales; todos somos producto de nuestra cultura.
Diversidad inter e intracultural
Es importante sensibilizarse frente a la diversidad inter e intracultural. La primera es más fácil de observar, mientras que la segunda tiende a pasa inadverida. Se trata de un concepto imprescindible de cara a producir una visión completa de una comunidad, evitando el peligro de crear estereotipos.
Estructura y función
El concepto de estructura hace referencia a la estructura social o configuración de un determinado grupo social; el concepto de función, a las relaciones sociales entre los miembros del grupo. La mayoría de las comunidades tienen estructuras internas identificables y un conjunto de relaciones sociales estables que ayudan a regular el comportamiento. La evaluación ha de penetrar en esas redes informales e influencias que gobiernan la comunidad y entenderlas para dirigir correctamente sus estudios.
Símbolo y ritual
Símbolos son expresiones dotadas de un significado que evoca poderosos sentimientos y pensamientos. Los evaluadores han de buscar símbolos que les ayuden a entender y describir una determinada cultura. Los rituales son patrones de comportamiento simbólicos que se repiten y juegan un papel en la vida religiosa y secular de una comunidad; son como puertas abiertas que comenzar a comprender una determinada cultura. Juntos, los símbolos y los rituales, ayudan a los evaluadores a dar sentido a las observaciones al proveer de un marco que permita clasificar los comportamientos observados.
Operacionalismo
Este último concepto hace hincapié en la necesidad de definir los términos y métodos de medición empleados. Los evaluadores deben cuantificar e identificar las fuentes de información y sus formas de análisis siempre que sea posible, de forma que otros evaluadores puedan continuar el estudio, probarlo o desmentirlo.
About Carlos Plaza
Aprender a trabajar en diferentes contextos culturales
A causa de la globalización los evaluadores trabajan cada vez con más frecuencia con múltiples grupos étnicos con culturas muy diferentes. Gente de diferentes culturas pueden mostrar su diferencia de modos muy diversos: diferentes formas de ver las cosas; diferentes creencias, valores, normas, costumbres, comportamientos, conocimientos, lenguajes; o diferentes modos de expresar la personalidad o la bondad. Estas diferencias pueden causar dificultades en el trabajo de evaluación y en la interpretación de los datos recogidos a través de las técnicas participativas. Poner atención en estas diferencias culturales puede dar a un evaluador extranjero una mejor oportunidad de ser aceptado y poder hacer bien su trabajo.
Los evaluadores son tentados muchas veces por dejarse llevar por generalizaciones que llevan a recomendaciones que no siempre son apropiadas. Reconociendo la necesidad humana por crear categorías, se ha de afirmar que estos estereotipos pueden tener efectos negativos en el trabajo de evaluación, pues las generalizaciones son siempre peligrosas.
Es necesario reflexionar sobre las diferencias culturales y discutir sobre ellas, pero no hay nada mejor que la buena observación, el saber escuchar y el sentido común para saber manejarlas. Las diferencias entre culturas y razas son reales y constituyen una fuente de riqueza. Pero al mismo tiempo hay entre ellas mucho en común, cuando lo más superficial es traspasado se ve que en el fondo hay bastante en común. Algunos aspectos relacionados con la personalidad, el deseo de hacer mejor las cosas, la necesidad de participar y contribuir, son comunes a una gran cantidad de culturas. El problema es que los evaluadores han de afrontar muchas veces el aspecto más superficial y puede no haber tiempo de ahondar en estos aspectos más comunes, lo que hace de las diferencias culturales un aspecto muy importante de su trabajo de evaluación.
About Carlos Plaza
12. Adaptación de la evaluación al programa y su contexto
El S&E de un programa de desarrollo debe atender al tipo de programa de que se trata, la lógica de la programación con la que se ha diseñado, su contexto territorial, legal e institucional. A la hora de diseñar un modelo de S&E, es importante tener en cuenta este marco para conseguir una adecuada adaptación al programa y su contexto.
Adaptación del modelo de seguimiento y evaluación a su contexto.
Fuente: Elaboración propia.
La adaptación del S&E al programa ha de realizarse de acuerdo a las características específicas de los programas, por lo que es necesario un conocimiento sistemático y profundo tanto de los objetivos y estrategias como de la gestión y financiación. La adaptación al contexto territorial ha de abarcar todos los recursos —sociales, ambientales y económicos— y ha de basarse en una labor de acercamiento y participación. La adaptación al contexto legal cuenta con dos aspectos importantes, el que afecta a los programas y el que afecta a las propias actividades de S&E. En la adaptación al contexto institucional es importante tener en cuenta el control externo al que es sometido el programa por parte de una serie de instituciones más o menos implicadas en la inversión. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacerlo más transparente.
Aprendizaje adaptativo: Adaptación del S&E al programa y su contexto
Como concluimos en el segundo capítulo, es imprescindible que el modelo de S&E buscado, se adapte al tipo de programación europea y su contexto. Esta adaptación ha de partir de un profundo conocimiento del ámbito territorial y las características de los programas, y en un marco más global, del contexto legal e institucional comunita
rio. Comparando este ajuste del modelo de S&E con la realización de un puzzle, la ficha que representa al modelo ha de encajar perfectamente con las otras cuatro fichas que forman las características del programa y su contexto.
Uno de los problemas actuales en la evaluación está en que los evaluadores se entretienen en los detalles y se olvidan de lo más importante de la evaluación. Los evaluadores comienzan normalmente sus reuniones con los implicados con la definición de los instrumentos para recoger información sin examinar los objetivos, prioridades y definiciones compartidas sobre la evaluación que se comienza. Asumen que saben ya las prioridades y objetivos de la evalua
ción y que los implicados las entienden del mismo modo. Este enfoque termina en que, tarde en el proceso de evaluación, se vuelve a los temas importantes que no fueron considerados al principio. Siempre puedes añadir detalles a tu trabajo, pero sólo puedes poner los cimientos al principio (Patton, M.Q., 1999). Estos temas fundamentales en la evaluación son su filosofía, objetivos y posicionamiento en el contexto.
Adaptación al contexto territorial
Desde un principio el S&E han de adaptarse al territorio donde se va a operar y que ha de ser objeto de estudio. Esta labor de acercamiento se ha de caracterizar por el dinamismo y la atención a las aportaciones que hacen los individuos y colectivos sociales. Ha de suponer un análisis detallado y global del ámbito territorial. Su finalidad es la de determinar el margen de maniobra del programa, la situación de partida y el grado de desarrollo con que cuenta el territorio para poder juzgar en su debida medida los logros que se fueran consiguiendo. La adaptación ha de abarcar todos los recursos: sociales, ambientales y económicos.
Adaptación a las características del programa
Parte importante de la adaptación hace referencia a las características del programa sobre el que se trabaja. Los programas de desarrollo deben ser evaluados por medios adaptados a sus características específicas (COMISIÓN DE LA UE, 1999a. Op. cit.). Es necesario un conocimiento sistemático y profundo de un programa para que las actividades de S&E puedan proporcionar nuevos conocimientos y experiencias que puedan mejorar la calidad de la intervención. El principal deber de un evaluador es contribuir a un juicio imparcial e independiente, basado en un conocimiento previo profundo y en un análisis sistemático (NORAD – UD, 1997. Op. cit.).
La adaptación ha de extenderse tanto a los objetivos y estrategias del programa como a su gestión y financiación. Es necesario tener un conocimiento profundo de cómo funciona el programa, sus órganos de gobierno, criterios de selección de beneficiarios, procedimientos para la concesión de ayudas, coordinación entre diferentes instituciones implicadas a diferentes niveles, flexibilidad de la financiación, mecanismos de verificación y control de posibles ayudas pagadas… Además, se ha de conocer quién realiza cada una de estas funciones, aptitudes, conocimientos, experiencia.
Adaptación al contexto legal
Además de las circunstancias concretas del programa con el que se va a trabajar, siempre se encuentra un marco más amplio que ha de orientar también las actividades de S&E. Éste marco viene normalmente expresado mediante directivas, reglamentos, normativas que en algunos casos son orientativas y en otros son de obligado cumplimiento. Es importante investigar dos aspectos importantes de este marco, el que afecta al programa y el que afecta a las propias actividades de S&E:
- El contexo legal de los programas responde a una determinada política de desarrollo y orienta el programa en muchas de sus facetas. Se trata de un contexto que – junto a la descripción del programa – enmarca muchos de los criterios de S&E que se establezcan para juzgar la intervención.
- El contexto legal de las actividades de S&E lo constituyen normativas, orientaciones y determinados marcos metodológicos. Han de conocerse en detalle para que las actividades de S&E puedan amoldarse al menos a los requisitos mínimos exigidos. Esto implica la necesidad de modelos con un alto grado de flexibilidad que permita adaptarse al nivel de análisis exigido y la utilización de los parámetros específicos que se exijan.
Adaptación al contexto institucional: plan de controles
Todo programa de desarrollo está sometido a un control externo realizado por una serie de instituciones más o menos implicadas en la inversión. Normalmente este control se realiza en diferentes niveles: local, regional, nacional… Suelen ir dirigidos a la verificación del cumplimiento de la normativa y del correcto funcionamiento del equipo gestor. También tienen como objetivo la prestación de un posible apoyo técnico en caso de que se vea necesario y la elaboración de informes que vayan reflejando la buena marcha del programa. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacer más transparente y reglamentaria la aplicación del programa.
About Carlos Plaza
11. Apreciative Inquiry (AI)
La investigación apreciativa (Preskill y Catsambas, 2006; Dunlap, 2008) un modelo de evaluación que busca estar abierto a nuevos potenciales y posibilidades, valorar y reconocer lo mejor en la gente y en el mundo a nuestro alrededor. El AI es un enfoque que proviene del campo del desarrollo organizacional y que ha ido ganando atención por su aplicación exitosa para facilitar el cambio organizacional. Se trata de un enfoque para el cambio y que busca identificar y desarrollar lo mejor de las organizaciones para crear un futuro mejor para ellas.
Se basa en el poder del cuestionamiento positivo, de forma que en vez de centrarse en los problemas, sus causas y soluciones, se centra en las experiencias exitosas para aprender de ellas. No se trata de obviar los problemas, sino de abordarlos desde una persepectiva más constructiva, como areas con necesidades de conversación y transformación.
La idea de fondo es la del cambio positivo que asume que en toda organización hay algo que funciona bien y la hace manternerse viva, lo que podría denominarse como un núcleo positivo. La formulación de esta idea es que todo cambio (rediseño, planificación) de una determinada organización ha de comenzar con un análisis de ese núcleo positivo para ligar a él lo fundamental de la estrategia de cambio que se diseñe.
En definitiva, se trata de escoger lo positivo como centro de nuestra evaluación. Una de las herramientas con las que se aplica este enfoque es el de las cuatro “Ds”, haciendo referencia a sus cuatro etapas en inglés: Discovery, dream, design, destiny. La primera etapa de descubrimiento busca explorar el núcleo positivo haciendo preguntas sobre las mejores experiencias y lo que mejor funciona en la organización. La segunda etapa trata de soñar y crear imágnes de los mejores escenarios futuros para la organización. En la etapa de diseño se trata de poner encima de la mesa propuestas provocativas, formas innovadoras y concretas, para llegar a ese futuro soñado. En la última etapa de destino se busca poner realidades concretas y factibles detrás de las propuestas realizadas en la etapa anterior.
About Carlos Plaza
8. El Empowerment Evaluation (EE)
El Empowerment Evaluation (EE) ha supuesto un fenómeno a nivel mundial desde su difusión en 1993 a través de la Asociación Americana de Evaluación (Fetterman, 1994; Fetterman y Wandersman, 2005). Esta Sociedad apadrina actualmente el EE a través de uno de sus TIG (Topical Interest Group) centrado en el Collaborative, Participatory, and Empowerment Evaluation. La EE forma parte del panorama actual de la evaluación, habiéndose adoptado en diversos campos de las políticas públicas y cooperación al desarrollo en Estados Unidos y otros países (Fetterman, 1998; Fetterman et al., 1996, Fetterman, 2000).
El trabajo de Zimmerman sobre la teoría para el fortalecimiento (empowerment theory) proporcionó un marco teórico para la EE (Zimmerman & Rappaport, 1988; Zimmerman et al., 1992; Dunst et al., 1992). Para definir una teoría para el fortalecimiento es necesaria una distinción entre los procesos y los resultados. Los procesos para el fortalecimiento (empowering processes) ayudan a la población en el desarrollo de habilidades que la hacen independiente de los responsables de la toma de decisiones. Los resultados (empowered outcomes) se refieren al buen funcionamiento del proceso de forma que podamos ver sus consecuencias (Zimmerman, 2000).
La idea original nació durante la preparación del libro Speaking the Language of Power: Communication, Collaboration, and Advocacy (Fetterman, 1993). Esta idea surgió de la confluencia de diversas fuentes: la psicología (Rappaport, 1987), la antropología (Tax, 1958), la evaluación participativa (Choudhary & Tandom, 1988; Oja & Smulyan, 1869; Papineau & Kiely, 1994; Reason, 1988; Shapiro, 1988; Stull & Schensul, 1987; Whitmore, 1990; White, 1990), la planificación (Friedmann, 1981, 1992) y el proceso mismo de investigación. El proceso de la EE es muy similar a este último, ambos están orientados a la mejora y requieren ciclos de reflexión y acción[1]. Otra gran influencia en el desarrollo de la EE fue el movimiento de reforma nacional de la educación que tuvo lugar en Estados Unidos en los años 80. Éste llevó al diseño de una evaluación adecuada para la mejora de todos los colectivos relacionados con la educación: órganos de gestión, profesorado, alumnado y padres (Fetterman & Haertel, 1990).
La EE se centra en el fortalecimiento del proceso y los resultados (Fetterman, 1998). Es fundamentalmente un proceso democrático. Toda la comunidad – no un solo individuo, un evaluador externo o un gestor interno – es responsable del proceso de evaluación. Quizás lo que más distinga el discurso de la EE más claramente de otros enfoques es su reconocimiento y profundo respeto a la capacidad de la gente para crear conocimiento y generar soluciones a partir de su propia experiencia (Fetterman, 1998; Patton, 2005; Scriven, 2005).
Aunque hay grandes diferencias como el objetivo último. En la empowerment evaluation es la autodeterminación lo que implica colaboración. Sin embargo el proceso de investigación puede ser individual.
Figura II-106: Ciclos del Empowerment Evaluation.
Fuente: Elaboración propia a partir de Fetterman & Eiler, 2001
La EE no es más que el uso de los conceptos, técnicas y hallazgos de la evaluación para fomentar la mejora y autodeterminación (Fetterman, 1998). Autodeterminación entendida como la capacidad para decidir nuestro propio futuro. Aunque puede ser aplicado a los individuos, organizaciones, comunidades, sociedades y culturas el acento lo suele poner en el diseño de la programación. Fue diseñado para ayudar a las personas en la mejora de sus programas con el uso de la autoevaluación y la reflexión. Los participantes en un programa conducen sus propias evaluaciones y el experto evaluador se convierte en un facilitador.
El Empowerment Evaluation representa una forma de aprendizaje en los contextos sociales. Su base teórica y las herramientas que utiliza logra crear una cultura de organización del aprendizaje y evaluación. Se trata de un proceso cíclico de reflexión y acción (Fetterman & Eiler, 2001) donde el ciclo que caracteriza el EE está guiado por una serie de ciclos más pequeños.
El ciclo que representa el EE (señalado como ciclo del EE en la figura) subraya el recorrido del equipo desde sus pasos iniciales, en los que primero aprenden a trabajar juntos como grupo, hasta los pasos más a largo plazo que caracterizan un trabajo maduro y productivo de una comunidad que aprende. Los ciclos pequeños (en el interior del ciclo del EE en la figura) representan el funcionamiento del EE y caracterizan la naturaleza progresiva del proceso, constituido por continuos ciclos de reflexión y acción que dependen unos de otros.
En esencia, el ciclo del EE representa el proceso por el cual la evaluación se convierte en parte de la normal planificación y gestión del programa. El primer ciclo pequeño (arriba en la figura) suele consistir en un trabajo en equipo donde todos quedan de acuerdo en establecer una misión y objetivos comunes. El segundo supone la revisión de estrategias específicas, el tercero supone una revisión de objetivos y estrategias de acuerdo a la nueva situación y conocimientos generados, y el cuarto y quinto suponen una profundización de lo hecho hasta el momento y una reflexión sobre el cómo se está aprendiendo. Todo este proceso se lleva a cabo en tres pasos:
- El primer paso es establecer la misión o visión sobre el programa. Es la construcción de una comunidad y una cultura con un enfoque común, compartiendo significados y modos de ver.
- El segundo paso es el inventariado, la identificación y priorización de las actividades más destacadas del programa. Posteriormente, el personal del programa y todos los participantes valoran como el programa está haciendo cada una de ellas (típicamente por medio de una escala de 1 a 10) y discuten esta valoración. Esto ayuda a determinar donde se encuentra el programa, incluyendo fortalezas y debilidades.
El tercer paso supone planear el futuro. El grupo establece objetivos y estrategias para alcanzar sus propósitos. Los objetivos ayudan a los miembros del programa y participantes a determinar a dónde quieren ir y en qué quieren mejorar el programa. Las estrategias les ayudan a llevar a cabo los objetivos fijados.
About Carlos Plaza
4. Claves para ser un buen facilitador de talleres grupales
A la hora de diseñar un taller de evaluación, independientemente del enfoque de evaluación participativa adoptado, hemos de plantearnos las siguientes cuestiones: A quién invitar, buscando siempre la máxima inclusión posible; cómo llevarlo a cabo en cuanto a preguntas a formular y herramientas a utilizar; dónde realizarlo; y cuándo. Es importante no tratar de conseguir demasiada información demasiado rápido, la participación lleva su tiempo, aunque también conviene maximizar tiempos para llegar a plantear todas las preguntas necesarias. Tampoco conviene utilizar demasiadas técnicas participativas en detrimento de los verdaderos objetivos del taller y la evaluación.
Antes de comenzar cualquier actividad en el un taller participativo es importante asegurarse de que el grupo está preparado para esa actividad, de que la actividad fortalecerá las relaciones en el grupo y beneficiará a la evaluación que estamos realizando. Una vez decididas las actividades a realizar es importante establecer unas mínimas normas de funcionamiento. Puenden decirse frases como: “No estamos aquí para estar de acuerdo en todo”; “toda opinión es válida y debemos respetar todas las opiniones”; “no queremos que nadie monopolice la discusión”; “hablar de uno en uno”.
A lo largo del taller es necesario formentar el interés y la comunicación, ser capaz de improvisar cuando se vea necesario, saber escuchar a lo que se dice y no se dice (tono, ambiente, lenguaje corporal…) y ser consciente de los propios prejuicios. El papel del evaluador como facilitador consiste más en formular buenas preguntas que en dar respuestas, preguntas que sean abiertas y puedan provocar desacuerdo. Aunque en este caso es necesario saber manejar los conflictos que puedan generarse, cuidar que la gente más tímida participa y la gente más participativa no acapara el tiempo. En definitiva se trata de generar un ambiente en el que todos participan.
About Carlos Plaza
El papel del evaluador en la evaluación participativa
A lo largo del proceso de evaluación participativa se crean vínculos, una relación estrecha, entre el evaluador y los implicados en el programa objeto de la evaluación. A través de estos vínculos, la experiencia del evaluador puede enriquecer el proceso si se utiliza de forma adecuada. No se trata de imponer esa experiencia sino de compartirla, analizar muy bien cuál debe ser su papel, y entender que la toma de decisiones en los trabajos de evaluación puede variar a lo largo del proceso.
El papel del evaluador ha sido descrito como: facilitador, educador, consultor, consejero (Morabito, 2002); colaborador (Patton, 1997); amigo crítico (Rallis and Rossman, 2000); intérprete y mediador. Cada uno de estos términos añade algo a la implicación del evaluador en el proceso de evaluación. La cuestión es entonces averiguar cuáles son los papeles que el evaluador puede tomar en la evaluación participativa. Éstos pueden resumirse en dos:
- Evaluador, que hace referencia a su profesionalidad y provee a su trabajo de la credibilidad necesaria. Se trata de un papel en el que lo importante es cumplir los requisitos del que encarga la evaluación y llegar a producir resultados creíbles de evaluación.
- Facilitador, que hace referencia a la construcción de capacidades (especialmente capacidades de evaluación interna) entre los participantes en la evaluación. Se incluye aquí el papel de educadores, colaboradores, amigos críticos o consejeros a través, principalemente, del proceso de evaluación.
El papel del evaluador en los diferentes enfoques participativos de evaluación.
En el gráfico podemos ver cómo el papel del evaluador puede ir de ser el director absoluto de la evaluación, a ser un simple facilitador en una evaluación dirigida por los participantes. En el eje de ordenadas vertical está representado en nivel de implicación en la toma de decisiones tanto del evaluador como de los participantes (líneas inclinadas que se cruzan a la mitad); en el eje de abcisas horizontal están representados los diferentes enfoques de evaluación participativa.
En los enfoques participativos en el extremo izquierdo de la gráfica (implicación del evaluador mayor que la de los participantes en la toma de decisiones) las evaluaciones son dirigidas por los evaluadores que solo usan de la participación para extraer información que resulte útil y práctica para la toma de decisiones. En los enfoques participativos en el extremo derecho de la gráfica el punto de vista es más transformador y se tiende a que sean los participantes los que toman las decisiones en las actividades de evaluación, relegando al evaluador a un papel de facilitador del proceso. Muchos evaluadores piensan que nunca debería pasarse de la mitad de la gráfica para la derecha, pues se piensa que los evaluadores han de dirigir siempre la evaluación.
About Carlos Plaza
Origen y principios de la evaluación participativa
Pueden distinguirse dos desarrollos distintos de la evaluación participativa: la evaluación participativa práctica (practical participatory evaluation) y la evaluación participativa transformadora (trasnformative participatory evaluation) (Cousins & Whitmore, 1998). Ambos enfoques comparten algunas características como es el fomento de la participación en la evaluación y el desarrollo de destrezas a través de la investigación. Al mismo tiempo, las dos tradiciones se han desarrollado en regiones muy distintas y presentan grandes diferencias, un ejemplo de cómo la cultura influencia el desarrollo y práctica de la evaluación. Siguiendo el análisis hecho por Cousins y Whitmore tenemos que:
- La evaluación participativa práctica surgió en los Estados Unidos, Reino Unido, Canadá, Noruega y Suecia, reflejando la importancia de la investigación en ciencias sociales de estos países. Una evaluación participativa que busca la implicación de las personas que tienen intereses creados en los resultados de evaluación, patrocinadores, gestores y todos los que están implicados en la toma de decisiones.
- La evaluación participativa transformadora surge en Latinoamérica, India y África reflejando la cultura y las condiciones sociales de estos países. Un enfoque que busca la implicación de todos los afectados, incluyendo a los que menos poder tienen, su fortalecimiento y adquisición de capacidades a través del proceso de evaluación.
Esto no quiere decir que podamos simplificar el mundo de la participación en la evaluación en dos corrientes homogéneas, pues algo que caracteriza a este mundo es que se ha ido enriqueciendo enormemente y actualmente abarca un amplio abanico de metodologías. Se habla de evaluación participativa, colaborativa y empoderadora, términos en ocasiones sujetos a diversas interpretaciones, que varían en función de quién utilice el término y del tipo de participación que se persiga, que puede ir desde una participación meramente de escaparate hasta una participación con peso que transforme las relaciones de poder existentes. En cualquier caso estamos hablando de metologías que involucran en las actividades de evaluación al personal del programa y a los grupos de interés afectados por él.
En un esfuerzo por describir un conjunto de principios integradores de este tipo de enfoques, una especie de filosofía subyacente que constituya su esencia, podemos señalar al menos los siguientes:
- Principio de participación: Este principio constituye el pilar esencial y se traduce en la participación de los implicados en alguna o en todas las fases del proceso de evaluación. En particular, se suele poner énfasis en la inclusión de los destinatarios últimos de una intervención, tradicionalmente marginados en la evaluación o, en el mejor de los casos, utilizados como meros proveedores de información. Dentro de este principio, conviene señalar los enfoques que defienden que la población y beneficiarios pueden hacer más que proporcionar información. Ellos también pueden decidir, analizar los hallazgos y en general participar en otras fases de la evaluación. En este tipo de enfoques el evaluador se convierte más bien en un facilitador que anima talleres de trabajo, guia el proceso en las coyunturas críticas y consolida el informe final, si es necesario, basado en los hallazgos de la población.
- Principio de aprendizaje: La participación en la evaluación constituye un proceso de aprendizaje entre todos los participantes, que se traduce en la construcción de capacidades locales (principalmente de evaluación) y el fortalecimiento institucional. Los conocimientos y los recursos locales ya existentes son la base de la que parte este proceso, que crea las condiciones necesarias en los participantes para la transformación de la realidad y la consecución de un desarrollo más participativo.
- Principio de negociación: La participación en la evaluación pone en marcha un proceso social y político de negociación entre los participantes. Social, puesto que articula la diversidad de percepciones, necesidades y demandas, desarrollando empatía entre los grupos. Político, por el trasfondo de transformación de las relaciones de poder que subyace en el proceso, hacia la búsqueda de un mayor equilibrio en este ámbito.
- Principio de flexibilidad: En ocasiones se dice que existen tantos modelos participativos como contextos donde se aplican dando lugar a una especificidad en función del contexto donde se desarrolle. No existe una receta metodológica o de procedimiento que pueda ser aplicada con éxito en cualquier circunstancia. Este aspecto resalta la importancia de la selección de métodos culturalmente adaptados a sus contextos locales de aplicación. En definitiva la participación supone un proceso dinámico y flexible, en continua adaptación a las necesidades y circunstancias locales, lo que pone de manifiesto su carácter empírico y eminentemente práctico.
Referencias citadas:
Cousins, J. B., & Whitmore, E. (1998). Framing participatory evaluation. En E. Whitmore (Ed.), Understanding and practicing participating evaluation (pp. 5–23). New Directions for Evaluation, No. 80. San Francisco: Jossey-Bass.
About Carlos Plaza
La participación en la evaluación
Los enfoques participativos incrementan el pluralismo democrático en la evaluación al permitir la implicación de la población afectada. Se trata de propuestas que proceden en muchos casos de organizaciones y experiencias en la cooperación al desarrollo. Las primeras experiencias de participación en la evaluación datan de los años setenta. Sin embargo, no es hasta la década de los ochenta cuando comienza su sistematización y difusión en el ámbito del desarrollo, a través de la realización de talleres, la presentación de estudios de caso y la publicación de todo tipo de materiales. Desde entonces, especialmente en la segunda mitad de los años 90, ha sufrido un crecimiento vertiginoso en el mundo de la evaluación.
About Carlos Plaza
47. Complementación de enfoques metodológicos (mix-methods): En busca de fórmulas adecuadas
En el mundo de la evaluación no existen fórmulas mágicas para dar con los enfoques de evaluación más adecuados a cada circunstancia, pero pueden darse una serie de indicaciones a modo de conclusión que ayuden a la elección de las fórmulas más adecuadas posibles en cada una de las etapas de un sistema completo de seguimiento y evaluación, desde la evaluación previa a la final, pasando por el seguimiento y evaluación intermedia.
Complementación de enfoques en el diseño del seguimiento y la evaluación
En general estas indicaciones inciden en la conveniencia de entender las ventajas y desventajas de cada enfoque y sentirse con la libertad de combinarlos para buscar su complementariedad metodológica, y dar una respuesta flexible y lo más acertada posible a cada una de las circunstancias, más o menos complejas, que en cada caso toque analizar.
Etapa de diseño
La evaluación previa se encuentra unida intrínsecamente al proceso de diseño de la programación y es aconsejable plantear su participación en la combinación de enfoques top-down y bottom-up con el que conviene realizar este diseño. Ya vimos como esta combinación podía establecerse a través de la participación social que haría las veces de engranaje entre uno y otro enfoque.
Por otro lado, independientemente de la actividad programadora, este primer ejercicio de evaluación conviene que integre la evaluación por objetivos (los propios de este tipo de evaluación) con la evaluación del proceso de manera que se vaya enriqueciendo la actividad evaluadora con la experiencia que se vaya adquiriendo.
Pueden ser dos, por tanto, los mecanismos que aseguren una buena adaptación de las actividades de evaluación a través del aprendizaje: la combinación top-down – bottom-up y la combinación evaluación por objetivos – por procesos. Esta incorporación de la experiencia adquirida se realiza a su vez mediante una combinación de los enfoques cuantitativo y cualitativo que permita integrar todo tipo de información que se obtenga. El objetivo es perfilar los objetivos y los procesos de la evaluación previa de manera que se adecuen en todo momento a los requerimientos de la programación que se está diseñando.
Etapa de ejecución
La actividad de seguimiento una vez se inicia la etapa de ejecución del programa, es conveniente plantearse que integre el seguimiento detallado con el seguimiento de procesos. Este enfoque permite que el sistema diseñado para el seguimiento pueda ir enriqueciéndose con la experiencia que vaya surgiendo en el transcurso del programa. La fuente de esta experiencia la tendrá que constituir la integración de otros dos enfoques, el cuantitativo y cualitativo. De este modo, el sistema de seguimiento asegura la incorporación de todo tipo de información que pueda dar pistas para una mejor adecuación del seguimiento.
Diseño de un enfoque adecuado para el seguimiento y evaluación del desarrollo
También durante la etapa de ejecución se realiza, si es el caso, la evaluación intermedia con el objetivo fundamental de verificar la correcta aplicación del programa. Este objetivo y los medios para conseguirlo es conveniente que se perfilen mediante la complementación de la evaluación por objetivos con la evaluación de procesos. La incorporación de las enseñanzas que vayan surgiendo facilita una adecuada concepción de esta evaluación a mitad de período.
Como objetivo de la evaluación intermedia se encuentra también hacer una primera estimación de los resultados que se están obteniendo con el programa. Para realizar esta estimación se aconseja acudir a la combinación de enfoques top-down y bottom-up. Toda una serie de aproximaciones sucesivas a la realidad de lo sucedido, la incorporación de las aportaciones de los principales protagonistas y una acertada combinación de los enfoques cuantitativo y cualitativo que permita la incorporación del aprendizaje, pueden facilitar una buena estimación de los resultados conseguidos.
Etapa de terminación
Ya en la etapa de terminación del programa se realiza su evaluación final. Se aconseja aquí lo mismo que para la evaluación intermedia aunque más centrado en los resultados e impacto del programa. Se trata de los dos grandes ejercicios especiales de evaluación que de alguna manera han de condensar las enseñanzas que se puedan derivar de la implementación de un programa. Estas enseñanzas son continuas y el enfoque metodológico diseñado trata de que su incorporación sea lo más inmediata posible.
Esto no impide, sin embargo, que la mayor profundidad de análisis y esfuerzo realizado en estos ejercicios de evaluación, saquen a la luz nuevas enseñanzas o descubran la manera de integrar algunas de las ya extraídas. En cualquier caso siempre han de constituir un punto de referencia para la continuación del programa o el inicio de un nuevo ciclo de programación.
