Inicio » La participación en la evaluación
Archivos de la categoría: La participación en la evaluación
Desarrollo de capacidades de evaluación (Evaluation Capacity Building)
Autores: @aleshernandez y @Cecilia.davila
El Desarrollo de Capacidades de Evaluación (ECB por sus siglas en inglés: Evaluation Capacity Building) es un enfoque que surgió en las últimas décadas del siglo XX en los Estados Unidos y ganó fuerza mundialmente a principios del XXI (Preskill & Boyle, 2008). En el ámbito profesional, el ECB ha sido diseminado y adaptado en diferentes campos como, por ejemplo, en el de la ayuda técnica y la cooperación al desarrollo (Horton, 2008). El ECB surge de la mano del Desarrollo de Capacidades o Capacity Building, que es un enfoque que busca fortalecer a las organizaciones desde la valoración continua de los procesos que conducen a alcanzar objetivos para el desarrollo. Es un enfoque con base sistémica que se ha centrado en promover sistemas de gobernanza sostenibles basados en la transparencia y la cultura del desempeño organizacional efectivo. El objetivo es mejorar la gestión y formulación de políticas, además de optimizar los procesos de rendición de cuentas a través del apoyo a la creación o fortalecimiento de los sistemas de monitoreo y evaluación (Zaltsman, 2006).
¿Qué es “Evaluation Capacity Building” ?
El ECB es, primeramente, un proceso dinámico, complejo y contextual (Suarez-Balcazar & Taylor-Ritzler, 2013). Además, es un trabajo intencional que implica el diseño y la implementación de estrategias de aprendizaje y enseñanza con el objetivo de facilitar tanto a individuos, como a grupos u organizaciones, el aprender acerca de lo que constituye una práctica de evaluación efectiva, útil y profesional. Para que el ECB sea una práctica sostenible, es necesario que las organizaciones desarrollen sistemas, procesos, políticas y planes que les permitan alcanzar su misión u objetivos estratégicos. Asimismo, el ECB necesita que sus participantes sean provistos de liderazgo, incentivos, recursos y oportunidades de transferir el aprendizaje acerca de la evaluación a su práctica profesional diaria (Preskill & Boyle, 2008).
A diferencia de los enfoques tradicionales ─lineares, verticales y externos─ de evaluación para el desarrollo, el ECB plantea una práctica continua, cíclica, participativa e interna (no excluye la posibilidad de agentes externos para el proceso de evaluación) que implica generar capacidades adaptativas dentro las organizaciones. Este tipo de práctica permite reconocer las circunstancias que cambian durante las intervenciones de desarrollo y la capacidad organizacional de responder eficaz y efectivamente frente a ellas (Horton, 2008) (Preskill & Boyle, 2008). El ECB es un ciclo constante de aprendizaje que comienza por la planificación, seguido de la colecta de datos para generar información que conduzca al análisis y a la reflexión para, a continuación, decidir qué acciones tomar para mejorar la efectividad y los impactos de la intervención de desarrollo en un punto determinado y, finalmente, comenzar nuevamente con un objetivo distinto (Grantmakers for Effective Organizations, 2011).
Por tratarse de un enfoque que valora lo contextual, no hay una “receta” establecida para el ECB. Se trata, por el contrario, de estimular a las organizaciones a idear formas de planificar y llevar a cabo procesos de evaluación de capacidades que se correspondan con sus objetivos y con los recursos y la capacidad de gestión para alcanzar los mismos (Horton, 2008). Dentro de una organización, el ECB surge por una motivación específica que opera bajo ciertos supuestos sobre lo que es evaluación y desarrollo de capacidades, y que, además, tiene ciertas expectativas de lo que se quiere alcanzar a través de la ejecución del proceso (Preskill & Boyle, 2008).
Un buen diseño de ECB no basta para garantizar el éxito del mismo, existe una variedad de factores que pueden convertirse en obstáculos como, por ejemplo, el tiempo, la experticia del facilitador y su efectividad, la frecuencia y calidad de la participación, y la medida en que la actividad es implementada. La idea es aplicar el conocimiento de la evaluación, las habilidades y competencias, y las actitudes al contexto del trabajo, es decir, que haya una transferencia de conocimiento generado por el proceso de evaluación. La transferencia de conocimiento es, por lo tanto, el factor clave para la sostenibilidad del ECB (Preskill & Boyle, 2008).
A nivel de herramientas es necesario aplicar aquellas que desarrollen capacidades que conduzcan al pensamiento evaluativo y que, además, promuevan el involucramiento y participación activa de los participantes en el proceso de ECB.
¿Para qué sirve el “Evaluation Capacity Building” ?
El proceso de ECB sirve para desarrollar conocimiento, habilidades, competencias y actitudes evaluativas a nivel individual y organizacional y así potenciar el desempeño y la efectividad de las intervenciones en el campo del desarrollo (Preskill & Boyle, 2008). Por otro lado, el ECB sirve para articular esfuerzos dentro de una organización, fomentando el trabajo colaborativo, el involucramiento y la participación activa de los individuos o grupos de trabajo de la misma. Además, genera procesos de reflexión continuos que conducen al aprendizaje individual y organizacional y a cómo mejorar los sistemas de adquisición de información y su respectivo análisis.
A nivel de promotores, el ECB permite que se identifique lo que “funciona bien” y el porqué de ello, además de evaluar cuán preparada está una organización para la planificación y la implementación del proceso de potenciamiento (Grantmakers for Effective Organizations, 2011). Potenciar en este caso, se entiende como el proceso que conduce al desempeño eficiente de las organizaciones y que está centrado en el desarrollo de capacidades y en el aprendizaje continuo.
¿Cómo desarrollar un proceso de ECB?
Siendo un proceso eminentemente práctico, el ECB implica la realización de actividades dirigidas a crear, fortalecer y sostener capacidades de evaluación. Estas actividades pueden llevarse a cabo a través de capacitaciones, asistencia técnica, tutorías, coaching, desarrollo e intercambio de documentación, apoyo a grupos de trabajo y aprendizaje y promoción de un ambiente favorable a la evaluación, para lo cual, la persona o equipo facilitador debe adoptar diferentes roles (University of Wisconsin-Extension, Cooperative Extension, 2008).
El ECB relaciona entre sí tanto los diferentes niveles dentro de una organización (individual, equipo o programa, organización) como los principales actores, que en el caso de proyectos de desarrollo son la propia organización y sus partes implicadas, la entidad financiadora y la persona o equipo externo de evaluación y capacitación. La primera distribución implica que el incremento de las capacidades de evaluación personales contribuye a la mejora del funcionamiento de los programas y a la obtención de mejores resultados de la organización; a su vez, este proceso se ve facilitado si la organización promueve la cultura de la evaluación y pone los medios para llevarla a cabo (Labin, 2014). La segunda clasificación se refiere a la conveniencia de crear una “comunidad de aprendizaje” entre los diferentes actores.
Cada vez se trabaja más en la elaboración de marcos teóricos para explicar la enseñanza y aprendizaje de capacidades de evaluación, principalmente en términos de aprendizaje para adultos y aprendizaje transformativo. Parece haber un consenso a la hora de expresar la necesidad de integrar la ciencia y la investigación con la práctica en una relación estrecha y congruente para fomentar la retroalimentación mutua (Suarez-Balcazar & Taylor-Ritzler, 2013).
Aunque todavía queda un largo recorrido para fundamentar de forma consistente y con bases empíricas estos intentos, ya se han empezado a proponer modelos, como el que se explica en el artículo “A Multidisciplinary Model of Evaluation Capacity Building” (Preskill & Boyle, 2008), cuya finalidad es describir un modelo de ECB que sea útil para diseñar e implementar actividades y procesos de desarrollo de capacidades y como soporte a la investigación empírica.
El IECB o Integrated ECB Model es una compilación hecha a través de la integración de conceptos preexistentes y literatura empírica sobre el ECB y las herramientas identificadas durante su investigación. Se expresa de una forma lineal (no iterativa) y bidimensional, relacionando las necesidades con las estrategias a implementar y supeditando la efectividad de las mismas a las capacidades de evaluación y a disposición a la misma de la organización (Labin, 2014).
Un paso previo al inicio, o más bien el inicio del ECB, es valorar la preparación o disposición (readiness en inglés) de la organización para implementar el proceso de evaluación de forma satisfactoria. Se basa principalmente en la respuesta a las preguntas: ¿Qué prácticas de evaluación se están llevando a cabo actualmente? y ¿cuál es la capacidad de evaluación? Varios factores componen la preparación para la evaluación, a saber, liderazgo, apoyo a la evaluación, cultura de la organización para la orientación al aprendizaje y mejora, capacidades de evaluación, experiencia y recursos (Morariu, 2012). En este artículo, se propone un test para llevar a cabo esta valoración, inspirado en parte en una lista de verificación para la construcción de capacidades de evaluación en las organizaciones presentada como “A Checklist for Building Organizational Evaluation Capacity” (Volkov & King, 2007), basado en casos de estudio y revisión bibliográfica.
La disposición y preparación de la organización para el ECB está directamente relacionada tanto con los resultados del proceso (Labin, 2014), como con el reparto de las responsabilidades que requiere la evaluación entre la organización y el equipo de evaluación y capacitación externo, lo que se denomina el “evaluative learning continuum” (York, 2003).
¿Cómo medir la evolución del proceso?
Este punto es un tema candente, ya que aunque se han hecho esfuerzos por sentar las bases teóricas del ECB y reconocer su potencial, no está clara todavía la forma de medir la evolución y el impacto del mismo en los factores contextuales y culturales (Suarez-Balcazar & Taylor-Ritzler, 2013).
Además del checklist anterior y otros tests, se han propuesto instrumentos más elaborados para valorar la capacidad de evaluación y su progreso, como el ECAI o Evaluation Capacity Assessment Instrument; ésta es una herramienta para medir la capacidad de evaluación del personal de organizaciones sin ánimo de lucro diseñada como modelo de síntesis. Se detalla e intenta validar en el artículo “Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study” (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Consideraciones finales
El enfoque del ECB es algo relativamente reciente pero el interés que suscita tanto en organizaciones como en entidades financiadoras y equipos evaluadores continúa creciendo a una gran ritmo (Wandersman, 2014).
No obstante, queda un largo camino por recorrer principalmente en dos sentidos. El primero es el de integrar definitivamente en la investigación la ciencia y la práctica, en una relación bidireccional y complementaria (Suarez-Balcazar & Taylor-Ritzler, 2013). El segundo es el de reforzar los modelos existentes, validando los que no lo estén y aplicando a muestras más grandes los que sí que lo están (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Finalmente, cabe remarcar que a pesar de que el ECB promulga procesos más participativos y centrados en el aprendizaje y en el desarrollo de capacidades individuales y organizacionales, la razón fundamental de su aplicación y el objetivo principal de la investigación que lo rodea es el de mejorar los resultados de la organización (Suarez-Balcazar & Taylor-Ritzler, 2013).
Bibliografía:
Grantmakers for Effective Organizations. (2011). Scaling What Works. Recuperado el 29 de October de 2015, de http://www.socialimpactexchange.org/sites/www.socialimpactexchange.org/files/GEO_SWW_HowDoWeApproachImpactandEval.pdf
Horton, D. (September de 2008). international Center of tropical Agriculture. Recuperado el 20 de October de 2015, de http://preval.org/files/texto_completo.pdf
Labin, S. N. (2014). Developing Common Measures in Evaluation Capacity Building: An Iterative Science and Practice Process. American Journal of Evaluation, Vol. 35(1) 107-115.
Morariu, J. (2012). Readiness for Evaluation and Learning: Assessing Grantmaker and Grantee Capacity. Innovation Network.
Preskill, H., & Boyle, S. (2008). American Journal of Evaluation. Recuperado el 19 de October de 2015, de http://www.unm.edu/~marivera/522%20readings%203/Multidisciplinary%20model%20of%20evaluation%20capacity%20building.pdf
Suarez-Balcazar, Y., & Taylor-Ritzler, T. (15 de August de 2013). American Journal of Evaluation. Recuperado el 30 de October de 2015, de http://aje.sagepub.com/content/35/1/95.full.pdf+html
Taylor-Ritzler, T., Suarez-Balcazar, Y., Garcia-Iriarte, E., Henry, D. B., & Balcazar, F. E. (2013). Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study. American Journal of Evaluation, 34(2), 190-206.
University of Wisconsin-Extension, Cooperative Extension. (2008). Building Capacity in Evaluating Outcomes. Madison: University of Wisconsin-Extension, Cooperative Extension, Program Development and Evaluation.
Volkov, B. B., & King, J. A. (2007). A Checklist for Building Organizational Evaluation Capacity. Obtenido de https://www.wmich.edu/sites/default/files/attachments/u350/2014/organiziationevalcapacity.pdf
Wandersman, A. (2014). Moving Forward With the Science and Practice of Evaluation Capacity Building (ECB) The Why, How, What, and Outcomes of ECB. American Journal of Evaluation, 35(1), 87-89.
York, P. J. (2003). Learning As We Go: Making Evaluation Work for Everyone. A Briefing Paper for Funders and Nonprofits. TCC Group.
Zaltsman, A. (May de 2006). Independent Evaluation Group. Recuperado el 29 de octubre de 2015, de Desarrollo de la capacidad de evaluación, Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: http://ieg.worldbank.org/Data/reports/ecd_wp16_spanish.pdf
9. 5 pasos para implicar a la población
En los procesos de evaluación de proyectos, programas o políticas existen diversas técnicas y herramientas que pueden ser aplicadas según los enfoques con los que sean abordadas. Con el transcurso del tiempo, dentro de los procesos evaluativos, se ha incrementado la necesidad de involucrar de forma más activa y representativa a los agentes involucrados de tal forma que los resultados de la evaluación sean más cercanos a las necesidades locales y se mejoren los procesos de toma de decisiones.
Dentro de los principales beneficios que se obtiene al involucrar a los agentes se encuentran: mejoras más reales a los programas; mutuo aprendizaje; integración de conocimientos locales; reducción de sesgos. Además, para el grupo de agentes, se otorga una mayor oportunidad de contribuir con el programa o proyecto; mejora las líneas de comunicación con los dirigentes y le otorga un mayor acceso a los procesos de toma de decisiones, creando procesos dinámicos de aprendizaje e innovación.
Es por esta razón, que esta guía presenta una estrategia muy básica de 5 principales pasos para ser tomados en consideración al momento de involucrar a los agentes implicados en la evaluación. Además, se exponen 3 herramientas de aplicación básicas que pueden ser adaptadas a los diferentes proyectos o programas, según las necesidades de cada uno. La guía busca ser un modelo para la orientación de las actividades de evaluación, incrementando el valor y utilidad de sus resultados, porque es de vital importancia permitirles ser parte de este proceso constructivo de evaluación.
Objetivos
Proporcionar a los evaluadores una guía para el proceso de participación de los agentes implicados, que son aquellos que tienen una participación o interés en el programa, la política, o la iniciativa a ser evaluada.
Estrategia
La estrategia reúne 5 pasos básicos y continuos que permitirán un desarrollo más adecuado de los procesos participativos. A continuación se van a presentar cada una de las 5 reglas.
1. Preparación
Tienes que conocer todo el plan, programa o iniciativa:
¿Para qué?
Si quieres participación activa de tus agentes implicados más importantes, necesitas comprender todo el programa así tendrás un panorama amplio del ¿cómo, por qué, cuándo y dónde? de los resultados del programa.
Tienes que contestar estas preguntas:
- ¿Por qué el programa existe?
- ¿Cuáles son los recursos monetarios asignados al programa o iniciativa?
- ¿Cuáles eran los objetivos y resultados esperados a corto y largo plazo?
- ¿Cuáles fueron las actividades realizadas para alcanzar las metas?
- ¿Qué resultados del programa o iniciativa se lograron?
- ¿Quiénes son los agentes implicados externos e internos al programa que afectaron o influyen en el diseño e implementación del programa?
Ahora, ¿Cómo harás esto?
- Busca información sobre el programa o iniciativa de subvención documentos, informes de mesa, artículos de investigación (por ejemplo, el modelo lógico del programa)
- Si no existen tales documentos, hablar con dos o tres personas que tienen alguna responsabilidad, experiencia o conocimientos históricos dentro del programa o iniciativa.
- Lleva un registro sistemático de los conocidos o referentes con su respectivo grado de afiliación con el programa. Este archivo es muy valioso, así se aprovechan las relaciones y conexiones entre la gente que se está conociendo para el momento de la evaluación
Recopila características de los agentes implicados bien sean individuales, grupales o de la organización, datos como áreas de experiencia, ubicación geográfica y profesional afiliaciones dentro de su red. Esta información permitirá determinar si sus actores representan experiencias particulares, perspectivas o si es el financista
Recuerda construir relaciones de afecto con los agentes implicados es una excelente inversión de tiempo y energía. Mientras más larga sea la que se tiene, más opciones tendrás de incluir un conjunto diverso de puntos de vista y experiencias en la evaluación.
Y cuantas más perspectivas se llegan a considerar, más robusta e inclusivas son sus preguntas resultantes.
2. Identificación
El equipo evaluador debe tener claro el por qué se necesita involucrar a los agentes implicados en el proyecto. A continuación en la siguiente tabla se presentan los principales beneficios que le trae tanto a los agentes involucrados como al equipo evaluador, la participación de los agentes en el proceso de evaluación.
Tabla 1 Beneficios de los procesos participativos
Se debe establecer una lista de los principales agentes involucrados, enlistar aquellos que hayan sido incluidos en el programa, aquellos que tienen poder de decisión en el programa y aquellos que han sido afectados por el programa sin haber sido contemplados. Para la realización de esta tarea, se puede guiar con las siguientes preguntas:
- ¿Quién es responsable del proyecto o una política más amplia?
- ¿Qué personas o grupos tienen una participación o un interés en el tema?
- ¿Quién es influyente en el campo de la política?
- ¿Quién toma las decisiones?
- ¿Quién puede influir en las decisiones?
- ¿Quiénes potencialmente se verán afectados por los resultados?
- ¿Quién va a aportar recursos?
- ¿Quién puede detener el proyecto?
- ¿Quién está excluido y no siempre se han considerado?
Se debe considerar que los diversos agentes tendrán diferentes niveles de participación en el proceso evaluativo, por lo que se debe considerar los principales niveles de participación que se encuentran detallados en la siguiente figura.
Figura 1.- Niveles de participación
Para realizar el análisis respectivo del nivel de participación de los agentes implicados, se debe entender propiamente su relación con el programa y tener en consideración su interés e influencia en el programa. Para esto, se puede utilizar la siguiente matriz (Figura 2) que permite ubicar los diferentes niveles de influencia versus los niveles de interés, ubicando de esta forma la participación que se debe considerar para el proceso de evaluación.
El análisis puede apoyarse en las siguientes preguntas básicas:
- ¿Qué participación o interés tiene el de los interesados en la política, proyecto o servicio?
- ¿Cómo va a la parte interesada verse afectado por la política o proyecto?
- ¿Qué influencia tiene las partes interesadas en relación con la política, proyecto o servicio?
Figura 2.- Matriz de análisis de nivel de participación de agentes implicados
3. Quiénes son prioritarios
Recuerda que tienes que hacer una lista de aquellos agentes que son prioritarios en tu proceso de evaluación, no todos van a tener el mismo grado de implicación en el proyecto, por lo que a medida que conoces a estos agentes puedes distinguir aquellos que harán más falta en tu proceso de evaluación.
Todos tendrán puntos de vista diferentes por lo que es necesario discernir cuales son los que aportar material para el proyecto y cuáles no.
- Anota todos los puntos de vista de los diferentes agentes implicados, y luego de ello determina ¿qué tan importante es incluir sus puntos de vista?
- Si no estás seguro de cuales son aquellos que deben ir de primero, busca a un personaje que observe el objetivo del proyecto desde otro punto de vista, no te preocupes, siempre hay alguien que lo observa desde otra perspectiva y ese te ayudará a ver el proyecto con otras gafas.
- Y recuerda NO divulgar tu lista de agentes implicados prioritarios, esto puede generar problemas entre los participantes de las evaluaciones.
Figura 3: Esquema de relación de las contribuciones de los agentes implicados en los procesos de formulación de preguntas de evaluación y hallazgos en las respuestas
4. Busca sus motivaciones
Ahora que tienes a los agentes implicados identificados y elaboraste tu lista de quienes son prioritarios, tienes que pensar e investigar las razones ¿por las qué los agentes implicados estarían motivados a participar en el proceso de evaluación?
Las razones pueden ser:
- Quieren ver que el programa sea exitoso porque desean ver cambios en su comunidad, por esta razón algunos se ven motivados a que el proceso de evaluación se realice con éxito. Consideran el proceso de evaluación como un compromiso y responsabilidad con la comunidad.
- Visión de desarrollo, algunos observan la evaluación como un proceso más que hay que transitar para lograr el desarrollo.
- Prestigio dentro de su campo de trabajo, se sienten motivados al recibir algunos reconocimientos dentro de su trabajo, grupo de acción local que los hace sentir importantes.
- Aprendizaje y red de contactos (“networking”)., muchos agentes implicados utilizan una oportunidad de evaluación de proyecto para conectarse con otras personas, empresarios, voluntarios, líderes locales que les permite obtener conocimientos y beneficios.
Recuerda en el momento de hablar con ellos identificar cuáles son sus motivaciones y los beneficios que los participantes obtendrán por participar en la evaluación, en ocasiones puede ser dinero y este factor se dará si hay un presupuesto que permita contemplar ese gasto, conocimiento en temas de evaluación o ampliar su red de contactos.
5. Selecciona una estrategia
El último paso es seleccionar una estrategia para poder comprometer a estos evaluadores a que sean colaboradores en el proceso de evaluación.
Aquí sugerimos uno criterios a considerar antes de seleccionar la estrategia
Factor a considerar |
Estrategia |
Tiempo | Considera cuanto tiempo tienes para realizar la evaluación, ya que de este dato dependerá cuanto tiempo puedes invertir en comprometer a los agentes implicados. |
Presupuesto | Considera cuanto del presupuesto asignado para la evaluación podrá ser incluido en esta fase de la metodología de evaluación. Se tienen que considerar costos de movilización, alquiler de salones, materiales, honorarios profesionales y herramientas web para encuestas y análisis de respuesta. |
Localización geográfica | Es importante mantener a los agentes implicados en un mismo espacio físico al momento de evaluar el programa. Al estar en mismo espacio físico permite generar agentes implicados. Sin embargo, todo dependerá del presupuesto, las limitaciones de tiempo, lugar de residencia, si esto no es posible una herramienta de participación virtual también se puede implementar. |
Cómo se relacionan los agentes implicados | Como ya conocemos la relación entre los agentes implicados, clasifíquelos y elabore dinámicas para que los agentes se conozcan y el proceso de evaluación sea enriquecedor. Por otro lado, si el grupo se conoce entre sí, usted puede optar por una estrategia que se construya a partir de sus experiencias en conjunto. |
Grado de complejidad del programa | Si el programa o iniciativa que se está evaluando es complejo (de varias fases), puede que se tenga que proporcionar materiales que permitan a los participantes una comprensión completa del programa. Y, cuanto más complejo sea el programa o iniciativa, probablemente se necesite más tiempo para asegurar que la mayoría entienda los que se está evaluando y alcanzar un consenso sobre hacia dónde enfocar la evaluación. |
Experiencia previa en evaluación | Es importante conocer si los agentes involucrados han participado anteriormente en los procesos de evaluación y si han sido partes activas del proceso.
Tienen poca o ninguna experiencia con la evaluación, considere guiarlos en el proceso, un poco de material de fondo, incluyendo un resumen de la evaluación como parte de su estrategia de compromiso. Realiza una tabla de evaluación en donde consideres la frecuencia a la que tu agente implicado ha participado en un proceso de evaluación. Figura 4: Escala de frecuencia de participación en las evaluaciones por parte de los agentes implicado |
Post elaborado por: Liseth Barriga, Carolina de la Torre y Gabriela Mójer.
About Carlos Plaza
14. Reflexión de conceptos etnográficos con interés para la evaluación
Existen una serie de conceptos etnográficos que pueden guiar y marca el ritmo del trabajo de campo cuando llevamos a cabo una evaluación participativa. Con la experiencia, estos conceptos se automatizan y terminar por regir la estrategia y comportamiento del evaluador. Se trata de conceptos que ayudan al evaluador menos experimentado a penetrar en la cultura y costumbres donde ha de realizar su trabajo participativo. Fetterman (2010) analiza todos los conceptos que deben tenerse en cuenta: cultura, contextualización y perspectiva holística, estudios micro y macro, perspectivas émica y ética, orientación no prejuzgadora, diversidad inter e intracultural, estructura y función, símbolo y ritual, y operatividad.
Cultura
El primero de estos conceptos es la cultura que bajo una perspectiva materialística clásica incluye patrones de comportamiento, costumbres y modos de vida; bajo una perspectiva cognoscitiva ideacional incluye ideas, creencias y conocimientos (orientado hacia el lenguaje, las definiciones de la realidad, la existencia y el significado de los símbolos).
Contextualización
La contextualización de los datos implica situar las observaciones que se hagan en una persepectiva más amplia, lo que resulta necesario para hacer una buena caracterización del mérito, valor e importancia de aquello que se observe. La interpretación de los datos está siempre condicionada por el contexto.
Perspectiva holística
Se trata de obtener una perspectiva integral y completa del grupo social o programa que se evalúa. El punto de partida es la descripción de su historia, religión, política, economía y medioambiente, de modo que se cubran todos los ángulos. Se trata de un concepto que ayuda a descubrir las interrelaciones entre los varios sistemas y subsistemas que subyacen en la comunidad o programa que es objeto de estudio.
Estudios micro y macro
La evaluación está determinada por los límites que se pongan en los estudios que se lleven a cabo. Según se marquen estos límites los estudios pueden ir del nivel micro —cuando adoptamos una visión de primer plano, detallada y cercana, del objeto de estudio— al nivel macro, cuando adoptamos una perspectiva más general.
Perspectivas émicas y éticas
La perspectiva émica es la perspectiva interna de las personas afectadas por una intervención, la perspectiva local o nativa. Se trata de una perspectiva que ayuda a entender situaciones y comportamientos, y fomenta la aceptación de múltiples realidades. La perspectiva ética es la perspectiva externa o científica de quien observa el mismo fenómeno, del que no es partícipe, desde fuera. La mayoría de los evaluadores comienzan a recoger datos desde una perspectiva émica y luego tratan de dar sentido a esos datos conjuntando la visión local con su propia persepectiva científica.
Orientación no prejuzgadora
Esta orientación requiere que el evaluador suspenda su propia valoración personal de cualquier práctica cultural. El hecho de luchar contra los propios prejucios obliga al evaluador a explorer nuevas direcciones, asegura la validez de los datos recogidos y previene la contaminación de los mismos. Es importante destacar que los evaluadores no pueden ser completamente neutrales; todos somos producto de nuestra cultura.
Diversidad inter e intracultural
Es importante sensibilizarse frente a la diversidad inter e intracultural. La primera es más fácil de observar, mientras que la segunda tiende a pasa inadverida. Se trata de un concepto imprescindible de cara a producir una visión completa de una comunidad, evitando el peligro de crear estereotipos.
Estructura y función
El concepto de estructura hace referencia a la estructura social o configuración de un determinado grupo social; el concepto de función, a las relaciones sociales entre los miembros del grupo. La mayoría de las comunidades tienen estructuras internas identificables y un conjunto de relaciones sociales estables que ayudan a regular el comportamiento. La evaluación ha de penetrar en esas redes informales e influencias que gobiernan la comunidad y entenderlas para dirigir correctamente sus estudios.
Símbolo y ritual
Símbolos son expresiones dotadas de un significado que evoca poderosos sentimientos y pensamientos. Los evaluadores han de buscar símbolos que les ayuden a entender y describir una determinada cultura. Los rituales son patrones de comportamiento simbólicos que se repiten y juegan un papel en la vida religiosa y secular de una comunidad; son como puertas abiertas que comenzar a comprender una determinada cultura. Juntos, los símbolos y los rituales, ayudan a los evaluadores a dar sentido a las observaciones al proveer de un marco que permita clasificar los comportamientos observados.
Operacionalismo
Este último concepto hace hincapié en la necesidad de definir los términos y métodos de medición empleados. Los evaluadores deben cuantificar e identificar las fuentes de información y sus formas de análisis siempre que sea posible, de forma que otros evaluadores puedan continuar el estudio, probarlo o desmentirlo.
About Carlos Plaza
Aprender a trabajar en diferentes contextos culturales
A causa de la globalización los evaluadores trabajan cada vez con más frecuencia con múltiples grupos étnicos con culturas muy diferentes. Gente de diferentes culturas pueden mostrar su diferencia de modos muy diversos: diferentes formas de ver las cosas; diferentes creencias, valores, normas, costumbres, comportamientos, conocimientos, lenguajes; o diferentes modos de expresar la personalidad o la bondad. Estas diferencias pueden causar dificultades en el trabajo de evaluación y en la interpretación de los datos recogidos a través de las técnicas participativas. Poner atención en estas diferencias culturales puede dar a un evaluador extranjero una mejor oportunidad de ser aceptado y poder hacer bien su trabajo.
Los evaluadores son tentados muchas veces por dejarse llevar por generalizaciones que llevan a recomendaciones que no siempre son apropiadas. Reconociendo la necesidad humana por crear categorías, se ha de afirmar que estos estereotipos pueden tener efectos negativos en el trabajo de evaluación, pues las generalizaciones son siempre peligrosas.
Es necesario reflexionar sobre las diferencias culturales y discutir sobre ellas, pero no hay nada mejor que la buena observación, el saber escuchar y el sentido común para saber manejarlas. Las diferencias entre culturas y razas son reales y constituyen una fuente de riqueza. Pero al mismo tiempo hay entre ellas mucho en común, cuando lo más superficial es traspasado se ve que en el fondo hay bastante en común. Algunos aspectos relacionados con la personalidad, el deseo de hacer mejor las cosas, la necesidad de participar y contribuir, son comunes a una gran cantidad de culturas. El problema es que los evaluadores han de afrontar muchas veces el aspecto más superficial y puede no haber tiempo de ahondar en estos aspectos más comunes, lo que hace de las diferencias culturales un aspecto muy importante de su trabajo de evaluación.
About Carlos Plaza
12. Adaptación de la evaluación al programa y su contexto
El S&E de un programa de desarrollo debe atender al tipo de programa de que se trata, la lógica de la programación con la que se ha diseñado, su contexto territorial, legal e institucional. A la hora de diseñar un modelo de S&E, es importante tener en cuenta este marco para conseguir una adecuada adaptación al programa y su contexto.
Adaptación del modelo de seguimiento y evaluación a su contexto.
Fuente: Elaboración propia.
La adaptación del S&E al programa ha de realizarse de acuerdo a las características específicas de los programas, por lo que es necesario un conocimiento sistemático y profundo tanto de los objetivos y estrategias como de la gestión y financiación. La adaptación al contexto territorial ha de abarcar todos los recursos —sociales, ambientales y económicos— y ha de basarse en una labor de acercamiento y participación. La adaptación al contexto legal cuenta con dos aspectos importantes, el que afecta a los programas y el que afecta a las propias actividades de S&E. En la adaptación al contexto institucional es importante tener en cuenta el control externo al que es sometido el programa por parte de una serie de instituciones más o menos implicadas en la inversión. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacerlo más transparente.
Aprendizaje adaptativo: Adaptación del S&E al programa y su contexto
Como concluimos en el segundo capítulo, es imprescindible que el modelo de S&E buscado, se adapte al tipo de programación europea y su contexto. Esta adaptación ha de partir de un profundo conocimiento del ámbito territorial y las características de los programas, y en un marco más global, del contexto legal e institucional comunita
rio. Comparando este ajuste del modelo de S&E con la realización de un puzzle, la ficha que representa al modelo ha de encajar perfectamente con las otras cuatro fichas que forman las características del programa y su contexto.
Uno de los problemas actuales en la evaluación está en que los evaluadores se entretienen en los detalles y se olvidan de lo más importante de la evaluación. Los evaluadores comienzan normalmente sus reuniones con los implicados con la definición de los instrumentos para recoger información sin examinar los objetivos, prioridades y definiciones compartidas sobre la evaluación que se comienza. Asumen que saben ya las prioridades y objetivos de la evalua
ción y que los implicados las entienden del mismo modo. Este enfoque termina en que, tarde en el proceso de evaluación, se vuelve a los temas importantes que no fueron considerados al principio. Siempre puedes añadir detalles a tu trabajo, pero sólo puedes poner los cimientos al principio (Patton, M.Q., 1999). Estos temas fundamentales en la evaluación son su filosofía, objetivos y posicionamiento en el contexto.
Adaptación al contexto territorial
Desde un principio el S&E han de adaptarse al territorio donde se va a operar y que ha de ser objeto de estudio. Esta labor de acercamiento se ha de caracterizar por el dinamismo y la atención a las aportaciones que hacen los individuos y colectivos sociales. Ha de suponer un análisis detallado y global del ámbito territorial. Su finalidad es la de determinar el margen de maniobra del programa, la situación de partida y el grado de desarrollo con que cuenta el territorio para poder juzgar en su debida medida los logros que se fueran consiguiendo. La adaptación ha de abarcar todos los recursos: sociales, ambientales y económicos.
Adaptación a las características del programa
Parte importante de la adaptación hace referencia a las características del programa sobre el que se trabaja. Los programas de desarrollo deben ser evaluados por medios adaptados a sus características específicas (COMISIÓN DE LA UE, 1999a. Op. cit.). Es necesario un conocimiento sistemático y profundo de un programa para que las actividades de S&E puedan proporcionar nuevos conocimientos y experiencias que puedan mejorar la calidad de la intervención. El principal deber de un evaluador es contribuir a un juicio imparcial e independiente, basado en un conocimiento previo profundo y en un análisis sistemático (NORAD – UD, 1997. Op. cit.).
La adaptación ha de extenderse tanto a los objetivos y estrategias del programa como a su gestión y financiación. Es necesario tener un conocimiento profundo de cómo funciona el programa, sus órganos de gobierno, criterios de selección de beneficiarios, procedimientos para la concesión de ayudas, coordinación entre diferentes instituciones implicadas a diferentes niveles, flexibilidad de la financiación, mecanismos de verificación y control de posibles ayudas pagadas… Además, se ha de conocer quién realiza cada una de estas funciones, aptitudes, conocimientos, experiencia.
Adaptación al contexto legal
Además de las circunstancias concretas del programa con el que se va a trabajar, siempre se encuentra un marco más amplio que ha de orientar también las actividades de S&E. Éste marco viene normalmente expresado mediante directivas, reglamentos, normativas que en algunos casos son orientativas y en otros son de obligado cumplimiento. Es importante investigar dos aspectos importantes de este marco, el que afecta al programa y el que afecta a las propias actividades de S&E:
- El contexo legal de los programas responde a una determinada política de desarrollo y orienta el programa en muchas de sus facetas. Se trata de un contexto que – junto a la descripción del programa – enmarca muchos de los criterios de S&E que se establezcan para juzgar la intervención.
- El contexto legal de las actividades de S&E lo constituyen normativas, orientaciones y determinados marcos metodológicos. Han de conocerse en detalle para que las actividades de S&E puedan amoldarse al menos a los requisitos mínimos exigidos. Esto implica la necesidad de modelos con un alto grado de flexibilidad que permita adaptarse al nivel de análisis exigido y la utilización de los parámetros específicos que se exijan.
Adaptación al contexto institucional: plan de controles
Todo programa de desarrollo está sometido a un control externo realizado por una serie de instituciones más o menos implicadas en la inversión. Normalmente este control se realiza en diferentes niveles: local, regional, nacional… Suelen ir dirigidos a la verificación del cumplimiento de la normativa y del correcto funcionamiento del equipo gestor. También tienen como objetivo la prestación de un posible apoyo técnico en caso de que se vea necesario y la elaboración de informes que vayan reflejando la buena marcha del programa. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacer más transparente y reglamentaria la aplicación del programa.
About Carlos Plaza
11. Apreciative Inquiry (AI)
La investigación apreciativa (Preskill y Catsambas, 2006; Dunlap, 2008) un modelo de evaluación que busca estar abierto a nuevos potenciales y posibilidades, valorar y reconocer lo mejor en la gente y en el mundo a nuestro alrededor. El AI es un enfoque que proviene del campo del desarrollo organizacional y que ha ido ganando atención por su aplicación exitosa para facilitar el cambio organizacional. Se trata de un enfoque para el cambio y que busca identificar y desarrollar lo mejor de las organizaciones para crear un futuro mejor para ellas.
Se basa en el poder del cuestionamiento positivo, de forma que en vez de centrarse en los problemas, sus causas y soluciones, se centra en las experiencias exitosas para aprender de ellas. No se trata de obviar los problemas, sino de abordarlos desde una persepectiva más constructiva, como areas con necesidades de conversación y transformación.
La idea de fondo es la del cambio positivo que asume que en toda organización hay algo que funciona bien y la hace manternerse viva, lo que podría denominarse como un núcleo positivo. La formulación de esta idea es que todo cambio (rediseño, planificación) de una determinada organización ha de comenzar con un análisis de ese núcleo positivo para ligar a él lo fundamental de la estrategia de cambio que se diseñe.
En definitiva, se trata de escoger lo positivo como centro de nuestra evaluación. Una de las herramientas con las que se aplica este enfoque es el de las cuatro “Ds”, haciendo referencia a sus cuatro etapas en inglés: Discovery, dream, design, destiny. La primera etapa de descubrimiento busca explorar el núcleo positivo haciendo preguntas sobre las mejores experiencias y lo que mejor funciona en la organización. La segunda etapa trata de soñar y crear imágnes de los mejores escenarios futuros para la organización. En la etapa de diseño se trata de poner encima de la mesa propuestas provocativas, formas innovadoras y concretas, para llegar a ese futuro soñado. En la última etapa de destino se busca poner realidades concretas y factibles detrás de las propuestas realizadas en la etapa anterior.
About Carlos Plaza
8. El Empowerment Evaluation (EE)
El Empowerment Evaluation (EE) ha supuesto un fenómeno a nivel mundial desde su difusión en 1993 a través de la Asociación Americana de Evaluación (Fetterman, 1994; Fetterman y Wandersman, 2005). Esta Sociedad apadrina actualmente el EE a través de uno de sus TIG (Topical Interest Group) centrado en el Collaborative, Participatory, and Empowerment Evaluation. La EE forma parte del panorama actual de la evaluación, habiéndose adoptado en diversos campos de las políticas públicas y cooperación al desarrollo en Estados Unidos y otros países (Fetterman, 1998; Fetterman et al., 1996, Fetterman, 2000).
El trabajo de Zimmerman sobre la teoría para el fortalecimiento (empowerment theory) proporcionó un marco teórico para la EE (Zimmerman & Rappaport, 1988; Zimmerman et al., 1992; Dunst et al., 1992). Para definir una teoría para el fortalecimiento es necesaria una distinción entre los procesos y los resultados. Los procesos para el fortalecimiento (empowering processes) ayudan a la población en el desarrollo de habilidades que la hacen independiente de los responsables de la toma de decisiones. Los resultados (empowered outcomes) se refieren al buen funcionamiento del proceso de forma que podamos ver sus consecuencias (Zimmerman, 2000).
La idea original nació durante la preparación del libro Speaking the Language of Power: Communication, Collaboration, and Advocacy (Fetterman, 1993). Esta idea surgió de la confluencia de diversas fuentes: la psicología (Rappaport, 1987), la antropología (Tax, 1958), la evaluación participativa (Choudhary & Tandom, 1988; Oja & Smulyan, 1869; Papineau & Kiely, 1994; Reason, 1988; Shapiro, 1988; Stull & Schensul, 1987; Whitmore, 1990; White, 1990), la planificación (Friedmann, 1981, 1992) y el proceso mismo de investigación. El proceso de la EE es muy similar a este último, ambos están orientados a la mejora y requieren ciclos de reflexión y acción[1]. Otra gran influencia en el desarrollo de la EE fue el movimiento de reforma nacional de la educación que tuvo lugar en Estados Unidos en los años 80. Éste llevó al diseño de una evaluación adecuada para la mejora de todos los colectivos relacionados con la educación: órganos de gestión, profesorado, alumnado y padres (Fetterman & Haertel, 1990).
La EE se centra en el fortalecimiento del proceso y los resultados (Fetterman, 1998). Es fundamentalmente un proceso democrático. Toda la comunidad – no un solo individuo, un evaluador externo o un gestor interno – es responsable del proceso de evaluación. Quizás lo que más distinga el discurso de la EE más claramente de otros enfoques es su reconocimiento y profundo respeto a la capacidad de la gente para crear conocimiento y generar soluciones a partir de su propia experiencia (Fetterman, 1998; Patton, 2005; Scriven, 2005).
Aunque hay grandes diferencias como el objetivo último. En la empowerment evaluation es la autodeterminación lo que implica colaboración. Sin embargo el proceso de investigación puede ser individual.
Figura II-106: Ciclos del Empowerment Evaluation.
Fuente: Elaboración propia a partir de Fetterman & Eiler, 2001
La EE no es más que el uso de los conceptos, técnicas y hallazgos de la evaluación para fomentar la mejora y autodeterminación (Fetterman, 1998). Autodeterminación entendida como la capacidad para decidir nuestro propio futuro. Aunque puede ser aplicado a los individuos, organizaciones, comunidades, sociedades y culturas el acento lo suele poner en el diseño de la programación. Fue diseñado para ayudar a las personas en la mejora de sus programas con el uso de la autoevaluación y la reflexión. Los participantes en un programa conducen sus propias evaluaciones y el experto evaluador se convierte en un facilitador.
El Empowerment Evaluation representa una forma de aprendizaje en los contextos sociales. Su base teórica y las herramientas que utiliza logra crear una cultura de organización del aprendizaje y evaluación. Se trata de un proceso cíclico de reflexión y acción (Fetterman & Eiler, 2001) donde el ciclo que caracteriza el EE está guiado por una serie de ciclos más pequeños.
El ciclo que representa el EE (señalado como ciclo del EE en la figura) subraya el recorrido del equipo desde sus pasos iniciales, en los que primero aprenden a trabajar juntos como grupo, hasta los pasos más a largo plazo que caracterizan un trabajo maduro y productivo de una comunidad que aprende. Los ciclos pequeños (en el interior del ciclo del EE en la figura) representan el funcionamiento del EE y caracterizan la naturaleza progresiva del proceso, constituido por continuos ciclos de reflexión y acción que dependen unos de otros.
En esencia, el ciclo del EE representa el proceso por el cual la evaluación se convierte en parte de la normal planificación y gestión del programa. El primer ciclo pequeño (arriba en la figura) suele consistir en un trabajo en equipo donde todos quedan de acuerdo en establecer una misión y objetivos comunes. El segundo supone la revisión de estrategias específicas, el tercero supone una revisión de objetivos y estrategias de acuerdo a la nueva situación y conocimientos generados, y el cuarto y quinto suponen una profundización de lo hecho hasta el momento y una reflexión sobre el cómo se está aprendiendo. Todo este proceso se lleva a cabo en tres pasos:
- El primer paso es establecer la misión o visión sobre el programa. Es la construcción de una comunidad y una cultura con un enfoque común, compartiendo significados y modos de ver.
- El segundo paso es el inventariado, la identificación y priorización de las actividades más destacadas del programa. Posteriormente, el personal del programa y todos los participantes valoran como el programa está haciendo cada una de ellas (típicamente por medio de una escala de 1 a 10) y discuten esta valoración. Esto ayuda a determinar donde se encuentra el programa, incluyendo fortalezas y debilidades.
El tercer paso supone planear el futuro. El grupo establece objetivos y estrategias para alcanzar sus propósitos. Los objetivos ayudan a los miembros del programa y participantes a determinar a dónde quieren ir y en qué quieren mejorar el programa. Las estrategias les ayudan a llevar a cabo los objetivos fijados.
About Carlos Plaza
4. Claves para ser un buen facilitador de talleres grupales
A la hora de diseñar un taller de evaluación, independientemente del enfoque de evaluación participativa adoptado, hemos de plantearnos las siguientes cuestiones: A quién invitar, buscando siempre la máxima inclusión posible; cómo llevarlo a cabo en cuanto a preguntas a formular y herramientas a utilizar; dónde realizarlo; y cuándo. Es importante no tratar de conseguir demasiada información demasiado rápido, la participación lleva su tiempo, aunque también conviene maximizar tiempos para llegar a plantear todas las preguntas necesarias. Tampoco conviene utilizar demasiadas técnicas participativas en detrimento de los verdaderos objetivos del taller y la evaluación.
Antes de comenzar cualquier actividad en el un taller participativo es importante asegurarse de que el grupo está preparado para esa actividad, de que la actividad fortalecerá las relaciones en el grupo y beneficiará a la evaluación que estamos realizando. Una vez decididas las actividades a realizar es importante establecer unas mínimas normas de funcionamiento. Puenden decirse frases como: “No estamos aquí para estar de acuerdo en todo”; “toda opinión es válida y debemos respetar todas las opiniones”; “no queremos que nadie monopolice la discusión”; “hablar de uno en uno”.
A lo largo del taller es necesario formentar el interés y la comunicación, ser capaz de improvisar cuando se vea necesario, saber escuchar a lo que se dice y no se dice (tono, ambiente, lenguaje corporal…) y ser consciente de los propios prejuicios. El papel del evaluador como facilitador consiste más en formular buenas preguntas que en dar respuestas, preguntas que sean abiertas y puedan provocar desacuerdo. Aunque en este caso es necesario saber manejar los conflictos que puedan generarse, cuidar que la gente más tímida participa y la gente más participativa no acapara el tiempo. En definitiva se trata de generar un ambiente en el que todos participan.
About Carlos Plaza
El papel del evaluador en la evaluación participativa
A lo largo del proceso de evaluación participativa se crean vínculos, una relación estrecha, entre el evaluador y los implicados en el programa objeto de la evaluación. A través de estos vínculos, la experiencia del evaluador puede enriquecer el proceso si se utiliza de forma adecuada. No se trata de imponer esa experiencia sino de compartirla, analizar muy bien cuál debe ser su papel, y entender que la toma de decisiones en los trabajos de evaluación puede variar a lo largo del proceso.
El papel del evaluador ha sido descrito como: facilitador, educador, consultor, consejero (Morabito, 2002); colaborador (Patton, 1997); amigo crítico (Rallis and Rossman, 2000); intérprete y mediador. Cada uno de estos términos añade algo a la implicación del evaluador en el proceso de evaluación. La cuestión es entonces averiguar cuáles son los papeles que el evaluador puede tomar en la evaluación participativa. Éstos pueden resumirse en dos:
- Evaluador, que hace referencia a su profesionalidad y provee a su trabajo de la credibilidad necesaria. Se trata de un papel en el que lo importante es cumplir los requisitos del que encarga la evaluación y llegar a producir resultados creíbles de evaluación.
- Facilitador, que hace referencia a la construcción de capacidades (especialmente capacidades de evaluación interna) entre los participantes en la evaluación. Se incluye aquí el papel de educadores, colaboradores, amigos críticos o consejeros a través, principalemente, del proceso de evaluación.
El papel del evaluador en los diferentes enfoques participativos de evaluación.
En el gráfico podemos ver cómo el papel del evaluador puede ir de ser el director absoluto de la evaluación, a ser un simple facilitador en una evaluación dirigida por los participantes. En el eje de ordenadas vertical está representado en nivel de implicación en la toma de decisiones tanto del evaluador como de los participantes (líneas inclinadas que se cruzan a la mitad); en el eje de abcisas horizontal están representados los diferentes enfoques de evaluación participativa.
En los enfoques participativos en el extremo izquierdo de la gráfica (implicación del evaluador mayor que la de los participantes en la toma de decisiones) las evaluaciones son dirigidas por los evaluadores que solo usan de la participación para extraer información que resulte útil y práctica para la toma de decisiones. En los enfoques participativos en el extremo derecho de la gráfica el punto de vista es más transformador y se tiende a que sean los participantes los que toman las decisiones en las actividades de evaluación, relegando al evaluador a un papel de facilitador del proceso. Muchos evaluadores piensan que nunca debería pasarse de la mitad de la gráfica para la derecha, pues se piensa que los evaluadores han de dirigir siempre la evaluación.
About Carlos Plaza
Origen y principios de la evaluación participativa
Pueden distinguirse dos desarrollos distintos de la evaluación participativa: la evaluación participativa práctica (practical participatory evaluation) y la evaluación participativa transformadora (trasnformative participatory evaluation) (Cousins & Whitmore, 1998). Ambos enfoques comparten algunas características como es el fomento de la participación en la evaluación y el desarrollo de destrezas a través de la investigación. Al mismo tiempo, las dos tradiciones se han desarrollado en regiones muy distintas y presentan grandes diferencias, un ejemplo de cómo la cultura influencia el desarrollo y práctica de la evaluación. Siguiendo el análisis hecho por Cousins y Whitmore tenemos que:
- La evaluación participativa práctica surgió en los Estados Unidos, Reino Unido, Canadá, Noruega y Suecia, reflejando la importancia de la investigación en ciencias sociales de estos países. Una evaluación participativa que busca la implicación de las personas que tienen intereses creados en los resultados de evaluación, patrocinadores, gestores y todos los que están implicados en la toma de decisiones.
- La evaluación participativa transformadora surge en Latinoamérica, India y África reflejando la cultura y las condiciones sociales de estos países. Un enfoque que busca la implicación de todos los afectados, incluyendo a los que menos poder tienen, su fortalecimiento y adquisición de capacidades a través del proceso de evaluación.
Esto no quiere decir que podamos simplificar el mundo de la participación en la evaluación en dos corrientes homogéneas, pues algo que caracteriza a este mundo es que se ha ido enriqueciendo enormemente y actualmente abarca un amplio abanico de metodologías. Se habla de evaluación participativa, colaborativa y empoderadora, términos en ocasiones sujetos a diversas interpretaciones, que varían en función de quién utilice el término y del tipo de participación que se persiga, que puede ir desde una participación meramente de escaparate hasta una participación con peso que transforme las relaciones de poder existentes. En cualquier caso estamos hablando de metologías que involucran en las actividades de evaluación al personal del programa y a los grupos de interés afectados por él.
En un esfuerzo por describir un conjunto de principios integradores de este tipo de enfoques, una especie de filosofía subyacente que constituya su esencia, podemos señalar al menos los siguientes:
- Principio de participación: Este principio constituye el pilar esencial y se traduce en la participación de los implicados en alguna o en todas las fases del proceso de evaluación. En particular, se suele poner énfasis en la inclusión de los destinatarios últimos de una intervención, tradicionalmente marginados en la evaluación o, en el mejor de los casos, utilizados como meros proveedores de información. Dentro de este principio, conviene señalar los enfoques que defienden que la población y beneficiarios pueden hacer más que proporcionar información. Ellos también pueden decidir, analizar los hallazgos y en general participar en otras fases de la evaluación. En este tipo de enfoques el evaluador se convierte más bien en un facilitador que anima talleres de trabajo, guia el proceso en las coyunturas críticas y consolida el informe final, si es necesario, basado en los hallazgos de la población.
- Principio de aprendizaje: La participación en la evaluación constituye un proceso de aprendizaje entre todos los participantes, que se traduce en la construcción de capacidades locales (principalmente de evaluación) y el fortalecimiento institucional. Los conocimientos y los recursos locales ya existentes son la base de la que parte este proceso, que crea las condiciones necesarias en los participantes para la transformación de la realidad y la consecución de un desarrollo más participativo.
- Principio de negociación: La participación en la evaluación pone en marcha un proceso social y político de negociación entre los participantes. Social, puesto que articula la diversidad de percepciones, necesidades y demandas, desarrollando empatía entre los grupos. Político, por el trasfondo de transformación de las relaciones de poder que subyace en el proceso, hacia la búsqueda de un mayor equilibrio en este ámbito.
- Principio de flexibilidad: En ocasiones se dice que existen tantos modelos participativos como contextos donde se aplican dando lugar a una especificidad en función del contexto donde se desarrolle. No existe una receta metodológica o de procedimiento que pueda ser aplicada con éxito en cualquier circunstancia. Este aspecto resalta la importancia de la selección de métodos culturalmente adaptados a sus contextos locales de aplicación. En definitiva la participación supone un proceso dinámico y flexible, en continua adaptación a las necesidades y circunstancias locales, lo que pone de manifiesto su carácter empírico y eminentemente práctico.
Referencias citadas:
Cousins, J. B., & Whitmore, E. (1998). Framing participatory evaluation. En E. Whitmore (Ed.), Understanding and practicing participating evaluation (pp. 5–23). New Directions for Evaluation, No. 80. San Francisco: Jossey-Bass.