Autores: @aleshernandez y @Cecilia.davila

El Desarrollo de Capacidades de Evaluación (ECB por sus siglas en inglés: Evaluation Capacity Building) es un enfoque que surgió en las últimas décadas del siglo XX en los Estados Unidos y ganó fuerza mundialmente a principios del XXI (Preskill & Boyle, 2008). En el ámbito profesional, el ECB ha sido diseminado y adaptado en diferentes campos como, por ejemplo, en el de la ayuda técnica y la cooperación al desarrollo (Horton, 2008). El ECB surge de la mano del Desarrollo de Capacidades o Capacity Building, que es un enfoque que busca fortalecer a las organizaciones desde la valoración continua de los procesos que conducen a alcanzar objetivos para el desarrollo. Es un enfoque con base sistémica que se ha centrado en promover sistemas de gobernanza sostenibles basados en la transparencia y la cultura del desempeño organizacional efectivo. El objetivo es mejorar la gestión y formulación de políticas, además de optimizar los procesos de rendición de cuentas a través del apoyo a la creación o fortalecimiento de los sistemas de monitoreo y evaluación (Zaltsman, 2006).

¿Qué es “Evaluation Capacity Building” ?

El ECB es, primeramente, un proceso dinámico, complejo y contextual (Suarez-Balcazar & Taylor-Ritzler, 2013). Además, es un trabajo intencional que implica el diseño y la implementación de estrategias de aprendizaje y enseñanza con el objetivo de facilitar tanto a individuos, como a grupos u organizaciones, el aprender acerca de lo que constituye una práctica de evaluación efectiva, útil y profesional. Para que el ECB sea una práctica sostenible, es necesario que las organizaciones desarrollen sistemas, procesos, políticas y planes que les permitan alcanzar su misión u objetivos estratégicos. Asimismo, el ECB necesita que sus participantes sean provistos de liderazgo, incentivos, recursos y oportunidades de transferir el aprendizaje acerca de la evaluación a su práctica profesional diaria (Preskill & Boyle, 2008).

A diferencia de los enfoques tradicionales ─lineares, verticales y externos─ de evaluación para el desarrollo, el ECB plantea una práctica continua, cíclica, participativa e interna (no excluye la posibilidad de agentes externos para el proceso de evaluación) que implica generar capacidades adaptativas dentro las organizaciones. Este tipo de práctica permite reconocer las circunstancias que cambian durante las intervenciones de desarrollo y la capacidad organizacional de responder eficaz y efectivamente frente a ellas (Horton, 2008) (Preskill & Boyle, 2008). El ECB es un ciclo constante de aprendizaje que comienza por la planificación, seguido de la colecta de datos para generar información que conduzca al análisis y a la reflexión para, a continuación, decidir qué acciones tomar para mejorar la efectividad y los impactos de la intervención de desarrollo en un punto determinado y, finalmente, comenzar nuevamente con un objetivo distinto (Grantmakers for Effective Organizations, 2011).

Por tratarse de un enfoque que valora lo contextual, no hay una “receta” establecida para el ECB. Se trata, por el contrario, de estimular a las organizaciones a idear formas de planificar y llevar a cabo procesos de evaluación de capacidades que se correspondan con sus objetivos y con los recursos y la capacidad de gestión para alcanzar los mismos (Horton, 2008). Dentro de una organización, el ECB surge por una motivación específica que opera bajo ciertos supuestos sobre lo que es evaluación y desarrollo de capacidades, y que, además, tiene ciertas expectativas de lo que se quiere alcanzar a través de la ejecución del proceso (Preskill & Boyle, 2008).

Un buen diseño de ECB no basta para garantizar el éxito del mismo, existe una variedad de factores que pueden convertirse en obstáculos como, por ejemplo, el tiempo, la experticia del facilitador y su efectividad, la frecuencia y calidad de la participación, y la medida en que la actividad es implementada. La idea es aplicar el conocimiento de la evaluación, las habilidades y competencias, y las actitudes al contexto del trabajo, es decir, que haya una transferencia de conocimiento generado por el proceso de evaluación. La transferencia de conocimiento es, por lo tanto, el factor clave para la sostenibilidad del ECB (Preskill & Boyle, 2008).

A nivel de herramientas es necesario aplicar aquellas que desarrollen capacidades que conduzcan al pensamiento evaluativo y que, además, promuevan el involucramiento y participación activa de los participantes en el proceso de ECB.

 

¿Para qué sirve el “Evaluation Capacity Building” ?

El proceso de ECB sirve para desarrollar conocimiento, habilidades, competencias y actitudes evaluativas a nivel individual y organizacional y así potenciar el desempeño y la efectividad de las intervenciones en el campo del desarrollo (Preskill & Boyle, 2008). Por otro lado, el ECB sirve para articular esfuerzos dentro de una organización, fomentando el trabajo colaborativo, el involucramiento y la participación activa de los individuos o grupos de trabajo de la misma. Además, genera procesos de reflexión continuos que conducen al aprendizaje individual y organizacional y a cómo mejorar los sistemas de adquisición de información y su respectivo análisis.

A nivel de promotores, el ECB permite que se identifique lo que “funciona bien” y el porqué de ello, además de evaluar cuán preparada está una organización para la planificación y la implementación del proceso de potenciamiento (Grantmakers for Effective Organizations, 2011). Potenciar en este caso, se entiende como el proceso que conduce al desempeño eficiente de las organizaciones y que está centrado en el desarrollo de capacidades y en el aprendizaje continuo.

 

¿Cómo desarrollar un proceso de ECB?

Siendo un proceso eminentemente práctico, el ECB implica la realización de actividades dirigidas a crear, fortalecer y sostener capacidades de evaluación. Estas actividades pueden llevarse a cabo a través de capacitaciones, asistencia técnica, tutorías, coaching, desarrollo e intercambio de documentación, apoyo a grupos de trabajo y aprendizaje y promoción de un ambiente favorable a la evaluación, para lo cual, la persona o equipo facilitador debe adoptar diferentes roles (University of Wisconsin-Extension, Cooperative Extension, 2008).

El ECB relaciona entre sí tanto los diferentes niveles dentro de una organización (individual, equipo o programa, organización) como los principales actores, que en el caso de proyectos de desarrollo son la propia organización y sus partes implicadas, la entidad financiadora y la persona o equipo externo de evaluación y capacitación. La primera distribución implica que el incremento de las capacidades de evaluación personales contribuye a la mejora del funcionamiento de los programas y a la obtención de mejores resultados de la organización; a su vez, este proceso se ve facilitado si la organización promueve la cultura de la evaluación y pone los medios para llevarla a cabo (Labin, 2014). La segunda clasificación se refiere a la conveniencia de crear una “comunidad de aprendizaje” entre los diferentes actores.

Cada vez se trabaja más en la elaboración de marcos teóricos para explicar la enseñanza y aprendizaje de capacidades de evaluación, principalmente en términos de aprendizaje para adultos y aprendizaje transformativo. Parece haber un consenso a la hora de expresar la necesidad de integrar la ciencia y la investigación con la práctica en una relación estrecha y congruente para fomentar la retroalimentación mutua (Suarez-Balcazar & Taylor-Ritzler, 2013).

Aunque todavía queda un largo recorrido para fundamentar de forma consistente y con bases empíricas estos intentos, ya se han empezado a proponer modelos, como el que se explica en el artículo “A Multidisciplinary Model of Evaluation Capacity Building” (Preskill & Boyle, 2008), cuya finalidad es describir un modelo de ECB que sea útil para diseñar e implementar actividades y procesos de desarrollo de capacidades y como soporte a la investigación empírica.

El IECB o Integrated ECB Model es una compilación hecha a través de la integración de conceptos preexistentes y literatura empírica sobre el ECB y las herramientas identificadas durante su investigación. Se expresa de una forma lineal (no iterativa) y bidimensional, relacionando las necesidades con las estrategias a implementar y supeditando la efectividad de las mismas a las capacidades de evaluación y a disposición a la misma de la organización (Labin, 2014).

Un paso previo al inicio, o más bien el inicio del ECB, es valorar la preparación o disposición (readiness en inglés) de la organización para implementar el proceso de evaluación de forma satisfactoria. Se basa principalmente en la respuesta a las preguntas: ¿Qué prácticas de evaluación se están llevando a cabo actualmente? y ¿cuál es la capacidad de evaluación? Varios factores componen la preparación para la evaluación, a saber, liderazgo, apoyo a la evaluación, cultura de la organización para la orientación al aprendizaje y mejora, capacidades de evaluación, experiencia y recursos (Morariu, 2012). En este artículo, se propone un test para llevar a cabo esta valoración, inspirado en parte en una lista de verificación para la construcción de capacidades de evaluación en las organizaciones presentada como “A Checklist for Building Organizational Evaluation Capacity” (Volkov & King, 2007), basado en casos de estudio y revisión bibliográfica.

La disposición y preparación de la organización para el ECB está directamente relacionada tanto con los resultados del proceso (Labin, 2014), como con el reparto de las responsabilidades que requiere la evaluación entre la organización y el equipo de evaluación y capacitación externo, lo que se denomina el “evaluative learning continuum” (York, 2003).

 

¿Cómo medir la evolución del proceso?

Este punto es un tema candente, ya que aunque se han hecho esfuerzos por sentar las bases teóricas del ECB y reconocer su potencial, no está clara todavía la forma de medir la evolución y el impacto del mismo en los factores contextuales y culturales (Suarez-Balcazar & Taylor-Ritzler, 2013).

Además del checklist anterior y otros tests, se han propuesto instrumentos más elaborados para valorar la capacidad de evaluación y su progreso, como el ECAI o Evaluation Capacity Assessment Instrument; ésta es una herramienta para medir la capacidad de evaluación del personal de organizaciones sin ánimo de lucro diseñada como modelo de síntesis. Se detalla e intenta validar en el artículo “Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study” (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).

Consideraciones finales

El enfoque del ECB es algo relativamente reciente pero el interés que suscita tanto en organizaciones como en entidades financiadoras y equipos evaluadores continúa creciendo a una gran ritmo (Wandersman, 2014).

No obstante, queda un largo camino por recorrer principalmente en dos sentidos. El primero es el de integrar definitivamente en la investigación la ciencia y la práctica, en una relación bidireccional y complementaria (Suarez-Balcazar & Taylor-Ritzler, 2013). El segundo es el de reforzar los modelos existentes, validando los que no lo estén y aplicando a muestras más grandes los que sí que lo están (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).

Finalmente, cabe remarcar que a pesar de que el ECB promulga procesos más participativos y centrados en el aprendizaje y en el desarrollo de capacidades individuales y organizacionales, la razón fundamental de su aplicación y el objetivo principal de la investigación que lo rodea es el de mejorar los resultados de la organización (Suarez-Balcazar & Taylor-Ritzler, 2013).

 

 

Bibliografía:

Grantmakers for Effective Organizations. (2011). Scaling What Works. Recuperado el 29 de October de 2015, de http://www.socialimpactexchange.org/sites/www.socialimpactexchange.org/files/GEO_SWW_HowDoWeApproachImpactandEval.pdf

Horton, D. (September de 2008). international Center of tropical Agriculture. Recuperado el 20 de October de 2015, de http://preval.org/files/texto_completo.pdf

Labin, S. N. (2014). Developing Common Measures in Evaluation Capacity Building: An Iterative Science and Practice Process. American Journal of Evaluation, Vol. 35(1) 107-115.

Morariu, J. (2012). Readiness for Evaluation and Learning: Assessing Grantmaker and Grantee Capacity. Innovation Network.

Preskill, H., & Boyle, S. (2008). American Journal of Evaluation. Recuperado el 19 de October de 2015, de http://www.unm.edu/~marivera/522%20readings%203/Multidisciplinary%20model%20of%20evaluation%20capacity%20building.pdf

Suarez-Balcazar, Y., & Taylor-Ritzler, T. (15 de August de 2013). American Journal of Evaluation. Recuperado el 30 de October de 2015, de http://aje.sagepub.com/content/35/1/95.full.pdf+html

Taylor-Ritzler, T., Suarez-Balcazar, Y., Garcia-Iriarte, E., Henry, D. B., & Balcazar, F. E. (2013). Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study. American Journal of Evaluation, 34(2), 190-206.

University of Wisconsin-Extension, Cooperative Extension. (2008). Building Capacity in Evaluating Outcomes. Madison: University of Wisconsin-Extension, Cooperative Extension, Program Development and Evaluation.

Volkov, B. B., & King, J. A. (2007). A Checklist for Building Organizational Evaluation Capacity. Obtenido de https://www.wmich.edu/sites/default/files/attachments/u350/2014/organiziationevalcapacity.pdf

Wandersman, A. (2014). Moving Forward With the Science and Practice of Evaluation Capacity Building (ECB) The Why, How, What, and Outcomes of ECB. American Journal of Evaluation, 35(1), 87-89.

York, P. J. (2003). Learning As We Go: Making Evaluation Work for Everyone. A Briefing Paper for Funders and Nonprofits. TCC Group.

Zaltsman, A. (May de 2006). Independent Evaluation Group. Recuperado el 29 de octubre de 2015, de Desarrollo de la capacidad de evaluación, Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: http://ieg.worldbank.org/Data/reports/ecd_wp16_spanish.pdf