Inicio » ¿Cómo se diseñan evaluaciones? » Diseño de evaluaciones: modelos
Archivos de la categoría: Diseño de evaluaciones: modelos
La visualización de datos en la evaluación
La visualización de datos en la evaluación
Estamos en la era del Big Data, lo que significa que hay más datos que nunca, siendo la cantidad de información a nuestro alrededor excesiva. Los datos se convierten en un factor indispensable en nuestra actividad. Pero un montón de datos no organizados, comprendidos y presentados de la manera adecuada lleva a ninguna parte.
Si queremos obtener buenos resultados, no podemos limitarnos a obtener datos y más datos sin llegar a una correcta comprensión de los mismos. Pero cuando la información es tanta, es imposible que podamos procesarla y entenderla para obtener un conocimiento de ella. Es ahí donde entran en juego las herramientas de visualización de datos, haciéndose imprescindibles. A través de las herramientas de visualización, no solo podemos llegar a comprender el verdadero “mensaje” que hay detrás de nuestros datos, sino que también seremos capaces de mostrar dichos datos a otras personas de manera clara y sencilla, con el objetivo en ambos casos de llegar a l
a toma de decisiones más adecuada.
La visualización de datos es el proceso de búsqueda, interpretación, contrastación y comparación de datos que permite un conocimiento en profundidad y detalle de los mismos de tal forma que se transformen en información comprensible para el usuario. Este concepto abarca un conjunto de métodos cuya única finalidad estriba en convertir un conglomerado de datos en una explicación clara y concisa de la información que subyace en los mismos.
La visualización de datos comenzó hace miles de años, un ejemplo son los mapas de Babilonia (6200 a.c.). Estos mapas grabados en tablillas de arcilla han sido considerados como el primer mapa conocido. Tiene un tamaño de 7.6cm x 6.8cm, lo suficientemente pequeño como para caber en la palma de la mano. (Friendly and Denis, Milestones in the history of thematic cartography, statistical graphics and data visualization 2001).
En la siguiente línea del tiempo podéis observar algunos ejemplos a lo largo de la historia:
En la evaluación, la visualización de datos se ha utilizado para ayudar a entender el objetivo de las mismas, simplificando la información a proporcionar. El objetivo es dar al demandante la mejor forma de entender los datos recabados y la información procesada con el objetivo de tener una toma de decisiones adecuada y oportuna.
Dentro de los procesos de evaluación podemos utilizar dos tipos de métodos para visualizar los datos: los softwares de visualización de datos, para los primeros procesos de toda evaluación; y los softwares para crear infografías.
A continuación os mostramos algunos ejemplos de infografías que representan distintos tipos de datos:
Para mayor información, tenéis a disposición la siguiente presentación, que complementa la información publicada.
Encuesta a una biblioteca
CV originales
Complementación de enfoques: seguimiento detallado frente al seguimiento de procesos
Cuando se diseña un programa es necesario dictar disposiciones para la construcción, mantenimiento y uso de un sistema de información, uno de los elementos fundamentales de todo buen sistema de seguimiento. Entre los medios más comunes para diseñar un sistema de información están los enfoques detallado y de procesos.
Para el enfoque detallado, el equipo de planificación y evaluación previa formula planes minuciosos de trabajo antes de la ejecución del programa. En esos planes se especifican los objetivos del sistema, los datos que se precisan, los estudios que han de emprenderse y las necesidades de personal y presupuestarias.
Este enfoque no da al personal de seguimiento la flexibilidad suficiente para responder a necesidades inesperadas de información, que pueden presentarse durante la ejecución. Estos imprevistos surgen con frecuencia debido a que no se pueden prever todas las eventualidades. Los expertos preparan el plan detallado partiendo del supuesto de que todo lo relacionado con el programa, incluidos los riesgos y las dificultades, se llevará adelante como se había previsto. Y no siempre ocurre así. Además, este enfoque ofrece al personal del proyecto poca o ninguna aportación directa en la formulación del sistema de información y seguimiento. Los gestores no se identifican con esos sistemas, pues a menudo no responden a sus necesidades de gestión diarias, y los consideran como distintos de sus preocupaciones de gestión. Muy a menudo da lugar a un uso deficiente de esos sistemas.
El enfoque de procesos, por el contrario, asume un punto de vista evolutivo de las necesidades de información, de herramientas para su obtención y del sistema de autoevaluación. No se especifican planes y programas de trabajo: simplemente se esbozan. Las actividades específicas son determinadas a medida que van siendo necesarias. El enfoque de procesos hace que el sistema de seguimiento sea un instrumento eficaz para los gestores. Les permite utilizar sus recursos para recopilar y analizar datos sobre los temas y problemas que ellos consideran importantes para la ejecución y gestión diaria del programa.
Complementación del enfoque detallado con el enfoque por procesos del sistema de seguimiento
La experiencia indica que el éxito del enfoque de procesos depende en gran medida de la iniciativa y la capacidad del personal de seguimiento. Este es el principal problema que se plantea con ese enfoque, ya que los programas de desarrollo se ubican en zonas que se enfrentan a la escasez de personal cualificado y con experiencia. Es difícil contratar profesionales locales con las aptitudes e iniciativa necesarias, y es complicado conservarlos en una función de seguimiento.
En estos casos, el enfoque detallado puede resultar más práctico, pero es importante estar abierto a la flexibilidad que da el enfoque de procesos y combinar ambos enfoques cuando se vea posible. De esta forma, en la etapa de evaluación previa puede detallarse un diseño amplio para el sistema, y durante la ejecución actuar con un grado considerable de flexibilidad que permita reaccionar ante nuevos problemas y oportunidades. Se puede dar cabida así a las necesidades de seguimiento a medida que se vaya desarrollando el programa.
About Carlos Plaza
Complementación de enfoques: La evaluación de objetivos frente a la evaluación de procesos
En la planificación y ejecución de políticas, programas o proyectos es común distinguir entre la gestión por objetivos y la gestión del proceso. En el primer concepto se hace hincapié en que la planificación se dirige hacia un objetivo predeterminado; en el segundo el acento se pone en ajustar el rumbo del programa según la experiencia adquirida en su transcurso. De igual forma, en el trabajo de evaluación podemos distinguir entre el enfoque por objetivos y el enfoque por procesos:
- Evaluación de objetivos: Análisis de los efectos de una intervención considerados en relación con los objetivos establecidos en la misma; es decir, en qué medida los impactos son causados por la intervención o se deben a factores externos.
- Evaluación de procesos: Análisis de una intervención y de cómo ésta funciona en un contexto social, a fin de comprender los procesos generados y sus consecuencias en el sentido más amplio.
Con el enfoque por objetivos el principio fundamental es formular hipótesis sobre la base de una teoría establecida, imaginando sus consecuencias, por ejemplo, en forma de objetivos; aquéllas son después contrastadas con la realidad observable en el momento de realizarse la evaluación. Una ventaja encontrada en este enfoque es que, en gran medida, toma como punto de partida la experiencia existente, lo que facilita la selección de datos y las posibilidades de interpretación.
La principal crítica a este enfoque es que puede fácilmente conducir a una situación en que tanto los temas como las áreas problema están tan estrictamente delimitadas que podrían pasarse por alto aspectos importantes. En ocasiones, los programas cuentan con objetivos poco claros o formulados inadecuadamente; además, las intervenciones normalmente dan lugar a impactos no previstos –tanto positivos como negativos– que pueden dejarse de lado si la evaluación se centra únicamente en lo que se ha identificado previamente como el objetivo de la intervención.
Por contraste el enfoque por procesos no se establece sobre un conjunto de teorías o hipótesis acerca del desarrollo. El investigador comienza con una actitud abierta e interrogante. A través de la observación y la investigación, surgen temas que sucesivamente demandan nuevos conocimientos, conduciendo de manera gradual a nuevas revelaciones. Este enfoque consume tiempo y demanda mucho esfuerzo. Una de las objeciones principales es que, a fin de evitar desviaciones subjetivas, es a menudo necesario conceder un énfasis especial a la selección de datos, perspectivas y métodos y explicar estos aspectos en detalle.
En la práctica los enfoques de evaluación por objetivos y por procesos pueden complementarse (NORAD-UD, 1997). En la planificación y ejecución esto puede hacerse analizando de nuevo y, si es necesario, redefiniendo la formulación de la intervención sobre la marcha, a medida que se adquiere nueva experiencia. Esto permite asegurar el grado de flexibilidad necesario en la gestión y dirección de programas. En ese caso, los estudios de proceso pueden ser de considerable valor.
En el trabajo de evaluación, esto se puede conseguir ampliando la perspectiva más allá del marco que fue inicialmente planificado –productividad y eficacia– para incorporar varios aspectos imprevistos o difícilmente predecibles como los impactos, pertinencia y viabilidad. En el fondo se trata de estar abiertos a las necesidades de evaluación que se puedan presentar y abordarlas de la forma que mejor se considere dentro del marco previsto de objetivos, tiempos y recursos inicialmente programados para la evaluación.
Complementación del enfoque por objetivos con el enfoque por procesos para la mejor adecuación a las necesidades de evaluación de los programas
Referencias citadas:
NORAD-UD (1997). Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Agencia Noruega de Desarrollo-Unidad de Evaluación del Ministerio Noruego de Asuntos Exteriores. Instituto Universitario de Desarrollo y Cooperación (IUDC) – Universidad Complutense de Madrid – Fundación Centro Español de Estudios de América Latina (CEDEAL). Madrid.
About Carlos Plaza
Complementación de enfoques: Cuanti y Cuali
En la actualidad, es muy frecuente encontrarse con evaluaciones que combinan aspectos procedentes de varios enfoques y modelos, lo cual permite satisfacer necesidades de información de muy distinto signo y enriquecer los resultados obtenidos. Las fronteras entre los diferentes modelos son cada vez más difusas y es importante encontrar para cada ocasión un equilibrio entre las exigencias de rigor —fundamentalmente de tipo técnico (obtención de información fiable para la toma de decisiones) y financiero (control de fondos)— y las demandas de participación de la población local. Por otro lado, debido a la multiplicidad de los tipos de programas, disponibilidad de datos, restricciones de tiempo y circunstancias de las distintas regiones y países, cada evaluación es diferente y requiere cierta combinación de enfoques y prácticas adecuadas.
En esta línea, cada vez hay más aceptación sobre la necesidad de complementar los métodos cuantitativos y cualitativos. Existen significativas ventajas y desventajas en la selección de unos u otros. Los métodos cualitativos permiten estudiar cabalmente los temas, casos o hechos seleccionados y pueden proporcionar información decisiva sobre las perspectivas de los beneficiarios, la dinámica de una determinada reforma o los motivos de ciertos resultados observados en un análisis cuantitativo.
Al combinar los dos enfoques, los métodos cualitativos están capacitados para dar forma a las cuestiones principales de la evaluación, diseñar los cuestionarios empleados, estratificar la muestra cuantitativa y analizar el marco social, económico y político dentro del cual se llevaba a cabo un programa. A su vez, los métodos cuantitativos pueden apoyar con sus resultados las conclusiones de los métodos cualitativos.
Integración de los enfoques cuantitativo y cualitativo para la mejor satisfacción de las necesidades de seguimiento y evaluación de los programas de desarrollo
Las ventajas de este enfoque integrado son claras:
- Se pueden incorporar controles de coherencia con la ayuda de procedimientos de triangulación que permiten realizar dos o más estimaciones independientes de las variables clave.
- Se pueden obtener diferentes perspectivas.
- Los análisis se pueden conducir en diferentes niveles. Logrando buenas estimaciones del bienestar individual, familiar y a nivel de la comunidad, así como un buen análisis de los procesos sociales.
Se pueden proporcionar oportunidades de retroalimentación para interpretar los resultados. Los métodos cualitativos permiten un seguimiento rápido en terreno para verificar aparentes incoherencias. En la mayoría de las investigaciones cuantitativas, una vez que finaliza la fase de recolección de datos no es posible regresar al terreno para verificar esos aspectos. La mayor flexibilidad de la investigación cualitativa significa que a menudo es posible regresar al terreno para reunir datos adicionales. Los investigadores de encuestas también utilizan métodos cualitativos para verificar los valores atípicos: respuestas que se desvían de los patrones generales.
About Carlos Plaza
Enfoque de evaluación realista
Referencias citadas:
Bamberger, M., Rugh, J. & Mabry, L. (2012). Real World Evaluation: Working under Budget, Time, Data, and Political Constraints (2nd ed.). Thousand Oaks, CA: Sage Publications.
About Carlos Plaza
Una clasificación de modelos de evaluación
Los enfoques y modelos de evaluación constituyen una filosofía de trabajo que definen lo que el evaluador busca en el fondo cuando realiza su trabajo, la razón y objetivos básicos con los que realiza la evaluación. Son numerosos los modelos y enfoques que enriquecen la práctica evaluadora (Christie & Fleischer, 2010; Patton, 2008; Stufflebeam & Shinkfield, 2007) y se aconseja ser pluralista en este aspecto, conocer bien los distintos modelos y aplicar los que más convengan en cada caso. Una tendencia muy común es incluso mezclar varios métodos (mix-methods) en una misma evaluación con el objetivo de sacar el máximo partido de las actividades de evaluación.
Tradicionalmente se ha venido hablando de la evaluación cuantitativa en situaciones en las que podemos cifrar los resultados y buscar patrones de comportamiento; por otro lado tenemos la evaluación cualitativa que captura más la diversidad y humaniza los números de la evaluación cuantitativa.
Pero ésta es una división clásica muy genérica. Otras clasificaciones más precisas (Stufflebeam, 2001; Stufflebeam & Shinkfield, 2007) pueden hacernos una idea de los numerosos modelos de evaluación existentes que compiten en el mercado de la evaluación. En esta clasificación podemos encontrar varios tipos de modelos: los orientados a preguntas, los que conllevan una agenda social, los orientados a la mejora y rendición de cuentas, y los eclécticos.
Modelos orientados a preguntas y métodos
Este tipo de modelos se caracterizan por estar enfocados a responder preguntas específicas —para lo que se suelen emplear multitud de métodos y herramientas de evaluación—; o por estar enfocados a utilizar un determinado método de evaluación. Si estas preguntas o métodos son los apropiados para valorar el mérito, valor o importancia de la intervención es otra cuestión. Lo que se determina en este caso son las preguntas o los métodos a utilizar, y lo que cabe desear es que sean las preguntas o métodos adecuados. En cualquier caso, ambos tipos de modelos son algo estrechos en sus miras y a menudo se quedan cortos a la hora de hacer una valoración del mérito, valor e importancia de lo que se evalúa.
Algunos modelos orientados a preguntas y métodos son: evaluaciones basadas en objetivos (goal-based/objectives-based evaluations) (Scriven, 1974), los estudios de coste–beneficio (costs-benefits studies) (Belfield, 2012; Shaffer, 2010), las evaluaciones basadas en la teoría (theory-based/theory-driven evaluation) (McMeekinga et al., 2012; Coryn et al., 2011; Weiss, 1997a; 1997b), las pruebas de control aleatorias (RCT, Randomized Controlled Trials) (Ong-Dean et al., 2011) como el grupo de control o de comparación, y los casos de estudio que analizan en profundidad algún fenómeno concreto.
Modelos que conllevan una agenda social
Los modelos que conllevan una agenda social se caracterizan por tratar de contribuir a la justicia social a través de la evaluación. Buscan asegurar que todos los estratos de la sociedad tienen igualdad de oportunidades y servicios, y parte de sus acciones se encaminan a dar un trato preferencial a los más desaventajados. Para ello favorecen enfoques constructivistas de la evaluación y el uso de métodos cualitativos.
Algunos modelos que conllevan una agenda social son: los modelos centrados en el cliente (responsive/client-centered evaluation) (Mertens & Wilson, 2012; Stake, 2004) que buscan satisfacer las necesidades de información del cliente; los modelos constructivistas (constructivist/4th generation evaluation) (Mertens & Wilson, 2012; Guba & Lincoln, 1989) que buscan entender los programas bajo el punto de vista de los que se han visto afectados por el programa e interpretar su experiencia; las evaluaciones deliberadamente democráticas (deliberative democratic evaluation) (Mertens & Wilson, 2012; House & Howe, 2000) que utilizan proceso democráticos (inclusión, diálogo, principios deliberativos…) para llegar a conclusiones válidas donde hay puntos de vista conflictivos; el empowerment evaluation (Fetterman, 2001; Fetterman & Wandersman, 2005; 2007; Fetterman, Kaftarian & Wandersman, 2014) que busca construir capacidades entre la población afectada por el programa que se evalúa; y la investigación apreciativa (appreciative inquiry) (Preskill & Catsambas, 2006) que busca analizar lo mejor de una organización para a partir de ahí crear un mejor futuro para ella.
Modelos orientados a la mejora y rendición de cuentas
Los modelos orientados a la mejora y rendición de cuentas se caracterizan por examinar por completo el mérito y valor de lo que se está evaluando, tratando de comprender las causas y considerando una batería completa de preguntas y criterios. En muchas ocasiones emplean un examen de necesidades como fuente de criterios básicos para la evaluación y buscan todo tipo de resultados relevantes, no solo aquellos señalados por los objetivos marcados por la intervención evaluada.
Algunos modelos dentro de esta categoría son: El modelo contexto, entrada, proceso, producto (context, input, process, product) (Stufflebeam, 1983) que utiliza la evaluación para mejorar aquello que se evalúa y retroactivamente para juzgar su valor; los estudios orientados al usuario (consumer-oriented studies) (Scriven, 1991) donde la principal justificación de la evaluación es la satisfacción del usuario de la evaluación, se basa en una visión profundamente razonada de la ética y el bien común, y donde se apuesta por la evaluación independiente y externa.
Modelos eclécticos
Los modelos eclécticos se caracterizan por no estar conectados a ninguna filosofía concreta de evaluación, ni a ningún enfoque metodológico, ni a ninguna misión social. Se trata de modelos donde prima el pragmatismo y utilizan lo que se cree más conveniente de cualquier otro enfoque de evaluación. Están diseñados para acomodarse a las necesidades y preferencias de un amplio espectro de clientes y trabajos de evaluación. Como modelo ecléctico destaca especialmente el enfoque centrado en el uso de la evaluación (Fleischer) (Patton, 2008), que busca fomentar el uso adecuado del proceso y resultados de evaluación.
Referencias citadas:
Belfield, C. (2012). Book Reviews: Multiple Account Benefit–Cost Analysis: A Practical Guide for the Systematic Evaluation of Project and Policy Alternatives. American Journal of Evaluation, 33(1), 141-142.
Christie, C. & Fleischer, D. (2010). Insight into Evaluation Practice: A Content Analysis of Designs and Methods Used in Evaluation Studies Published in North American Evaluation-Focused Journals. American Journal of Evaluation, 31(3), 326-346.
Coryn, C., Noakes, L. Westine, C. & Schröter, D. (2011). A Systematic Review of Theory-Driven Evaluation Practice from 1990 to 2009. American Journal of Evaluation, 32(2), 199-226.
Fetterman, D.M. (2001). Foundations of empowerment evaluation. Thousand Oaks, CA: Sage.
Fetterman, D.M. & Wandersman A. (2005). Empowerment evaluation: Principles in practice. New York: Guilford Publications.
Fetterman, D.M., & Wandersman A. (2007). Empowerment evaluation: Yesterday, today, and tomorrow. American Journal of Evaluation, 28(2), 179-198.
Fetterman, D.M., Kaftarian, S., & Wandersman, A. (2014). Empowerment Evaluation: Knowledge and Tools for Self-Assessment, Evaluation Capacity Building, and Accountability. Thounsand Oaks, CA: Sage Publications.
Guba, E.G. & Lincoln, Y.S. (1989). Fourth generation evaluation. Newbury Park, CA: Sage Publications.
House, E.R. & Howe, K.R. (2000). Deliberative Democratic Evaluation. En K.E. Ryan & L. DeStefano (Eds.), Evaluation as a Democratic Process: Promoting Inclusion, Dialogue, and Deliberation, New Directions for Evaluation 85. San Francisco, CA: Jossey-Bass.
McMeekinga, L., Basileb, C. & Cobb R. (2012). An organizational model to distinguish between and integrate research and evaluation activities in a theory based evaluation Evaluation and Program Planning, 35(4), 508–516.
Mertens, D. M. & Wilson A.T. (2012). Program Evaluation Theory and Practice: A Comprehensive Guide. New York: Guilford Press.
Ong-Dean, C., Hofstetter, C. & STrick, B. (2011). Challenges and Dilemmas in Implementing Random Assignment in Educational Research. American Journal of Evaluation, 32(1), 29-49.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
Preskill, H., & Catsambas, T. (2006). Reframing evaluation through appreciative inquiry. Thousand Oaks, CA: Sage Publications.
Scriven, M. (1974). Evaluation perspectives and procedures. En J.W. Popham (Ed.), Evaluation in education: Current applications. Berkeley, California: McCutcheon Publishing Corporation.
Scriven, M. (1991). Evaluation Thesaurus (4ª Ed.). Newbury Park, California: Sage Publications.
Shaffer, M. (2010). Multiple Account Benefit–Cost Analysis: A Practical Guide for the Systematic Evaluation of Project and Policy Alternatives. Toronto: University of Toronto Press, Scholarly Publishing Division.
Stake, R.E. (2004). Standards-based and responsive evaluation. Thousand Oaks, California: Sage.
Stufflebeam, D.L. & Shinkfield, A.J. (2007). Evaluation theory, models, and applications. San Francisco: Jossey-Bass.
Stufflebeam, D.L. (1983). The CIPP Model for Program Evaluation. En G.F. Madaus, M. Scriven, & D.L. Stufflebeam (Eds.), Evaluation Models: Viewpoints on Educational and Human Services Evaluation. Boston: Kluwer Nijhof.
Stufflebeam, D.L. (2001). Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: Jossey-Bass.
Weiss, C. (1997a). How can theory-based evaluation make greater headway? Evaluation Review, 21(4), 501–524.
Weiss, C. H. (1997b). Theory-based evaluation: past, present, and future. En D. Rog & D. Fournier (Eds.), Progress and Future Directions in Evaluation: Perspectives on Theory, Practice, and Methods. California: Jossey-Bass.
About Carlos Plaza
Limitaciones de modelos de evaluación inspirados en el EML y el ACB
Antes de comenzar con las limitaciones de ambos enfoques es bueno reconocer la enorme aportación histórica del EML y el ACB, como herramientas de planificación han contribuido a articular muchos esfuerzos dispersos de cooperación para el desarrollo. No obstante, su traslado y aplicación en el campo de la evaluación, a pesar de que cuenta con la defensa de numerosos profesionales, ofrece unos resultados mucho más pobres que en el campo de la planificación. Tanto el EML como el ACB, poseen importantes limitaciones, que merece la pena repasar:
- El EML adolece de rigidez para inspirar modelos de evaluación, ya que depende de indicadores predeterminados. Lo que da lugar a un modelo poco preparado para el gran grado de incertidumbre que se suele encontrar en el dinámico contexto de las evaluaciones. Supone también un enfoque negativo al estar centrado en el análisis de problemas coartando el posible desarrollo de las capacidades. Además, se trata de una metodología cuyos propios fundamentos y presupuestos impiden y restringen la participación local en las evaluaciones.
- Por su lado, el ACB se muestra en gran medida incapaz de evaluar intervenciones de desarrollo social en los que predominan los beneficios intangibles (educación, integración y fortalecimiento institucional, entre otros). Requiere además de elevados conocimientos financieros y económicos, lo que deja en manos de los consultores economistas externos a la comunidad que se pretende desarrollar los secretos para su aplicación, no contribuyendo al aprendizaje local.
- La imposición de procedimientos complejos de evaluación puede conducir a la desaparición de las organizaciones pequeñas y a la pérdida de su identidad asociativa, en favor de organizaciones grandes o transnacionales.
- Ambas metodologías poseen un sesgo hacia los resultados, en detrimento de una reflexión cualitativa sobre los procesos. Algunos evaluadores experimentados han cuestionado ese vínculo automático que se suele hacer entre evaluación e impacto, aduciendo que existen criterios alternativos a la hora de evaluar un programa, como es su potencial de replicación, su capacidad innovadora, el nivel de participación local o su contribución al fortalecimiento de la sociedad civil. Algunos de los principales argumentos aducidos para criticar estos enfoques son:
- Las enormes dificultades para aislar los resultados directos de los programas y para ligar los insumos con los outputs motivan que un número considerable de evaluaciones de impacto carezca de valor. En la práctica es más fácil identificar los factores externos que influyen de forma adversa en las intervenciones que precisar todas las conexiones causales.
- La utilización de las evaluaciones de impacto para distribuir los fondos de desarrollo desencadena el abandono de muchas líneas de trabajo como las actividades orientadas a los sectores más pobres, debido al aumento de los costes y las pobres perspectivas de alcanzar sostenibilidad financiera, o las actividades innovadoras, debido a la incertidumbre de sus resultados. También sufren bajo esta visión los proyectos que buscan resultados intangibles.
Esto no implica la descalificación automática del EML o de los procedimientos clásicos de evaluación (ACB, ACE), sino la necesidad de utilizar estos modelos con precaución y con espíritu abierto para facilitar la percepción de los potenciales aspectos cualitativos —muchas veces no esperados— de los programas.
About Carlos Plaza
El Análisis de Coste-Beneficio
Otra metodología aludida con frecuencia, aunque menos empleada en el campo de los programas de desarrollo, es el Análisis Coste-Beneficio (ACB) o, en su defecto, el Análisis Coste-Eficacia (ACE). Métodos de gran utilización a nivel de los proyectos de inversión pero que extienden su influencia al nivel de planes y programas.
El origen de la idea de esta contabilidad económica la podemos encontrar en Jules Dupuit (1844), un ingeniero francés del siglo XIX cuyo artículo de 1844 titulado on the measurement of the utility of public works constituye hoy en día una buena lectura, y en Alfred Marshall (1920), un economista inglés que formuló algunos de los conceptos sobre los que se fundamenta el ACB. Pero el desarrollo práctico del ACB tuvo lugar en norteamérica como resultado del impulso dado por la Federal Navigation Act en 1936 que exigió al cuerpo de ingenieros norteamericano (U.S Corps of Engineers) llevar a cabo proyectos cuyos beneficios fueran mayores que los costes. El cuerpo de ingenieros diseñó así los primeros métodos para la estimación de los costes y los beneficios. Pero no fue hasta veinte años más tarde, en la década de los 50, cuando los economistas comenzaron a proporcionar métodos consistentes de análisis de costes y beneficios (Gittinger, 1987; Adler, 1971; Mishra & Beyer, 1976 entre otros).
De acuerdo con estos métodos, la evaluación se concibe también como la búsqueda de resultados de las intervenciones, pero expresados en términos de rentabilidad económica, a través de un proceso normalizado de estimación de costes y beneficios. El ACB goza de prestigio técnico en el mundo de los consultores y evaluadores del desarrollo, inspirando los modelos de evaluación de proyectos de inversión de algunas agencias multilaterales como el Banco Mundial. Su complejidad técnica ha impedido su expansión a pequeñas organizaciones, si bien figura en la oferta educativa de muchos cursos para la evaluación del desarrollo y gestión de las intervenciones.
La estimación de los efectos económicos de una intervención debe realizarse en unidades que permitan comparar los beneficios con sus costes. Si queremos obtener un resultado absoluto sobre el interés social de un programa, todos los efectos deben estar calculados en unidades homogéneas, lo que permite sumarlos y operar con ellas para determinar el resultado neto de cada alternativa.
El Análisis Coste-Beneficio pretende valorar en unidades monetarias tanto los costes como los beneficios que de alguna manera se derivan de cada programa. Se distingue del Análisis Coste-Eficacia por sus objetivos además de sus instrumentos. El ACE tiene como objetivo proporcionar elementos de decisión para determinar cómo obtener unos objetivos especificados de antemano, y en este caso la identificación de los objetivos es el objetivo prioritario.
En el ACB todos los efectos intangibles relevantes han sido valorados en términos de unidades monetarias, lo que implica que la valoración monetaria ha de ser posible. Muchos estudios, que se limitan a estimar los efectos de cualquier intervención, sobre los costes son trabajos que ni siquiera pueden denominarse parciales, debido a que el objetivo del análisis no se plantea medir los beneficios. Un estudio parcial de ACB sería aquel que, si bien tiene en cuenta los beneficios, no contempla todos los beneficios posibles y susceptibles de valoración.
El principio inherente a este análisis es el de excedente económico, es decir, un programa se realizará en tanto los beneficios sociales compensen a los costes sociales. Así, es coherente con los principios económicos de bienestar social y eficiencia.
Los principales pasos del análisis de beneficios y eficacia en función de los costes son la identificación de todos los costes y beneficios del programa y luego calcular una razón coste-eficacia. Al calcular los costes, se debe incluir el valor de la intervención misma, al igual que todos los demás costes, como costes administrativos, de entrega, inversión (actualizados al valor actual neto), el valor monetario de los bienes o servicios proporcionados en forma gratuita, los costes sociales como el deterioro ambiental y los riesgos para la salud. Los beneficios pueden ser monetarios, como el aumento en el ingreso, o bien el número de unidades entregadas, valoraciones de las pruebas o mejoramientos de salud. Cuando no se puedan cuantificar los beneficios, será posible usar indicadores subjetivos, como sistemas de clasificación o ponderación. Sin embargo, este enfoque puede ser complicado para interpretar valoraciones subjetivas.
Una vez determinados los costos y beneficios, la razón eficacia en función de los costes (R) es entonces R = coste/unidad (o beneficio). Esta razón se puede comparar en todas las intervenciones para medir la eficiencia. En teoría, esta técnica es bastante directa. En la práctica, sin embargo, hay muchos riesgos involucrados en la identificación y cuantificación de los costes y beneficios. Es importante asegurar que se seleccionan los indicadores adecuados, que las metodologías y supuestos económicos usados son coherentes en todas las razones y que las razones de hecho son comparables.
En definitiva, el ACB es una técnica de evaluación económica extendida en numerosos campos además del desarrollo, que permite valorar todos los efectos en unidades monetarias, reduciéndolas a un valor actual a través de la aplicación de una tasa de descuento. No obstante, a veces no es fácil distinguir entre lo que son costes y beneficios, especialmente desde el punto de vista social. Por ejemplo, cuando no existe mercado deben buscarse mecanismos alternativos de valoración.
Referencias citadas:
Adler, H.A. (1971). Economic appraisal of transport projects: a manual with case studies. Indiana University Press. Bloomington.
Dupuit, J. (1844). On the Measurement of the Utility of Public Works. Annales des Ponts et Chaussés, 2, 332-75.
Gittinger J.; (1987). Análisis económico de proyectos agrícolas. Banco Mundial. Washington, D.C.
Marshall, A. (1920). Principles of Economics. Macmillan. New York.
Mishra, S.N. & Beyer, J.; 1976. Cost-Benefit Analysis: A Case Study of the Ratnagiri Fisheries Project. Hindustan Publishing Corporation. New Delhi.
About Carlos Plaza
El Enfoque del Marco Lógico
El Enfoque del Marco Lógico (EML) es una herramienta de planificación que fue formalmente adoptada por primera vez por Agencia para el Desarrollo Internacional de Estados Unidos (USAID) para la cooperación al desarrollo a comienzos de los 70. Sus orígenes se pueden situar en las teorías de gestión del sector privado dentro del enfoque de la gestión por objetivos que tuvo gran popularidad en los años 60.
El Enfoque del Marco Lógico (EML) (NORAD, 1993) fue diseñado como técnica para identificar y analizar una situación dada, y definir objetivos y acciones que serán llevadas a cabo para mejorar esa situación. Después de la preparación de un programa o proyecto, el EML vino a constituir en muchas ocasiones una herramienta clave de gestión, seguimiento y evaluación, proporcionando la base para la programación de las actividades y para el desarrollo del sistema de seguimiento y un marco para la evaluación.
Como resultado de la colaboración entre la Unidad de Evaluación del Ministerio Noruego de Asuntos Exteriores y Knut Samset de Scanteam International A.S. salió publicado en 1997 un manual de evaluación basado en el EML (NORAD-UD, 1997), que en aquellos momentos era sin duda el manual más utilizado para el diseño de proyectos de cooperación al desarrollo.
En los últimos años, el enfoque de Marco Lógico (EML) se ha consolidado, no sólo como metodología de planificación y formulación de programas, sino que también inspira los esfuerzos de evaluación de estos programas. Es generalmente adaptado mediante la utilización de matrices de planificación para la evaluación de programas considerándose que éstas aportan rigor a la planificación y a la evaluación.
Desde la perspectiva del EML, los programas de desarrollo se articulan en función de una jerarquía de objetivos, de acuerdo a una cadena causa-efecto de cuatro niveles: insumos, resultados, objetivos específicos y objetivo general. La función de la evaluación lógica consiste, por tanto, en un proceso orientado a contrastar resultados con objetivos, lo esperado con lo real.
El principal instrumento de evaluación es la propia matriz de planificación, que traduce los objetivos y resultados esperados en indicadores cuantitativos. El objetivo central del EML es asegurar la gestión eficaz del programa, mediante la revisión periódica del grado de cumplimiento de los indicadores, la revisión del presupuesto, así como la identificación y análisis de problemas como fuente de aprendizaje institucional. El resultado final del proceso continuo de evaluación es una colección de informes de seguimiento, normalizados, homogéneos, tal y como exigen los organismos financiadores. En este sentido, el EML, más que una metodología de evaluación, constituye, en el fondo, un proceso de normalización de los procedimientos de gestión de los programas.
La matriz del diseño del EML describe la jerarquía de objetivos y los principales supuestos.
Fuente: Elaboración propia a partir de NORAD, 1993
Como componentes generales de la evaluación se consideran la eficiencia, eficacia, impacto, pertinencia y viabilidad. En conjunto, el modelo pretende proporcionar un marco común tanto para la evaluación, como para el establecimiento de sistemas de información. Se establece según un esquema tridimensional, en el nivel inferior organiza la información sobre el programa en cuestión, tal y como está definida en la jerarquía de objetivos, describe los elementos principales del programa y qué se espera lograr en el corto y largo plazo. Esto es también conocido como el “formato EML”, en el que la jerarquía de objetivos es considerada particularmente importante para la planificación y gestión del programa.
Al ser el propósito de las evaluaciones realizar análisis a un nivel agregado, se concentran sobre unos pocos criterios centrales denominados componentes de la evaluación, que es la segunda dimensión. Se construye directamente sobre los elementos de la jerarquía de objetivos y proporciona conocimiento agregado a un nivel superior, útil para la toma de decisiones.
La tercera dimensión viene definida al existir la necesidad de analizar los factores de desarrollo que afectan a la viabilidad del programa. Objeto de atención por ser considerados como problemáticos o sensibles para el éxito de la intervención. En la figura siguiente queda esquemáticamente desarrollado este proceso:
Modelo de evaluación del EML estructurado en las tres dimensiones: la jerarquía de objetivos, el conjunto de componentes de la evaluación y los factores de desarrollo
Fuente: Elaboración propia a partir de NORAD, 1993
Las ventajas que permite este modelo de evaluación son:
- Una utilización sistemática del conocimiento sobre el programa en cuestión.
- La agregación de conocimiento, de forma que aquellos que toman las decisiones pueden evitar una información excesivamente detallada.
- Un énfasis sobre seguimiento profesional, de especial importancia para lograr un desarrollo sostenible.
- La utilización de otros enfoques además de la evaluación de objetivos, como la evaluación de procesos.
Referencias citadas:
NORAD (1993). El enfoque del marco lógico (EML). Manual para la planificación de proyectos orientada mediante objetivos. Agencia Noruega de Desarrollo; Instituto Universitario de Desarrollo y Cooperación (IUDC). Universidad Complutense de Madrid-Fundación Centro Español de Estudios de América Latina (CEDEAL). Madrid.
NORAD-UD (1997). Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Agencia Noruega de Desarrollo-Unidad de Evaluación del Ministerio Noruego de Asuntos Exteriores. Instituto Universitario de Desarrollo y Cooperación (IUDC) – Universidad Complutense de Madrid – Fundación Centro Español de Estudios de América Latina (CEDEAL). Madrid.
About Carlos Plaza
Enfoques y Modelos Metodológicos
Uno de los aspectos más importantes al emprender una actividad de evaluación es la de definir un modelo metodológico adecuado. En el ámbito de las evaluaciones de programas de desarrollo han dominado los enfoques metodológicos inspirados en el Enfoque de Marco Lógico (EML) y el Análisis Coste Beneficio (ACB), orientados a los resultados y a la rendición de cuentas. Este predominio parece estar relacionado con la satisfacción de los intereses de las instituciones financiadoras y el reparto de roles establecidos entre los diferentes actores. Son los organismos de control los que han venido exigiendo la utilización del EML en los procesos de solicitud de subvenciones públicas, a través de formularios cada vez más estandarizados. El EML, en tanto que proceso normalizado de gestión, encaja muy bien con los propios intereses del cuerpo funcionarial de los organismos financiadores, preocupado por el control de los fondos públicos. Por otro lado, estos organismos han ido reiterando las exigencias de realizar Análisis Coste Beneficio (ACB) de las intervenciones, lo que también tiene que ver con sus intereses: comparar los resultados de diferentes intervenciones y asesorar la toma futura de decisiones de financiación.
Ante las limitaciones de estos enfoques surgieron en los años 90 con fuerza, desde diferentes organizaciones y grupos de trabajo, numerosas propuestas metodológicas de evaluación participativa, que parten de la necesidad de superar las relaciones verticales de la cadena y construir visiones compartidas. La dificultad estriba muchas veces en la identificación de herramientas que permitan una buena participación entre el equipo de expertos y los beneficiarios del desarrollo.
La mayor y mejor participación de las partes involucradas es uno de los mayores avances en los procesos de evaluación, y ha dado lugar enfoques de evaluación donde cobra importancia el aprendizaje y capacitación de todos los participantes. En otros tiempos, la evaluación era el trabajo de un grupo de especialistas. Un trabajo sin mayor interacción —o con muchas dificultades de aceptación— por su entorno institucional, político o social. En la actualidad, las evaluaciones tienden a constituirse como actividades integradas al trabajo cotidiano de los gestores y agentes de campo.
