Cuando se diseña un programa es necesario dictar disposiciones para la construcción, mantenimiento y uso de un sistema de información, uno de los elementos fundamentales de todo buen sistema de seguimiento. Entre los medios más comunes para diseñar un sistema de información están los enfoques detallado y de procesos.

Para el enfoque detallado, el equipo de planificación y evaluación previa formula planes minuciosos de trabajo antes de la ejecución del programa. En esos planes se especifican los objetivos del sistema, los datos que se precisan, los estudios que han de emprenderse y las necesidades de personal y presupuestarias.

Este enfoque no da al personal de seguimiento la flexibilidad suficiente para responder a necesidades inesperadas de información, que pueden presentarse durante la ejecución. Estos imprevistos surgen con frecuencia debido a que no se pueden prever todas las eventualidades. Los expertos preparan el plan detallado partiendo del supuesto de que todo lo relacionado con el programa, incluidos los riesgos y las dificultades, se llevará adelante como se había previsto. Y no siempre ocurre así. Además, este enfoque ofrece al personal del proyecto poca o ninguna aportación directa en la formulación del sistema de información y seguimiento. Los gestores no se identifican con esos sistemas, pues a menudo no responden a sus necesidades de gestión diarias, y los consideran como distintos de sus preocupaciones de gestión. Muy a menudo da lugar a un uso deficiente de esos sistemas.

El enfoque de procesos, por el contrario, asume un punto de vista evolutivo de las necesidades de información, de herramientas para su obtención y del sistema de autoevaluación. No se especifican planes y programas de trabajo: simplemente se esbozan. Las actividades específicas son determinadas a medida que van siendo necesarias. El enfoque de procesos hace que el sistema de seguimiento sea un instrumento eficaz para los gestores. Les permite utilizar sus recursos para recopilar y analizar datos sobre los temas y problemas que ellos consideran importantes para la ejecución y gestión diaria del programa.

 

Complementación del enfoque detallado con el enfoque por procesos del sistema de seguimiento

La experiencia indica que el éxito del enfoque de procesos depende en gran medida de la iniciativa y la capacidad del personal de seguimiento. Este es el principal problema que se plantea con ese enfoque, ya que los programas de desarrollo se ubican en zonas que se enfrentan a la escasez de personal cualificado y con experiencia. Es difícil contratar profesionales locales con las aptitudes e iniciativa necesarias, y es complicado conservarlos en una función de seguimiento.

En estos casos, el enfoque detallado puede resultar más práctico, pero es importante estar abierto a la flexibilidad que da el enfoque de procesos y combinar ambos enfoques cuando se vea posible. De esta forma, en la etapa de evaluación previa puede detallarse un diseño amplio para el sistema, y durante la ejecución actuar con un grado considerable de flexibilidad que permita reaccionar ante nuevos problemas y oportunidades. Se puede dar cabida así a las necesidades de seguimiento a medida que se vaya desarrollando el programa.

 

En la planificación y ejecución de políticas, programas o proyectos es común distinguir entre la gestión por objetivos y la gestión del proceso. En el primer concepto se hace hincapié en que la planificación se dirige hacia un objetivo predeterminado; en el segundo el acento se pone en ajustar el rumbo del programa según la experiencia adquirida en su transcurso. De igual forma, en el trabajo de evaluación podemos distinguir entre el enfoque por objetivos y el enfoque por procesos:

• Evaluación de objetivos: Análisis de los efectos de una intervención considerados en relación con los objetivos establecidos en la misma; es decir, en qué medida los impactos son causados por la intervención o se deben a factores externos.
• Evaluación de procesos: Análisis de una intervención y de cómo ésta funciona en un contexto social, a fin de comprender los procesos generados y sus consecuencias en el sentido más amplio.

Con el enfoque por objetivos el principio fundamental es formular hipótesis sobre la base de una teoría establecida, imaginando sus consecuencias, por ejemplo, en forma de objetivos; aquéllas son después contrastadas con la realidad observable en el momento de realizarse la evaluación. Una ventaja encontrada en este enfoque es que, en gran medida, toma como punto de partida la experiencia existente, lo que facilita la selección de datos y las posibilidades de interpretación.

La principal crítica a este enfoque es que puede fácilmente conducir a una situación en que tanto los temas como las áreas problema están tan estrictamente delimitadas que podrían pasarse por alto aspectos importantes. En ocasiones, los programas cuentan con objetivos poco claros o formulados inadecuadamente; además, las intervenciones normalmente dan lugar a impactos no previstos –tanto positivos como negativos– que pueden dejarse de lado si la evaluación se centra únicamente en lo que se ha identificado previamente como el objetivo de la intervención.

Por contraste el enfoque por procesos no se establece sobre un conjunto de teorías o hipótesis acerca del desarrollo. El investigador comienza con una actitud abierta e interrogante. A través de la observación y la investigación, surgen temas que sucesivamente demandan nuevos conocimientos, conduciendo de manera gradual a nuevas revelaciones. Este enfoque consume tiempo y demanda mucho esfuerzo. Una de las objeciones principales es que, a fin de evitar desviaciones subjetivas, es a menudo necesario conceder un énfasis especial a la selección de datos, perspectivas y métodos y explicar estos aspectos en detalle.

En la práctica los enfoques de evaluación por objetivos y por procesos pueden complementarse (NORAD-UD, 1997). En la planificación y ejecución esto puede hacerse analizando de nuevo y, si es necesario, redefiniendo la formulación de la intervención sobre la marcha, a medida que se adquiere nueva experiencia. Esto permite asegurar el grado de flexibilidad necesario en la gestión y dirección de programas. En ese caso, los estudios de proceso pueden ser de considerable valor.

En el trabajo de evaluación, esto se puede conseguir ampliando la perspectiva más allá del marco que fue inicialmente planificado –productividad y eficacia– para incorporar varios aspectos imprevistos o difícilmente predecibles como los impactos, pertinencia y viabilidad. En el fondo se trata de estar abiertos a las necesidades de evaluación que se puedan presentar y abordarlas de la forma que mejor se considere dentro del marco previsto de objetivos, tiempos y recursos inicialmente programados para la evaluación.

 

Complementación del enfoque por objetivos con el enfoque por procesos para la mejor adecuación a las necesidades de evaluación de los programas

Referencias citadas:

NORAD-UD (1997). Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Agencia Noruega de Desarrollo-Unidad de Evaluación del Ministerio Noruego de Asuntos Exteriores. Instituto Universitario de Desarrollo y Cooperación (IUDC) – Universidad Complutense de Madrid – Fundación Centro Español de Estudios de América Latina (CEDEAL). Madrid.

Los enfoques y modelos de evaluación constituyen una filosofía de trabajo que definen lo que el evaluador busca en el fondo cuando realiza su trabajo, la razón y objetivos básicos con los que realiza la evaluación. Son numerosos los modelos y enfoques que enriquecen la práctica evaluadora (Christie & Fleischer, 2010; Patton, 2008; Stufflebeam & Shinkfield, 2007) y se aconseja ser pluralista en este aspecto, conocer bien los distintos modelos y aplicar los que más convengan en cada caso. Una tendencia muy común es incluso mezclar varios métodos (mix-methods) en una misma evaluación con el objetivo de sacar el máximo partido de las actividades de evaluación.

Tradicionalmente se ha venido hablando de la evaluación cuantitativa en situaciones en las que podemos cifrar los resultados y buscar patrones de comportamiento; por otro lado tenemos la evaluación cualitativa que captura más la diversidad y humaniza los números de la evaluación cuantitativa.

Pero ésta es una división clásica muy genérica. Otras clasificaciones más precisas (Stufflebeam, 2001; Stufflebeam & Shinkfield, 2007) pueden hacernos una idea de los numerosos modelos de evaluación existentes que compiten en el mercado de la evaluación. En esta clasificación podemos encontrar varios tipos de modelos: los orientados a preguntas, los que conllevan una agenda social, los orientados a la mejora y rendición de cuentas, y los eclécticos.

 

Modelos orientados a preguntas y métodos

Este tipo de modelos se caracterizan por estar enfocados a responder preguntas específicas —para lo que se suelen emplear multitud de métodos y herramientas de evaluación—; o por estar enfocados a utilizar un determinado método de evaluación. Si estas preguntas o métodos son los apropiados para valorar el mérito, valor o importancia de la intervención es otra cuestión. Lo que se determina en este caso son las preguntas o los métodos a utilizar, y lo que cabe desear es que sean las preguntas o métodos adecuados. En cualquier caso, ambos tipos de modelos son algo estrechos en sus miras y a menudo se quedan cortos a la hora de hacer una valoración del mérito, valor e importancia de lo que se evalúa.

Algunos modelos orientados a preguntas y métodos son: evaluaciones basadas en objetivos (goal-based/objectives-based evaluations) (Scriven, 1974), los estudios de coste–beneficio (costs-benefits studies) (Belfield, 2012; Shaffer, 2010), las evaluaciones basadas en la teoría (theory-based/theory-driven evaluation) (McMeekinga et al., 2012; Coryn et al., 2011; Weiss, 1997a; 1997b), las pruebas de control aleatorias (RCT, Randomized Controlled Trials) (Ong-Dean et al., 2011) como el grupo de control o de comparación, y los casos de estudio que analizan en profundidad algún fenómeno concreto.

Modelos que conllevan una agenda social

Los modelos que conllevan una agenda social se caracterizan por tratar de contribuir a la justicia social a través de la evaluación. Buscan asegurar que todos los estratos de la sociedad tienen igualdad de oportunidades y servicios, y parte de sus acciones se encaminan a dar un trato preferencial a los más desaventajados. Para ello favorecen enfoques constructivistas de la evaluación y el uso de métodos cualitativos.

Algunos modelos que conllevan una agenda social son: los modelos centrados en el cliente (responsive/client-centered evaluation) (Mertens & Wilson, 2012; Stake, 2004) que buscan satisfacer las necesidades de información del cliente; los modelos constructivistas (constructivist/4th generation evaluation) (Mertens & Wilson, 2012; Guba & Lincoln, 1989) que buscan entender los programas bajo el punto de vista de los que se han visto afectados por el programa e interpretar su experiencia; las evaluaciones deliberadamente democráticas (deliberative democratic evaluation) (Mertens & Wilson, 2012; House & Howe, 2000) que utilizan proceso democráticos (inclusión, diálogo, principios deliberativos…) para llegar a conclusiones válidas donde hay puntos de vista conflictivos; el empowerment evaluation (Fetterman, 2001; Fetterman & Wandersman, 2005; 2007; Fetterman, Kaftarian & Wandersman, 2014) que busca construir capacidades entre la población afectada por el programa que se evalúa; y la investigación apreciativa (appreciative inquiry) (Preskill & Catsambas, 2006) que busca analizar lo mejor de una organización para a partir de ahí crear un mejor futuro para ella.

 

Modelos orientados a la mejora y rendición de cuentas

Los modelos orientados a la mejora y rendición de cuentas se caracterizan por examinar por completo el mérito y valor de lo que se está evaluando, tratando de comprender las causas y considerando una batería completa de preguntas y criterios. En muchas ocasiones emplean un examen de necesidades como fuente de criterios básicos para la evaluación y buscan todo tipo de resultados relevantes, no solo aquellos señalados por los objetivos marcados por la intervención evaluada.

Algunos modelos dentro de esta categoría son: El modelo contexto, entrada, proceso, producto (context, input, process, product) (Stufflebeam, 1983) que utiliza la evaluación para mejorar aquello que se evalúa y retroactivamente para juzgar su valor; los estudios orientados al usuario (consumer-oriented studies) (Scriven, 1991) donde la principal justificación de la evaluación es la satisfacción del usuario de la evaluación, se basa en una visión profundamente razonada de la ética y el bien común, y donde se apuesta por la evaluación independiente y externa.

 

Modelos eclécticos

Los modelos eclécticos se caracterizan por no estar conectados a ninguna filosofía concreta de evaluación, ni a ningún enfoque metodológico, ni a ninguna misión social. Se trata de modelos donde prima el pragmatismo y utilizan lo que se cree más conveniente de cualquier otro enfoque de evaluación. Están diseñados para acomodarse a las necesidades y preferencias de un amplio espectro de clientes y trabajos de evaluación. Como modelo ecléctico destaca especialmente el enfoque centrado en el uso de la evaluación (Fleischer) (Patton, 2008), que busca fomentar el uso adecuado del proceso y resultados de evaluación.

 

Referencias citadas:

Belfield, C. (2012). Book Reviews: Multiple Account Benefit–Cost Analysis: A Practical Guide for the Systematic Evaluation of Project and Policy Alternatives. American Journal of Evaluation, 33(1), 141-142.

Christie, C. & Fleischer, D. (2010). Insight into Evaluation Practice: A Content Analysis of Designs and Methods Used in Evaluation Studies Published in North American Evaluation-Focused Journals. American Journal of Evaluation, 31(3), 326-346.

Coryn, C., Noakes, L. Westine, C. & Schröter, D. (2011). A Systematic Review of Theory-Driven Evaluation Practice from 1990 to 2009. American Journal of Evaluation, 32(2), 199-226.

Fetterman, D.M. (2001). Foundations of empowerment evaluation. Thousand Oaks, CA: Sage.

Fetterman, D.M. & Wandersman A. (2005). Empowerment evaluation: Principles in practice. New York: Guilford Publications.

Fetterman, D.M., & Wandersman A. (2007). Empowerment evaluation: Yesterday, today, and tomorrow. American Journal of Evaluation, 28(2), 179-198.

Fetterman, D.M., Kaftarian, S., & Wandersman, A. (2014). Empowerment Evaluation: Knowledge and Tools for Self-Assessment, Evaluation Capacity Building, and Accountability. Thounsand Oaks, CA: Sage Publications.

Guba, E.G. & Lincoln, Y.S. (1989). Fourth generation evaluation. Newbury Park, CA: Sage Publications.

House, E.R. & Howe, K.R. (2000). Deliberative Democratic Evaluation. En K.E. Ryan & L. DeStefano (Eds.), Evaluation as a Democratic Process: Promoting Inclusion, Dialogue, and Deliberation, New Directions for Evaluation 85. San Francisco, CA: Jossey-Bass.

McMeekinga, L., Basileb, C. & Cobb R. (2012). An organizational model to distinguish between and integrate research and evaluation activities in a theory based evaluation Evaluation and Program Planning, 35(4), 508–516.

Mertens, D. M. & Wilson A.T. (2012). Program Evaluation Theory and Practice: A Comprehensive Guide. New York: Guilford Press.

Ong-Dean, C., Hofstetter, C. & STrick, B. (2011). Challenges and Dilemmas in Implementing Random Assignment in Educational Research. American Journal of Evaluation, 32(1), 29-49.

Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.

Preskill, H., & Catsambas, T. (2006). Reframing evaluation through appreciative inquiry. Thousand Oaks, CA: Sage Publications.

Scriven, M. (1974). Evaluation perspectives and procedures. En J.W. Popham (Ed.), Evaluation in education: Current applications. Berkeley, California: McCutcheon Publishing Corporation.

Scriven, M. (1991). Evaluation Thesaurus (4ª Ed.). Newbury Park, California: Sage Publications.

Shaffer, M. (2010). Multiple Account Benefit–Cost Analysis: A Practical Guide for the Systematic Evaluation of Project and Policy Alternatives. Toronto: University of Toronto Press, Scholarly Publishing Division.

Stake, R.E. (2004). Standards-based and responsive evaluation. Thousand Oaks, California: Sage.

Stufflebeam, D.L. & Shinkfield, A.J. (2007). Evaluation theory, models, and applications. San Francisco: Jossey-Bass.

Stufflebeam, D.L. (1983). The CIPP Model for Program Evaluation. En G.F. Madaus, M. Scriven, & D.L. Stufflebeam (Eds.), Evaluation Models: Viewpoints on Educational and Human Services Evaluation. Boston: Kluwer Nijhof.

Stufflebeam, D.L. (2001). Evaluation models. New Directions for Evaluation, 89. San Francisco, CA: Jossey-Bass.

Weiss, C. (1997a). How can theory-based evaluation make greater headway? Evaluation Review, 21(4), 501–524.

Weiss, C. H. (1997b). Theory-based evaluation: past, present, and future. En D. Rog & D. Fournier (Eds.), Progress and Future Directions in Evaluation: Perspectives on Theory, Practice, and Methods. California: Jossey-Bass.