De acuerdo con Scriven (2007) existen cinco dimensiones de evaluación o aspectos susceptibles de ser evaluados: el proceso, los resultados, los costes, comparativas y generalizaciones, al que conviene añadir la lógica de intervención. En todas estas dimensiones es necesario estudiar los hechos acontecidos y combinarlos adecuadamente con los valores aplicables a cada situación para determinar el mérito, valor e importancia de esos hechos. Las dimensiones de la lógica de intervención, el proceso y los resultados son los que principalmente determinan el mérito derivado de las características intrínsecas de lo que evaluamos. El resto de dimensiones (costes, comparativas y generalizaciones) se definen en relación a valores específicos de gran importancia general que les da el nombre a estas dimensiones. Los costes y comparativas son especialmente relevantes a la hora de determinar el valor referencial a una moneda u otro referente que se considere adecuado, y las comparativas y generalizaciones son las que llevan el peso a la hora de determinar la importancia en relación al contexto y las personas que rodean lo que evaluamos.
En la evaluación de intervenciones de desarrollo no es necesario emplear siempre todas ellas, y en función de cada caso habrá que escoger las que resulten de mayor utilidad.
Lógica de intervención
Una dimensión importante es la evaluación de la lógica de intervención. Ésta se centra en analizar la visión, diseño y planificación realizada: su calidad, necesidad, pertinencia y coherencia con la realidad del territorio.
La lógica de una intervención explica cómo las actividades a implementar van a conducir a los resultados en el contexto de una intervención. Esta lógica ha de estar descrita en los documentos de planificación donde han de concretarse los objetivos esperados. Es importante tener en cuenta que se trata de una simplificación útil de la realidad y ser consciente de la complejidad del mundo real. Las explicaciones causales reales a menudo se revelan más complejas que los supuestos establecidos al inicio. No es bueno hacer depender la evaluación de la resolución del misterio de la causalidad, que no siempre es fácil y a veces absorbe un esfuerzo grande y de poca utilidad. Al reconstruir la lógica de intervención en el momento de la evaluación pueden tenerse en cuenta además otros resultados y factores externos que no fueron evocados en los documentos de planficación iniciales, pues además de la complejidad, con frecuencia la lógica de intervención evoluciona a través del tiempo.
Las representaciones más comunes de una lógica de intervención son:
- Marco lógico: Esta técnica consiste en producir una presentación en forma de matriz que especifique los objetivos (primera columna), cómo se los deberá verificar (segunda columna: indicadores, y tercera columna: fuentes) y los principales supuestos acerca de los factores externos (cuarta columna). Las líneas del marco lógico retoman una presentación simplificada de la lógica de intervención, en sólo cuatro líneas: actividades, resultados, finalidad y objetivo global. Esta representación es conveniente para una intervención simple sin excesiva complejidad.
- Diagrama de objetivos: Esta técnica funciona por medio de la identificación de los objetivos de una intervención y una presentación gráfica que muestre las cadenas lógicas entre objetivos, desde los más operativos hasta los más globales. La lógica de intervención está representada en forma de casillas y de flechas y es útil en los casos de intervenciones más complejas. Contrariamente al marco lógico, el diagrama puede tener cadenas de objetivos tan largas como sea necesario y representar sinergias y relaciones complejas entre objetivos. Una forma particular y sencilla de representación consiste en el árbol de objetivos que se aplica cuando cada objetivo de rango inferior contribuye a un solo objetivo de rango superior.
- Diagrama de resultados esperados: Esta técnica se asemeja al diagrama de objetivos ya que se apoya en los objetivos planificados para una intervención. Sin embargo, los objetivos se traducen en resultados esperados antes de ser presentados en un diagrama. La traducción de los objetivos en resultados esperados permite trabajar con conceptos más concretos y más fáciles de verificar.
Proceso
En unos casos las actividades de evaluación pueden centrarse en el estudio de los procesos de desarrollo, analizando la aplicación y gestión de la intervención, lo cual suele ser más interesante que el mero análisis de los resultados de cara a plantear mejoras. Hay una tendencia bastante extendida en el mundo de la evaluación de centrarse en los resultados e impactos, sin embargo poner énfasis en el estudio del proceso suele resultar de gran interés.
Se trata de evaluar el mérito, valor e importancia de todo lo que ocurre antes de darse los resultados (outcomes): la aplicación y gestión del programa, la fidelidad de la implementación al diseño de programación realizado (alineamiento), el seguimiento o monitoreo y el aprendizaje originado de su retroalimentación (errores subsanados, soluciones diseñadas). Se trata de examinar todas las actividades y procedimientos, los procesos generales de aprendizaje para lidiar con los cambios. Analizar las realizaciones más inmediatas y materiales (resultados inmediatos, outputs) antes de darse los verdaderos resultados e impactos.
Resultados
Muy communmente la evaluación puede centrarse en los resultados de la intervención mediante el análisis de sus diversos efectos: positivos y negativos, directos e indirectos, intencionales o no, y a corto (output), medio (outcome) y largo plazo (impact); efectos en los beneficiarios, en otras personas o en el medioambiente; efectos a nivel individual, organizacional o a nivel del capital social; efectos en las capacidades y potencial de las personas, que aunque no son necesariamente logros o productos observables, es importante tenerlos en cuenta.
En ocasiones es útil proporcionar explicaciones sobe el éxito o fracaso en relación a las decisiones tomadas, el contexto, las medidas…, identificar las claves del éxito de determinados programas o medidas. Y dado que los resultados más importantes puede ser que no sean intencionados ni anticipados, merece la pena distinguir entre efectos secundarios (side effects, que afectan a la población objetivo y a otros) e impactos secundarios (side impacts, impactos de cualquier tipo entre la población no objetivo del programa).
El mayor problema metodológico de la evaluación concerniente a esta dimensión está en establecer la conexión causal, especialmente cuando hay muchas posibles causas y posibles atribuciones de partes del efecto a cada de ellas. Otro problema es la frecuencia con la que las evaluaciones han de hacerse y terminarse antes de que los verdaderos resultados lleguen a darse, lo que hace que se dependa de predicciones basadas en pequeñas muestras y de las conjeturas y suposiciones que acompañan a estas siempre arriesgadas predicciones.
Costes
Muy relacionada con esta dimensión de resultados está la evaluación de costes donde se pueden analizar costes monetarios y no monetarios, directos e indirectos y costes actuales y de oportunidad. Esta dimensión es crucial a la hora de determinar el valor (worth).
Cuando sea posible estos costes han de ser pormenorizados por estados de desarrollo y periodos de calendario, tipos de coste en los que se ha incurrido (renta, equipamiento, personal…) y destinatarios de los pagos. Han de incluirse los costes no monetarios como son el espacio, el tiempo, la experiencia; así como los costes menos medibles como el estrés, capital personal o social (e.g. reputación o buena voluntad) o impactos medioambientales
Comparativas
En esta dimensión se compara la intervención evaluada con otras intervenciones con las que se buscan unos beneficios similares partiendo de recursos parecidos. Se entra aquí a la búsqueda de entidades que supongan formas alternativas para lograr beneficios iguales o similares con los mismos o menos recursos (competidores críticos). Merece la pena buscar y describir al menos una alternativa que es mucho más barata pero no mucho menos efectiva, y otra alternativa mucho más efectiva aunque más cara (siempre dentro de los límites de los recursos disponibles). A veces es útil comparar la intervención evaluada con un enfoque ampliamente extendido y admirado que sea percibido como alternativa (e.g. un icono local), o con una alternativa virtual factible en la teoría (competidor virtual) que pueda ser diseñado a partir de componentes existentes o fácilmente construidos. Esta última alternativa puede crear un conflicto de intereses al entrar el evaluador en un papel de planificador y poder perder objetividad a la hora de evaluar su propio diseño frente a la intervención evaluada.
En cualquier caso las comparativas con las alternativas que estén disponibles son a menudo esclarecedoras y algunas veces incluso esenciales. Suele ser tentador reunir en un mismo análisis las dimensiones de coste y comparativa en una comparativa de coste-eficacia pero es mejor mantener ambas dimensiones separadas por el interés de tener los resultados por separado. No todas las alternativas son comparables en costes y el coste no es muchas veces el elemento más importante de las comparativas.
Generalizaciones
Bajo esta dimensión la evaluación busca analizar hasta qué punto la intervención evaluada o alguno de sus componentes puede generalizarse en otras condiciones con resultados similares. Las generalizaciones pueden hacerse para otras situaciones (físicas, políticas, etc.), otro personal, otra escala territorial o temporal (ampliarla o también reducirla), otros beneficiarios, etc. Son las llamadas dimensiones de generalización y son importantes de cara a señalar el mérito e importancia del programa evaluado pues aquí se responde a si el programa puede usarse con éxito al aplicar cambios en estas dimensiones. Este tipo de planteamientos son típicamente usados a la hora de analizar si un programa aplicado a un pequeño grupo de beneficiarios podría tener éxito a una mayor escala. También se usan las generalizaciones en el tiempo para analizar la longevidad, durabilidad (ante condiciones adversas) o la sostenibilidad.
Para realizar este tipo de evaluación es necesario hacer predicciones sobre los resultados de una intervención en distintos escenarios. A pesar del riesgo de este tipo de predicciones, este tipo de evaluación es en ocasiones el que más potencial tiene para contribuir a la mejora de los programas. Muestra además que la evaluación no es siempre un ejercicio reactivo sino también creativo.
Referencias citadas:
Scriven, M. (2007). Key evaluation checklist. Retrieved May 12, 2015, from http://www.wmich.edu/evalctr/archive_checklists/kec_feb07.pdf
About Carlos Plaza
