De acuerdo con Scriven (2007) existen cinco dimensiones de evaluación o aspectos susceptibles de ser evaluados: el proceso, los resultados, los costes, comparativas y generalizaciones, al que conviene añadir la lógica de intervención. En todas estas dimensiones es necesario estudiar los hechos acontecidos y combinarlos adecuadamente con los valores aplicables a cada situación para determinar el mérito, valor e importancia de esos hechos. Las dimensiones de la lógica de intervención, el proceso y los resultados son los que principalmente determinan el mérito derivado de las características intrínsecas de lo que evaluamos. El resto de dimensiones (costes, comparativas y generalizaciones) se definen en relación a valores específicos de gran importancia general que les da el nombre a estas dimensiones. Los costes y comparativas son especialmente relevantes a la hora de determinar el valor referencial a una moneda u otro referente que se considere adecuado, y las comparativas y generalizaciones son las que llevan el peso a la hora de determinar la importancia en relación al contexto y las personas que rodean lo que evaluamos.

En la evaluación de intervenciones de desarrollo no es necesario emplear siempre todas ellas, y en función de cada caso habrá que escoger las que resulten de mayor utilidad.

 

Lógica de intervención

Una dimensión importante es la evaluación de la lógica de intervención. Ésta se centra en analizar la visión, diseño y planificación realizada: su calidad, necesidad, pertinencia y coherencia con la realidad del territorio.

La lógica de una intervención explica cómo las actividades a implementar van a conducir a los resultados en el contexto de una intervención. Esta lógica ha de estar descrita en los documentos de planificación donde han de concretarse los objetivos esperados. Es importante tener en cuenta que se trata de una simplificación útil de la realidad y ser consciente de la complejidad del mundo real. Las explicaciones causales reales a menudo se revelan más complejas que los supuestos establecidos al inicio. No es bueno hacer depender la evaluación de la resolución del misterio de la causalidad, que no siempre es fácil y a veces absorbe un esfuerzo grande y de poca utilidad. Al reconstruir la lógica de intervención en el momento de la evaluación pueden tenerse en cuenta además otros resultados y factores externos que no fueron evocados en los documentos de planficación iniciales, pues además de la complejidad, con frecuencia la lógica de intervención evoluciona a través del tiempo.

Las representaciones más comunes de una lógica de intervención son:

• Marco lógico: Esta técnica consiste en producir una presentación en forma de matriz que especifique los objetivos (primera columna), cómo se los deberá verificar (segunda columna: indicadores, y tercera columna: fuentes) y los principales supuestos acerca de los factores externos (cuarta columna). Las líneas del marco lógico retoman una presentación simplificada de la lógica de intervención, en sólo cuatro líneas: actividades, resultados, finalidad y objetivo global. Esta representación es conveniente para una intervención simple sin excesiva complejidad.
• Diagrama de objetivos: Esta técnica funciona por medio de la identificación de los objetivos de una intervención y una presentación gráfica que muestre las cadenas lógicas entre objetivos, desde los más operativos hasta los más globales. La lógica de intervención está representada en forma de casillas y de flechas y es útil en los casos de intervenciones más complejas. Contrariamente al marco lógico, el diagrama puede tener cadenas de objetivos tan largas como sea necesario y representar sinergias y relaciones complejas entre objetivos. Una forma particular y sencilla de representación consiste en el árbol de objetivos que se aplica cuando cada objetivo de rango inferior contribuye a un solo objetivo de rango superior.
• Diagrama de resultados esperados: Esta técnica se asemeja al diagrama de objetivos ya que se apoya en los objetivos planificados para una intervención. Sin embargo, los objetivos se traducen en resultados esperados antes de ser presentados en un diagrama. La traducción de los objetivos en resultados esperados permite trabajar con conceptos más concretos y más fáciles de verificar.

 

Proceso

En unos casos las actividades de evaluación pueden centrarse en el estudio de los procesos de desarrollo, analizando la aplicación y gestión de la intervención, lo cual suele ser más interesante que el mero análisis de los resultados de cara a plantear mejoras. Hay una tendencia bastante extendida en el mundo de la evaluación de centrarse en los resultados e impactos, sin embargo poner énfasis en el estudio del proceso suele resultar de gran interés.

Se trata de evaluar el mérito, valor e importancia de todo lo que ocurre antes de darse los resultados (outcomes): la aplicación y gestión del programa, la fidelidad de la implementación al diseño de programación realizado (alineamiento), el seguimiento o monitoreo y el aprendizaje originado de su retroalimentación (errores subsanados, soluciones diseñadas). Se trata de examinar todas las actividades y procedimientos, los procesos generales de aprendizaje para lidiar con los cambios. Analizar las realizaciones más inmediatas y materiales (resultados inmediatos, outputs) antes de darse los verdaderos resultados e impactos.

 

Resultados

Muy communmente la evaluación puede centrarse en los resultados de la intervención mediante el análisis de sus diversos efectos: positivos y negativos, directos e indirectos, intencionales o no, y a corto (output), medio (outcome) y largo plazo (impact); efectos en los beneficiarios, en otras personas o en el medioambiente; efectos a nivel individual, organizacional o a nivel del capital social; efectos en las capacidades y potencial de las personas, que aunque no son necesariamente logros o productos observables, es importante tenerlos en cuenta.

En ocasiones es útil proporcionar explicaciones sobe el éxito o fracaso en relación a las decisiones tomadas, el contexto, las medidas…, identificar las claves del éxito de determinados programas o medidas. Y dado que los resultados más importantes puede ser que no sean intencionados ni anticipados, merece la pena distinguir entre efectos secundarios (side effects, que afectan a la población objetivo y a otros) e impactos secundarios (side impacts, impactos de cualquier tipo entre la población no objetivo del programa).

El mayor problema metodológico de la evaluación concerniente a esta dimensión está en establecer la conexión causal, especialmente cuando hay muchas posibles causas y posibles atribuciones de partes del efecto a cada de ellas. Otro problema es la frecuencia con la que las evaluaciones han de hacerse y terminarse antes de que los verdaderos resultados lleguen a darse, lo que hace que se dependa de predicciones basadas en pequeñas muestras y de las conjeturas y suposiciones que acompañan a estas siempre arriesgadas predicciones.

 

Costes

Muy relacionada con esta dimensión de resultados está la evaluación de costes donde se pueden analizar costes monetarios y no monetarios, directos e indirectos y costes actuales y de oportunidad. Esta dimensión es crucial a la hora de determinar el valor (worth).

Cuando sea posible estos costes han de ser pormenorizados por estados de desarrollo y periodos de calendario, tipos de coste en los que se ha incurrido (renta, equipamiento, personal…) y destinatarios de los pagos. Han de incluirse los costes no monetarios como son el espacio, el tiempo, la experiencia; así como los costes menos medibles como el estrés, capital personal o social (e.g. reputación o buena voluntad) o impactos medioambientales

 

Comparativas

En esta dimensión se compara la intervención evaluada con otras intervenciones con las que se buscan unos beneficios similares partiendo de recursos parecidos. Se entra aquí a la búsqueda de entidades que supongan formas alternativas para lograr beneficios iguales o similares con los mismos o menos recursos (competidores críticos). Merece la pena buscar y describir al menos una alternativa que es mucho más barata pero no mucho menos efectiva, y otra alternativa mucho más efectiva aunque más cara (siempre dentro de los límites de los recursos disponibles). A veces es útil comparar la intervención evaluada con un enfoque ampliamente extendido y admirado que sea percibido como alternativa (e.g. un icono local), o con una alternativa virtual factible en la teoría (competidor virtual) que pueda ser diseñado a partir de componentes existentes o fácilmente construidos. Esta última alternativa puede crear un conflicto de intereses al entrar el evaluador en un papel de planificador y poder perder objetividad a la hora de evaluar su propio diseño frente a la intervención evaluada.

En cualquier caso las comparativas con las alternativas que estén disponibles son a menudo esclarecedoras y algunas veces incluso esenciales. Suele ser tentador reunir en un mismo análisis las dimensiones de coste y comparativa en una comparativa de coste-eficacia pero es mejor mantener ambas dimensiones separadas por el interés de tener los resultados por separado. No todas las alternativas son comparables en costes y el coste no es muchas veces el elemento más importante de las comparativas.

 

Generalizaciones

Bajo esta dimensión la evaluación busca analizar hasta qué punto la intervención evaluada o alguno de sus componentes puede generalizarse en otras condiciones con resultados similares. Las generalizaciones pueden hacerse para otras situaciones (físicas, políticas, etc.), otro personal, otra escala territorial o temporal (ampliarla o también reducirla), otros beneficiarios, etc. Son las llamadas dimensiones de generalización y son importantes de cara a señalar el mérito e importancia del programa evaluado pues aquí se responde a si el programa puede usarse con éxito al aplicar cambios en estas dimensiones. Este tipo de planteamientos son típicamente usados a la hora de analizar si un programa aplicado a un pequeño grupo de beneficiarios podría tener éxito a una mayor escala. También se usan las generalizaciones en el tiempo para analizar la longevidad, durabilidad (ante condiciones adversas) o la sostenibilidad.

Para realizar este tipo de evaluación es necesario hacer predicciones sobre los resultados de una intervención en distintos escenarios. A pesar del riesgo de este tipo de predicciones, este tipo de evaluación es en ocasiones el que más potencial tiene para contribuir a la mejora de los programas. Muestra además que la evaluación no es siempre un ejercicio reactivo sino también creativo.

 

Referencias citadas:

Scriven, M. (2007). Key evaluation checklist. Retrieved May 12, 2015, from http://www.wmich.edu/evalctr/archive_checklists/kec_feb07.pdf

Dentro del contexto de los planes y programas de desarrollo se encuentran frecuentemente problemas de vocabulario porque el S&E se ha efectuado en un contexto internacional e intersectorial, entre personas que no comparten la misma lengua materna ni las mismas referencias profesionales. Además, debido al reciente desarrollo de estas actividades, a muchos actores les es desconocido el vocabulario estándar que no está siempre estabilizado. Los problemas de comunicación resultantes pueden hacer perder tiempo y energía, e incluso comprometer la calidad o la utilidad de los trabajos.

Términos técnicos en el ámbito del seguimiento y evaluación del desarrollo.
Fuente: Elaboración propia.

El propósito de este anexo es contribuir hacia la estabilización y clarificación del vocabulario – principalmente en los países de habla española – partiendo del glosario de términos elaborado en el tomo VI de la colección MEANS actualmente en inglés y francés . Los términos estudiados se refieren principalmente al S&E de un programa de desarrollo, pero también puede interesar a los lectores que dirijan o realicen evaluaciones temáticas o evaluaciones en profundidad en dominios más limitados. Es por ello por lo que el término ‘intervención’ es utilizado numerosas veces, en sentido genérico, para denotar cualquier objeto de seguimiento y evaluación.

Una de los principales activos de un profesional de la evaluación es el sistema de valores que utiliza para realizar sus evaluaciones. Este sistema constituye la fundamentación y una de sus principales aportaciones al trabajo que realiza, la base necesaria para los juicios de valor con los que ha de concluir sus evaluaciones. Este sistema lo construye cada evaluador a medida que se va ganando experiencia, lo que no significa que cambie y por tanto goce de cierto relativismo. Más bien lo que significa es que el evaluador va profundizando en la realidad objetiva con la que trabaja, descubriendo nuevos valores que se le podían haber pasado por alto, o calibrando la importancia relativa entre los valores que ya maneja.

El contexto en el que se trabaja hace que se apliquen unos valores u otros, o se de una importancia mayor a unos que a otros. Es el caso de hacer una evaluación de programas de desarrollo rural en un país desarrollado frente a hacerla en un país en vías de desarrollo. En el primer caso el contexto puede hacer aflorar la importancia de los valores medioambientales, en el segundo caso, un contexto donde la gente muere de hambre puede ensombrecer los valores medioambientales. Esta circunstancia no debe confundirse con el relativismo. La realidad sigue siendo la que es y los valores que la fundamentan también. Los dos contextos están fundamentados por unos mismos valores —e.g. el valor de la vida humana y el valor de los bienes medioambientales— simplemente afloran unos valores u otros, y su importancia relativa, a la hora de realizar un juicio de valor. En los dos casos el valor de la vida humana es preponderante, pero en el caso del país desarrollado puesto como ejemplo se respeta y se cuida ese valor, circunstancia que permite poner el foco de la evaluación en otro tipo de valores.

 

La pregunta que podemos hacernos aquí es ¿cómo se construye un sistema de valores?, ¿de qué fuentes se nutre un sistema de este tipo? Enumeramos a continuación algunas de las fuentes más comunes:

• Valoración de necesidades (needs assessment): una primera fuente de valores surge durante el proceso de diagnóstico y la observación de las necesidades existententes en un determinado contexto.
• Definición y comprensión del objeto a evaluar (definitional): en el caso de un programa de desarrollo una fuente común de valores está relacionada con la definición de los impactos (sociales, económicos, ambientales) esperados.
• Lógica: otra fuente de valores está relacionada con el propio razonamiento de forma que lo que se evalue esté formalmente de acuerdo con los principios básicos de la razón.
• Marco legal: valores que derivan de la legislación vigente que pueda ser aplicable o valores acordados con quien patrocina la evaluación y que normalmente pone unos requerimiento iniciales.
• Ética: valores que en muchas ocasiones pueden no estar incluidos en el marcol legal, o incluso pueden rebatir algunos de los valores legales.
• Marco personal y organizacional: En relación a los objetivos personales u organizacionales de aquellos individuos u organizaciones implicados en una evaluación.
• Fidelidad: normalmente en relación a la implementación de un determinado programa y la fidelidad a la misión con que fue creado.
• Estándares profesionales: valores establecidos por autoridad, costumbre o consentimiento general.
• Juicio experto: relacionado normalmente con los estándares más comúnmente usados y elegidos por expertos profesionales.
• Estándares históricos, tradicionales y culturales: normalmente variables en función del tiempo y del contexto.
• Mérito científico y tecnológico.
• Políticos: pueden ser algo artificiosos e interesados, y hay que abordarlos con cierto cuidado.
• Riesgo: en relación al daño potencial, su probabilidad, su grado de incertidumbre…

La fundamentación teórica de la evaluación se asienta en las teorías del valor y las teorías de la práctica. Éstas últimas hacen referencia al papel de evaluador, objetivos, métodos y usos de evaluación, la naturaleza de las evidencias… temas que trataremos con extensión en otros artículos. Abordamos aquí las teorías del valor, que estudian la naturaleza del valor y su relación con los hechos.

La cuestión de fondo es que ha habido, y hay hoy en día, ámbitos científicos que desprecian las ciencias sociales al considerar que son cuestión de juicios subjetivos que no llevan a hacer verdadera ciencia. Podríamos considerar que ese hacer ciencia consiste en establecer leyes generales, y en ciencias sociales aunque es más difícil no es imposible establecerlas. No todo ha de ser probado por el método científico: observación sistemática, medición, experimentación, la formulación, análisis y modificación de hipótesis. De hecho sabemos con certeza muchas cosas que no han sido probadas por el método científico, por ejemplo el hecho de que los Andes se han levantado por la subducción de placas oceánicas por debajo de la placa Sudamericana.
El problema es que ese desprecio está contribuyendo a mermar la contribución que las ciencias sociales pueden hacer a la sociedad. Hay oportunidades que aprovechar y problemas importantes que resolver: el hambre, la pobreza, la corrupción, el narcotráfico, la violencia, el desempleo… La cuestión está en que no podemos hablar de estas cuestiones sin entrar a términos evaluativos, esa es la razón por la que la cultura de la evaluación está entrando con tanta fuerza en la actualidad.
La cuestión central de la evaluación no es la emisión de juicios de valor sino los hechos que son juzgados. El problema viene cuando se plantea que no hay una verdad objetiva y la realidad es cuestión de preferencias. La adopción y extensión en el mundo occidental de una doctrina relativista que se resiste a reconocer la existencia de valores objetivos acompañó el nacimiento de las ciencias sociales, que lastran desde entonces las consecuencias de esa adopción. Hoy en día el relativismo está extendido en la forma de pensar de mucha gente y estrecha enormemente las posibilidades de las ciencias sociales. Si no hay conclusiones morales relativas a valores objetivos, no hay conclusiones evaluativas y es difícil establecer legitimidad en la toma de decisiones.
La ética, un sistema de valores, es la fundamentación necesaria del campo profesional de la evaluación. La evaluación es una cuestión de valores. Necesitamos hacer confluir los hechos con valores objetivos para resolver cuestiones reales e importantes, y la tendencia en las últimas décadas ha sido la de separlos en una especie de esquizofrenia colectiva. El relativismo no es la respuesta a los problemas de la sociedad. Es posible que encontremos muchos grises a la hora de establecer los valores, pero ese no es un problema insalvable sino un problema en el que hay que trabajar, pues en muchos casos puede darse una respuesta a la pregunta de cómo deberíamos valorar un hecho concreto. La primera respuesta sería acudir al valor del mercado, pero estamos hablando de encontrar algo más que un valor monetario. El evaluador busca el valor objetivo y verdadero de algo en el contexto de unas necesidades concretas; valores objetivos y contextualizados de lo que estemos evaluando teniendo en cuenta especialmente a la gente que interactúa con nuestro objeto de evaluación.

En este contexto, las teorías del valor estudian la naturaleza y justificación de los valores, cómo y por qué se contruyen los juicios de valor, y describen los valores y la posible supremacía de unos valores sobre otros. En un terreno más práctico, las teorías del valor definen cuatro pasos lógicos (llamada también lógica de evaluación) para la construcción de un juicio (Fournier, 1995; Scriven, 1995):

1. El primer paso es definir los criterios sobre los que se ha de centrar la evaluación. Los criterios son propiedades esencialmente relacionadas con el objeto a evaluar y que determinan su bondad, valor e importancia. Se trata de aquellas condiciones que deben cumplir las intervenciones y que por tanto son el objetivo de las actividades de evaluación. El camino para una buena evaluación es el camino de los criterios, no de los indicadores, pues los indicadores son variables empíricas estadísticamente conectadas con los criterios, pero frecuentemente inestables en su validez, y en ocasiones fácilmente manipulables.
2. El segundo paso consiste es establecer los estándares, es decir, los niveles de cumplimiento, específicos y medibles, que se exigen sobre un criterio. Este paso es el más difícil y para realizarlo puede acudirse a estándares de comparación (benchmarking) comparando nuestro objeto de evaluación con otro que consideramos adecuado.
3. En el tercer paso se mide la actuación en cada uno de los criterios definidos y se compara con sus respectivos estándares. Esto dará idea del grado de cumplimiento alcanzado por la intervención.
4. Finalmente se sintetiza la información en un juicio sobre el mérito, valor o importancia de la intervención en relación con los criterios y estándares definidos.

Referencias citadas:
Fournier, D. M. (1995). Establishing evaluative conclusions: A distinction between general and working logic. New Directions for Evaluation, 68, 15-32
Scriven, M. (1995). The logic of evaluation and evaluation practice. New Directions for Evaluation, 68, 49-70

 

La siguiente figura visualiza cómo se puede plantear la articulación entre el control, seguimiento y la evaluación: el control se queda en los medios, el seguimiento alcanza las realizaciones materiales y parte de los resultados, mientras que la evaluación profundiza hasta los impactos a largo plazo.

Articulación entre el control, seguimiento y evaluación en términos de resultados e impactos.

 

En términos de contenido de la evaluación, ésta deberá articularse de forma coherente a la estructura de los programas, haciendo corresponder a cada ámbito del programa (necesidades, objetivos, medios, realizaciones, resultados e impactos) unos criterios de evaluación específicos. La siguiente figura esquematiza las relaciones que se pueden establecer para juzgar el valor de un programa, lo que se ha venido llamando lógica de intervención o modelo lógico.

Intervención lógica de un programa.

 

Esta lógica de la programación tiene una gran incidencia en el seguimiento y la evaluación. La propia programación de las intervenciones se realiza a partir de un cierto número de hipótesis que permiten esperar que las acciones planificadas vayan a producir determinados resultados y generar determinado tipo de impactos. Así, las intervenciones se programan:

 

• En un contexto determinado y atendiendo a unos objetivos globales (marcan los impactos a largo plazo esperados) que ofrece la perspectiva básica desde la que deberán implementarse las intervenciones.

• Estos objetivos globales suponen la consecución de una serie de objetivos específicos (marcan los resultados esperados) que permiten precisar la naturaleza y características de las intervenciones a realizar.

• La ejecución de estas intervenciones implica la realización concreta de un cierto número de acciones que, a su vez, van a producir una serie de realizaciones que deben permitir alcanzar los objetivos operativos programados.

 

El objetivo básico que se asigna al sistema de seguimiento de los programas consiste en verificar con regularidad su realización progresiva y efectiva, tanto física como financiera, así como las realizaciones y parte de los resultados respecto a los objetivos prefijados. Como refuerzo al sistema de seguimiento las evaluaciones deben aportar un juicio crítico sobre los impactos obtenidos y contribuir, con regularidad, a una gestión eficaz. De esta forma, el seguimiento del programa sigue la lógica esquematizada:

 

• Las acciones realizadas, consumidoras de una cantidad determinada de recursos (medios), dan lugar a unas realizaciones que han de juzgarse en base a los objetivos operativos.
• Las realizaciones dan lugar a unos resultados que deben contrastarse con los objetivos específicos prefijados.
• Estos resultados dan lugar a la generación de un impacto global que es el que debe compararse con los objetivos globales con ayuda de la evaluación.

 

A la hora de evaluar los impactos generados por el programa conviene tener presente que éstos no son ni mecánicos ni automáticos y pueden haberse visto afectados por factores de incidencia externos al propio programa. En este sentido, se apunta el interés de comprobar con el sistema de seguimiento las relaciones de causalidad (indicadores) entre las acciones y los resultados, así como entre los resultados y los impactos.

 

De esta forma, en sentido descendente, los objetivos específicos de un nivel deben servir como marco de referencia global para la intervención en el nivel inferior y constituyen su objetivo básico, mientras que los resultados esperados de un determinado nivel constituyen los objetivos específicos que han de alcanzarse con la intervención en el nivel inferior.

 

A la inversa, en sentido ascendente, los objetivos específicos de un nivel constituyen los resultados que se espera conseguir en el nivel superior y, del mismo modo, el objetivo global de un nivel es contribuir a la consecución del objetivo específico del nivel superior.

 

La aplicación de la lógica de intervención no es sencilla y debe realizarse caso a caso, teniendo en cuenta los recursos movilizados y la propia complejidad de las intervenciones.

 

Además de articular el seguimiento y la evaluación ayudándose de la lógica de intervención, es importante articular los distintos ejercicios de evaluación de un programa: las evaluaciones previa, intermedia y final. A las evaluaciones intermedias, debido al momento de su realización, se les asigna una influencia directa en la configuración de los programas para lo cual deben ayudar a la identificación de sus deficiencias y presentar recomendaciones que favorezcan su mejora y/o modificación.

 

Las evaluaciones intermedias quedan así estrechamente relacionadas, por un lado, con las evaluaciones previas (con el objeto de determinar si los objetivos fijados en la fase de planificación se están alcanzando) y, por otro lado, con las evaluaciones finales/posteriores (con el objeto de incluir las disposiciones necesarias para la medición resultado final). Cuando estas relaciones son débiles, bien por la falta de un nivel de precisión adecuado en la definición y cuantificación de los objetivos en las evaluaciones previas, bien por deficiencias en el propio sistema de seguimiento, tanto las evaluaciones intermedias como las finales/posteriores se resienten y no llegan a cumplir plenamente su función.

 

Integración entre los programas y sus evaluaciones en las diferentes fases de aplicación.

 

En la figura se refleja la interacción entre un programa y su evaluación en las diferentes fases de aplicación. Las flechas de línea discontinua indican que en la evaluación se obtiene y procesa información sobre los resultados y el impacto del programa aplicado. Las flechas de línea continua indican el momento de la evaluación y como las conclusiones y recomendaciones de esa evaluación deben incidir en el programa y en su aplicación o en las medidas que den continuidad al mismo. El esquema indica también que la evaluación debe aprovechar los resultados de evaluaciones anteriores (flechas superiores), es decir, que la evaluación intermedia debe tener presentes los resultados de la previa, y la evaluación final las conclusiones de la evaluación intermedia.