La experiencia de estos últimos años nos que lleva a destacar muchos de los aspectos positivos por los que atraviesan las actividades de evaluación: los avances logrados en el uso de los procesos y resultados, los beneficios del actual intercambio general de lecciones extraídas y técnicas innovadoras, la mayor y mejor participación de las partes involucradas y la evolución positiva de la evaluación que, saliendo del ámbito técnico, se ha convertido hoy en día en un instrumento de apoyo y mejora de la toma de decisiones.

Sin embargo, las actividades de evaluación siguen encontrando numerosas dificultades. Unas son fruto de concepciones erróneas o modos de hacer equivocados, y otras suponen obstáculos objetivos que ponen de manifiesto que las tareas de evaluación no son siempre de fácil ejecución. Las primeras tienen una solución conceptual y teórica a través del diseño de modelos y herramientas apropiados, las segundas se han de afrontar con experiencia y estudios detallados.

Las dificultades derivadas de la mala programación de las intervenciones como la falta de precisión, coherencia y adaptación al programa, tienen como resultado una evaluación poco concreta y con poca capacidad real para la mejora de los programas de desarrollo.

Las dificultades derivadas de la mala programación del seguimiento y evaluación como la falta de definición y concepciones erróneas, ponen de manifiesto la necesidad de un mayor consenso en la obtención de dispositivos adecuados para el seguimiento y evaluación de los programas.

Las dificultades en la ejecución de las actividades de evaluación son especialmente acuciantes cuando no se cuenta con unas buenas orientaciones para llevarlas a cabo. Algunas de estas dificultades están relacionadas con la medición del impacto, pues la excesiva aplicación del método científico a la evaluación ha dejado herencias como el criterio de causalidad. Este criterio no tiene muchas veces buena aplicación en la evaluación de los programas porque demanda rigurosos criterios científicos. A menudo las pruebas necesarias para demostrar la causalidad no pueden ser conseguidas en el mundo real. En su lugar debe aplicarse un criterio de racionalidad, buscando posibles causas basadas en la comprensión de los datos conseguidos.

Otras dificultades en la ejecución están relacionadas con la elección del sistema de indicadores, donde muchas veces los problemas se encuentran a la hora de disponer de información homogénea y construir un sistema de indicadores integral cuando existen diversos gestores que suministran información al sistema de seguimiento y evaluación. Se han identificado también otras dificultades de ejecución como:

• La definición inadecuada del contenido de evaluación.
• La elección poco apropiada del momento de evaluación.
• La elección desacertada del nivel de análisis inicial.
• La excesiva rigidez de algunos modelos de evaluación.
• El reduccionismo economicista.
• La excesiva valoración de la objetividad.
• La contratación inadecuada de las evaluaciones.
• El bajo nivel de desarrollo de las estadísticas.
• La medición de la eficacia cuando se encuentran objetivos excesivamente genéricos.

Por último se han identificado dificultades que obstaculizan el proceso de aprendizaje y su papel dentro del proceso de toma de decisiones. Estas dificultades pueden ser:

• Indirectas: Los retrasos y la escasa calidad de los informes, el desfase entre el ciclo de programación y el ciclo de evaluación, y la falta de análisis a nivel macroeconómico o por el contrario en el ámbito de subprogramas, medidas y proyectos.
• Directas: Escasa utilización de los resultados generados por la evaluación para la reformulación de las intervenciones o la ausencia, muchas veces detectada, de mecanismos para el aprendizaje y la retroalimentación.

About Carlos Plaza

• Mail

En las actividades de evaluación se suele poner de relieve la necesidad de combinar distintas fuentes de información para asegurar la solidez de los trabajos. Es conveniente utilizar todos los instrumentos de recolección de información que estén a nuestro alcance, teniendo en cuenta que algunos de estos instrumentos ─en especial los utilizados en la participación social─ introducen opiniones subjetivas. Se puede así comparar distintos puntos de vista, complementar distintas fuentes de información y analizar la validez de los argumentos que sostengan las opiniones encontradas.

Fuentes de información

Es necesaria la utilización de fuentes complementarias de información: una primaria (generados y recogidos ex profeso para la evaluación) y otra secundaria (datos ya disponibles), una cuantitativa (información claramente cuantificable) y otra cualitativa (información de difícil cuantificación).

Los trabajos de evaluación suelen comenzar con una descripción clara de lo que se pretende realizar y una revisión detallada de la documentación disponible: literatura relevante, evaluaciones previas, documentos de programación, informes de seguimiento y control, datos estadísticos y bases de datos existentes, etc. En la medida de lo posible, es importante acudir al origen de estas fuentes de información ya existentes (información secundaria), de manera que se eviten intermediarios, incorrecciones o malas interpretaciones.

Gran parte de la información cualitativa resulta de la activación de procesos de participación (a través encuestas, entrevistas, discusiones, talleres…) para aprovechar las aportaciones de la población afectada. Se trata de una información primaria fundamental para comprender la realidad evaluada, completar datos secundarios insuficientes, e interpretar y matizar los datos obtenidos de otro tipo de informaciones. Otro tipo de información primaria es la observación directa de uno o unos pocos casos seleccionados (puede hacerse participativa o no) a través de observaciones cualitativas y mediciones directas que registran datos cuantificables por medio de instrumentos analíticos.

Trabajo de gabinete y trabajo de campo

Según Thirion (2000) el número, la diversidad y la representatividad de las personas que participan en la evaluación, por una parte, y el nivel de profundización del análisis, por otra parte, son los dos principales factores de fiabilidad de los resultados obtenidos. Dentro del primer factor toma especial protagonismo la participación del trabajo de campo y dentro del segundo el trabajo de gabinete.

La experiencia indica que estos dos factores no son siempre compatibles, ya que es en general difícil movilizar a un gran número de personas durante un plazo suficientemente amplio para realizar un análisis profundo. Esta es la razón por la que son posibles tres tipos de vías para obtener una mejor fiabilidad de los resultados. Estos tres tipos de vías están representados en el gráfico siguiente donde las curvas de nivel de fiabilidad van del 1 (nivel muy bajo) a 8 (nivel muy elevado). Como se ve, son posibles distintas vías para la búsqueda de mayor fiabilidad de los resultados.

Distintas vías posibles para la búsqueda de mayor fiabilidad de los resultados.

Fuente: Elaboración propia a partir de Thirion, 2000

Vía A: Un primer trabajo es realizado por un pequeño grupo de técnicos y expertos que basan su valoración personal en un trabajo minucioso y en la búsqueda de indicadores pertinentes, antes de pasar a la participación ampliada a otros agentes, a quienes proporcionan las informaciones que recogieron pero sin aportar su valoración personal.

Vía B: Inicialmente se hace una valoración individual en la que interviene un gran número de participantes representativos de los distintos sectores de la sociedad local, pero sin utilización de indicadores (valoración global rápida); luego, en una segunda fase, la valoración media obtenida se compara con el trabajo de análisis más profundo y con la búsqueda de indicadores.

Vía C: Sería la vía ideal donde el trabajo de gabinete y la participación interaccionan de continuo en todo el proceso evaluación. Esto en la realidad es difícil pues no se puede estar movilizando de continuo a un gran número de personas. Es por ello que la mayor aproximación a esta vía está en buscar que la propia población local aprenda a evaluar por sí misma los programas con un modelo de evaluación que facilite la adquisición de estas capacidades.

En cualquier caso es necesaria la obtención y análisis de la información secundaria a través de un trabajo de gabinete inicial. Primeramente se consultan estos datos que ya están disponibles para luego ir en busca de los datos primarios que hagan falta durante el trabajo de campo (participación social, observaciones y mediciones directas). Una vez obtenidos, estos datos del trabajo de campo sirven para completar, verificar, interpretar, resolver posibles conflictos y contrastar las conclusiones que se obtuviesen del análisis de los datos secundarios durante el trabajo de gabinete inicial.

Complementación de fuentes de información

Esta complementación de fuentes de información ─que normalmente se realiza en un trabajo de gabinete final─ permite integrar los conocimientos analizados y evaluar cuantitativamente la aplicación y resultados de los programas de desarrollo, a la vez que permite un enfoque más cualitativo de los factores específicos que los caracterizan y suponen muchas veces su mayor beneficio. También suministra diferentes opciones de información que no obliguen a forzar la causalidad, al tiempo que permite disponer de indicadores que ilustren suficientemente las variables a considerar.

No se puede excluir un objetivo de su campo de análisis sólo porque sea difícil de medir cuantitativamente y definir para él un indicador cuantitativo. Cuando los trabajos de evaluación tropiezan con un objetivo difícil o incluso imposible de cuantificar, se puede proponer un tratamiento cualitativo. La información cualitativa bien estructurada puede resultar muy útil y es claramente preferible a una ausencia de información.

La información del seguimiento como base de la evaluación

La recopilación de datos debe hacerse teniendo en cuenta los análisis que puedan hacerse posteriormente y vuelvan a necesitar de ellos. La evaluación debe dotarse de medios apropiados y completar los resultados del seguimiento, cuando sea necesario, con una recopilación de información adicional. De esta forma, conseguimos que la evaluación sea parte de un seguimiento continuo que tiene lugar a través de los proyectos.

Los trabajos de evaluación han de hacer un uso óptimo de los denominados datos secundarios ya disponibles, como los obtenidos a través del sistema de seguimiento. A veces, resultan suficientes para responder a aspectos específicos de evaluación o una parte de ellos. Al tratarse de datos ya disponibles pueden recopilarse a un coste moderado y facilitan mucho los trabajos de evaluación. Por ello, es importante disponer de un buen sistema de seguimiento.

Estos datos se hacen especialmente importantes en las evaluaciones intermedias, donde suelen aportar información financiera (medios) e información sobre las realizaciones. Una información que complementa a la obtenida de las evaluaciones anteriores y los documentos de programación, que aportan datos sobre la lógica de intervención, coherencia y pertinencia de la programación diseñada.

Referencias citadas:

Thirion, S. (2000). El método SAP en Portugal (Sistematización de la Autoevaluación Participativa). I.N.D.E. Lisboa. Descargado de internet el 27 de julio de 2015 en http://ec.europa.eu/agriculture/rur/leader2/forum/docs_evaluation/thirion_es.pdf

About Carlos Plaza

• Mail

Bueno, Bonito, Barato: ¡Escoge dos! Este conocido dicho, proveniente de la industria de restauración, nos recuerda que en la sociedad actual se demanda que los productos ─en nuestro caso las evaluaciones─ sean:

• Buenos (aumentar la calidad de las evaluaciones lo máximo posible)
• Rápidos (disminuir el tiempo de evaluación lo máximo posible)
• Baratos (disminuir el presupuesto de evaluación lo máximo posible)

Pero es imposible maximizar los tres criterios a la vez, por lo que hemos de conformarnos con un equilibrio cuyas reglas se reflejan a continuación.

↑ ­Calidad               →         ­ ↑Tiempo       ­ ↑ ­ Presupuesto

↓ Presupuesto       →        ↓Calidad       ­  ↑­ Tiempo

↓ Tiempo               →         ↓Calidad       → Presupuesto

Para aumentar la calidad suele ser necesario aumentar los recursos invertidos (tiempo y presupuesto), pero para disminuir el presupuesto o el tiempo puede ser necesario disminuir la calidad. Es importante estudiar y negociar la mejor opción a la hora de establecer los términos de referencia.

Conseguir un buen balance entre el bueno-bonito-barato en evaluaciones que presentan escasos recursos económicos requiere en ocasiones trabajar de modo colaborativo con el personal implicado en la gestión del programa, de modo que el programa pueda permitirse una buena evaluación que sea sostenible internamente a lo largo del tiempo. Se trata de hacer un uso adecuado del proceso de evaluación sin que ello derive en una falta de independencia u objetividad a la hora de hacer la evaluación. Un uso del proceso de evaluación que derive en la creación de capacidades de evaluación entre el personal que gestiona el programa y con el que trabajamos a la hora de hacer la evaluación. Esa creación de capacidades puede llevar a una gran ayuda a la hora de sacar adenlante una evaluación de calidad y que no emplee excesivos recursos de dinero y tiempo.

About Carlos Plaza

• Mail

El primer paso para definir los contenidos de una evaluación está en decidir el nivel de análisis inicial entre local, regional, nacional… Una vez delimitado este nivel, conviene formular un conjunto de preguntas clave que dejen claro el propósito de la evaluación que se emprende. Se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar. En un modelo de evaluación basado en un conjunto de preguntas, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas.

Se han de establecer para cada pregunta un conjunto de criterios e indicadores en perfecta adaptación con el programa, que permitan recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados. Se ha de intentar, en la medida de lo posible, aportar respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre se proporcionará una respuesta cualitativa bien justificada. Unos posibles pasos a seguir para el tratamiento de cada pregunta se señalan a continuación.

Finalidad y comprensión de la pregunta

Explicación de la pregunta haciendo una pequeña descripción de lo que se estudiará en ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta en el contexto global de la evaluación dando razón de su importancia.

Criterio para la evaluación

En este punto se especifican criterios que ayuden a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.

El criterio sirve para evaluar el éxito, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que la ayuda ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Ante la escasa cuantificación de los objetivos programados, en muchas ocasiones es necesario acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea de base con un punto de referencia. En estos casos, el equipo evaluador, cuando se vea conveniente y atendiendo a las características del programa o a las circunstancias locales, delimitará el objetivo con la mayor precisión posible.

Análisis para la respuesta

Se realiza aquí el análisis de toda la información obtenida para buscar que la respuesta a la pregunta planteada sea lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso, pero tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia será necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones para responder a la pregunta.

La recopilación de datos ha de tener en cuenta el posterior análisis, a través de medios apropiados y completando los resultados del seguimiento con la recopilación de información adicional. Una vez recopilados los datos, se ha de efectuar la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo.

El análisis de los datos se ha de realizar de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluación sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. Se trata de analizar así la situación de referencia o hipotética, es decir, qué hubiese sucedido sin la intervención, definiéndose habitualmente como “la situación sin programa”. No se trata por tanto de la situación inicial sino de la situación que viviría el sector si el programa no hubiera existido.

Es importante concluir el análisis con la búsqueda de indicadores que ofrezcan la información cuantitativa que mejor recoja el análisis de la información realizado y mejor prepare la respuesta a la pregunta. Como norma general, elegir indicadores que puedan medir los progresos de la consecución de los objetivos del programa, y no perderse en interminables baterías de indicadores, sino que hay que centrarse en los indicadores más significativos y pertinentes.

Respuesta: Conclusiones y recomendaciones

Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se ha de dar una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber cómo ocurrieron las cosas y por qué.

Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de tratar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.

Limitaciones de la respuesta

Se indican aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.

About Carlos Plaza

• Mail

Finalmente, un plan de evaluación suele tener entre los productos finales un informe de evaluación, cuyo esquema de redacción suele incluir un resumen, una introducción, una descripción del enfoque metodológico, una presentación y análisis de la información recopilada, conclusiones (y recomendaciones), y los anexos que se consideren necesarios. Pero de cara a la utilidad de la evaluación y asegurar que sus resultados se usen es importante diseñar una estrategia para la diseminación y comunicación de resultados que quede incluida en el plan temporal de la evaluación. Este diseño ha de responder principalmente a cuatro preguntas:

• ¿Quién?: Se trata de tener claro a quién va dirigida la estrategia de comunicación, quiénes son los potenciales usuarios de la evaluación. Hablamos aquí de una posible audiencia primaria, secundaria, interna o externa al programa…
• ¿Qué?: Es importante saber qué es lo que se quiere diseminar y comunicar, qué contenidos, qué le importa a nuestra potencial audiencia definida en el punto anterior, qué tipo de información fácil de entender satisface sus necesidades y les puede ayudar a mejorar.
• ¿Cuándo?: Un elemento importante de esa estrategia es definir cuándo se va a comunicar información procedente de la evaluación. Puede ser cada cierto periodo acordado desde el principio, cuando la audiencia potencial lo requiera o cuando se vea que más interesa.
• ¿Cómo?: Se trata de definir el formato en función de la audiencia. En la mayoría de los casos se suelen tener distintos tipos de audiencia, donde los distintos implicados ven la información de forma diferente y con interés diferente. Es por ello importante diseñar diferentes productos de comunicación para cada tipo de audiencia. Entre estos productos podemos tener informes de evaluación (con toda la información), resúmenes ejecutivos (con la información más relevante), artículos en prensa local o boletines, informes de diapositivas, presentaciones orales, discusiones personales, formatos electrónicos (noticias, foros, pdfs interactivos, vídeos colgados en la red…), exhibición de fotos o posters, pequeñas representaciones teatrales…

Se trata en definitiva de asegurar un uso apropiado de la evaluación y ayudar a crear futuros escenarios que se mejores a través de la información, conclusiones y recomendaciones generadas con la evaluación.

About Carlos Plaza

• Mail

Los evaluadores y equipos de evaluación suelen utilizar varios términos para describir sus instrumentos o modos de proceder: técnicas, herramientas, procedimientos, métodos, diseños… En este proyecto docente se adoptan una serie de definiciones para poder desarrollar con claridad este tema. Tres son los términos considerados básicos a definir: herramienta, método y metodología.

Herramienta (Tool, Outil)

Procedimiento estándar utilizado para cumplir una función de la evaluación. El término herramienta se emplea en el caso de aplicación de un tratamiento estándar que puede ser aplicado a cualquier evaluación que requiera dicho tratamiento. Es el caso de los cuestionarios de las encuestas para recoger opiniones o los análisis de coste-eficacia para calcular los fondos públicos empleados en la obtención de un determinado efecto. El término de técnica (technique, technique) es considerado un sinónimo.

Las herramientas de evaluación sirven para recoger datos cuantitativos o cualitativos, sintetizar criterios de juicio, explicar objetivos, estimar impactos, etc. Una herramienta tiene un nombre específico, está descrito en un manual, y puede enseñarse. Su uso puede ser libre, o puede implicar el pago de una tasa si la herramienta está protegida por una marca registrada. La evaluación puede utilizar una o más herramientas.

Método (Method, Méthode)

Plan completo del trabajo del equipo de evaluación. Un método es un procedimiento ad hoc, construido especialmente en un contexto determinado para contestar una o más preguntas de evaluación. Algunos métodos de evaluación son de baja complejidad técnica, mientras que otros conllevan el uso de varias herramientas encadenadas en un diseño predeterminado. Esta definición convierte el término método en sinónimo de diseño (design), modelo (model), procedimiento (procedure)… de manera que se refieren a un determinado método y al espíritu en el cual este método ha sido creado.

El método diseñado para llevar a cabo una determinada evaluación puede siempre dividirse en varios pasos. Cada uno de estos pasos consiste en una tarea y da cumplimiento a una función elemental. En la mayoría de las evaluaciones podemos encontrar las mismas funciones elementales.

Metodología (Methodology, Méthodologie)

En el sentido estricto, es la ciencia de la construcción de métodos de evaluación. Sin embargo, el diseño técnico de una evaluación es más una cuestión de conocimientos y experiencia especializados que un procedimiento puramente científico. En la práctica, el término metodología se emplea a menudo para significar método, definido anteriormente.

Diseño de evaluación (Evaluation design, Protocole d’evaluation)

Plan completo del trabajo del equipo de evaluación. A veces se utiliza para referirse a la parte técnica del plan de evaluación. Se trata de los parámetros que definen una evaluación y cómo esta se va a realizar, incluyendo: plan temporal (etapas), los temas críticos a tratar (contenidos), recursos (presupuesto, personal), metodología general, y herramientas.

Protocolo de evaluación (Evaluation design, Protocole d’evaluation)

Parte técnica del plan de evaluación, diseñada para la colección y análisis de datos.

Sesgo (Slanting, Tendance)

El grado hasta el cual un intento de medición o un método subestima o sobreestima sistemáticamente un valor.

About Carlos Plaza

• Mail