Enfoques y Modelos Metodológicos
Uno de los aspectos más importantes al emprender una actividad de evaluación es la de definir un modelo metodológico adecuado. En el ámbito de las evaluaciones de programas de desarrollo han dominado los enfoques metodológicos inspirados en el Enfoque de Marco Lógico (EML) y el Análisis Coste Beneficio (ACB), orientados a los resultados y a la rendición de cuentas. Este predominio parece estar relacionado con la satisfacción de los intereses de las instituciones financiadoras y el reparto de roles establecidos entre los diferentes actores. Son los organismos de control los que han venido exigiendo la utilización del EML en los procesos de solicitud de subvenciones públicas, a través de formularios cada vez más estandarizados. El EML, en tanto que proceso normalizado de gestión, encaja muy bien con los propios intereses del cuerpo funcionarial de los organismos financiadores, preocupado por el control de los fondos públicos. Por otro lado, estos organismos han ido reiterando las exigencias de realizar Análisis Coste Beneficio (ACB) de las intervenciones, lo que también tiene que ver con sus intereses: comparar los resultados de diferentes intervenciones y asesorar la toma futura de decisiones de financiación.
Ante las limitaciones de estos enfoques surgieron en los años 90 con fuerza, desde diferentes organizaciones y grupos de trabajo, numerosas propuestas metodológicas de evaluación participativa, que parten de la necesidad de superar las relaciones verticales de la cadena y construir visiones compartidas. La dificultad estriba muchas veces en la identificación de herramientas que permitan una buena participación entre el equipo de expertos y los beneficiarios del desarrollo.
La mayor y mejor participación de las partes involucradas es uno de los mayores avances en los procesos de evaluación, y ha dado lugar enfoques de evaluación donde cobra importancia el aprendizaje y capacitación de todos los participantes. En otros tiempos, la evaluación era el trabajo de un grupo de especialistas. Un trabajo sin mayor interacción —o con muchas dificultades de aceptación— por su entorno institucional, político o social. En la actualidad, las evaluaciones tienden a constituirse como actividades integradas al trabajo cotidiano de los gestores y agentes de campo.
About Carlos Plaza
Dificultades a la hora de abordar una evaluación
La experiencia de estos últimos años nos que lleva a destacar muchos de los aspectos positivos por los que atraviesan las actividades de evaluación: los avances logrados en el uso de los procesos y resultados, los beneficios del actual intercambio general de lecciones extraídas y técnicas innovadoras, la mayor y mejor participación de las partes involucradas y la evolución positiva de la evaluación que, saliendo del ámbito técnico, se ha convertido hoy en día en un instrumento de apoyo y mejora de la toma de decisiones.
Sin embargo, las actividades de evaluación siguen encontrando numerosas dificultades. Unas son fruto de concepciones erróneas o modos de hacer equivocados, y otras suponen obstáculos objetivos que ponen de manifiesto que las tareas de evaluación no son siempre de fácil ejecución. Las primeras tienen una solución conceptual y teórica a través del diseño de modelos y herramientas apropiados, las segundas se han de afrontar con experiencia y estudios detallados.
Las dificultades derivadas de la mala programación de las intervenciones como la falta de precisión, coherencia y adaptación al programa, tienen como resultado una evaluación poco concreta y con poca capacidad real para la mejora de los programas de desarrollo.
Las dificultades derivadas de la mala programación del seguimiento y evaluación como la falta de definición y concepciones erróneas, ponen de manifiesto la necesidad de un mayor consenso en la obtención de dispositivos adecuados para el seguimiento y evaluación de los programas.
Las dificultades en la ejecución de las actividades de evaluación son especialmente acuciantes cuando no se cuenta con unas buenas orientaciones para llevarlas a cabo. Algunas de estas dificultades están relacionadas con la medición del impacto, pues la excesiva aplicación del método científico a la evaluación ha dejado herencias como el criterio de causalidad. Este criterio no tiene muchas veces buena aplicación en la evaluación de los programas porque demanda rigurosos criterios científicos. A menudo las pruebas necesarias para demostrar la causalidad no pueden ser conseguidas en el mundo real. En su lugar debe aplicarse un criterio de racionalidad, buscando posibles causas basadas en la comprensión de los datos conseguidos.
Otras dificultades en la ejecución están relacionadas con la elección del sistema de indicadores, donde muchas veces los problemas se encuentran a la hora de disponer de información homogénea y construir un sistema de indicadores integral cuando existen diversos gestores que suministran información al sistema de seguimiento y evaluación. Se han identificado también otras dificultades de ejecución como:
- La definición inadecuada del contenido de evaluación.
- La elección poco apropiada del momento de evaluación.
- La elección desacertada del nivel de análisis inicial.
- La excesiva rigidez de algunos modelos de evaluación.
- El reduccionismo economicista.
- La excesiva valoración de la objetividad.
- La contratación inadecuada de las evaluaciones.
- El bajo nivel de desarrollo de las estadísticas.
- La medición de la eficacia cuando se encuentran objetivos excesivamente genéricos.
Por último se han identificado dificultades que obstaculizan el proceso de aprendizaje y su papel dentro del proceso de toma de decisiones. Estas dificultades pueden ser:
- Indirectas: Los retrasos y la escasa calidad de los informes, el desfase entre el ciclo de programación y el ciclo de evaluación, y la falta de análisis a nivel macroeconómico o por el contrario en el ámbito de subprogramas, medidas y proyectos.
- Directas: Escasa utilización de los resultados generados por la evaluación para la reformulación de las intervenciones o la ausencia, muchas veces detectada, de mecanismos para el aprendizaje y la retroalimentación.
About Carlos Plaza
Complementación de fuentes de información
En las actividades de evaluación se suele poner de relieve la necesidad de combinar distintas fuentes de información para asegurar la solidez de los trabajos. Es conveniente utilizar todos los instrumentos de recolección de información que estén a nuestro alcance, teniendo en cuenta que algunos de estos instrumentos ─en especial los utilizados en la participación social─ introducen opiniones subjetivas. Se puede así comparar distintos puntos de vista, complementar distintas fuentes de información y analizar la validez de los argumentos que sostengan las opiniones encontradas.
Fuentes de información
Es necesaria la utilización de fuentes complementarias de información: una primaria (generados y recogidos ex profeso para la evaluación) y otra secundaria (datos ya disponibles), una cuantitativa (información claramente cuantificable) y otra cualitativa (información de difícil cuantificación).
Los trabajos de evaluación suelen comenzar con una descripción clara de lo que se pretende realizar y una revisión detallada de la documentación disponible: literatura relevante, evaluaciones previas, documentos de programación, informes de seguimiento y control, datos estadísticos y bases de datos existentes, etc. En la medida de lo posible, es importante acudir al origen de estas fuentes de información ya existentes (información secundaria), de manera que se eviten intermediarios, incorrecciones o malas interpretaciones.
Gran parte de la información cualitativa resulta de la activación de procesos de participación (a través encuestas, entrevistas, discusiones, talleres…) para aprovechar las aportaciones de la población afectada. Se trata de una información primaria fundamental para comprender la realidad evaluada, completar datos secundarios insuficientes, e interpretar y matizar los datos obtenidos de otro tipo de informaciones. Otro tipo de información primaria es la observación directa de uno o unos pocos casos seleccionados (puede hacerse participativa o no) a través de observaciones cualitativas y mediciones directas que registran datos cuantificables por medio de instrumentos analíticos.
Trabajo de gabinete y trabajo de campo
Según Thirion (2000) el número, la diversidad y la representatividad de las personas que participan en la evaluación, por una parte, y el nivel de profundización del análisis, por otra parte, son los dos principales factores de fiabilidad de los resultados obtenidos. Dentro del primer factor toma especial protagonismo la participación del trabajo de campo y dentro del segundo el trabajo de gabinete.
La experiencia indica que estos dos factores no son siempre compatibles, ya que es en general difícil movilizar a un gran número de personas durante un plazo suficientemente amplio para realizar un análisis profundo. Esta es la razón por la que son posibles tres tipos de vías para obtener una mejor fiabilidad de los resultados. Estos tres tipos de vías están representados en el gráfico siguiente donde las curvas de nivel de fiabilidad van del 1 (nivel muy bajo) a 8 (nivel muy elevado). Como se ve, son posibles distintas vías para la búsqueda de mayor fiabilidad de los resultados.
Distintas vías posibles para la búsqueda de mayor fiabilidad de los resultados.
Fuente: Elaboración propia a partir de Thirion, 2000
Vía A: Un primer trabajo es realizado por un pequeño grupo de técnicos y expertos que basan su valoración personal en un trabajo minucioso y en la búsqueda de indicadores pertinentes, antes de pasar a la participación ampliada a otros agentes, a quienes proporcionan las informaciones que recogieron pero sin aportar su valoración personal.
Vía B: Inicialmente se hace una valoración individual en la que interviene un gran número de participantes representativos de los distintos sectores de la sociedad local, pero sin utilización de indicadores (valoración global rápida); luego, en una segunda fase, la valoración media obtenida se compara con el trabajo de análisis más profundo y con la búsqueda de indicadores.
Vía C: Sería la vía ideal donde el trabajo de gabinete y la participación interaccionan de continuo en todo el proceso evaluación. Esto en la realidad es difícil pues no se puede estar movilizando de continuo a un gran número de personas. Es por ello que la mayor aproximación a esta vía está en buscar que la propia población local aprenda a evaluar por sí misma los programas con un modelo de evaluación que facilite la adquisición de estas capacidades.
En cualquier caso es necesaria la obtención y análisis de la información secundaria a través de un trabajo de gabinete inicial. Primeramente se consultan estos datos que ya están disponibles para luego ir en busca de los datos primarios que hagan falta durante el trabajo de campo (participación social, observaciones y mediciones directas). Una vez obtenidos, estos datos del trabajo de campo sirven para completar, verificar, interpretar, resolver posibles conflictos y contrastar las conclusiones que se obtuviesen del análisis de los datos secundarios durante el trabajo de gabinete inicial.
Complementación de fuentes de información
Esta complementación de fuentes de información ─que normalmente se realiza en un trabajo de gabinete final─ permite integrar los conocimientos analizados y evaluar cuantitativamente la aplicación y resultados de los programas de desarrollo, a la vez que permite un enfoque más cualitativo de los factores específicos que los caracterizan y suponen muchas veces su mayor beneficio. También suministra diferentes opciones de información que no obliguen a forzar la causalidad, al tiempo que permite disponer de indicadores que ilustren suficientemente las variables a considerar.
No se puede excluir un objetivo de su campo de análisis sólo porque sea difícil de medir cuantitativamente y definir para él un indicador cuantitativo. Cuando los trabajos de evaluación tropiezan con un objetivo difícil o incluso imposible de cuantificar, se puede proponer un tratamiento cualitativo. La información cualitativa bien estructurada puede resultar muy útil y es claramente preferible a una ausencia de información.
La información del seguimiento como base de la evaluación
La recopilación de datos debe hacerse teniendo en cuenta los análisis que puedan hacerse posteriormente y vuelvan a necesitar de ellos. La evaluación debe dotarse de medios apropiados y completar los resultados del seguimiento, cuando sea necesario, con una recopilación de información adicional. De esta forma, conseguimos que la evaluación sea parte de un seguimiento continuo que tiene lugar a través de los proyectos.
Los trabajos de evaluación han de hacer un uso óptimo de los denominados datos secundarios ya disponibles, como los obtenidos a través del sistema de seguimiento. A veces, resultan suficientes para responder a aspectos específicos de evaluación o una parte de ellos. Al tratarse de datos ya disponibles pueden recopilarse a un coste moderado y facilitan mucho los trabajos de evaluación. Por ello, es importante disponer de un buen sistema de seguimiento.
Estos datos se hacen especialmente importantes en las evaluaciones intermedias, donde suelen aportar información financiera (medios) e información sobre las realizaciones. Una información que complementa a la obtenida de las evaluaciones anteriores y los documentos de programación, que aportan datos sobre la lógica de intervención, coherencia y pertinencia de la programación diseñada.
Referencias citadas:
Thirion, S. (2000). El método SAP en Portugal (Sistematización de la Autoevaluación Participativa). I.N.D.E. Lisboa. Descargado de internet el 27 de julio de 2015 en http://ec.europa.eu/agriculture/rur/leader2/forum/docs_evaluation/thirion_es.pdf
About Carlos Plaza
Recursos para la evaluación: Bueno, bonito, barato. ¡Escoge dos!
Bueno, Bonito, Barato: ¡Escoge dos! Este conocido dicho, proveniente de la industria de restauración, nos recuerda que en la sociedad actual se demanda que los productos ─en nuestro caso las evaluaciones─ sean:
- Buenos (aumentar la calidad de las evaluaciones lo máximo posible)
- Rápidos (disminuir el tiempo de evaluación lo máximo posible)
- Baratos (disminuir el presupuesto de evaluación lo máximo posible)
Pero es imposible maximizar los tres criterios a la vez, por lo que hemos de conformarnos con un equilibrio cuyas reglas se reflejan a continuación.
↑ Calidad → ↑Tiempo ↑ Presupuesto
↓ Presupuesto → ↓Calidad ↑ Tiempo
↓ Tiempo → ↓Calidad → Presupuesto
Para aumentar la calidad suele ser necesario aumentar los recursos invertidos (tiempo y presupuesto), pero para disminuir el presupuesto o el tiempo puede ser necesario disminuir la calidad. Es importante estudiar y negociar la mejor opción a la hora de establecer los términos de referencia.
Conseguir un buen balance entre el bueno-bonito-barato en evaluaciones que presentan escasos recursos económicos requiere en ocasiones trabajar de modo colaborativo con el personal implicado en la gestión del programa, de modo que el programa pueda permitirse una buena evaluación que sea sostenible internamente a lo largo del tiempo. Se trata de hacer un uso adecuado del proceso de evaluación sin que ello derive en una falta de independencia u objetividad a la hora de hacer la evaluación. Un uso del proceso de evaluación que derive en la creación de capacidades de evaluación entre el personal que gestiona el programa y con el que trabajamos a la hora de hacer la evaluación. Esa creación de capacidades puede llevar a una gran ayuda a la hora de sacar adenlante una evaluación de calidad y que no emplee excesivos recursos de dinero y tiempo.
About Carlos Plaza
Preguntas clave que ayuden a definir los contenidos de evaluación
El primer paso para definir los contenidos de una evaluación está en decidir el nivel de análisis inicial entre local, regional, nacional… Una vez delimitado este nivel, conviene formular un conjunto de preguntas clave que dejen claro el propósito de la evaluación que se emprende. Se trata de establecer qué puedo evaluar para luego determinar qué quiero evaluar. En un modelo de evaluación basado en un conjunto de preguntas, es fundamental contar con una buena metodología de respuesta que permita tratar adecuadamente las cuestiones planteadas y sacar todo el provecho posible de cada una de ellas.
Se han de establecer para cada pregunta un conjunto de criterios e indicadores en perfecta adaptación con el programa, que permitan recopilar de forma coherente la información obtenida y evaluar los resultados conseguidos. También facilitan la agregación y comparación de los resultados. Se ha de intentar, en la medida de lo posible, aportar respuestas cuantitativas a las preguntas de evaluación, usando los indicadores apropiados. En cualquier caso siempre se proporcionará una respuesta cualitativa bien justificada. Unos posibles pasos a seguir para el tratamiento de cada pregunta se señalan a continuación.
Finalidad y comprensión de la pregunta
Explicación de la pregunta haciendo una pequeña descripción de lo que se estudiará en ella. Es un punto donde se matiza, dentro de la amplitud de cada pregunta, lo que se va a estudiar en concreto y los aspectos en que se hará más hincapié. También se centra la aportación de la respuesta en el contexto global de la evaluación dando razón de su importancia.
Criterio para la evaluación
En este punto se especifican criterios que ayuden a formular un juicio de valor sobre el éxito de los objetivos planteados a la vista de los resultados arrojados por los indicadores y demás información obtenida. Se trata de constatar los aspectos en los que nos vamos a fijar y el grado de exigencia con el que vamos a medirlos, para dar una respuesta a la pregunta.
El criterio sirve para evaluar el éxito, al poner en relación el indicador con el resultado o impacto previsto. Dentro del criterio podemos distinguir lo que propiamente se llama criterio (aumento, disminución…) y el llamado nivel de objetivo, esto es, el nivel que ha de alcanzarse para satisfacer el criterio y concluir que la ayuda ha tenido éxito. Habitualmente, ese nivel se corresponderá con un objetivo cuantificado. Ante la escasa cuantificación de los objetivos programados, en muchas ocasiones es necesario acudir a un nivel de objetivo expresado en forma más bien genérica dando una línea de base con un punto de referencia. En estos casos, el equipo evaluador, cuando se vea conveniente y atendiendo a las características del programa o a las circunstancias locales, delimitará el objetivo con la mayor precisión posible.
Análisis para la respuesta
Se realiza aquí el análisis de toda la información obtenida para buscar que la respuesta a la pregunta planteada sea lo más precisa posible. Son varias las tareas a realizar dependiendo de cada caso, pero tras la recopilación y análisis de los datos y la posible necesidad de tener que reconstruir la situación de referencia será necesario tratar de definir algunos indicadores que permitan extraer algunas conclusiones para responder a la pregunta.
La recopilación de datos ha de tener en cuenta el posterior análisis, a través de medios apropiados y completando los resultados del seguimiento con la recopilación de información adicional. Una vez recopilados los datos, se ha de efectuar la evaluación, analizándolos y determinando los efectos del programa concernientes a la pregunta que se esté respondiendo.
El análisis de los datos se ha de realizar de modo que sea posible efectuar comparaciones y llegar a conclusiones, de tal manera que la evaluación sirva para determinar si los efectos que el programa ha producido son suficientes frente a los objetivos marcados. Se trata de analizar así la situación de referencia o hipotética, es decir, qué hubiese sucedido sin la intervención, definiéndose habitualmente como “la situación sin programa”. No se trata por tanto de la situación inicial sino de la situación que viviría el sector si el programa no hubiera existido.
Es importante concluir el análisis con la búsqueda de indicadores que ofrezcan la información cuantitativa que mejor recoja el análisis de la información realizado y mejor prepare la respuesta a la pregunta. Como norma general, elegir indicadores que puedan medir los progresos de la consecución de los objetivos del programa, y no perderse en interminables baterías de indicadores, sino que hay que centrarse en los indicadores más significativos y pertinentes.
Respuesta: Conclusiones y recomendaciones
Basándose en toda la información recogida y analizada, tanto cuantitativa como cualitativa, se ha de dar una respuesta concisa fundamentada en los apartados anteriores. Como la evaluación es considerada esencialmente un análisis de lo que se ha hecho, estas respuestas deben permitir saber cómo ocurrieron las cosas y por qué.
Por otro lado se considera que la evaluación ha de estudiar especialmente los impactos logrados tanto a corto como a largo plazo, deteniéndose en los aspectos sociales, culturales, medioambientales… según corresponda a la pregunta en cuestión. Además se han de tratar aspectos como la utilidad y sostenibilidad de los impactos conseguidos, para sacar finalmente unas conclusiones y recomendaciones.
Limitaciones de la respuesta
Se indican aquí las posibles limitaciones de la respuesta dada en el apartado anterior, de manera que ésta se pueda valorar adecuadamente. Como limitaciones se pueden entender informaciones que hubieran sido valiosas pero no pudieron conseguirse, la relativa fiabilidad de algunos datos, la imposibilidad de resolver determinadas situaciones, la poca colaboración obtenida, la mala programación realizada con anterioridad… y en definitiva todo lo que constituya un obstáculo a la buena realización de la evaluación.
About Carlos Plaza
La importancia de incluir una estrategia de comunicación en el plan temporal
Finalmente, un plan de evaluación suele tener entre los productos finales un informe de evaluación, cuyo esquema de redacción suele incluir un resumen, una introducción, una descripción del enfoque metodológico, una presentación y análisis de la información recopilada, conclusiones (y recomendaciones), y los anexos que se consideren necesarios. Pero de cara a la utilidad de la evaluación y asegurar que sus resultados se usen es importante diseñar una estrategia para la diseminación y comunicación de resultados que quede incluida en el plan temporal de la evaluación. Este diseño ha de responder principalmente a cuatro preguntas:
- ¿Quién?: Se trata de tener claro a quién va dirigida la estrategia de comunicación, quiénes son los potenciales usuarios de la evaluación. Hablamos aquí de una posible audiencia primaria, secundaria, interna o externa al programa…
- ¿Qué?: Es importante saber qué es lo que se quiere diseminar y comunicar, qué contenidos, qué le importa a nuestra potencial audiencia definida en el punto anterior, qué tipo de información fácil de entender satisface sus necesidades y les puede ayudar a mejorar.
- ¿Cuándo?: Un elemento importante de esa estrategia es definir cuándo se va a comunicar información procedente de la evaluación. Puede ser cada cierto periodo acordado desde el principio, cuando la audiencia potencial lo requiera o cuando se vea que más interesa.
- ¿Cómo?: Se trata de definir el formato en función de la audiencia. En la mayoría de los casos se suelen tener distintos tipos de audiencia, donde los distintos implicados ven la información de forma diferente y con interés diferente. Es por ello importante diseñar diferentes productos de comunicación para cada tipo de audiencia. Entre estos productos podemos tener informes de evaluación (con toda la información), resúmenes ejecutivos (con la información más relevante), artículos en prensa local o boletines, informes de diapositivas, presentaciones orales, discusiones personales, formatos electrónicos (noticias, foros, pdfs interactivos, vídeos colgados en la red…), exhibición de fotos o posters, pequeñas representaciones teatrales…
Se trata en definitiva de asegurar un uso apropiado de la evaluación y ayudar a crear futuros escenarios que se mejores a través de la información, conclusiones y recomendaciones generadas con la evaluación.
About Carlos Plaza
Diseño del plan temporal de evaluación en cada una de sus etapas
El plan temporal de una evaluación sirve para guiar posteriormente las actividades de evaluación. Sin necesidad de emplear mucho tiempo en su diseño sirve para propósitos de gran importancia:
- En primer lugar, provee de un enfoque coherente para llevar a cabo la evaluación y hacer uso de los resultados. Ayuda a que los recursos se empleen adecuadamente y los resultados de evaluación sean usados para su intención original.
- Guía las actividades de evaluación al explicitar sus objetivos, cuándo han de realizarse, cómo, y asignando responsables de llevarlas a buen fin.
- Ayuda a la transparencia de la evaluación al documentar el proceso de evaluación para todas las partes implicadas.
- Asegura la fidelidad a la implementación de la evaluación al explicitar con claridad el proceso de evaluación en sus diferentes actividades.
En definitiva, al crear un plan de evaluación se facilita que los recursos no se malgasten a la hora de llevar a cabo la evaluación y se produzcan resultados que ayuden a la mejora de los programas.
Todo plan de evaluación ha de recorrer varias etapas con diferentes actividades cada una. Michael Scriven en 1980 dio el primer paso hacia la conceptualización de estas etapas a través del análisis de un gran número de evaluaciones de programas. Estas etapas principales por las que discurre una evaluación son:
- Estructurar como se desarrollarán los trabajos de evaluación.
- Observar los datos disponibles y los cambios que se producen en el programa acorde a la estructuración de la evaluación realizada anteriormente.
- Analizar los datos recogidos.
- Emitir un juicio sobre el programa evaluado.
En la figura se representan las cuatro etapas junto con los pasos que implica cada una de ellas.
Etapas principales del proceso de evaluación.
Fuente: Elaboración propia a partir de Scriven (1980)
El gráfico de diamante que aparece en la parte derecha de la figura es obra de Michael Scriven, y refleja como desde la etapa de estructuración hasta la de observación la información se va “acumulando”; se parte de la definición de lo que se va a medir con la evaluación para llegar a una gran cantidad de información recopilada sobre aquello que se va a medir en el programa, ya dentro de la etapa de observación. Tras ello, la cantidad de información vuelve a disminuir al sintetizarse en unos juicios sobre el mérito, valor e importancia del programa evaluado.
A continuación se detallan los contenidos de cada una de las etapas:
Estructurar
La primera etapa, aunque es previa al propio ejercicio de evaluación, se incluye dentro de las fases de una evaluación. Es importante planificar cualquier acción que se lleve a cabo y todo lo referente a esta planificación y estructuración constituye la primera tarea a realizar. En esta fase es necesario:
- Analizar cuáles son los agentes implicados en la evaluación, conectar con ellos, involucrarlos y asegurar su participación a lo largo de la evaluación. Para ello es importante considerar sus necesidades en el diseño de la evaluación.
- Describir el programa, las necesidades que venía a cubrir, objetivos y expectativas, actividades realizadas, recursos implementados, contexto actual y principales influencias que lo afectan…
- Diseñar la evaluación a través de dos pasos esenciales: (1) Análisis y clasificación de los efectos a evaluar definiendo criterios y estándares; y (2) elección de los instrumentos de observación.
Observar
La siguiente etapa ―observar― comprende los siguientes dos pasos:
- Definición del campo de observación: Consiste en definir un campo de observación suficientemente limitado como para que la extracción de datos no genere costes excesivos, y suficientemente grande como para producir información fiable, contrastada y suficiente como para poder medir los efectos del programa que serán evaluados. Por tanto, es una decisión que condicionará la evaluabilidad del programa.
- Recopilación de datos: Consiste en la recopilación de datos primarios a través de las diversas herramientas diseñadas para esta función. Este paso resulta esencial si la evaluación no puede basarse exclusivamente en datos secundarios (que son fundamentalmente aquellos generados por la evaluación previa o por otros documentos y los datos estadísticos existentes). Las herramientas que se aplican en este paso permiten la recolección de hechos y opiniones y la reconstrucción de lo sucedido de una forma cualitativa o cuantitativa.
Es importante obtener datos que permitan dar evidencias que permitan gozar a la evaluación de una buena credibilidad cuando el evaluador tenga que elaborar sus juicios de valor.
Analizar
La tercera etapa comprende los siguientes dos pasos:
- Comparación de datos: Consiste en la presentación de los datos primarios y/o secundarios de tal manera que se puedan extraer conclusiones.
- Estimación de los efectos: Estimar los efectos del programa requiere un análisis de la causalidad que casi siempre sigue un enfoque deductivo, es decir, un enfoque basado en la verificación de las hipótesis de causa y efecto. La bibliografía científica sobre evaluación propone mayoritariamente herramientas de tipo cuantitativo para realizar este análisis.
Juzgar
La última etapa comprende los siguientes dos pasos:
- Análisis en los términos de los diferentes criterios: La evaluación debe ser capaz de juzgar si los resultados obtenidos del programa son suficientes o insuficientes. Hay varias herramientas que pueden ser utilizadas en la etapa de análisis, las más relevantes en la evaluación de programas socioeconómicos son los análisis coste-eficacia y la evaluación comparativa.
- Formulación de un análisis sintético: El octavo y último paso en una evaluación consistirá en la formulación de las conclusiones a partir de la síntesis final de los análisis parciales sobre diferentes criterios. Queda a elección del usuario de la evaluación y el equipo evaluador la necesidad o no de que el equipo emita recomendaciones en base a los resultados del proceso de evaluación.
En la actualidad se discute si los evaluadores deben dar recomendaciones a la luz del juicio del programa. Muchos autores sostienen que la labor de la evaluación acaba al proporcionar un juicio —con la máxima objetividad posible— sobre el programa. Este juicio debe estar argumentado sobre un proceso con la suficiente claridad como para permitir a los gestores del programa emprender las acciones correctoras necesarias para la mejora del mismo. Bajo esta concepción de la evaluación, el análisis de las posibles medidas correctoras del programa es competencia exclusiva de los gestores del mismo. Otros autores sostienen, en cambio, que el evaluador, al cabo del proceso de evaluación posee suficientes argumentos y conocimiento del programa como para emitir una serie de recomendaciones que permitan a los gestores reorientar el programa en caso de que sea necesario.
Es importante asegurar el uso de los resultados de evaluación, para lo que consideramos que es importante incluir una última etapa dentro del plan temporal: el diseño de una estrategia de diseminación y comunicación de resultados que permita compartir los resultados obtenidos.
Referencias citadas:
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
Conceptos y definiciones relacionados con el diseño de una evaluación
Los evaluadores y equipos de evaluación suelen utilizar varios términos para describir sus instrumentos o modos de proceder: técnicas, herramientas, procedimientos, métodos, diseños… En este proyecto docente se adoptan una serie de definiciones para poder desarrollar con claridad este tema. Tres son los términos considerados básicos a definir: herramienta, método y metodología.
Herramienta (Tool, Outil)
Procedimiento estándar utilizado para cumplir una función de la evaluación. El término herramienta se emplea en el caso de aplicación de un tratamiento estándar que puede ser aplicado a cualquier evaluación que requiera dicho tratamiento. Es el caso de los cuestionarios de las encuestas para recoger opiniones o los análisis de coste-eficacia para calcular los fondos públicos empleados en la obtención de un determinado efecto. El término de técnica (technique, technique) es considerado un sinónimo.
Las herramientas de evaluación sirven para recoger datos cuantitativos o cualitativos, sintetizar criterios de juicio, explicar objetivos, estimar impactos, etc. Una herramienta tiene un nombre específico, está descrito en un manual, y puede enseñarse. Su uso puede ser libre, o puede implicar el pago de una tasa si la herramienta está protegida por una marca registrada. La evaluación puede utilizar una o más herramientas.
Método (Method, Méthode)
Plan completo del trabajo del equipo de evaluación. Un método es un procedimiento ad hoc, construido especialmente en un contexto determinado para contestar una o más preguntas de evaluación. Algunos métodos de evaluación son de baja complejidad técnica, mientras que otros conllevan el uso de varias herramientas encadenadas en un diseño predeterminado. Esta definición convierte el término método en sinónimo de diseño (design), modelo (model), procedimiento (procedure)… de manera que se refieren a un determinado método y al espíritu en el cual este método ha sido creado.
El método diseñado para llevar a cabo una determinada evaluación puede siempre dividirse en varios pasos. Cada uno de estos pasos consiste en una tarea y da cumplimiento a una función elemental. En la mayoría de las evaluaciones podemos encontrar las mismas funciones elementales.
Metodología (Methodology, Méthodologie)
En el sentido estricto, es la ciencia de la construcción de métodos de evaluación. Sin embargo, el diseño técnico de una evaluación es más una cuestión de conocimientos y experiencia especializados que un procedimiento puramente científico. En la práctica, el término metodología se emplea a menudo para significar método, definido anteriormente.
Diseño de evaluación (Evaluation design, Protocole d’evaluation)
Plan completo del trabajo del equipo de evaluación. A veces se utiliza para referirse a la parte técnica del plan de evaluación. Se trata de los parámetros que definen una evaluación y cómo esta se va a realizar, incluyendo: plan temporal (etapas), los temas críticos a tratar (contenidos), recursos (presupuesto, personal), metodología general, y herramientas.
Protocolo de evaluación (Evaluation design, Protocole d’evaluation)
Parte técnica del plan de evaluación, diseñada para la colección y análisis de datos.
Sesgo (Slanting, Tendance)
El grado hasta el cual un intento de medición o un método subestima o sobreestima sistemáticamente un valor.
About Carlos Plaza
De los términos de referencia al diseño de tu evaluación
El diseño de una evaluación implica establecer un plan temporal que guíe los plazos a seguir, definir unos contenidos de evaluación que reflejen los temas críticos a evaluar, especificar unos recursos económicos y de personal con los que se va a contar, y establecer los enfoques metodológicos y herramientas que van a utilizarse en la evaluación.
En los términos de referencia de una evaluación han de especificarse los tiempos para el diseño del plan temporal, los contenidos de evaluación, los recursos con los que se cuenta, y al menos indicaciones y sugerencias sobre los enfoques metodológicos y herramientas de evaluación que han de utilizarse.
About Carlos Plaza
Redacción de documentos de evaluación
Los informes de evaluación constituyen el principal flujo de información del programa hacia su exterior y han de suponer el resultado de todos los trabajos de seguimiento y evaluación realizados sobre un determinado programa hasta la fecha en que se está evaluando. Es cierto que están los informes de seguimiento y control pero ninguno de ellos tiene la profundidad y alcance de un ejercicio especial de evaluación. Es por ello que, junto con el informe de programación, son los documentos de elaboración más cuidada. Los resultados de la evaluación deben ser presentados de modo que puedan ser entendidos y utilizados.
En muchas ocasiones las evaluaciones trascienden el nivel de análisis de un simple proyecto o programa y pasan a formar parte normalmente de ejercicios de evaluación realizados a otros niveles como planes regionales, nacionales… y por ello es necesaria su homogeneidad. Homogeneidad que no es sólo de metodología y análisis sino que también de redacción, contenido y estructura de los informes.
Estructura de los informes de evaluación
Con la mente puesta en estos casos, la estructura de los informes de evaluación debe ser tal que garantice el tratamiento de todos los aspectos esenciales y unos resultados comparables que permita su síntesis. La estructura puede consistir en un resumen, un informe principal y unos anejos. El conjunto, y desglosando el contenido del informe principal se debe contar con:
- Resumen: Con un máximo de 10 páginas, una breve descripción del trabajo realizado, la metodología aplicada y una síntesis de las conclusiones y recomendaciones del estudio, en forma de respuestas a las preguntas de evaluación.
- Introducción: Incluye una descripción del contexto del programa, características de la aplicación y finalidad de la evaluación.
- Explicación del enfoque metodológico: descripción de la concepción y análisis, recopilación de datos y fuentes utilizadas, así como la fiabilidad de los datos y las conclusiones.
- Presentación y análisis de la información recopilada: información financiera y realizaciones, información sobre los beneficiarios utilizada, respuestas a las preguntas comunes, constataciones en relación con las preguntas específicas del programa, etc.
- Conclusiones y recomendaciones en relación con los objetivos de las políticas implementadas, los objetivos específicos del programa, la eficacia, eficiencia, utilidad y sostenibilidad de los resultados.
- Anexos.
Calidad de los informes de evaluación
Los informes de evaluación deben tener una calidad adecuada. Para ello podemos analizar el cumplimiento de los siguientes criterios extraídos del volumen I de la colección MEANS (Comisión de la UE, 1999):
- Satisfacción de necesidades: ¿Satisface apropiadamente la evaluación las necesidades de información? ¿se ajusta al pliego de condiciones?
- Alcance pertinente: ¿Se analiza plenamente la motivación del programa, sus realizaciones, resultados e impacto, incluida la interacción entre las diversas medidas y sus consecuencias, previstas o imprevistas?
- Concepción adecuada: ¿Está concebida la evaluación de forma apropiada para garantizar que queden recogidas la totalidad de las constataciones, así como las limitaciones metodológicas, para responder a las preguntas de evaluación?
- Datos fiables: ¿En qué medida los datos primarios y secundarios recopilados o seleccionados son apropiados, esto es, ofrecen un grado de fiabilidad adecuado para el uso a que se destinan?
- Análisis sólido: ¿Se analiza la información cuantitativa y cualitativa apropiada y sistemáticamente, conforme a las técnicas más avanzadas, de modo que sea posible responder a las preguntas de evaluación de forma válida?
- Constataciones fiables: ¿Las constataciones hechas son la consecuencia lógica de un análisis de datos y una interpretación, basados en hipótesis racionales y cuidadosamente descritas, que constituyen su justificación?
- Conclusiones imparciales: ¿Son las recomendaciones justas, sin que en ellas se interfieran opiniones personales o intereses particulares, y lo suficientemente detalladas, de manera que puedan ponerse en práctica?
- Informe claro: ¿Se describe claramente el programa evaluado, incluidos el contexto y finalidad del mismo, así como los procedimientos y constataciones de la evaluación, de modo que la información aportada pueda comprenderse fácilmente?
Informe principal
El informe principal ha de contener los aspectos esenciales que describen el programa que se evalúa, la metodología empleada y los resultados de la evaluación realizada: sus conclusiones y recomendaciones.
La descripción del programa ha de abarcar de modo breve la descripción del programa ─estrategias, medidas, objetivos, modos de gestión y financiación─ y su contexto. Dentro de este contexto, hacer un escueto repaso del contexto territorial (el capital con el que cuenta el territorio), del contexto legal e institucional. Esta descripción enmarca la evaluación y facilita la interpretación de los resultados en el caso de una persona ajena al territorio. Se proporciona así una herramienta para comprender mejor las circunstancias que rodean la intervención.
La descripción de la metodología empleada debe ceñirse a lo escuetamente necesario para comprender los pasos seguidos con la evaluación. Marco legal de referencia, aspectos principales que se evalúan, definición de preguntas clave de evaluación, metodología de respuesta, nivel de análisis escogido y fuentes de información. Se trata de introducir lo que constituye el grueso del documento: los resultados de la evaluación llevada a cabo. Una vez familiarizado con la metodología empleada la lectura de este tercer bloque ha de resultar más fácil y comprensible.
Los resultados de la evaluación realizada pueden comenzar con un repaso de las actividades de control, seguimiento y evaluación desarrolladas hasta la fecha. Las conclusiones de este repaso nos llevan a la descripción de los resultados obtenidos. Primero con respecto al planteamiento y lógica de intervención respondiendo a la pregunta sobre si la programación ha sido la adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.
El segundo bloque los constituye la aplicación del programa y su gestión respondiendo a la pregunta de si se ha seguido la programación prevista y de si esto se consiguió con una gestión adecuada: finalidad, criterio, análisis, respuesta y limitaciones a la respuesta.
El tercer bloque resume las respuestas a las preguntas sobre los resultados e impacto del programa. Comenzando con las preguntas específicas el bloque termina con el análisis de las preguntas globales. Todas las preguntas estructuradas por su finalidad, criterio, análisis, respuesta y limitaciones encontradas.
El documento debe finalizar con una serie de conclusiones y recomendaciones que extraigan todo el aprendizaje que se pueda concluir tras la realización de la evaluación. Esto facilita el aprendizaje de quién se propone la mejora del programa evaluado (evaluación intermedia) o la mejora de una posterior programación (evaluación final).
Resumen
El informe principal ha de estar acompañado por un breve resumen con los datos básicos sobre el programa, la metodología de evaluación y sobre todo, sobre los resultados de la evaluación: conclusiones y resultados. El resumen facilitará la difusión de estas conclusiones y recomendaciones y posibilitará su puesta en práctica así como su difusión a todas las instituciones implicadas en el programa. También resulta fundamental para la agregación de resultados en posibles evaluaciones a niveles superiores de análisis.
Anejos
El informe principal también ha de ir acompañado de una serie de anejos. La función de estos anejos es la de descargar al informe principal de información que no es básica y se facilite así su lectura. Tablas de datos, información excesivamente desagregada o especializada, encuestas realizadas, datos financieros, explicaciones más detalladas de algunos aspectos… Es información valiosa pero su inclusión en el informe principal dificultaría su lectura más que ilustrar los resultados obtenidos. Cualquier persona interesada en profundizar en algún aspecto concreto de la evaluación puede acudir a los anejos y encontrarla allí.
Pueden incluirse anejos que describan con mayor precisión y especialización la metodología empleada, la participación social realizada o la gestión interna de los programas. Otros anejos pueden condensar toda la información obtenida, fuentes y datos estadísticos, datos financieros del programa, fuentes documentales e informáticas consultadas. Otros pueden tratar con más extensión los informes y controles realizados con anterioridad al programa o desarrollar con más extensión toda la normativa aplicable.
Referencias citadas:
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
