En las actividades de evaluación se suele poner de relieve la necesidad de combinar distintas fuentes de información para asegurar la solidez de los trabajos. Es conveniente utilizar todos los instrumentos de recolección de información que estén a nuestro alcance, teniendo en cuenta que algunos de estos instrumentos ─en especial los utilizados en la participación social─ introducen opiniones subjetivas. Se puede así comparar distintos puntos de vista, complementar distintas fuentes de información y analizar la validez de los argumentos que sostengan las opiniones encontradas.
Fuentes de información
Es necesaria la utilización de fuentes complementarias de información: una primaria (generados y recogidos ex profeso para la evaluación) y otra secundaria (datos ya disponibles), una cuantitativa (información claramente cuantificable) y otra cualitativa (información de difícil cuantificación).
Los trabajos de evaluación suelen comenzar con una descripción clara de lo que se pretende realizar y una revisión detallada de la documentación disponible: literatura relevante, evaluaciones previas, documentos de programación, informes de seguimiento y control, datos estadísticos y bases de datos existentes, etc. En la medida de lo posible, es importante acudir al origen de estas fuentes de información ya existentes (información secundaria), de manera que se eviten intermediarios, incorrecciones o malas interpretaciones.
Gran parte de la información cualitativa resulta de la activación de procesos de participación (a través encuestas, entrevistas, discusiones, talleres…) para aprovechar las aportaciones de la población afectada. Se trata de una información primaria fundamental para comprender la realidad evaluada, completar datos secundarios insuficientes, e interpretar y matizar los datos obtenidos de otro tipo de informaciones. Otro tipo de información primaria es la observación directa de uno o unos pocos casos seleccionados (puede hacerse participativa o no) a través de observaciones cualitativas y mediciones directas que registran datos cuantificables por medio de instrumentos analíticos.
Trabajo de gabinete y trabajo de campo
Según Thirion (2000) el número, la diversidad y la representatividad de las personas que participan en la evaluación, por una parte, y el nivel de profundización del análisis, por otra parte, son los dos principales factores de fiabilidad de los resultados obtenidos. Dentro del primer factor toma especial protagonismo la participación del trabajo de campo y dentro del segundo el trabajo de gabinete.
La experiencia indica que estos dos factores no son siempre compatibles, ya que es en general difícil movilizar a un gran número de personas durante un plazo suficientemente amplio para realizar un análisis profundo. Esta es la razón por la que son posibles tres tipos de vías para obtener una mejor fiabilidad de los resultados. Estos tres tipos de vías están representados en el gráfico siguiente donde las curvas de nivel de fiabilidad van del 1 (nivel muy bajo) a 8 (nivel muy elevado). Como se ve, son posibles distintas vías para la búsqueda de mayor fiabilidad de los resultados.
Distintas vías posibles para la búsqueda de mayor fiabilidad de los resultados.
Fuente: Elaboración propia a partir de Thirion, 2000
Vía A: Un primer trabajo es realizado por un pequeño grupo de técnicos y expertos que basan su valoración personal en un trabajo minucioso y en la búsqueda de indicadores pertinentes, antes de pasar a la participación ampliada a otros agentes, a quienes proporcionan las informaciones que recogieron pero sin aportar su valoración personal.
Vía B: Inicialmente se hace una valoración individual en la que interviene un gran número de participantes representativos de los distintos sectores de la sociedad local, pero sin utilización de indicadores (valoración global rápida); luego, en una segunda fase, la valoración media obtenida se compara con el trabajo de análisis más profundo y con la búsqueda de indicadores.
Vía C: Sería la vía ideal donde el trabajo de gabinete y la participación interaccionan de continuo en todo el proceso evaluación. Esto en la realidad es difícil pues no se puede estar movilizando de continuo a un gran número de personas. Es por ello que la mayor aproximación a esta vía está en buscar que la propia población local aprenda a evaluar por sí misma los programas con un modelo de evaluación que facilite la adquisición de estas capacidades.
En cualquier caso es necesaria la obtención y análisis de la información secundaria a través de un trabajo de gabinete inicial. Primeramente se consultan estos datos que ya están disponibles para luego ir en busca de los datos primarios que hagan falta durante el trabajo de campo (participación social, observaciones y mediciones directas). Una vez obtenidos, estos datos del trabajo de campo sirven para completar, verificar, interpretar, resolver posibles conflictos y contrastar las conclusiones que se obtuviesen del análisis de los datos secundarios durante el trabajo de gabinete inicial.
Complementación de fuentes de información
Esta complementación de fuentes de información ─que normalmente se realiza en un trabajo de gabinete final─ permite integrar los conocimientos analizados y evaluar cuantitativamente la aplicación y resultados de los programas de desarrollo, a la vez que permite un enfoque más cualitativo de los factores específicos que los caracterizan y suponen muchas veces su mayor beneficio. También suministra diferentes opciones de información que no obliguen a forzar la causalidad, al tiempo que permite disponer de indicadores que ilustren suficientemente las variables a considerar.
No se puede excluir un objetivo de su campo de análisis sólo porque sea difícil de medir cuantitativamente y definir para él un indicador cuantitativo. Cuando los trabajos de evaluación tropiezan con un objetivo difícil o incluso imposible de cuantificar, se puede proponer un tratamiento cualitativo. La información cualitativa bien estructurada puede resultar muy útil y es claramente preferible a una ausencia de información.
La información del seguimiento como base de la evaluación
La recopilación de datos debe hacerse teniendo en cuenta los análisis que puedan hacerse posteriormente y vuelvan a necesitar de ellos. La evaluación debe dotarse de medios apropiados y completar los resultados del seguimiento, cuando sea necesario, con una recopilación de información adicional. De esta forma, conseguimos que la evaluación sea parte de un seguimiento continuo que tiene lugar a través de los proyectos.
Los trabajos de evaluación han de hacer un uso óptimo de los denominados datos secundarios ya disponibles, como los obtenidos a través del sistema de seguimiento. A veces, resultan suficientes para responder a aspectos específicos de evaluación o una parte de ellos. Al tratarse de datos ya disponibles pueden recopilarse a un coste moderado y facilitan mucho los trabajos de evaluación. Por ello, es importante disponer de un buen sistema de seguimiento.
Estos datos se hacen especialmente importantes en las evaluaciones intermedias, donde suelen aportar información financiera (medios) e información sobre las realizaciones. Una información que complementa a la obtenida de las evaluaciones anteriores y los documentos de programación, que aportan datos sobre la lógica de intervención, coherencia y pertinencia de la programación diseñada.
Referencias citadas:
Thirion, S. (2000). El método SAP en Portugal (Sistematización de la Autoevaluación Participativa). I.N.D.E. Lisboa. Descargado de internet el 27 de julio de 2015 en http://ec.europa.eu/agriculture/rur/leader2/forum/docs_evaluation/thirion_es.pdf
About Carlos Plaza
