Existen una serie de conceptos etnográficos que pueden guiar y marca el ritmo del trabajo de campo cuando llevamos a cabo una evaluación participativa. Con la experiencia, estos conceptos se automatizan y terminar por regir la estrategia y comportamiento del evaluador. Se trata de conceptos que ayudan al evaluador menos experimentado a penetrar en la cultura y costumbres donde ha de realizar su trabajo participativo. Fetterman (2010) analiza todos los conceptos que deben tenerse en  cuenta: cultura, contextualización y perspectiva holística, estudios micro y macro, perspectivas émica y ética, orientación no prejuzgadora, diversidad inter e intracultural, estructura y función, símbolo y ritual, y operatividad.

 

Cultura

El primero de estos conceptos es la cultura que bajo una perspectiva materialística clásica incluye patrones de comportamiento, costumbres y modos de vida; bajo una perspectiva cognoscitiva ideacional incluye ideas, creencias y conocimientos (orientado hacia el lenguaje, las definiciones de la realidad, la existencia y el significado de los símbolos).

 

Contextualización

La contextualización de los datos implica situar las observaciones que se hagan en una persepectiva más amplia, lo que resulta necesario para hacer una buena caracterización del mérito, valor e importancia de aquello que se observe. La interpretación de los datos está siempre condicionada por el contexto.

 

Perspectiva holística

Se trata de obtener una perspectiva integral y completa del grupo social o programa que se evalúa. El punto de partida es la descripción de su historia, religión, política, economía y medioambiente, de modo que se cubran todos los ángulos. Se trata de un concepto que ayuda a descubrir las interrelaciones entre los varios sistemas y subsistemas que subyacen en la comunidad o programa que es objeto de estudio.

 

Estudios micro y macro

La evaluación está determinada por los límites que se pongan en los estudios que se lleven a cabo. Según se marquen estos límites los estudios pueden ir del nivel micro —cuando adoptamos una visión de primer plano, detallada y cercana, del objeto de estudio— al nivel macro, cuando adoptamos una perspectiva más general.

 

Perspectivas émicas y éticas

La perspectiva émica es la perspectiva interna de las personas afectadas por una intervención, la perspectiva local o nativa. Se trata de una perspectiva que ayuda a entender situaciones y comportamientos, y fomenta la aceptación de múltiples realidades. La perspectiva ética es la perspectiva externa o científica de quien observa el mismo fenómeno, del que no es partícipe, desde fuera. La mayoría de los evaluadores comienzan a recoger datos desde una perspectiva émica y luego tratan de dar sentido a esos datos conjuntando la visión local con su propia persepectiva científica.

 

Orientación no prejuzgadora

Esta orientación requiere que el evaluador suspenda su propia valoración personal de cualquier práctica cultural. El hecho de luchar contra los propios prejucios obliga al evaluador a explorer nuevas direcciones, asegura la validez de los datos recogidos y previene la contaminación de los mismos. Es importante destacar que los evaluadores no pueden ser completamente neutrales; todos somos producto de nuestra cultura.

 

Diversidad inter e intracultural

Es importante sensibilizarse frente a la diversidad inter e intracultural. La primera es más fácil de observar, mientras que la segunda tiende a pasa inadverida. Se trata de un concepto imprescindible de cara a producir una visión completa de una comunidad, evitando el peligro de crear estereotipos.

 

Estructura y función

El concepto de estructura hace referencia a la estructura social o configuración de un determinado grupo social; el concepto de función, a las relaciones sociales entre los miembros del grupo. La mayoría de las comunidades tienen estructuras internas identificables y un conjunto de relaciones sociales estables que ayudan a regular el comportamiento. La evaluación ha de penetrar en esas redes informales e influencias que gobiernan la comunidad y entenderlas para dirigir correctamente sus estudios.

 

Símbolo y ritual

Símbolos son expresiones dotadas de un significado que evoca poderosos sentimientos y pensamientos. Los evaluadores han de buscar símbolos que les ayuden a entender y describir una determinada cultura. Los rituales son patrones de comportamiento simbólicos que se repiten y juegan un papel en la vida religiosa y secular de una comunidad; son como puertas abiertas que comenzar a comprender una determinada cultura. Juntos, los símbolos y los rituales, ayudan a los evaluadores a dar sentido a las observaciones al proveer de un marco que permita clasificar los comportamientos observados.

 

Operacionalismo

Este último concepto hace hincapié en la necesidad de definir los términos y métodos de medición empleados. Los evaluadores deben cuantificar e identificar las fuentes de información y sus formas de análisis siempre que sea posible, de forma que otros evaluadores puedan continuar el estudio, probarlo o desmentirlo.

El S&E de un programa de desarrollo debe atender al tipo de programa de que se trata, la lógica de la programación con la que se ha diseñado, su contexto territorial, legal e institucional. A la hora de diseñar un modelo de S&E, es importante tener en cuenta este marco para conseguir una adecuada adaptación al programa y su contexto.

Adaptación del modelo de seguimiento y evaluación a su contexto.

Fuente: Elaboración propia.

La adaptación del S&E al programa ha de realizarse de acuerdo a las características específicas de los programas, por lo que es necesario un conocimiento sistemático y profundo tanto de los objetivos y estrategias como de la gestión y financiación. La adaptación al contexto territorial ha de abarcar todos los recursos —sociales, ambientales y económicos— y ha de basarse en una labor de acercamiento y participación. La adaptación al contexto legal cuenta con dos aspectos importantes, el que afecta a los programas y el que afecta a las propias actividades de S&E. En la adaptación al contexto institucional es importante tener en cuenta el control externo al que es sometido el programa por parte de una serie de instituciones más o menos implicadas en la inversión. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacerlo más transparente.

Aprendizaje adaptativo: Adaptación del S&E al programa y su contexto

Como concluimos en el segundo capítulo, es imprescindible que el modelo de S&E buscado, se adapte al tipo de programación europea y su contexto. Esta adaptación ha de partir de un profundo conocimiento del ámbito territorial y las características de los programas, y en un marco más global, del contexto legal e institucional comunita

rio. Comparando este ajuste del modelo de S&E con la realización de un puzzle, la ficha que representa al modelo ha de encajar perfectamente con las otras cuatro fichas que forman las características del programa y su contexto.

Uno de los problemas actuales en la evaluación está en que los evaluadores se entretienen en los detalles y se olvidan de lo más importante de la evaluación. Los evaluadores comienzan normalmente sus reuniones con los implicados con la definición de los instrumentos para recoger información sin examinar los objetivos, prioridades y definiciones compartidas sobre la evaluación que se comienza. Asumen que saben ya las prioridades y objetivos de la evalua

ción y que los implicados las entienden del mismo modo. Este enfoque termina en que, tarde en el proceso de evaluación, se vuelve a los temas importantes que no fueron considerados al principio. Siempre puedes añadir detalles a tu trabajo, pero sólo puedes poner los cimientos al principio (Patton, M.Q., 1999). Estos temas fundamentales en la evaluación son su filosofía, objetivos y posicionamiento en el contexto.

Adaptación al contexto territorial

Desde un principio el S&E han de adaptarse al territorio donde se va a operar y que ha de ser objeto de estudio. Esta labor de acercamiento se ha de caracterizar por el dinamismo y la atención a las aportaciones que hacen los individuos y colectivos sociales. Ha de suponer un análisis detallado y global del ámbito territorial. Su finalidad es la de determinar el margen de maniobra del programa, la situación de partida y el grado de desarrollo con que cuenta el territorio para poder juzgar en su debida medida los logros que se fueran consiguiendo. La adaptación ha de abarcar todos los recursos: sociales, ambientales y económicos.

 

Adaptación a las características del programa

Parte importante de la adaptación hace referencia a las características del programa sobre el que se trabaja. Los programas de desarrollo deben ser evaluados por medios adaptados a sus características específicas (COMISIÓN DE LA UE, 1999a. Op. cit.). Es necesario un conocimiento sistemático y profundo de un programa para que las actividades de S&E puedan proporcionar nuevos conocimientos y experiencias que puedan mejorar la calidad de la intervención. El principal deber de un evaluador es contribuir a un juicio imparcial e independiente, basado en un conocimiento previo profundo y en un análisis sistemático (NORAD – UD, 1997. Op. cit.).

La adaptación ha de extenderse tanto a los objetivos y estrategias del programa como a su gestión y financiación. Es necesario tener un conocimiento profundo de cómo funciona el programa, sus órganos de gobierno, criterios de selección de beneficiarios, procedimientos para la concesión de ayudas, coordinación entre diferentes instituciones implicadas a diferentes niveles, flexibilidad de la financiación, mecanismos de verificación y control de posibles ayudas pagadas… Además, se ha de conocer quién realiza cada una de estas funciones, aptitudes, conocimientos, experiencia.

Adaptación al contexto legal

Además de las circunstancias concretas del programa con el que se va a trabajar, siempre se encuentra un marco más amplio que ha de orientar también las actividades de S&E. Éste marco viene normalmente expresado mediante directivas, reglamentos, normativas que en algunos casos son orientativas y en otros son de obligado cumplimiento. Es importante investigar dos aspectos importantes de este marco, el que afecta al programa y el que afecta a las propias actividades de S&E:

• El contexo legal de los programas responde a una determinada política de desarrollo y orienta el programa en muchas de sus facetas. Se trata de un contexto que – junto a la descripción del programa – enmarca muchos de los criterios de S&E que se establezcan para juzgar la intervención.

 

• El contexto legal de las actividades de S&E lo constituyen normativas, orientaciones y determinados marcos metodológicos. Han de conocerse en detalle para que las actividades de S&E puedan amoldarse al menos a los requisitos mínimos exigidos. Esto implica la necesidad de modelos con un alto grado de flexibilidad que permita adaptarse al nivel de análisis exigido y la utilización de los parámetros específicos que se exijan.

Adaptación al contexto institucional: plan de controles

Todo programa de desarrollo está sometido a un control externo realizado por una serie de instituciones más o menos implicadas en la inversión. Normalmente este control se realiza en diferentes niveles: local, regional, nacional… Suelen ir dirigidos a la verificación del cumplimiento de la normativa y del correcto funcionamiento del equipo gestor. También tienen como objetivo la prestación de un posible apoyo técnico en caso de que se vea necesario y la elaboración de informes que vayan reflejando la buena marcha del programa. El S&E ha de adecuarse a este plan de controles de manera que lo facilite y contribuya a hacer más transparente y reglamentaria la aplicación del programa.