Evaldes

Una de los principales activos de un profesional de la evaluación es el sistema de valores que utiliza para realizar sus evaluaciones. Este sistema constituye la fundamentación y una de sus principales aportaciones al trabajo que realiza, la base necesaria para los juicios de valor con los que ha de concluir sus evaluaciones. Este sistema lo construye cada evaluador a medida que se va ganando experiencia, lo que no significa que cambie y por tanto goce de cierto relativismo. Más bien lo que significa es que el evaluador va profundizando en la realidad objetiva con la que trabaja, descubriendo nuevos valores que se le podían haber pasado por alto, o calibrando la importancia relativa entre los valores que ya maneja.

El contexto en el que se trabaja hace que se apliquen unos valores u otros, o se de una importancia mayor a unos que a otros. Es el caso de hacer una evaluación de programas de desarrollo rural en un país desarrollado frente a hacerla en un país en vías de desarrollo. En el primer caso el contexto puede hacer aflorar la importancia de los valores medioambientales, en el segundo caso, un contexto donde la gente muere de hambre puede ensombrecer los valores medioambientales. Esta circunstancia no debe confundirse con el relativismo. La realidad sigue siendo la que es y los valores que la fundamentan también. Los dos contextos están fundamentados por unos mismos valores —e.g. el valor de la vida humana y el valor de los bienes medioambientales— simplemente afloran unos valores u otros, y su importancia relativa, a la hora de realizar un juicio de valor. En los dos casos el valor de la vida humana es preponderante, pero en el caso del país desarrollado puesto como ejemplo se respeta y se cuida ese valor, circunstancia que permite poner el foco de la evaluación en otro tipo de valores.

 

La pregunta que podemos hacernos aquí es ¿cómo se construye un sistema de valores?, ¿de qué fuentes se nutre un sistema de este tipo? Enumeramos a continuación algunas de las fuentes más comunes:

• Valoración de necesidades (needs assessment): una primera fuente de valores surge durante el proceso de diagnóstico y la observación de las necesidades existententes en un determinado contexto.
• Definición y comprensión del objeto a evaluar (definitional): en el caso de un programa de desarrollo una fuente común de valores está relacionada con la definición de los impactos (sociales, económicos, ambientales) esperados.
• Lógica: otra fuente de valores está relacionada con el propio razonamiento de forma que lo que se evalue esté formalmente de acuerdo con los principios básicos de la razón.
• Marco legal: valores que derivan de la legislación vigente que pueda ser aplicable o valores acordados con quien patrocina la evaluación y que normalmente pone unos requerimiento iniciales.
• Ética: valores que en muchas ocasiones pueden no estar incluidos en el marcol legal, o incluso pueden rebatir algunos de los valores legales.
• Marco personal y organizacional: En relación a los objetivos personales u organizacionales de aquellos individuos u organizaciones implicados en una evaluación.
• Fidelidad: normalmente en relación a la implementación de un determinado programa y la fidelidad a la misión con que fue creado.
• Estándares profesionales: valores establecidos por autoridad, costumbre o consentimiento general.
• Juicio experto: relacionado normalmente con los estándares más comúnmente usados y elegidos por expertos profesionales.
• Estándares históricos, tradicionales y culturales: normalmente variables en función del tiempo y del contexto.
• Mérito científico y tecnológico.
• Políticos: pueden ser algo artificiosos e interesados, y hay que abordarlos con cierto cuidado.
• Riesgo: en relación al daño potencial, su probabilidad, su grado de incertidumbre…

La fundamentación teórica de la evaluación se asienta en las teorías del valor y las teorías de la práctica. Éstas últimas hacen referencia al papel de evaluador, objetivos, métodos y usos de evaluación, la naturaleza de las evidencias… temas que trataremos con extensión en otros artículos. Abordamos aquí las teorías del valor, que estudian la naturaleza del valor y su relación con los hechos.

La cuestión de fondo es que ha habido, y hay hoy en día, ámbitos científicos que desprecian las ciencias sociales al considerar que son cuestión de juicios subjetivos que no llevan a hacer verdadera ciencia. Podríamos considerar que ese hacer ciencia consiste en establecer leyes generales, y en ciencias sociales aunque es más difícil no es imposible establecerlas. No todo ha de ser probado por el método científico: observación sistemática, medición, experimentación, la formulación, análisis y modificación de hipótesis. De hecho sabemos con certeza muchas cosas que no han sido probadas por el método científico, por ejemplo el hecho de que los Andes se han levantado por la subducción de placas oceánicas por debajo de la placa Sudamericana.
El problema es que ese desprecio está contribuyendo a mermar la contribución que las ciencias sociales pueden hacer a la sociedad. Hay oportunidades que aprovechar y problemas importantes que resolver: el hambre, la pobreza, la corrupción, el narcotráfico, la violencia, el desempleo… La cuestión está en que no podemos hablar de estas cuestiones sin entrar a términos evaluativos, esa es la razón por la que la cultura de la evaluación está entrando con tanta fuerza en la actualidad.
La cuestión central de la evaluación no es la emisión de juicios de valor sino los hechos que son juzgados. El problema viene cuando se plantea que no hay una verdad objetiva y la realidad es cuestión de preferencias. La adopción y extensión en el mundo occidental de una doctrina relativista que se resiste a reconocer la existencia de valores objetivos acompañó el nacimiento de las ciencias sociales, que lastran desde entonces las consecuencias de esa adopción. Hoy en día el relativismo está extendido en la forma de pensar de mucha gente y estrecha enormemente las posibilidades de las ciencias sociales. Si no hay conclusiones morales relativas a valores objetivos, no hay conclusiones evaluativas y es difícil establecer legitimidad en la toma de decisiones.
La ética, un sistema de valores, es la fundamentación necesaria del campo profesional de la evaluación. La evaluación es una cuestión de valores. Necesitamos hacer confluir los hechos con valores objetivos para resolver cuestiones reales e importantes, y la tendencia en las últimas décadas ha sido la de separlos en una especie de esquizofrenia colectiva. El relativismo no es la respuesta a los problemas de la sociedad. Es posible que encontremos muchos grises a la hora de establecer los valores, pero ese no es un problema insalvable sino un problema en el que hay que trabajar, pues en muchos casos puede darse una respuesta a la pregunta de cómo deberíamos valorar un hecho concreto. La primera respuesta sería acudir al valor del mercado, pero estamos hablando de encontrar algo más que un valor monetario. El evaluador busca el valor objetivo y verdadero de algo en el contexto de unas necesidades concretas; valores objetivos y contextualizados de lo que estemos evaluando teniendo en cuenta especialmente a la gente que interactúa con nuestro objeto de evaluación.

En este contexto, las teorías del valor estudian la naturaleza y justificación de los valores, cómo y por qué se contruyen los juicios de valor, y describen los valores y la posible supremacía de unos valores sobre otros. En un terreno más práctico, las teorías del valor definen cuatro pasos lógicos (llamada también lógica de evaluación) para la construcción de un juicio (Fournier, 1995; Scriven, 1995):

1. El primer paso es definir los criterios sobre los que se ha de centrar la evaluación. Los criterios son propiedades esencialmente relacionadas con el objeto a evaluar y que determinan su bondad, valor e importancia. Se trata de aquellas condiciones que deben cumplir las intervenciones y que por tanto son el objetivo de las actividades de evaluación. El camino para una buena evaluación es el camino de los criterios, no de los indicadores, pues los indicadores son variables empíricas estadísticamente conectadas con los criterios, pero frecuentemente inestables en su validez, y en ocasiones fácilmente manipulables.
2. El segundo paso consiste es establecer los estándares, es decir, los niveles de cumplimiento, específicos y medibles, que se exigen sobre un criterio. Este paso es el más difícil y para realizarlo puede acudirse a estándares de comparación (benchmarking) comparando nuestro objeto de evaluación con otro que consideramos adecuado.
3. En el tercer paso se mide la actuación en cada uno de los criterios definidos y se compara con sus respectivos estándares. Esto dará idea del grado de cumplimiento alcanzado por la intervención.
4. Finalmente se sintetiza la información en un juicio sobre el mérito, valor o importancia de la intervención en relación con los criterios y estándares definidos.

Referencias citadas:
Fournier, D. M. (1995). Establishing evaluative conclusions: A distinction between general and working logic. New Directions for Evaluation, 68, 15-32
Scriven, M. (1995). The logic of evaluation and evaluation practice. New Directions for Evaluation, 68, 49-70

 

La siguiente figura visualiza cómo se puede plantear la articulación entre el control, seguimiento y la evaluación: el control se queda en los medios, el seguimiento alcanza las realizaciones materiales y parte de los resultados, mientras que la evaluación profundiza hasta los impactos a largo plazo.

Articulación entre el control, seguimiento y evaluación en términos de resultados e impactos.

 

En términos de contenido de la evaluación, ésta deberá articularse de forma coherente a la estructura de los programas, haciendo corresponder a cada ámbito del programa (necesidades, objetivos, medios, realizaciones, resultados e impactos) unos criterios de evaluación específicos. La siguiente figura esquematiza las relaciones que se pueden establecer para juzgar el valor de un programa, lo que se ha venido llamando lógica de intervención o modelo lógico.

Intervención lógica de un programa.

 

Esta lógica de la programación tiene una gran incidencia en el seguimiento y la evaluación. La propia programación de las intervenciones se realiza a partir de un cierto número de hipótesis que permiten esperar que las acciones planificadas vayan a producir determinados resultados y generar determinado tipo de impactos. Así, las intervenciones se programan:

 

• En un contexto determinado y atendiendo a unos objetivos globales (marcan los impactos a largo plazo esperados) que ofrece la perspectiva básica desde la que deberán implementarse las intervenciones.

• Estos objetivos globales suponen la consecución de una serie de objetivos específicos (marcan los resultados esperados) que permiten precisar la naturaleza y características de las intervenciones a realizar.

• La ejecución de estas intervenciones implica la realización concreta de un cierto número de acciones que, a su vez, van a producir una serie de realizaciones que deben permitir alcanzar los objetivos operativos programados.

 

El objetivo básico que se asigna al sistema de seguimiento de los programas consiste en verificar con regularidad su realización progresiva y efectiva, tanto física como financiera, así como las realizaciones y parte de los resultados respecto a los objetivos prefijados. Como refuerzo al sistema de seguimiento las evaluaciones deben aportar un juicio crítico sobre los impactos obtenidos y contribuir, con regularidad, a una gestión eficaz. De esta forma, el seguimiento del programa sigue la lógica esquematizada:

 

• Las acciones realizadas, consumidoras de una cantidad determinada de recursos (medios), dan lugar a unas realizaciones que han de juzgarse en base a los objetivos operativos.
• Las realizaciones dan lugar a unos resultados que deben contrastarse con los objetivos específicos prefijados.
• Estos resultados dan lugar a la generación de un impacto global que es el que debe compararse con los objetivos globales con ayuda de la evaluación.

 

A la hora de evaluar los impactos generados por el programa conviene tener presente que éstos no son ni mecánicos ni automáticos y pueden haberse visto afectados por factores de incidencia externos al propio programa. En este sentido, se apunta el interés de comprobar con el sistema de seguimiento las relaciones de causalidad (indicadores) entre las acciones y los resultados, así como entre los resultados y los impactos.

 

De esta forma, en sentido descendente, los objetivos específicos de un nivel deben servir como marco de referencia global para la intervención en el nivel inferior y constituyen su objetivo básico, mientras que los resultados esperados de un determinado nivel constituyen los objetivos específicos que han de alcanzarse con la intervención en el nivel inferior.

 

A la inversa, en sentido ascendente, los objetivos específicos de un nivel constituyen los resultados que se espera conseguir en el nivel superior y, del mismo modo, el objetivo global de un nivel es contribuir a la consecución del objetivo específico del nivel superior.

 

La aplicación de la lógica de intervención no es sencilla y debe realizarse caso a caso, teniendo en cuenta los recursos movilizados y la propia complejidad de las intervenciones.

 

Además de articular el seguimiento y la evaluación ayudándose de la lógica de intervención, es importante articular los distintos ejercicios de evaluación de un programa: las evaluaciones previa, intermedia y final. A las evaluaciones intermedias, debido al momento de su realización, se les asigna una influencia directa en la configuración de los programas para lo cual deben ayudar a la identificación de sus deficiencias y presentar recomendaciones que favorezcan su mejora y/o modificación.

 

Las evaluaciones intermedias quedan así estrechamente relacionadas, por un lado, con las evaluaciones previas (con el objeto de determinar si los objetivos fijados en la fase de planificación se están alcanzando) y, por otro lado, con las evaluaciones finales/posteriores (con el objeto de incluir las disposiciones necesarias para la medición resultado final). Cuando estas relaciones son débiles, bien por la falta de un nivel de precisión adecuado en la definición y cuantificación de los objetivos en las evaluaciones previas, bien por deficiencias en el propio sistema de seguimiento, tanto las evaluaciones intermedias como las finales/posteriores se resienten y no llegan a cumplir plenamente su función.

 

Integración entre los programas y sus evaluaciones en las diferentes fases de aplicación.

 

En la figura se refleja la interacción entre un programa y su evaluación en las diferentes fases de aplicación. Las flechas de línea discontinua indican que en la evaluación se obtiene y procesa información sobre los resultados y el impacto del programa aplicado. Las flechas de línea continua indican el momento de la evaluación y como las conclusiones y recomendaciones de esa evaluación deben incidir en el programa y en su aplicación o en las medidas que den continuidad al mismo. El esquema indica también que la evaluación debe aprovechar los resultados de evaluaciones anteriores (flechas superiores), es decir, que la evaluación intermedia debe tener presentes los resultados de la previa, y la evaluación final las conclusiones de la evaluación intermedia.