¿De qué depende la credibilidad de una evaluación y de un evaluador?

¿De qué depende la credibilidad de una evaluación y de un evaluador?
26 de enero de 2016 Evaluación y Desarrollo

superman

La credibilidad se define como la cualidad de algo que puede o merece ser creído (RAE). Para merecer ser creíble por personas que no han sido testigos directos. Pero, ¿qué hay de relevante entre el concepto de credibilidad y el evaluador y la evaluación?

La credibilidad de una evaluación y evaluador depende de los siguientes factores: características del evaluador y la evaluación, del receptor que recibe la  información y del flujo de comunicación entre las partes involucradas en la evaluación.

CredibilidadEvaluación

Evaluación

Una evaluación es creíble cuando es imparcial, es decir, cuando se maximiza la objetividad en cada una de las etapas que la conforman. Además, si la evaluación está dotada de evidencias, la credibilidad se verá más favorecida. ¿Dónde se encuentran estas dos características en las etapas de una evaluación?

Estructuración: tanto la respuesta a las preguntas planteadas como la definición de estándares y criterios de juicio, deberán ser explícitos y no influenciados por consideraciones personales o partidistas.

Observación: la información recogida y las herramientas utilizadas deberán ser fiables. Además, los datos recolectados han de ser evidentes para dotar a la evaluación de credibilidad, así como al juicio de valor elaborado por el evaluador.

-Análisis: los indicadores utilizados, en base a los criterios fijados para la comparación de los datos recogidos y estimación de efectos, han de ser fiables.

Emisión de juicio: los resultados para reforzar la creencia del receptor habrán de proveer evidencias.

 

Evaluador

El evaluador es un factor que también condiciona la credibilidad de la evaluación. Respecto a qué y qué no debe poseer un evaluador, esto lo condiciona su perfil y las competencias que tenga para realizar su trabajo. Pero para ser creíble no existe una guía ni declaración internacional consensuada acerca de ello. Como aproximación se ha recopilado lo que, según reconocidas organizaciones y asociaciones como el Programa de Naciones Unidas para el Desarrollo (PNUD, UNDP-United Nations Development Programme), la ANZEA o el Grupo de Evaluación de Naciones Unidas (UNEG, 2005) consideran como características de importancia que dotan a un buen evaluador.

  – Perfil de un Evaluador

El evaluador necesita ostentar atributos personales que le permitan poder desenvolverse con la mayor objetividad posible (SEAP, 2008). Se determina que debe contar con:

  • Atributos Personales
    • Ético, imparcial, sincero, honesto y discreto.
    • Observador: activamente consciente del entorno físico y las actividades.
    • Tenaz: que ponga todo el empeño para lograr los resultados planteados.
    • De mentalidad abierta: dispuesto a considerar ideas o puntos de vista alternativos.
    • Asertivo: poder brindar opiniones y directrices que resulten más un consejo que un mandato.
    • Diplomático: facilidad para poder conciliar conflictos.
    • Perceptivo: instintivamente consciente y capaz de entender las situaciones.
    • Versátil: poder asumir los cambios que ocurren en su entorno.
    • Decidido: alcanzar conclusiones oportunas basadas en el análisis y razonamiento lógico.
    • Seguro de sí mismo: actúa y funciona de forma independiente a la vez que se relaciona eficazmente con otros

 

  • Educación
    • Preferiblemente universitaria.
    • Cursos específicos orientados hacia la evaluación.
    • Expresión oral y escrita clara y fluida.
  • Competencias

Actualmente, en países donde la cultura de evaluación es más madura, o sea, principalmente en Norteamérica,  numerosos autores exigen una profesionalización del perfil de evaluador. Este hecho, según ellos, dotará de mayor credibilidad las acciones de los evaluadores y la evaluación. Sin embargo, otros expertos se manifiestan en contra de la profesionalización del evaluador justificando la diversidad del modo de organización y diseño de las evaluaciones.  Lo que no está en discusión es que todo evaluador debe de tener competencias para enfrentar una evaluación con éxito, tales como: análisis del contexto y su compromiso; investigación evaluativa y sistemática; gestión de proyectos de evaluación y la práctica profesional; el desarrollo profesional y la práctica reflexiva.

Flujo de Comunicación

No todas las evaluaciones se diseñan y ejecutan contando con la participación de las personas implicadas. Si se establece un modelo de participación, integración y aprendizaje conjunto a lo largo de todas las fases de la evaluación, la credibilidad del resultado final se verá favorecida.

En la etapa de comunicación de resultados se deberá tener en cuenta aspectos como: el canal a través del cual se envía el mensaje, el momento temporal en el que se produce, el lugar y, por último,  a quién se esté dirigiendo el mensaje, o sea, el receptor quien recibe la información.

Receptor

El grado de credibilidad que el receptor perciba de la evaluación va a depender directamente del  marco de referencia con la que se articule la evaluación, es decir, de la orientación que tenga (enfoque), de los criterios e indicadores que se utilicen, de las herramientas  implementadas, así como del juicio utilizado para realizar las  recomendaciones (en caso de que procedan) y resultados. Todos estos factores mencionados son aquellos que conducen a la confianza que, junto al grado de conocimiento que tenga el receptor de la información suministrada, inciden en la credibilidad de la evaluación.

Autores: @Carmen.luna, @d.doleo y @stalingcordero

Referencias citadas:

SEAP (2008). Guía del Evaluador. Secretaría de Estado de Administración Pública. Santo Domingo.

UNEG (2005). Normas de evaluación en el sistema de las Naciones Unidas. Grupo de Evaluación de las Naciones Unidas.

Otras referencias interesantes a consultar pueden ser:

Carrasco J.P., Delfa, J. y Ordóñez, J. (2007). La guía del evaluador de proyectos europeos de I+D+i. FUNDECYT: Badajoz, España.

Pardo, J. (2008). ¿Cómo evaluamos al evaluador?: La meta-evaluación. Jornadas sobre evaluación externa de proyectos culturales. Barcelona 18-19/09/2008 Barcelona.