Inicio » ¿Qué es evaluación? » Competencias para la evaluación
Archivos de la categoría: Competencias para la evaluación
¿De qué depende la credibilidad de una evaluación y de un evaluador?
La credibilidad se define como la cualidad de algo que puede o merece ser creído (RAE). Para merecer ser creíble por personas que no han sido testigos directos. Pero, ¿qué hay de relevante entre el concepto de credibilidad y el evaluador y la evaluación?
La credibilidad de una evaluación y evaluador depende de los siguientes factores: características del evaluador y la evaluación, del receptor que recibe la información y del flujo de comunicación entre las partes involucradas en la evaluación.
Evaluación
Una evaluación es creíble cuando es imparcial, es decir, cuando se maximiza la objetividad en cada una de las etapas que la conforman. Además, si la evaluación está dotada de evidencias, la credibilidad se verá más favorecida. ¿Dónde se encuentran estas dos características en las etapas de una evaluación?
–Estructuración: tanto la respuesta a las preguntas planteadas como la definición de estándares y criterios de juicio, deberán ser explícitos y no influenciados por consideraciones personales o partidistas.
–Observación: la información recogida y las herramientas utilizadas deberán ser fiables. Además, los datos recolectados han de ser evidentes para dotar a la evaluación de credibilidad, así como al juicio de valor elaborado por el evaluador.
-Análisis: los indicadores utilizados, en base a los criterios fijados para la comparación de los datos recogidos y estimación de efectos, han de ser fiables.
–Emisión de juicio: los resultados para reforzar la creencia del receptor habrán de proveer evidencias.
Evaluador
El evaluador es un factor que también condiciona la credibilidad de la evaluación. Respecto a qué y qué no debe poseer un evaluador, esto lo condiciona su perfil y las competencias que tenga para realizar su trabajo. Pero para ser creíble no existe una guía ni declaración internacional consensuada acerca de ello. Como aproximación se ha recopilado lo que, según reconocidas organizaciones y asociaciones como el Programa de Naciones Unidas para el Desarrollo (PNUD, UNDP-United Nations Development Programme), la ANZEA o el Grupo de Evaluación de Naciones Unidas (UNEG, 2005) consideran como características de importancia que dotan a un buen evaluador.
– Perfil de un Evaluador
El evaluador necesita ostentar atributos personales que le permitan poder desenvolverse con la mayor objetividad posible (SEAP, 2008). Se determina que debe contar con:
- Atributos Personales
- Ético, imparcial, sincero, honesto y discreto.
- Observador: activamente consciente del entorno físico y las actividades.
- Tenaz: que ponga todo el empeño para lograr los resultados planteados.
- De mentalidad abierta: dispuesto a considerar ideas o puntos de vista alternativos.
- Asertivo: poder brindar opiniones y directrices que resulten más un consejo que un mandato.
- Diplomático: facilidad para poder conciliar conflictos.
- Perceptivo: instintivamente consciente y capaz de entender las situaciones.
- Versátil: poder asumir los cambios que ocurren en su entorno.
- Decidido: alcanzar conclusiones oportunas basadas en el análisis y razonamiento lógico.
- Seguro de sí mismo: actúa y funciona de forma independiente a la vez que se relaciona eficazmente con otros
- Educación
- Preferiblemente universitaria.
- Cursos específicos orientados hacia la evaluación.
- Expresión oral y escrita clara y fluida.
- Competencias
Actualmente, en países donde la cultura de evaluación es más madura, o sea, principalmente en Norteamérica, numerosos autores exigen una profesionalización del perfil de evaluador. Este hecho, según ellos, dotará de mayor credibilidad las acciones de los evaluadores y la evaluación. Sin embargo, otros expertos se manifiestan en contra de la profesionalización del evaluador justificando la diversidad del modo de organización y diseño de las evaluaciones. Lo que no está en discusión es que todo evaluador debe de tener competencias para enfrentar una evaluación con éxito, tales como: análisis del contexto y su compromiso; investigación evaluativa y sistemática; gestión de proyectos de evaluación y la práctica profesional; el desarrollo profesional y la práctica reflexiva.
Flujo de Comunicación
No todas las evaluaciones se diseñan y ejecutan contando con la participación de las personas implicadas. Si se establece un modelo de participación, integración y aprendizaje conjunto a lo largo de todas las fases de la evaluación, la credibilidad del resultado final se verá favorecida.
En la etapa de comunicación de resultados se deberá tener en cuenta aspectos como: el canal a través del cual se envía el mensaje, el momento temporal en el que se produce, el lugar y, por último, a quién se esté dirigiendo el mensaje, o sea, el receptor quien recibe la información.
Receptor
El grado de credibilidad que el receptor perciba de la evaluación va a depender directamente del marco de referencia con la que se articule la evaluación, es decir, de la orientación que tenga (enfoque), de los criterios e indicadores que se utilicen, de las herramientas implementadas, así como del juicio utilizado para realizar las recomendaciones (en caso de que procedan) y resultados. Todos estos factores mencionados son aquellos que conducen a la confianza que, junto al grado de conocimiento que tenga el receptor de la información suministrada, inciden en la credibilidad de la evaluación.
Autores: @Carmen.luna, @d.doleo y @stalingcordero
Referencias citadas:
SEAP (2008). Guía del Evaluador. Secretaría de Estado de Administración Pública. Santo Domingo.
Otras referencias interesantes a consultar pueden ser:
About Carlos Plaza
¿Cómo pueden adquirirse las competencias necesarias para ser un evaluador?
Si un evaluador con las competencias necesarias sirve para dar mayor credibilidad al proceso de evaluación es importante determinar la forma de adquirir dichas competencias.
Como con cualquier habilidad o destreza humana, una competencia de evaluación se puede tener de manera innata o no. Las personas con habilidades innatas solo cuentan con cierta ventaja inicial frente a las personas que no las tienen de forma natural. Al mismo tiempo siempre habrá que trabajar para desarrollarlas al máximo, refinarlas y conocer la mejor manera de llevarlas a la práctica.
Si no se poseen las competencias necesarias, estas se pueden adquirir mediante trabajo y esfuerzo. Según Stevanh, King, Ghere y Minnema (2005) hay cuatro formas de adquisición de las competencias: mejora de la formación, aumento de la práctica reflexiva, avance en la investigación de la evaluación y profesionalización del campo.
1º. La mejora de la formación pasa por el establecimiento de asignaturas y materias a nivel educativo, ya sea universitario o no. Esto se ha de realizar para que los futuros evaluadores ya tengan de base ciertas competencias básicas técnicas como herramientas de observación o de análisis. Pero no solo se puede enseñar las herramientas técnicas, materia habitual en los ámbitos educativo, también se pueden enseñar algunas competencias interpersonales y personales como saber realizar correctamente una entrevista o aprender de los éxitos y fracasos propios.
2º. El aumento de la práctica reflexiva consiste en la continua puesta en marcha de las habilidades de evaluación. Además, en esta puesta en práctica de las competencias el evaluador ha de saber automonitorizarse e ir viendo en todo momento sus propias fortalezas y debilidades. Este mecanismo sirve para ir evolucionando entre los distintos tipos de evaluadores que se puede encontrar en la realidad: accidentales, nuevos evaluadores, en transición y experimentados. Cuanto mayor sea la puesta en funcionamiento de las competencias el evaluador irá creciendo hasta convertirse en un evaluador experimentado.
3º. En el avance de la investigación sobre evaluación se ha de focalizar los recursos en desarrollar nuevas teorías, mejorar en la concepción de las preguntas adecuadas y optimizar al máximo la práctica reflexiva. Investigar y evaluar son dos conceptos parecidos y complementarios. Investigar la evaluación contribuye de la manera ya vista y evaluar la investigación puede ayudar a corregir los fallos y optimizar los aciertos.
4º. La última manera de adquirir las competencias es la profesionalización del campo ya que de esta manera se establecerían criterios, acreditaciones o licencias que de una manera formal distinguirían al evaluador profesional del accidental. Sería más sencillo y simple distinguir al charlatán del verdadero evaluador.
Así que, como se puede observar, hay varios caminos para adquirir y mejorar las competencias. Las dos últimas formas de avanzar en este ámbito se refieren al desarrollo del propio campo en sí, con el impulso en la investigación y en la profesionalización de la evaluación. En cambio, las dos primeras tienen más que ver con aspectos más personales y propios del evaluador, aunque hay que señalar que se trata desde distintas perspectivas. La primera de las maneras de mejorar las competencias presenta un enfoque de aprendizaje externo al evaluador, una institución o entidad ha de establecer mejor su programa o metodología para que se adquieran de una forma más eficaz las competencias necesarias. En cambio, el aumento de la práctica reflexiva refleja la necesidad del propio aprendizaje interno y personal del evaluador para conocer cómo se pueden poner en práctica los conocimientos teóricos aprendidos. Además con dicha reflexión se puede entrar en un análisis personal para descubrir como potenciar sus fortalezas y disminuir sus debilidades.
Finalmente solo queda subrayar que todas estas maneras de progresar en el campo de las competencias de los evaluadores no son opuestas unas de otras, sino complementarias. Sería un error pensar que el campo debe centrarse en uno u otro aspecto olvidando los otros tres. Ha de haber una serie de sinergias entre todos los caminos de progreso para que se avance tanto en el campo de la definición de las competencias como en el campo de la puesta en prácticas de las mismas.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Qué competencias debe tener un evaluador?
Una vez establecidas las razones por las que cuales es necesario crear un marco (más o menos flexible según el enfoque) en el cual quede reflejado las competencias necesarias del evaluador según el enfoque de Stevahn, King, Ghere y Minnema (2005).
Según dicho enfoque las competencias o habilidades que debe tener o adquirir un evaluador se pueden agrupar en las siguientes 6 categorías:
1- La práctica profesional
Las competencias de la práctica profesional tienen que ver con el rigor y seriedad a la hora de trabajar. Este tipo de competencias profesionales se centran en las normas fundamentales y valores prácticos de evaluación, la adhesión a las normas de evaluación o la correcta ética a la hora de evaluar.
2- La investigación sistemática
Las competencias referidas a la investigación sistemática se centran en los aspectos técnicos de las prácticas de evaluación; tales como el diseño, la recogida de datos, conocimiento de distintos métodos de trabajo (mixto, cualitativo o cuantitativo), el análisis de los datos o la presentación de informes. De esta manera, la evaluación podrá seguir el procedimiento adecuado y podrá ser contrastada por otras personas.
3- Análisis de la situación
Estas competencias se refieren al contexto en el que se desarrolla la evaluación. El evaluador ha de ser capaz de adaptar y modificar la evaluación si es necesario, de utilizar la información que le proporcionan y de solucionar posibles conflictos.
4- La gestión de proyectos
En la categoría de gestión de proyectos se agrupan las competencias referentes a aspectos prácticos de la realización de una evaluación como la negociación de los términos de referencia, la realización de presupuestos, la justificación de los gastos, la coordinación de recursos o la supervisión de los procedimientos.
5- La práctica reflexiva
Se centran en la capacidad del evaluador para aprender con su propia experiencia y que se necesita para el crecimiento como profesional. Algunos ejemplos podrían ser el conocer las fortalezas y debilidades propias como evaluador, la evaluación de las necesidades personales de prácticas mejoradas o participar en el desarrollo profesional hacia esa meta.
6- La competencia interpersonal
Este tipo de competencia se centra en las habilidades referentes al trato con las personas como la comunicación, la negociación, el conflicto, la colaboración o las habilidades interculturales.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Se pueden definir las competencias que ha de tener un evaluador?
Se entiende por competencia entre otras acepciones la pericia, aptitud o idoneidad para hacer algo o intervenir en algo (Real Academia de la Lengua, 2001). En otras palabras, son las capacidades y habilidades que tiene una persona o que tienen un grupo de personas para poder desarrollar satisfactoriamente una labor, un trabajo etc.
Por otro lado Michael Scriven define la evaluación como el proceso de determinación del mérito, valor e importancia de algo, ya sea un producto, una actuación, un programa de desarrollo rural, una política, etc. Además se entiende al evaluador o evaluadores como la persona o las personas encargadas de realizar dicha evaluación. Por tanto los evaluadores son los responsables de determinar el mérito, valor e importancia de algo como podría ser un programa educativo.
Si se unen ambos conceptos, se determina que las competencias de un evaluador son todas aquellas habilidades o aptitudes que tiene una persona para desarrollar satisfactoriamente su labor que no es otra que la de evaluar; la de determinar la calidad, el valor y la importancia de algo.
1. ¿Por qué determinar las competencias de un evaluador?
Definir las competencias que ha de tener un evaluador es importante ya que de ellas dependerá la calidad y validez de la evaluación. Hay aspectos de la propia persona que evalúa que puede poner en duda la credibilidad del proceso como podría ser la dependencia o falta de objetividad del evaluador o la incapacidad para analizar la situación.
Si un evaluador no posee las herramientas adecuadas de análisis y fundamenta su evaluación en simples observaciones, opiniones o creencias propias, sin contrastarlas con ningún tipo de dato o de evidencia, entonces parece lógico pensar que la persona a la que va dirigida la evaluación dude de la validez de la misma. Así mismo, cuando el evaluador o grupo de evaluadores está muy vinculado o es muy dependiente de aquello que se evalúa es normal que se llegue a cuestionar la objetividad de la misma.
De este modo, resulta que las competencias y habilidades que tenga un evaluador son muy influyentes a la hora de realizar una evaluación creíble. No solo ya en lo referente a la evaluación en sí, sino también a la hora de presentar los resultados, la evaluación despierte la confianza del público. A lo que se suma la creencia de que la definición de las competencias puede servir para contribuir a la mejora del campo profesional de la evaluación de varias formas (Stevahn, King, Ghere & Minnema, 2005; Moreno, 2015):
– Estableciendo una base para orientar los programas de formación de nuevos evaluadores.
– Ayudando a la mejora continua de los profesionales experimentados.
– Llevando a cabo revisiones periódicas que aseguren la integridad del campo.
2. ¿De qué competencias hablamos?
Las competencias que ha de tener un evaluador son múltiples y existe cierto debate en torno a ello. Antes de entrar en dicho debate se ha de realizar un pequeño razonamiento para tener una primera idea de las aptitudes básicas que precisaría tener un evaluador.
Si el objetivo de un evaluador es realizar una evaluación, el evaluador deberá cumplir con los procesos y procedimientos que se exigen para realizar una evaluación correctamente. Michael Scriven (1980) describió en su gráfico de diamante los procesos básicos que se han de realizar: estructurar, observar, analizar y juzgar. Procesos que suelen comenzar con situaciones en las que el evaluador cuenta con poca o nula información, por lo que ha de profundizar en el tema evaluado observando evidencias, recopilando datos y preguntando a personas claves. Cuando la cantidad de información aumenta se ha de analizar para llegar a síntesis que desemboquen en juicios de valor y conclusiones. Por tanto, el evaluador ha de estructurar el plan, observar las evidencias y recolectar datos, analizar la información recogida comparando datos y estimando los efectos para, por último, establecer un juicio de valor y sintetizarlo de tal manera que sea útil y comprensible.
Pero, ¿es solo esto lo necesario para realizar una buena evaluación? La respuesta en la inmensa mayoría de los casos es que no. Aunque éste sea el esquema básico para poder llevar a cabo una evaluación, deben también contemplarse todos los elementos internos y externos que afectan en el objeto a evaluar y que obligan al evaluador a ir más allá del esquema básico. Además de estas competencias técnicas y básicas, se ha de contar con muchas otras competencias de ámbito más personal y contextual como la objetividad, la ética o las habilidades interpersonales.
3.Tres enfoques para abordar la cuestión
Ahora que se va perfilando las distintas competencias de un evaluador hay que conocer los distintos enfoques que existen en la bibliografía especializada acerca de este asunto. Se podrían resumir los enfoques en 3 grandes vertientes (Moreno, 2015):
1º. Una primera postura entiende que en el campo de la evaluación no ha de haber una lista de competencias fijas. Al ser un proceso flexible y adaptable las competencias han de ser también flexibles y adaptables. En esta postura se encuentran autores como Kirkhart (1981).
2º. Un segundo grupo defendido por la American Evaluation Association (AEA) en la que se establecen principios rectores para guiar a los profesionales del campo pero que no abordan concretamente las competencias que ha de tener un evaluador.
3º. Autores como Stevahn, King, Ghere y Minnema (2005) que establece una lista de las competencias que ha de tener un evaluador.
En la siguiente entrada utilizaremos este último enfoque para profundizar en las competencias que un evaluador ha de tener por ser el más concreto y el que quizás más pueda contribuir a que se puedan apreciar mejor de un modo general cuáles son esas competencias o, por lo menos, su naturaleza.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
