Inicio » ¿Qué es evaluación? » Antes de comenzar a evaluar: ¿Qué buscamos?
Archivos de la categoría: Antes de comenzar a evaluar: ¿Qué buscamos?
Factores que afectan al uso de la evaluación
El primer requisito de las actividades de evaluación es el de producir evaluaciones que sean útiles (Patton, 2008). Sin embargo, la utilidad de las evaluaciones es un aspecto que ha quedado relegado en muchos ejercicios de evaluación a favor del rigor metodológico, sofisticados análisis estadísticos, o dimensiones como la validez o la credibilidad que no resuelven el problema de que las evaluaciones no se usen. La actividad profesional se enfrenta así a un doble reto: fomentar usos apropiados de las evaluaciones y trabajar por eliminar usos inapropiados.
Las evaluaciones deben juzgase por su utilidad, y se usarán siempre que el fundamento para su uso sea cuidado apropiadamente. Para ello es necesario identificar los grupos afectados por la evaluación, sus necesidades y valores; realizar diseños de evaluación adecuados; así como cuidar la oportunidad del momento en que se realiza la evaluación y la diseminación de sus resultados.
Los evaluadores deben diseñar sus evaluaciones con atenta consideración a cómo todo lo que se hace, desde el comienzo hasta el final, afectará a la utilidad de la evaluación. Destacan aquí cinco factores a tener en cuenta (Patton, 2008).
-
El factor personal
El tema de la utilidad y uso de las evaluaciones no es una abstracción, se trata de un uso intencionado y concreto llevado a cabo por personas concretas. Es fundamental localizar a estas personas, reales y específicas, e interaccionar adecuadamente con ellas para determinar el tipo de evaluación que necesitan (en cuanto contenidos, métodos y usos). Son estas personas las que tendrán la responsabilidad de aplicar los resultados de la evaluación y poner en marcha sus recomendaciones. Y lo harán con mayor probabilidad si sienten que la evaluación en suya y se han visto envueltos en las actividades de evaluación. Es por ello que el primer reto de un evaluador es generar compromiso con la evaluación y su uso, que se valoren las actividades de evaluación y se comparta la visión de lo que se va a realizar.
-
Cultura de la organización
Todo lo dicho sobre el factor personal es aplicable a la organización en la que trabajan las personas implicadas en la evaluación. Las actividades de evaluación son parte de un proceso de aprendizaje más amplio que promueve la apropiación y establecimiento de procedimientos que permitan mejorar los programas y proyectos promovidos por la organización.
-
Consideraciones políticas
Es importante dar la información más oportuna a la gente más apropiada para fomentar el uso de la evaluación. Para ello hay que establecer los vínculos de relaciones adecuados durante el proceso de evaluación, entender cómo piensa la clase política e identifcar venatas de oportunidad para los resultados de las actividades de evaluación.
-
Evidencia
Proveer de buenas y creíbles evidencias es fundamental para el uso de los resultados de una evaluación. Estas evidencias contribuirán a reforzar creencias que ya existían o cambiar modos de pensar que contribuyan a la mejora continua.
-
Estrategia de comunicación y difusión de resultados
Es importante contar con una estrategia de comunicación y difusión de resultados que sea eficaz. Para ello es necesario preguntarse quién es el público al que va dirigida, cuáles son los intereses de ese público (contenido a difundir), cuál el momento más oportuno para hacerles llegar la información, y cómo hacerlo. Este cómo, el formato de comunicación, puede hacerse de muchas formas y bajo diferentes enfoques y herramientas. Para ello hay que tener en cuenta los diferentes intereses de las diferentes audiencias para diseñar productos diferenciados en nuestra estrategia: informes, resúmenes, pdfs interactivos en la red, informes visuales hechos con diapositivas, folletos, boletines, presentaciones orales, discusiones, exposiciones de fotos y posters, artículos periodísticos, escenas teatralizadas…
Referencias citadas:
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
About Carlos Plaza
Hacer evaluaciones útiles: El uso del proceso y los resultados
“Producir datos es una cosa. Conseguir que se usen es otra bien distinta” (House, 1972). Un problema actual es la clasificación, absorción y utilización de la cantidad de información que se genera. Conseguir que la gente haga uso de los conocimientos que existen se ha convertido en una de las principales preocupaciones entre los diferentes sectores de la sociedad. Conseguir que la gente aplique los conocimientos que se generan en una evaluación, o incluso lo que ellos mismos ya saben, es un reto que hay que afrontar.
En ocasiones se ha denunciado un vacío entre el mundo de la evaluación y el mundo del trabajo práctico diario. Sin embargo, lo que prueba la eficacia y éxito de una evaluación es su uso e impacto a la hora de mejorar la realidad que evaluan. En una evaluación se ha de vincular la generación de conocimientos y resultados con su efectiva utilización para la toma de decisiones y la mejora continua. Se ha de luchar por superar la resistencia que muchas veces presentamos ante los nuevos conocimientos, ante el cambio.
Es importante evitar que los frutos de una evaluación se queden en un conjunto de informes que muchas veces ni se leen, ni se usan. La cuestión del uso de la evaluación surge de la necesidad de vincular el conocimiento y la acción (Patton, 2008), y plantea preguntas fundamentales sobre la toma de decisiones y la aplicación del conocimiento para la creación de un mundo mejor.
Siguiendo a Patton (2008) una de las cuestiones más importantes es la construcción de capacidades que aseguren el uso del proceso y de los resultados de la evaluación. Se trata de poner el acento en el aprendizaje en el contexto de una comunidad que aprende (learning organizations), de modo que la evaluación no se centre en generar unos resultados, sino que esos resultados se usen y se use también el proceso que ha llevado a obtener esos resultados, de modo que den lugar a cambios que mejoren las realidades evaluadas.
El uso de los resultados de evaluación está íntimamente unido al planteamiento que esta tenga dentro de las corrientes del aprendizaje, la teoría o las pruebas. Y así, los resultados de evaluación pueden utilizarse principalmente para mejorar los programas, generar conocimiento o juzgar el valor de una intervención. El reto para los evaluadores está en adaptar estos usos a cada contexto concreto, con unos usuarios concretos. Han de adaptar sus conocimientos y experiencia a los factores y circunstancias que puedan afectar al uso de la evaluación.
El uso del proceso está íntimamente unido a la participación. Participar en el proceso de evaluación puede ser más útil para los implicados que el simple conocimiento de los resultados. Gran parte del aprendizaje descansa en el proceso al que da lugar una evaluación, cuanto más gente participe en él mayores serán los beneficios de este proceso. Los resultados e informes finalizan, pero lo que permanece es la capacidad de los implicados de pensar en términos de evaluación y de mejora continua. “El uso del proceso es en sí mismo un impacto en forma de adquisición de capacidades” (Patton, 1999). En aquellas evaluaciones donde es importante la participación es necesario apostar por un adecuado uso del proceso como vía para el fortalecimiento y adquisición de capacidades, sin olvidar la importancia del uso de los resultados.
Referencias citadas:
House, E.R. (1972). The conscience of educational evaluation. Teachers College Record, 73(3), 405-414.
Patton, M. Q. (1999). Utilization- Focused Evaluation in Africa: Evaluation Training Lectures delivered to the Inaugural Conference of the African Evaluation Association. Ed. P.N. Chaiban and M. Patel.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
About Carlos Plaza
Estándares de evaluación
Un proyecto pionero para el desarrollo de estándares profesionales para la evaluación de programas fue iniciado en Estados Unidos en 1975. Su objetivo era el de mejorar la evaluación de la educación y programas de formación. Se estableció un comité compuesto por 16 asociaciones profesionales de la educación, la Sociedad Americana de Evaluación (American Evaluation Association o AEA) y la Asociación Americana de Psicología. El resultado fue un conjunto de 30 criterios, el Programme Evaluation Standards (PES) organizados en torno a cuatro principios principales: utilidad, viabilidad, propiedad y precisión. Se describen a continuación estos principios que actualmente sirven de guía para asegurar la calidad de las actividades de evaluación.
Utilidad (Utilitity)
Como punto de partida es preciso destacar la utilidad de la evaluación, en la que ha de buscarse un uso concreto para agentes concretos. El resultado de una evaluación no puede considerarse satisfactorio si se limita únicamente a la exposición de los resultados alcanzados sin contribuir a que dicha exposición redunde en una mejora del desempeño general de las funciones propias de los actores involucrados en el objeto a evaluar. Por ello la metodología a emplear procurará hacer un uso adecuado del proceso de evaluación, así como de los resultados de evaluación (Patton, 1998; 2008). El objetivo es que la evaluación ayude a las personas o grupos interesados a: (1) tener acceso a las informaciones que necesitan para el desempeño de su actividad, (2) identificar los defectos y virtudes de lo evaluado y, (3) proponer soluciones a fin de mejorar el objeto que se evalúa. Este aspecto de utilidad comprende identificar las personas afectadas por la evaluación para poder dar respuesta a sus necesidades; dar credibilidad a los resultados para que tengan una máxima aceptación; seleccionar la información que permita responder a cuestiones pertinentes; describir cuidadosamente los enfoques, procedimientos y fundamentos utilizados para interpretar los resultados de modo que queden claras las bases de los juicios de valor; proporcionar información esencial y que se entienda fácilmente; y divulgar los resultados significativos y los informes de evaluación de manera que puedan utilizarse en el momento oportuno.
Unidos a este principio principal están otros principios como la credibilidad, claridad, puntualidad, diseminación de resultados, y la identificación de necesidades y valores.
Viabilidad (Feasibility)
Los procedimientos para llevar a cabo la evaluación no deben ser excesivamente complicados y sí eficientes. Han de garantizar que la evaluación se lleve a cabo de un modo realista, prudente y diplomático, que se hayan ponderado todos los puntos y tenido en cuenta los costes. Este aspecto de viabilidad comprende diseñar procedimientos prácticos de evaluación que permitan reducir al mínimo las interrupciones y molestias mientras que se obtiene la información necesaria; anticiparse a las diferentes posiciones de los diversos grupos de interés, de manera que pueda lograrse su cooperación y puedan evitarse o contrarrestarse los posibles intentos de cualquiera de estos grupos para limitar las actividades de evaluación o para sesgar o usar indebidamente los resultados; y producir informaciones con el suficiente valor, de modo que puedan justificarse los recursos empleados. Este principio comprende así fundamentalmente la viabilidad en términos políticos, prácticos y de coste-eficacia.
Propiedad (Propriety)
La evaluación debe estar basada en compromisos explícitos que aseguren la necesaria cooperación, la protección de los derechos de las partes implicadas y la honradez de los resultados, además debe proporcionar un informe equilibrado que ponga de manifiesto tanto aciertos como errores del objeto que se evalúa. Este aspecto de propiedad comprende diseñar la evaluación para ayudar a las organizaciones a atender y responder con eficacia a las necesidades de toda la variedad de participantes destinatarios; acordar las obligaciones de las partes formales de una evaluación (qué debe hacerse, cómo, por parte de quién, cuándo); diseñar la evaluación respetando y protegiendo los derechos y el bienestar de las personas; realizar una evaluación completa y justa; asegurar que los resultados de la evaluación resulten accesibles a personas afectadas por la evaluación; y llevar a cabo el gasto de recursos mediante procedimientos de rendición de cuentas acertadas y de un modo éticamente responsable. Bajo este principio por tanto, la evaluación ha de conducirse legalmente, éticamente y bajo la consideración de aquellas personas involucradas en la evaluación así como los afectados por sus resultados.
Precisión (Accuracy)
El objeto, su evolución y su contexto deben estar claramente descritos. Han de garantizar que la evaluación presente y transmita las informaciones técnicas adecuadas referentes al programa objeto de evaluación, resaltando tanto los aspectos positivos como negativos. Este aspecto de precisión comprende describir y documentar con claridad y precisión el programa evaluado y su contexto, así como los propósitos y procedimientos de la evaluación; describir las fuentes de información utilizadas en la evaluación de un programa, de modo que pueda valorarse la adecuación de la información; elegir e implementar procedimientos de recogida de información válidos y fiables; procesar y revisar sistemáticamente la información recogida; analizar de modo apropiado y sistemático tanto la información cuantitativa como cualitativa, de modo que se responda eficazmente a las preguntas de evaluación; justificar las conclusiones a las que se llegue de modo que los interesados puedan valorarlas; y elaborar informes imparciales.
Unidos a este principio están otros como la adecuación técnica, el análisis del contexto, el uso de fuentes de información defendibles e información válida y confiable, llegar a conclusiones justifidas y la imparcialidad.
Un principio extra: la flexibilidad
En muchas ocasiones el objeto a evaluar se encuentra indisolublemente unido a la acción de las personas y evolución en el tiempo. Esto implica un grado de incertidumbre a la hora de acometer la evaluación, en función del comportamiento de los individuos, grupos, y el conjunto de las instituciones y organizaciones en respuesta a cada nuevo paso que se da. Por consiguiente uno de los requisitos que se deben tener en cuenta es el grado de flexibilidad para adaptar la evaluación a la receptividad de los actores y a sus dinámicas internas. En el caso de los proyectos de desarrollo el camino elegido para la ejecución de una intervención es un elemento determinante de su calidad, puesto que es el propio proceso de desarrollo apoyado o impulsado el objetivo principal de la intervención. Esta visión, que pone el énfasis en la calidad del proceso de desarrollo como base para su sostenibilidad, más que en los resultados directos y a corto plazo, exige poner la atención de la evaluación en los procesos que se ponen en marcha a través de cada proyecto y los aprendizajes que genera.
Referencias citadas:
Patton, M. Q. (1998). Discovering process use. Evaluation, 4(2), 225-233.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
