Inicio » ¿Qué es evaluación? (Página 2)
Archivos de la categoría: ¿Qué es evaluación?
¿Cómo pueden adquirirse las competencias necesarias para ser un evaluador?
Si un evaluador con las competencias necesarias sirve para dar mayor credibilidad al proceso de evaluación es importante determinar la forma de adquirir dichas competencias.
Como con cualquier habilidad o destreza humana, una competencia de evaluación se puede tener de manera innata o no. Las personas con habilidades innatas solo cuentan con cierta ventaja inicial frente a las personas que no las tienen de forma natural. Al mismo tiempo siempre habrá que trabajar para desarrollarlas al máximo, refinarlas y conocer la mejor manera de llevarlas a la práctica.
Si no se poseen las competencias necesarias, estas se pueden adquirir mediante trabajo y esfuerzo. Según Stevanh, King, Ghere y Minnema (2005) hay cuatro formas de adquisición de las competencias: mejora de la formación, aumento de la práctica reflexiva, avance en la investigación de la evaluación y profesionalización del campo.
1º. La mejora de la formación pasa por el establecimiento de asignaturas y materias a nivel educativo, ya sea universitario o no. Esto se ha de realizar para que los futuros evaluadores ya tengan de base ciertas competencias básicas técnicas como herramientas de observación o de análisis. Pero no solo se puede enseñar las herramientas técnicas, materia habitual en los ámbitos educativo, también se pueden enseñar algunas competencias interpersonales y personales como saber realizar correctamente una entrevista o aprender de los éxitos y fracasos propios.
2º. El aumento de la práctica reflexiva consiste en la continua puesta en marcha de las habilidades de evaluación. Además, en esta puesta en práctica de las competencias el evaluador ha de saber automonitorizarse e ir viendo en todo momento sus propias fortalezas y debilidades. Este mecanismo sirve para ir evolucionando entre los distintos tipos de evaluadores que se puede encontrar en la realidad: accidentales, nuevos evaluadores, en transición y experimentados. Cuanto mayor sea la puesta en funcionamiento de las competencias el evaluador irá creciendo hasta convertirse en un evaluador experimentado.
3º. En el avance de la investigación sobre evaluación se ha de focalizar los recursos en desarrollar nuevas teorías, mejorar en la concepción de las preguntas adecuadas y optimizar al máximo la práctica reflexiva. Investigar y evaluar son dos conceptos parecidos y complementarios. Investigar la evaluación contribuye de la manera ya vista y evaluar la investigación puede ayudar a corregir los fallos y optimizar los aciertos.
4º. La última manera de adquirir las competencias es la profesionalización del campo ya que de esta manera se establecerían criterios, acreditaciones o licencias que de una manera formal distinguirían al evaluador profesional del accidental. Sería más sencillo y simple distinguir al charlatán del verdadero evaluador.
Así que, como se puede observar, hay varios caminos para adquirir y mejorar las competencias. Las dos últimas formas de avanzar en este ámbito se refieren al desarrollo del propio campo en sí, con el impulso en la investigación y en la profesionalización de la evaluación. En cambio, las dos primeras tienen más que ver con aspectos más personales y propios del evaluador, aunque hay que señalar que se trata desde distintas perspectivas. La primera de las maneras de mejorar las competencias presenta un enfoque de aprendizaje externo al evaluador, una institución o entidad ha de establecer mejor su programa o metodología para que se adquieran de una forma más eficaz las competencias necesarias. En cambio, el aumento de la práctica reflexiva refleja la necesidad del propio aprendizaje interno y personal del evaluador para conocer cómo se pueden poner en práctica los conocimientos teóricos aprendidos. Además con dicha reflexión se puede entrar en un análisis personal para descubrir como potenciar sus fortalezas y disminuir sus debilidades.
Finalmente solo queda subrayar que todas estas maneras de progresar en el campo de las competencias de los evaluadores no son opuestas unas de otras, sino complementarias. Sería un error pensar que el campo debe centrarse en uno u otro aspecto olvidando los otros tres. Ha de haber una serie de sinergias entre todos los caminos de progreso para que se avance tanto en el campo de la definición de las competencias como en el campo de la puesta en prácticas de las mismas.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Qué competencias debe tener un evaluador?
Una vez establecidas las razones por las que cuales es necesario crear un marco (más o menos flexible según el enfoque) en el cual quede reflejado las competencias necesarias del evaluador según el enfoque de Stevahn, King, Ghere y Minnema (2005).
Según dicho enfoque las competencias o habilidades que debe tener o adquirir un evaluador se pueden agrupar en las siguientes 6 categorías:
1- La práctica profesional
Las competencias de la práctica profesional tienen que ver con el rigor y seriedad a la hora de trabajar. Este tipo de competencias profesionales se centran en las normas fundamentales y valores prácticos de evaluación, la adhesión a las normas de evaluación o la correcta ética a la hora de evaluar.
2- La investigación sistemática
Las competencias referidas a la investigación sistemática se centran en los aspectos técnicos de las prácticas de evaluación; tales como el diseño, la recogida de datos, conocimiento de distintos métodos de trabajo (mixto, cualitativo o cuantitativo), el análisis de los datos o la presentación de informes. De esta manera, la evaluación podrá seguir el procedimiento adecuado y podrá ser contrastada por otras personas.
3- Análisis de la situación
Estas competencias se refieren al contexto en el que se desarrolla la evaluación. El evaluador ha de ser capaz de adaptar y modificar la evaluación si es necesario, de utilizar la información que le proporcionan y de solucionar posibles conflictos.
4- La gestión de proyectos
En la categoría de gestión de proyectos se agrupan las competencias referentes a aspectos prácticos de la realización de una evaluación como la negociación de los términos de referencia, la realización de presupuestos, la justificación de los gastos, la coordinación de recursos o la supervisión de los procedimientos.
5- La práctica reflexiva
Se centran en la capacidad del evaluador para aprender con su propia experiencia y que se necesita para el crecimiento como profesional. Algunos ejemplos podrían ser el conocer las fortalezas y debilidades propias como evaluador, la evaluación de las necesidades personales de prácticas mejoradas o participar en el desarrollo profesional hacia esa meta.
6- La competencia interpersonal
Este tipo de competencia se centra en las habilidades referentes al trato con las personas como la comunicación, la negociación, el conflicto, la colaboración o las habilidades interculturales.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Se pueden definir las competencias que ha de tener un evaluador?
Se entiende por competencia entre otras acepciones la pericia, aptitud o idoneidad para hacer algo o intervenir en algo (Real Academia de la Lengua, 2001). En otras palabras, son las capacidades y habilidades que tiene una persona o que tienen un grupo de personas para poder desarrollar satisfactoriamente una labor, un trabajo etc.
Por otro lado Michael Scriven define la evaluación como el proceso de determinación del mérito, valor e importancia de algo, ya sea un producto, una actuación, un programa de desarrollo rural, una política, etc. Además se entiende al evaluador o evaluadores como la persona o las personas encargadas de realizar dicha evaluación. Por tanto los evaluadores son los responsables de determinar el mérito, valor e importancia de algo como podría ser un programa educativo.
Si se unen ambos conceptos, se determina que las competencias de un evaluador son todas aquellas habilidades o aptitudes que tiene una persona para desarrollar satisfactoriamente su labor que no es otra que la de evaluar; la de determinar la calidad, el valor y la importancia de algo.
1. ¿Por qué determinar las competencias de un evaluador?
Definir las competencias que ha de tener un evaluador es importante ya que de ellas dependerá la calidad y validez de la evaluación. Hay aspectos de la propia persona que evalúa que puede poner en duda la credibilidad del proceso como podría ser la dependencia o falta de objetividad del evaluador o la incapacidad para analizar la situación.
Si un evaluador no posee las herramientas adecuadas de análisis y fundamenta su evaluación en simples observaciones, opiniones o creencias propias, sin contrastarlas con ningún tipo de dato o de evidencia, entonces parece lógico pensar que la persona a la que va dirigida la evaluación dude de la validez de la misma. Así mismo, cuando el evaluador o grupo de evaluadores está muy vinculado o es muy dependiente de aquello que se evalúa es normal que se llegue a cuestionar la objetividad de la misma.
De este modo, resulta que las competencias y habilidades que tenga un evaluador son muy influyentes a la hora de realizar una evaluación creíble. No solo ya en lo referente a la evaluación en sí, sino también a la hora de presentar los resultados, la evaluación despierte la confianza del público. A lo que se suma la creencia de que la definición de las competencias puede servir para contribuir a la mejora del campo profesional de la evaluación de varias formas (Stevahn, King, Ghere & Minnema, 2005; Moreno, 2015):
– Estableciendo una base para orientar los programas de formación de nuevos evaluadores.
– Ayudando a la mejora continua de los profesionales experimentados.
– Llevando a cabo revisiones periódicas que aseguren la integridad del campo.
2. ¿De qué competencias hablamos?
Las competencias que ha de tener un evaluador son múltiples y existe cierto debate en torno a ello. Antes de entrar en dicho debate se ha de realizar un pequeño razonamiento para tener una primera idea de las aptitudes básicas que precisaría tener un evaluador.
Si el objetivo de un evaluador es realizar una evaluación, el evaluador deberá cumplir con los procesos y procedimientos que se exigen para realizar una evaluación correctamente. Michael Scriven (1980) describió en su gráfico de diamante los procesos básicos que se han de realizar: estructurar, observar, analizar y juzgar. Procesos que suelen comenzar con situaciones en las que el evaluador cuenta con poca o nula información, por lo que ha de profundizar en el tema evaluado observando evidencias, recopilando datos y preguntando a personas claves. Cuando la cantidad de información aumenta se ha de analizar para llegar a síntesis que desemboquen en juicios de valor y conclusiones. Por tanto, el evaluador ha de estructurar el plan, observar las evidencias y recolectar datos, analizar la información recogida comparando datos y estimando los efectos para, por último, establecer un juicio de valor y sintetizarlo de tal manera que sea útil y comprensible.
Pero, ¿es solo esto lo necesario para realizar una buena evaluación? La respuesta en la inmensa mayoría de los casos es que no. Aunque éste sea el esquema básico para poder llevar a cabo una evaluación, deben también contemplarse todos los elementos internos y externos que afectan en el objeto a evaluar y que obligan al evaluador a ir más allá del esquema básico. Además de estas competencias técnicas y básicas, se ha de contar con muchas otras competencias de ámbito más personal y contextual como la objetividad, la ética o las habilidades interpersonales.
3.Tres enfoques para abordar la cuestión
Ahora que se va perfilando las distintas competencias de un evaluador hay que conocer los distintos enfoques que existen en la bibliografía especializada acerca de este asunto. Se podrían resumir los enfoques en 3 grandes vertientes (Moreno, 2015):
1º. Una primera postura entiende que en el campo de la evaluación no ha de haber una lista de competencias fijas. Al ser un proceso flexible y adaptable las competencias han de ser también flexibles y adaptables. En esta postura se encuentran autores como Kirkhart (1981).
2º. Un segundo grupo defendido por la American Evaluation Association (AEA) en la que se establecen principios rectores para guiar a los profesionales del campo pero que no abordan concretamente las competencias que ha de tener un evaluador.
3º. Autores como Stevahn, King, Ghere y Minnema (2005) que establece una lista de las competencias que ha de tener un evaluador.
En la siguiente entrada utilizaremos este último enfoque para profundizar en las competencias que un evaluador ha de tener por ser el más concreto y el que quizás más pueda contribuir a que se puedan apreciar mejor de un modo general cuáles son esas competencias o, por lo menos, su naturaleza.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
4. La variable ambiental y la sostenibilidad
Antes de llegar a los años 80, las variables técnico-económicas fueron predominantes en la búsqueda del desarrollo, pero repetidos fracasos en diversas experiencias, sobretodo en los países en vías de desarrollo, llevaron a cambiar de planteamiento y a la introducción de nuevas variables. Los factores técnico-económicos se consideran importantes, pero no suficientes. Un proceso de desarrollo es algo mucho más global y multirrelacional (Mayor, 1987) y el desarrollo sostenible implica un constante cambio evolutivo, auto-organizativo y adaptativo (Bossel, 1999).
La introducción del desarrollo sostenible
La Conferencia sobre Medio Ambiente Humano que tuvo lugar en Estocolmo en 1972 supuso el inicio del entendimiento y reconocimiento del vínculo entre medio ambiente y bienestar humano. Fue la primera conferencia global sobre medio ambiente, y la primera en enfocarse en un solo tema. Fue aprobada una declaración de principios que sirvió de cimiento para el desarrollo del derecho ambiental internacional durante los decenios de 1970 y 1980. Otro importante resultado de la Conferencia fue el posterior establecimiento del Programa de las Naciones Unidas para el Medio Ambiente (PNUMA), principal órgano de las Naciones Unidas en la esfera del medio ambiente y principal autoridad ambiental mundial.
El proceso preparatorio se inició en 1968. En este año, un grupo importante de personalidades creó el Club de Roma, el cual viene publicando informes desde 1972 llamando la atención sobre las dificultades del planeta para sostener un desarrollo basado en el despilfarro y en el consumo masivo de los recursos naturales.
En un principio se planeaba tratar solamente temas ambientales, pero los Estados en vías de desarrollo insistieron en la inclusión de los temas de desarrollo.
Para conmemorar el décimo aniversario de la Conferencia de Estocolmo se celebró en Nairobi, en mayo de 1982, un período de carácter de sesiones extraordinario del Consejo de Administración del PNUMA. Ese período de sesiones supuso una oportunidad única para reunir a la nueva generación de encargados de la adopción de decisiones ambientales de todo el mundo para dar nuevos bríos al programa. Se planteó la necesidad de fomentar el desarrollo sostenible a partir de una mayor conciencia creada en muchos países acerca del deterioro ambiental y, específicamente, de sus repercusiones globales.
Ante esta situación, la Asamblea General de las Naciones Unidas estableció, en diciembre de 1983, la Comisión Mundial del Medio Ambiente y Desarrollo (CMMAD) como órgano independiente_para proponer estrategias ambientales a largo plazo encaminadas a lograr el desarrollo sostenible para el año 2000 y más adelante. La Comisión se dedicó al análisis y documentación del vínculo entre desarrollo y medio ambiente, llegando a la conclusión de que ambos procesos pueden ser armónicos.
En 1987, la publicación del Informe de la Comisión Mundial para el Medio Ambiente (World Commission on Environment and Development, 1987) (conocido como el Informe Brundtland), titulado Nuestro Futuro Común, llamó la atención al mundo sobre la urgente necesidad de encontrar formas de desarrollo económico que se sostuvieran sin la reducción dramática de los recursos naturales ni daños al medio ambiente.
Este informe marcó su importancia en la definición de desarrollo sostenible como aquel que atiende a las necesidades de las generaciones presentes sin comprometer las
necesidades de las futuras generaciones (World Commission on Environment and Development, 1987). Este informe fue definitivo en la decisión de la Asamblea General para convocar a la Cumbre sobre el Medio Ambiente y el Desarrollo, dada la clara necesidad de redefinir el concepto de desarrollo para que incluyera el desarrollo socio-económico y detuviera el deterioro del medio ambiente. Esta nueva definición podría surgir solamente de alianzas entre los países desarrollados y aquellos en vías de desarrollo.
Portada del Informe de la Comisión Mundial para el Medio Ambiente de 1987
La definición dada parte del supuesto de que “es técnica y económicamente realizable lograr una sociedad sostenible” (Calvo et al., 1997) y dan a entender que el desarrollo sostenible comprende, al menos, dos perspectivas que se pueden sintetizar en dos objetivos. En primer lugar, el objetivo actual, es el mejoramiento de la calidad de vida de todos los habitantes. El objetivo futuro, no menos importante, consiste en no comprometer el futuro de las futuras generaciones restringiendo sus alternativas de desarrollo. Con ello incorpora un aspecto nuevo y es el de la justicia intergeneracional o transgeneracional que debería ser parte inherente a toda política de desarrollo.
Pero el desarrollo sostenible ha sido criticado por la ambigüedad de sus interpretaciones, ya que representan una cosa distinta para cada persona y, por lo tanto, permite justificar acciones de muy diversa naturaleza (Mitchell, 1999).
La Cumbre de la Tierra en Río
Con el antecedente del informe Brundtland, comenzó el proceso de la Cumbre de las Naciones Unidas sobre el Medio Ambiente y el Desarrollo (CNUMAD, conocida como Cumbre de la Tierra), que tendría su clímax en Río de Janeiro en 1992, cuando los líderes de las naciones se reunieron durante dos semanas para establecer los lineamientos de las políticas locales, nacionales e internacionales necesarias para tener un medio ambiente más sano.
La Cumbre de la Tierra de Río de Janeiro no tuvo precedentes en otras conferencias de la Naciones Unidas, tanto por su tamaño como por la magnitud de los temas a tratar. El mensaje de la Cumbre fue claro: era necesaria una transformación de nuestras actitudes y comportamiento, la cual lograría los cambios necesarios para la subsistencia sana del planeta y sus habitantes.
Logo cumbre de la Tierra
A pesar de que los procesos de negociación limitaron su alcance, la Agenda 21 es sin duda el principal logro de la Cumbre de la Tierra. Este documento es un programa de acción de gran alcance destinado a remodelar las actividades humanas para minimizar el daño ambiental y garantizar la sustentabilidad en los procesos del desarrollo.
A largo plazo, los resultados positivos de la Cumbre incluyeron las reacciones en la mayor parte de los Estados de todo el mundo, como la vigilancia a la producción de componentes tóxicos, la búsqueda de fuentes alternativas de energía, el énfasis sobre la importancia del transporte público y el incremento en la preocupación por la creciente escasez de agua.
En paralelo a los trabajos de la CNUMAD, a partir de 1989, aproximadamente 7.890 ONGs y Movimientos Sociales del mundo se reunieron para formar el Foro Global de Organizaciones No Gubernamentales. El logro principal de sus trabajos fue la vinculación de las organizaciones no gubernamentales tanto de intereses ambientalistas como las de desarrollo y otras causas regionales y globales, conformando redes de enlace e intercambio de información.
Objetivos incumplidos y nuevas esperanzas
Cinco años después de Río, los líderes de las naciones se reunieron en Nueva York para evaluar los adelantos que se habían logrado a partir de los objetivos planeados en Río. A su vez, las ONG y los movimientos sociales se reunieron una vez más en Río de Janeiro con el mismo objetivo. La evaluación, desgraciadamente, resultó negativa. Los intereses económicos que provocan la destrucción de los recursos naturales y las dificultades que se presentan entre los gobiernos para llegar a acuerdos no habían permitido que los cinco años que habían pasado fueran suficientes para lograr adelantos significativos. Los resultados positivos se concentraban más que nada en la concienciación de la población global acerca de los problemas ambientales.
Al finalizar esta Cumbre la comunidad internacional se fijó como meta realizar en 2002 otra gran Cumbre en Johannesburgo para revisar los avances mundiales en la ejecución de la Agenda 21. La Comisión de Desarrollo Sustentable de las Naciones Unidas (CDS) fue creada en ese entonces como un organismo ad–hoc para analizar, año tras año, los avances y guiar la política internacional.
Lo que el mundo deseaba de Johannesburgo, según lo que afirmaba la Asamblea General, no era un nuevo debate filosófico o político sino más bien una cumbre de acciones y resultados. Desde cualquier punto de vista, la Cumbre de Johannesburgo ha puesto los cimientos y ha abierto el camino para la acción. Sin embargo, entre las metas, calendarios y compromisos que se acordaron en Johannesburgo no ha habido ninguna solución milagrosa en la lucha contra la pobreza y contra el continuo deterioro del medio ambiente natural. No ha habido ninguna solución mágica, pero lo que sí ha habido ha sido una comprensión de que era necesario adoptar medidas prácticas y sostenidas para enfrentarse a muchos de los problemas más acuciantes que existen en el mundo.
Pero en muchos sentidos, tanto estructuralmente como en cuanto a resultados, Johannesburgo también ha marcado un avance importante respecto a anteriores conferencias de las Naciones Unidas, lo cual podría tener un efecto muy positivo en el modo en que la comunidad internacional se plantee la solución de estos problemas en el futuro.
La cuestión es si serán realmente diferentes las cosas después de Johannesburgo se preguntaba el Secretario General de la Cumbre, Nitin Desai. Esta será la prueba a la hora de poner en práctica las propuestas de la conferencia.
“Río+20”
«Rio+20» es el nombre abreviado de la Conferencia de las Naciones Unidas sobre el Desarrollo Sostenible, celebrada el pasado junio de 2012 en Río de Janeiro —Brasil—, veinte años después de la histórica Cumbre de la Tierra en Río en 1992.
En el escenario de una gran crisis financiera en Europa y en otras partes del mundo, en la Conferencia Río +20, los líderes mundiales, junto con miles de participantes del sector privado, las ONG y otros grupos, se unieron para dar forma a la manera en que puede reducir la pobreza, fomentar la equidad social y garantizar la protección del medio ambiente en un planeta cada vez más poblado.
Actualmente una de cada cinco personas vive con menos de 1,25 dólares diarios o menos, mil millones y medio de personas no tienen acceso a la electricidad, casi mil millones de personas pasan hambre cada día, las emisiones de gases de efecto invernadero continúan aumentando… Río +20 ha sido también una oportunidad para mirar hacia el mundo que queremos tener en 20 años.
Las conversaciones oficiales se centraron en dos temas principales: cómo construir una economía ecológica para lograr el desarrollo sostenible y sacar a la gente de la pobreza, es decir la economía verde, y cómo mejorar la coordinación internacional para el desarrollo sostenible, es decir la gobernanza. Además se trataron gran diversidad de temas como la pesca, la energía, los oceános, la alimentación, la seguridad alimentaria, etc.
Pese a las diferencias entre participantes y el no haber llegado ha cumplirse todas las expectativas que la UE ponía en esta conferencia, el Ministro de Agricultura, Alimentación y Medio Ambiente de España, Arias Cañete, asegura que “el desarrollo sostenible tiene una importancia crucial para la creación de empleo y el crecimiento económico” (MAGRAMA, 2012). El ministro también explica que “esta conferencia debe verse como un punto de partida, ya que marca el inicio de un proceso para aplicar mejor y de manera más eficiente las políticas de desarrollo sostenible” (MAGRAMA, 2012), después de recordar la importancia de la intervención en esta conferencia de la sociedad civil y el sector empresarial.
La cumbre se ha cerrado con la firma del documento “El futuro que queremos” (ONU, 2012) que conlleva una inversión de más de 400 millones de euros para proyectos de desarrollo sostenible.
Al contrario que la mayoría de los líderes políticos de los 193 Estados participantes quienes han visto en el documento “un paso importante en la dirección adecuada”, las ONGs subrayan que este documento se caracteriza por la “falta de ambición de los gobiernos participantes que manifiesta la falta de compromiso” de los mismos.
Por otro lado se destaca la declaración realizada por los miembros de The World Engineering Community, quienes en el marco de esta cumbre han puesto de manifiesto la importancia de la labor de los ingenieros para lograr mejoras tecnológicas que afectan a la vida de todas las personas. A través del intercambio y la aplicación del conocimiento científico, la creatividad y la práctica de la ingeniería y la tecnología, los ingenieros son capaces de introducir soluciones sostenibles en la mayoría de las áreas de actividad que contribuyen a la calidad de vida de las comunidades.
About Carlos Plaza
3. La variable económica en el desarrollo
Es en la segunda mitad del siglo XX comenzó a emplearse habitualmente el concepto de desarrollo para designar a las actividades, planes, programas e iniciativas cuya finalidad es elevar el nivel de vida de las personas como colectividad.
Con arreglo a esta concepción clásica, el desarrollo se puede entender como un proceso de crecimiento económico continuado que asegura unos excedentes duraderos de toda clase de bienes, que son dedicados a cubrir las necesidades humanas y a potenciar un mayor nivel de bienestar para una población en aumento (D’Entremont, 2001).
Los modelos de desarrollo económico se caracterizan también por presentar un incremento armónico de la producción y de la población, y por la aparición de excedentes que pueden ser reinvertidos en el propio impulso económico de un país o de una región (Puyol et al., 1993).
Las necesidades humanas a cubrir, según esta concepción del desarrollo, serían principalmente económicas y materiales; y la forma de medir el nivel de bienestar se basaría en los llamados indicadores económicos: márgenes y la dinámica del crecimiento del PNB; las condiciones de la expansión de la riqueza en cuanto a la explotación y el aprovechamiento de recursos propios y ajenos; y a la acumulación de medios de producción y de infraestructuras (D’Entremont, 2001).
En los años 50-70 también se produce una enorme expansión de la planificación del desarrollo basado en la convicción de que el progreso sólo podría ser acelerado por la planificación (Waterston, 1969). En este contexto se definen los pilares, principios generales y etapas de la planificación del desarrollo.
Durante esta época resulta difícil desligar el concepto de planificación de todo contenido económico (Trueba, 2001). La planificación, como actividad encaminada a dar forma orgánica a un conjunto de actividades o de decisiones, integradas y compatibles entre sí (Martner, 1967), tiene su máxima expresión en el presupuesto. Éste se diseña desde la perspectiva de una planificación que ha de prever el comportamiento de una organización para hacer frente a las necesidades que han de presentarse en un periodo de tiempo futuro (Fayol, 1969).
About Carlos Plaza
2. Evolución y teorías del desarrollo
El desarrollo es, sobre todo, una cuestión de valores, muy dependiente de la postura individual sobre aspectos culturales, políticos, económicos y sociales. Las diversas corrientes de pensamiento y opiniones contradictorias en relación con el significado del desarrollo, se reflejan en los planes y políticas con cambios drásticos en las prioridades y tendencias. Esto encuentra su expresión en cuestiones tales como la racionalidad de los gobiernos, el papel central de los economistas como asesores de los gobiernos, el efecto de goteo, el desarrollo comunitario, los efectos de demostración, el despegue, las necesidades básicas, la revolución verde, el desarrollo desde abajo, el desarrollo rural integrado, las cooperativas y el desarrollo de la comunidad, el desarrollo sostenible, etc. (Widstrand, 1990).
Durante el pasado siglo XX el concepto de desarrollo ha ido evolucionando, al igual que las principales variables que lo componen y el diseño de su planificación. Desde el lenguaje político económico, el concepto de desarrollo ha venido implicando:
- Elevada capacidad productiva determinada por una compleja estructura de producción industrial, competitiva y rápida en su readecuación.
- Elevados niveles de ingreso y consumo per cápita y bienestar social extendido a la mayor parte de los sectores sociales.
- Grado de utilización (y eficiencia en el uso) de las llamadas modernas tecnologías de producción
- Elevado nivel de la población económicamente activa.
La evolución de la teoría del desarrollo puede proporcionar un marco para comprender la concepción actual del desarrollo y detectar su carácter dinámico. “En términos generales podemos decir que en las décadas de los 50 y 60 la modernización fue el término clave; en la década siguiente, comenzó a destacar la teoría de la dependencia; a comienzos de los 80, fue adquiriendo importancia el concepto de liberalización” (NORAD-UD, 1997), a partir de los 90 el acento se puso en la integración social y en la actualidad el término clave es el conocimiento. No se trata de enfoques opuestos sino que se enriquecen mutuamente. Una buena concepción del desarrollo debe contemplar estos cinco enfoques que, de forma esquemática, se resumen a continuación:
Evolución de la teoría del desarrollo durante las últimas décadas
Fuente: Elaboración propia.
- La modernización: Defiende que la inversión en industrialización y agricultura por encima de un cierto nivel desencadenará un desarrollo hacia la producción en masa, la democracia y los sistemas de protección social. Este enfoque supone:
- Creencia en el comercio libre y en la conveniencia de una creciente integración en la economía mundial.
- Énfasis en la tecnología moderna y en la industrialización.
- Creencia en el papel del Estado para lograr la industrialización e influir sobre el mercado.
- Creencia en los efectos de goteo y el incremento de la formación de capital en la sociedad como resultado de la industrialización.
- La dependencia: En este caso se considera que las áreas débilmente desarrolladas reciben relativamente menos beneficios del desarrollo que las más desarrolladas cuando se intercambian bienes con un bajo grado de elaboración por bienes altamente procesados. Este enfoque supone:
- Creencia en el proteccionismo y en un bajo grado de integración en la economía mundial.
- Gran importancia a la función que el Estado cumple en la planificación, inversión y distribución de los recursos.
- Creencia en el desarrollo integrado dentro de áreas limitadas.
- Creencia en la conveniencia de unidades de producción de menor tamaño y en la utilización de tecnología simple.
- La liberalización: Aquí el estímulo de las fuerzas del libre mercado y el crecimiento del sector privado son una condición previa para el crecimiento económico y el desarrollo. Este enfoque supone:
- Énfasis en la inversión y el desarrollo del sector privado.
- Se concede una mayor importancia a la producción y la productividad que a los aspectos de distribución.
- Énfasis en la producción para el mercado externo.
- Menor énfasis en los aspectos políticos, institucionales y culturales, y más en el crecimiento económico.
- La integración social: La integración social se refiere a los esfuerzos por desarrollar, en diferentes formas, métodos científicos de investigación en los cuales las personas que se espera que obtengan un beneficio de la investigación desempeñan un papel preponderante. Es un proceso de sensibilización y organización de una comunidad para que de forma voluntaria integre sus esfuerzos con un fin determinado y preestablecido. El éxito va a radicar en que la población esté bien estructurada, mantenga el diálogo, tenga relaciones, participe, colabore y desarrolle actividades en un marco armónico para alcanzar unos objetivos comunes (Trueba, 1988). Se trata de concebir los resultados en función de los destinatarios del mismo (Muñiz, 1989) y aplicar un modo de aproximación basado en el proceso de aprendizaje del propio planificador basado en los beneficiarios (Uphoff, 1991).
- La integración en la Sociedad del Conocimiento: En éstos últimos tiempos el crecimiento económico y la productividad de los países desarrollados se basan cada vez más en el conocimiento y la información. Actualmente, la generación y explotación del conocimiento juegan un papel predominante en la creación de bienestar (Dirección General de Investigación de la Consejería de Educación de la Comunidad de Madrid). Es lo que se ha venido llamando la Sociedad del Conocimiento.
Los tres primeros enfoques suponen una perspectiva predominantemente económica que a lo más llegan a la introducción de las variables del medio físico o preocupación medioambiental. Esta comienza a adquirir una gran importancia en los años sesenta y supuso un enverdecimiento de la opinión pública que se plasmó en todos los niveles de la sociedad moderna en los años 80. La sostenibilidad se convirtió en un término clave pero aún así, el movimiento ecologista no consiguió suficiente poder para dominar los aspectos económicos del desarrollo (Cloke & Little, 1990). La llegada de la década de los noventa supuso la difusión y preponderancia de la variable social como vía para un desarrollo viable. En la actualidad destaca la importancia de una nueva variable, el conocimiento y su papel en el desarrollo.
Evolución de las variables del desarrollo durante las últimas décadas.
Fuente: Elaboración propia
Aunque existe un consenso firme acerca de la importancia de las cuatro variables señaladas, el desarrollo puede ser interpretado de varias maneras, No existe una teoría universal sobre las causas del desarrollo, ni tampoco hay un modelo simple de general aplicabilidad para entender cuáles son los procesos que conducen al desarrollo. Es necesaria una mente abierta, contar con un amplio conocimiento y experiencia y evitar verse influido por una sola postura. Es importante abordar el desarrollo desde varias perspectivas o enfoques.
A continuación se analizan las cuatro variables señaladas y los contextos en cada unas de ellas se generó: la variable económica en los años 50-70, la ambiental en los años 80, la social en los 90 y el conocimiento en el siglo XXI. Variables que no se van excluyendo sino que se van sumando, contribuyendo a un enriquecimiento de la concepción del desarrollo.
About Carlos Plaza
47. Complementación de enfoques metodológicos (mix-methods): En busca de fórmulas adecuadas
En el mundo de la evaluación no existen fórmulas mágicas para dar con los enfoques de evaluación más adecuados a cada circunstancia, pero pueden darse una serie de indicaciones a modo de conclusión que ayuden a la elección de las fórmulas más adecuadas posibles en cada una de las etapas de un sistema completo de seguimiento y evaluación, desde la evaluación previa a la final, pasando por el seguimiento y evaluación intermedia.
Complementación de enfoques en el diseño del seguimiento y la evaluación
En general estas indicaciones inciden en la conveniencia de entender las ventajas y desventajas de cada enfoque y sentirse con la libertad de combinarlos para buscar su complementariedad metodológica, y dar una respuesta flexible y lo más acertada posible a cada una de las circunstancias, más o menos complejas, que en cada caso toque analizar.
Etapa de diseño
La evaluación previa se encuentra unida intrínsecamente al proceso de diseño de la programación y es aconsejable plantear su participación en la combinación de enfoques top-down y bottom-up con el que conviene realizar este diseño. Ya vimos como esta combinación podía establecerse a través de la participación social que haría las veces de engranaje entre uno y otro enfoque.
Por otro lado, independientemente de la actividad programadora, este primer ejercicio de evaluación conviene que integre la evaluación por objetivos (los propios de este tipo de evaluación) con la evaluación del proceso de manera que se vaya enriqueciendo la actividad evaluadora con la experiencia que se vaya adquiriendo.
Pueden ser dos, por tanto, los mecanismos que aseguren una buena adaptación de las actividades de evaluación a través del aprendizaje: la combinación top-down – bottom-up y la combinación evaluación por objetivos – por procesos. Esta incorporación de la experiencia adquirida se realiza a su vez mediante una combinación de los enfoques cuantitativo y cualitativo que permita integrar todo tipo de información que se obtenga. El objetivo es perfilar los objetivos y los procesos de la evaluación previa de manera que se adecuen en todo momento a los requerimientos de la programación que se está diseñando.
Etapa de ejecución
La actividad de seguimiento una vez se inicia la etapa de ejecución del programa, es conveniente plantearse que integre el seguimiento detallado con el seguimiento de procesos. Este enfoque permite que el sistema diseñado para el seguimiento pueda ir enriqueciéndose con la experiencia que vaya surgiendo en el transcurso del programa. La fuente de esta experiencia la tendrá que constituir la integración de otros dos enfoques, el cuantitativo y cualitativo. De este modo, el sistema de seguimiento asegura la incorporación de todo tipo de información que pueda dar pistas para una mejor adecuación del seguimiento.
Diseño de un enfoque adecuado para el seguimiento y evaluación del desarrollo
También durante la etapa de ejecución se realiza, si es el caso, la evaluación intermedia con el objetivo fundamental de verificar la correcta aplicación del programa. Este objetivo y los medios para conseguirlo es conveniente que se perfilen mediante la complementación de la evaluación por objetivos con la evaluación de procesos. La incorporación de las enseñanzas que vayan surgiendo facilita una adecuada concepción de esta evaluación a mitad de período.
Como objetivo de la evaluación intermedia se encuentra también hacer una primera estimación de los resultados que se están obteniendo con el programa. Para realizar esta estimación se aconseja acudir a la combinación de enfoques top-down y bottom-up. Toda una serie de aproximaciones sucesivas a la realidad de lo sucedido, la incorporación de las aportaciones de los principales protagonistas y una acertada combinación de los enfoques cuantitativo y cualitativo que permita la incorporación del aprendizaje, pueden facilitar una buena estimación de los resultados conseguidos.
Etapa de terminación
Ya en la etapa de terminación del programa se realiza su evaluación final. Se aconseja aquí lo mismo que para la evaluación intermedia aunque más centrado en los resultados e impacto del programa. Se trata de los dos grandes ejercicios especiales de evaluación que de alguna manera han de condensar las enseñanzas que se puedan derivar de la implementación de un programa. Estas enseñanzas son continuas y el enfoque metodológico diseñado trata de que su incorporación sea lo más inmediata posible.
Esto no impide, sin embargo, que la mayor profundidad de análisis y esfuerzo realizado en estos ejercicios de evaluación, saquen a la luz nuevas enseñanzas o descubran la manera de integrar algunas de las ya extraídas. En cualquier caso siempre han de constituir un punto de referencia para la continuación del programa o el inicio de un nuevo ciclo de programación.
About Carlos Plaza
Tipos de evaluación
Existen muchos tipos de evaluación. Muchas particularidades del proceso evaluativo vienen dadas por el momento en que la misma se implementa, es decir, en función del ámbito temporal que cubre la misma. Es así que tenemos evaluaciones previas (durante el diseño de la intervención), intermedias (durante la ejecución), finales (en el momento de finalizar la intervención) y posteriores (tiempo después de finalizada la intervención).
Siguiendo la Colección MEANS de la Comisión Europea (1999) otros tipos de evaluación surgen del distinto nivel de responsabilidad implicado con su nivel de análisis (evaluación de una política, un programa o proyecto lo que da lugar a evaluaciones locales, regionales, nacionales…), del contenido de la evaluación (evaluación de conjunto, temática o detallada) o la utilidad de los trabajos de seguimiento y evaluación (la formación, el aprendizaje, la capacitación…)
En los casos de sucesión de periodos de programación se impone la necesidad de crear una vinculación entre las evaluaciones previas, intermedias y finales. Es muy importante tener en cuenta la complementariedad de todos los trabajos de evaluación, de manera que cada evaluación pueda recurrir a las precedentes y contribuir a las que vengan en un futuro evitando la redundancia. De igual forma, los vínculos entre los diferentes niveles de responsabilidad (política, programa, proyecto) se traducen en que las evaluaciones realizadas a un nivel producen conclusiones de interés a otros niveles.
La misma complementariedad encontramos entre las evaluaciones con distinta temática o utilidad que centrándose en determinados aspectos u objetivos de evaluación han de ayudar a la buena marcha global de las intervenciones y el logro de un adecuado proceso de desarrollo.
Evaluaciones según momento de realización
La utilidad de las evaluaciones es necesario relacionarla con el ciclo de vida del programa. Cada etapa de evaluación tendrá una función y resultados que deben servir de punto de partida y ser incorporados en las posteriores etapas de evaluación. Cada evaluación debe aprovechar los resultados de evaluaciones anteriores, es decir, que la evaluación intermedia debe tener presentes los resultados de la previa, y la evaluación posterior las conclusiones de la evaluación intermedia (que incluyen la previa). Por otro lado, en todos estos ejercicios de evaluación se ha de tener en cuenta la información que del seguimiento esté disponible en cada caso.
Es necesario cubrir mediante las diferentes etapas de evaluación los distintos planos de evaluación: la situación de partida, la ejecución y los resultados del programa.
Evaluación previa (ex-ante o a priori)
Ex ante evaluation (Términos relacionados en inglés: prior appraisal, needs assessment)
Evaluation ex ante (Términos relacionados en francés: Appréciation ex ante, evaluation a priori, diagnostic)
Evaluación que se realiza antes de la implantación, durante el diseño de la programación, y sirve para preparar lo que se quiere hacer y facilitar su aplicación. Más en concreto, ayuda a definir los objetivos y su adecuación a las necesidades, así como a garantizar la pertinencia, el fundamento y la coherencia del programa, dejando para una fase posterior del proceso de evaluación el análisis exhaustivo de la eficiencia y la eficacia. Una buena evaluación previa facilita el trabajo del equipo evaluador a la hora de hacer una valoración de lo que se ha hecho una vez comenzada la ejecución o finalizada.
Evaluación continua y autoevaluación
On-going evaluation (Términos relacionados en inglés: rolling evaluation)
Evaluation chemin-faisant (Términos relacionados en francés: evaluation in itinere)
Evaluación que abarca todo el periodo de implantación de una intervención. Esta forma de evaluación es la propia del seguimiento o monitoreo y a menudo se identifica con él. La evaluación continua puede verse como una serie de estudios detallados, que comprenden análisis sucesivos de cuestiones de evaluación que han surgido durante la implantación. Para aclarar el término autoevaluación (self-evaluation, auto-évaluation) conviene primero esclarecer los términos de evaluación interna y externa:
- Por evaluación interna (internal evaluation, evaluation interne) se entiende la evaluación de una intervención pública por un equipo de evaluación perteneciente a la autoridad administrativa responsable del programa. Es independiente si el equipo de evaluación no tiene una relación jerárquica con los actores que implantan la intervención. De otra manera, sería una autoevaluación.
- Por evaluación externa (external evaluation, evaluation externe) se entiende la evaluación de una intervención pública por personas no pertenecientes a la administración responsable de su implantación. Por ejemplo, un equipo compuesto por consultores privados, investigadores o personas pertenecientes a organismos públicos no relacionados con aquellos responsables de la intervención.
Una vez definidos estos dos términos, se entiende por autoevaluación a la evaluación de una intervención pública por la organización que participa directamente en su implantación
Evaluación intermedia (mid-term)
Mid-term evaluation
Evaluation à mi-parcours, evaluation intermédiare
Aparte de la autoevaluación por el personal del programa, en muchas ocasiones se puede emprender una evaluación más formal durante la ejecución del mismo. La práctica común es realizar un ejercicio de evaluación en medio de la ejecución, cuando el programa ha superado sus problemas iniciales, ha comenzado el flujo de sus servicios e insumos a la población considerada como objetivo y se pueden observar sus reacciones iniciales.
Una evaluación intermedia se lleva a cabo típicamente dos, tres o cuatro años después de haber comenzado la ejecución. Es la primera mirada amplia al programa desde su comienzo. Lo que distingue a ésta de evaluaciones ulteriores es que las resultados de la evaluación todavía se pueden aplicar al programa evaluado e introducir mejoras en la ejecución, o, en algunos casos, revisar los objetivos o prioridades y las medidas adoptadas. La evaluación intermedia es así un medio para mejorar la calidad y pertinencia de los programas y su implementación y para identificar reorientaciones a la programación que pueden ser necesarias para el logro de los objetivos originales. También permite comprobar la pertinencia de las directrices dadas, los criterios e indicadores establecidos para el seguimiento y evaluación del programa.
La evaluación intermedia puede además proporcionar información valiosa a las autoridades responsables del programa. Al tiempo que cubre las preguntas de evaluación, examinaría en particular los logros iniciales, su pertinencia y coherencia con el documento de programación y en qué medida se han alcanzado los objetivos. También analizaría el uso de los recursos financieros, el seguimiento y la ejecución.
Evaluación final y posterior
Ex-post evaluation
Evaluation ex-post, evaluation a posteriori
Evaluación que recapitula y juzga una intervención una vez terminada. Su objetivo es justificar el empleo de recursos, el logro de los efectos previstos (efectividad) y de los efectos inesperados (utilidad), y la eficacia de las intervenciones. Pretende entender los factores de éxito o fracaso, además de la sostenibilidad de los resultados e impactos. También intenta sacar conclusiones que se puedan generalizar para otras intervenciones.
Para que los impactos tengan tiempo de materializarse deben transcurrir dos o tres años después de la implantación de una intervención. Algunos organismos recomiendan incluso el transcurso de diez años lo que está reñido con la urgencia para la obtención de los resultados obtenidos. Esto nos lleva a distinguir entre dos tipos de evaluación una vez finalizada la intervención: la que llamamos evaluación final propiamente dicha, una vez concluida la intervención, y la evaluación posterior, una vez transcurrido el tiempo que se estime necesario para la materialización de los impactos.
La principal diferencia entre la evaluación intermedia y la final y posterior es que la primera estará más enfocada hacia los logros iniciales, mientras que éstas se centrarán más en los impactos.
Evaluaciones según nivel de análisis
En los últimos años se ha favorecido la programación integrada de las intervenciones. Un plan se compone de numerosos programas, y éstos a su vez se componen de numerosos proyectos dentro del marco de unos objetivos específicos dirigidos a la consecución de unos objetivos más globales.
En cada nivel nos encontramos con un conjunto de necesidades distintas aunque complementarias, son distintas las necesidades en materia de información y la orientación que se da a la evaluación en cada uno de estos niveles. A un nivel local seguramente interese obtener, mediante una evaluación interna, un análisis de sus propias actividades con el fin de mejorar sus resultados futuros. También interesará disponer de una información seleccionada y sinóptica para ofrecerla a otros niveles y así rendir cuentas de sus acciones y gastos. Mientras en un nivel ya regional, nacional o continental se preferirá, sin duda, presentar los resultados de los diferentes programas (o regiones, o países dependiendo del nivel) y evaluar la asistencia técnica prestada a cada uno de ellos. Asimismo en este nivel, se querrá conocer las repercusiones de los programas y saber si la política aplicada sirve para que las acciones sean más eficaces que otros métodos y políticas que se puedan aplicar. En cualquier caso, los resultados obtenidos en la evaluación de un determinado nivel de análisis (local, regional…) deben servir de base para la realización de una síntesis a un nivel superior (nacional, continental…).
En definitiva, en la evaluación se ha de elegir un nivel de análisis apropiado. Los resultados de un programa pueden analizarse a un nivel macro (conjunto de la sociedad y de la economía), sectorial, o micro (empresa, familia, explotación agraria, etc.). Las ayudas recibidas pueden haber sido muy importantes para sacar una determinada empresa adelante, pero estas ayudas pueden haber sido totalmente irrelevantes en el desarrollo de un determinado sector en una zona concreta. Asimismo estas ayudas pueden no haber tenido repercusión alguna en el comportamiento de los indicadores de una comarca, mucho más afectados por el comportamiento del tipo de interés o por los vaivenes de la política laboral. Saber situar la evaluación en el nivel apropiado no siempre es evidente.
En este sentido es importante el concepto de metaevaluación (meta-evaluation, méta-évaluation) referido a la evaluación de otra evaluación o de una serie de evaluaciones. Los criterios de juicio generalmente son fiabilidad, credibilidad y utilidad. El término se aplica a veces a la auditoria de la función evaluadora de una organización (para verificar que las normas relacionadas con la evaluación se han aplicado de manera profesional), y otras veces se emplea el término metaevaluación para referirse a una síntesis basada en una serie de evaluaciones.
Evaluaciones según contenido
El mundo real es complejo, con múltiples variables en el entorno de los programas, y además puede ser abordado desde muy diversos puntos de vista. En este sentido conviene hablar de evaluación multicriterio, es decir juzgar una intervención desde una perspectiva múltiple y con un enfoque crítico pluridisciplinar. Podemos hablar de al menos cuatro perspectivas o enfoques que deben ser considerados en la evaluación de un proyecto o programa de desarrollo: económico, financiero, social y medioambiental. Según el contenido en el que nos centremos podemos tener distintos tipos de evaluación.
Evaluación global
Overall Evaluation
Evaluation d’ensemble
Es la evaluación de una intervención en su totalidad. La evaluación global se ocupa de todas las acciones financiadas dentro de una intervención. Engloba la totalidad de las herramientas empleadas, de los territorios aplicables, de los impactos previstos y de los temas relevantes. La evaluación global a menudo constituye el primer paso en la investigación de un terreno a evaluar, antes de una segunda fase de concentración en forma de evaluaciones temáticas o específicas.
Evaluación temática
Thematic evaluation
Evaluation thématique
Evaluación que analiza transversalmente un punto específico (un tema) en el contexto de diferentes intervenciones dentro de un único programa o de diferentes programas implantados en diferentes países o regiones. El tema puede tener relación con el impacto previsto o con un área de intervención. El concepto de la evaluación temática es muy similar al del estudio específico que veremos a continuación.
Cuando hablamos de evaluación de impacto, hablamos de una evaluación final realizada generalmente varios años después de haber concluido una intervención, que se concentra en el fin y el propósito de la intervención, así como en su “sostenibilidad” y efectos imprevistos. Está íntimamente relacionada con lo que hemos llamado anteriormente una evaluación posterior.
Los objetivos perseguidos en cada intervención son diferentes, por lo que la importancia de las evaluaciones será distinta. Si se evalúa una intervención desde la perspectiva de un agente de la economía, utilizando precios de mercado la evaluación principal será de tipo financiera.
Si nos encontramos con una intervención cuyos objetivos son además de los estrictamente financieros, los de eficiencia o eficacia de la economía de un país en su conjunto – estimando por ejemplo la contribución de la intervención al crecimiento del producto interior bruto (PIB) – se denomina económica.
Si además del objetivo de eficiencia se pretende la distribución funcional y territorial de la renta, la creación del empleo y la satisfacción de necesidades básicas, la evaluación se denomina social. En las intervenciones financiadas con fondos públicas las evaluaciones económica y social son básicas.
La evaluación que se centra en la variable ambiental es la EIA o Evaluación de Impacto Ambiental (Environmental Impact Assessment (EIA), Evaluation d’impact sur l’Environnement (EIE)) y estudia todas las repercusiones de un proyecto individual sobre el entorno natural. Se trata de una evaluación generalizada en todos los países industrializados para proteger la degradación continua del medio ambiente, siendo recomendada por los Organismos internacionales y en especial por la UE, donde desde 1985 la EIA queda dotada de una regulación específica reconociéndola como el instrumento más adecuado para la preservación de los recursos naturales y la defensa del medio ambiente.
La EIA tiene dos pasos: la investigación general, que consiste en un primer análisis para determinar el nivel de evaluación medioambiental necesaria para aprobar la implantación; y el estudio del ámbito, que determina qué impactos deben evaluarse en profundidad. La evaluación de impactos medioambientales examina los efectos previstos e imprevistos, a menudo, los imprevistos son más numerosos.
La EIA es obligatoria en ciertos países en grandes proyectos de infraestructura. Por contraste, la Evaluación Estratégica Medioambiental (EEM) o Evaluación Ambiental Estratégica (EAE) se refiere a la evaluación de programas y de políticas prioritarias.
También está el método de evaluación conocido como análisis del ciclo de la vida (life cycle assessment, LCA) formalizado a principios de los noventa como respuesta a la necesidad de conocer y valorar los efectos medioambientales de los productos, procesos y actividades generados por las intervenciones.
Evaluación específica
In-depth evaluation
Evaluation approfondie
Consiste en concentrar una evaluación o parte de ella en una categoría determinada de productos, en un grupo, o en una categoría de impactos. Esto permite un análisis más específico, al contrario de la evaluación global, que pretende ser exhaustiva.
La evaluación global de un programa puede acompañarse por el análisis específico de una o más cuestiones. Así mismo, puede optarse por realizar una evaluación dedicada exclusivamente al análisis específico de una única cuestión. La concentración en una cuestión específica permite emplear técnicas de evaluación más rigurosas y por lo tanto más fiables, sobre todo para observar la conducta de los destinatarios, estudiar un grupo de comparación, o analizar los efectos netos. El análisis específico, al concentrarse básicamente en la observación sobre el terreno de los efectos, tiene relación con la evaluación intermedia y final.
Evaluaciones según utilidad
La utilidad de una evaluación está en función de los protagonistas a los que se dirige y su finalidad. Antes de desarrollarla conviene aclarar algunos términos relacionados con ella:
- Retroalimentación (Feedback, Rétroaction): El feedback existe cuando la observación de resultados e impactos en el campo se utiliza para ajustar la implementación de una intervención, o para hacer cambios más radicales, incluso cuestionando la existencia de la intervención. La retroalimentación es el propósito principal de la evaluación cuando tiene una orientación de gestión, formativa o de aprendizaje.
- Aprendizaje organizacional (Organisational learning, Apprentissage organisationnel): Es el hecho de que las lecciones extraídas de la experiencia son aceptadas y retenidas por las instituciones u organizaciones responsables de la intervención. El aprendizaje va más allá del feedback, las lecciones son capitalizadas o pueden ser aplicadas a otras intervenciones.
- El aprendizaje directo (llamado aprendizaje de bucle simple) existe cuando los usuarios aprenden que la intervención ha sido un éxito o un fracaso. Esto puede llevarles, por ejemplo, a reducir los presupuestos asignados a las intervenciones menos importantes.
- El aprendizaje indirecto (llamado aprendizaje de bucle doble) existe cuando los usuarios se dan cuenta de que ellos deben cuestionar sus presuposiciones básicas (su teoría de acción). Esto puede causarles, por ejemplo, reorganizar la implementación de las intervenciones menos exitosas.
- Contabilidad (Accountability, Rendre des comptes): Es la obligación de los actores participantes en la introducción o implementación de un programa de desarrollo, de proporcionar a las autoridades y al público general la información y explicación de los resultados esperados y actuales de una intervención, respecto al uso notorio de recursos públicos.
Desde una perspectiva democrática, la contabilidad es una dimensión importante de la evaluación. Las organizaciones y autoridades públicas están aumentando de manera progresiva sus peticiones de transparencia cara a cara a sus contribuyentes. Con este espíritu, la evaluación debe ayudar a explicar simplemente dónde se gasta el dinero, que efectos produce y cómo se justifica el gasto.
Evaluación formativa
Formative evaluation
Evaluation endoformative
Es la evaluación que está dirigida a gerentes y protagonistas directos, para ayudarles a mejorar sus acciones (retroalimentación o feedback). La evaluación formativa se aplica principalmente durante la implementación (evaluación continua o intermedia). Se centra principalmente en los procedimientos de implementación y su efectividad y relevancia. La distinción entre evaluación formativa y de resumen ha sido definida de manera ingeniosa: Cuando el cocinero prueba la sopa, es formativa; cuando los invitados prueban la sopa, es de resumen
Evaluación de resumen
Summative evaluation
Evaluation récapitulative
Se llama a así a la evaluación realizada por actores que no están implicados directamente en la gestión de la intervención pública (instituciones políticas o profesionales, fundaciones, la prensa, etc.) para producir una valoración global y distante de una determinada intervención.
Se dice que la evaluación es de resumen o recapituladora cuando se dirige a la contabilidad de las acciones, y cuando sirve tanto para juzgar la intervención pública como para ayudar a las autoridades responsables a decidir sobre su lanzamiento, mantenimiento, aplazamiento, supresión y reproducción. En tales instancias, los usuarios son cuerpos financiadores externos y posiblemente otros actores sociales que puedan decidir para sus propios propósitos sobre la conveniencia de adoptar mejores prácticas identificadas durante la evaluación del programa
Evaluación participativa
Stakeholder evaluation, partnership evaluation, pluralistic evaluation
Evaluation participative, evaluation partenariale, evaluation pluraliste
El enfoque pluralista diseñado como un proceso de solución de problemas colectivo implicando a todas las partes a las que concierne. Sobre las bases de la información creíble aceptadas por todos, los juicios de valor son formulados mediante acuerdos de búsqueda dentro del ámbito de la autoridad de evaluación consistente en oficiales administrativos y políticos, así como en interlocutores para los grupos a los que concierne.
Evaluación como aprendizaje social
Evaluation as social learning
Évaluation comme apprentissage social
La evaluación concebida como un aprendizaje de todos los protagonistas implicados en su realización. No se trata tan sólo de un enfoque pluralista entre todas las partes implicadas, supone una predisposición de todos los participantes por aprender: los expertos de la población, y la población de los expertos, en un intercambio de conocimientos y experiencias que termina enriqueciendo los ejercicios de seguimiento y evaluación.
Es un tipo de evaluación que implica las tres anteriores, la evaluación formativa, la de resumen y la participativa. Implica abrir un proceso de participación cuyo objetivo es el aprendizaje de todos. Siguiendo con el símil anterior, el cocinero prueba la sopa, los invitados también y tratan de llegar a un consenso sobre los mejores modos de hacer.
Evaluación democrática
Democratic evaluation
Évaluation démocratique
Un enfoque evaluativo dirigido a mejorar la calidad y transparencia del debate democrático, tanto a través de la promoción de un conocimiento y entendimiento de la lógica y efectos de la intervención como a través de un juicio de su justificación y efectividad.
La evaluación se define como un “juicio sobre los valores de la intervención” por personalidades elegidas de manera democrática. Los profesionales de la evaluación están al servicio de esta autoridad y tienen un papel técnico exclusivo. El proceso es público. Este tipo de evaluación se aplica en el caso de una intervención experimental que, a la vista de los resultados obtenidos tras los primeros años, debe ser confirmada mediante votación.
Evaluación de gestión
Managerial evaluation
Evaluation managériale
Un enfoque evaluador integrado en la gestión de las intervenciones públicas, y dirigida hacia cambios recomendatorios relacionados tanto con la toma de decisiones (feedback) como con el comportamiento de los actores responsables de la implementación de la intervención.
La aproximación general de la evaluación de gestión es similar a la de la nueva gestión pública, y está dirigida a coordinar el problema del estancamiento de la renta pública. La cuestión subyacente puede formularse de la siguiente manera: ¿cómo puede justificarse la compensación entre las diferentes políticas sectoriales? El enfoque dominante aquí que sucede dentro del ámbito de la administración, es el de la “optimización” de los recursos presupuestarios.
La calidad de la evaluación de gestión se basa en dos principios: la independencia del evaluador y la objetividad del método. La objetividad debe garantizarse por la calidad del sistema de indicadores utilizado, la fiabilidad de la información y la neutralidad en la interpretación de los resultados.
Referencias citadas:
Comisión Europea (1999). MEANS collection: evaluating socio-economic programmes. Directorate-General for Regional Policy, & Cohesion. Office for Official Publications of the European Communities.
About Carlos Plaza
46. Complementación de enfoques: El enfoque top-down frente al enfoque bottom-up en la evaluación
Tradicionalmente han existido dos enfoques de aproximación al desarrollo, a su planificación, seguimiento y evaluación: los enfoques descendente (top-down) y ascendente (bottom-up). Estos enfoques parten de la necesidad mutua que existe entre los planes y los proyectos. Planes a gran escala que ordenen y orienten los proyectos y unidades de inversión, y proyectos a pequeña escala que concreten los planes y grandes líneas de actuación. La diferencia entre ambos enfoques se relaciona con el dilema que con frecuencia se ha planteado sobre la primacía cronológica de unos u otros. Analicemos el papel que ambos enfoques han tenido dentro de campo de la evaluación.
En el enfoque descendente, característico de las grandes organizaciones internacionales, lo principal ha sido siempre el problema. Los modelos de evaluación creados bajo este enfoque se estructuran sobre la base de cuestiones básicas que se buscan resolver, estableciendo las propiedades de los programas y desarrollando en detalle las especificaciones, es decir, mirar la aplicación desde arriba, en forma general para luego ir a los niveles de detalle. Se trata de modelos centrados en las repercusiones globales de las intervenciones, en las interacciones de los diversos programas o medidas implementados y en los efectos directos a corto plazo.
Esta visión, predominante en la planificación hasta la segunda mitad de los años 70, ha tendido a identificar desarrollo con crecimiento económico. Esto hace que a la hora de evaluar prime la idea de eficacia frente a la de equidad, lo que unido a la ausencia de consideración del componente social y territorial resulten unos modelos de evaluación que no tienen en cuenta el incremento y consolidación de los desequilibrios.
El enfoque ascendente ha sido más característico de organizaciones no gubernamentales (ONG), que cooperan con entidades locales como universidades, empresas, hospitales, etc., con objeto de poner en marcha proyectos y programas en campos que afecten directamente a beneficiarios locales. Este enfoque se centra primero en los detalles de la aplicación para llegar luego al sistema global.
Se trata de un enfoque que surge en los trabajos de planificación de los años 80, bajo un punto de vista más integrado y una visión más amplia del desarrollo. El enfoque plantea un desarrollo desde abajo que en absoluto se cierra ante las políticas a otros niveles sino que complementa las actuaciones en el ámbito regional o nacional con la revalorización de lo local y que no sólo permite sino que exige una participación activa de las instituciones, agentes y valores socioculturales locales. Dentro de este modelo la identidad propia de lo local es el pilar fundamental y la participación es condición imprescindible.
Los modelos de evaluación surgidos de este enfoque tienen una clara vocación participativa donde los beneficiarios del desarrollo tienen un papel activo muy importante. El enfoque ascendente, al partir de una muestra de proyectos y medidas, puede traducir mejor los efectos a largo plazo que el enfoque descendente, efectos que resultan más estructuradores e indirectos. Por el contrario, el enfoque ascendente no permite agregar los efectos a escala de medidas y de programa, por lo que las consideraciones cualitativas sobre la eficacia de las medidas y el nivel de adicionalidad de las intervenciones han de corresponder al enfoque descendente.
En cuestiones de impacto, una combinación de los enfoques acendente y descendente puede aportar un valor añadido al análisis, en particular si se apoya en técnicas de modelización o de formalización. Pero falta todavía un lazo de unión importante entre ambos enfoques en la mayoría de los casos. Este puente lo puede constituir un modelo de evaluación que se inserte en la tradición del aprendizaje social (Friedmann, 2001) cuya creencia esencial es que la práctica y el aprendizaje están concebidos como procesos correlativos, de forma que un proceso implica otro.
Este modelo de evaluación de los resultados, al igual que en la planificación como aprendizaje social, tendría una doble dirección ya que, partiendo de las aportaciones de los agentes beneficiarios a nivel proyecto elabora criterios y resultados para la evaluación, y, de otro lado, refleja sus propios criterios y resultados conforme a la evaluación del programa que tiene en el horizonte.
La evaluación de un programa no es ni la suma ni la síntesis de las evaluaciones de sus proyectos. Algunas cuestiones de evaluación no tienen sentido al nivel de un proyecto individual pero sí resultan interesantes en la evaluación global del programa. Lo que es importante es que los resultados obtenidos en la evaluación de un determinado nivel de análisis sirvan de base para la realización de una síntesis a un nivel superior.
La evaluación de un proyecto debe ser realizada en relación con los objetivos del programa. Inversamente, en la evaluación global del programa, a menudo se ha de ir de los proyectos al programa en un proceso ascendente. En muchos casos el análisis inicial se puede centrar en los proyectos y medidas específicas para extenderse luego en el programa completo y poder estudiar la causalidad de los impactos. En este sentido la evaluación de los proyectos contribuye a la evaluación del programa.
La ventaja encontrada en esta articulación de proyecto a programa es la posibilidad de obtener una detallada explicación de la secuencia de impactos a corto y medio plazo. Los límites de este enfoque ascendente están en el hecho de que obliga al equipo evaluador a hacer un conjunto cada vez mayor de suposiciones a medida que los efectos a evaluar van siendo más distantes y complejos, los llamados efectos globales. La articulación con el enfoque descendente ayuda a estimar esta repercusión global de los impactos producidos por las intervenciones. Se trata de un ejercicio de contraste entre la información obtenida directamente en el enfoque descendente con la deducida a través de las suposiciones del enfoque ascendente.
El aprendizaje social como puente para una auténtica combinación de los enfoques descendente (top-down) y ascendente (bottom-up) en las evaluaciones.
El dilema sobre el uso de un enfoque u otro puede resolverse en la práctica conjugando los dos enfoques opuestos de tal forma que, por aproximaciones sucesivas, nos conduzca a la elaboración de una evaluación que englobe la información detallada obtenida directamente de los proyectos específicos, cuyos resultados finales coinciden con los resultados generales del plan. El análisis de proyectos específicos representa aquí el último acto de la evaluación global desde arriba y el primero de la evaluación desde abajo. En definitiva, ambos enfoques son necesarios y es importante que ambos enfoques puedan complementarse para aumentar las posibilidades de los trabajos de evaluación.
Referencias citadas:
Friedmann, J. (2001). Planificación en el ámbito público. Ministerio de las Administraciones públicas. Madrid (Original de 1991).
About Carlos Plaza
Factores que afectan al uso de la evaluación
El primer requisito de las actividades de evaluación es el de producir evaluaciones que sean útiles (Patton, 2008). Sin embargo, la utilidad de las evaluaciones es un aspecto que ha quedado relegado en muchos ejercicios de evaluación a favor del rigor metodológico, sofisticados análisis estadísticos, o dimensiones como la validez o la credibilidad que no resuelven el problema de que las evaluaciones no se usen. La actividad profesional se enfrenta así a un doble reto: fomentar usos apropiados de las evaluaciones y trabajar por eliminar usos inapropiados.
Las evaluaciones deben juzgase por su utilidad, y se usarán siempre que el fundamento para su uso sea cuidado apropiadamente. Para ello es necesario identificar los grupos afectados por la evaluación, sus necesidades y valores; realizar diseños de evaluación adecuados; así como cuidar la oportunidad del momento en que se realiza la evaluación y la diseminación de sus resultados.
Los evaluadores deben diseñar sus evaluaciones con atenta consideración a cómo todo lo que se hace, desde el comienzo hasta el final, afectará a la utilidad de la evaluación. Destacan aquí cinco factores a tener en cuenta (Patton, 2008).
-
El factor personal
El tema de la utilidad y uso de las evaluaciones no es una abstracción, se trata de un uso intencionado y concreto llevado a cabo por personas concretas. Es fundamental localizar a estas personas, reales y específicas, e interaccionar adecuadamente con ellas para determinar el tipo de evaluación que necesitan (en cuanto contenidos, métodos y usos). Son estas personas las que tendrán la responsabilidad de aplicar los resultados de la evaluación y poner en marcha sus recomendaciones. Y lo harán con mayor probabilidad si sienten que la evaluación en suya y se han visto envueltos en las actividades de evaluación. Es por ello que el primer reto de un evaluador es generar compromiso con la evaluación y su uso, que se valoren las actividades de evaluación y se comparta la visión de lo que se va a realizar.
-
Cultura de la organización
Todo lo dicho sobre el factor personal es aplicable a la organización en la que trabajan las personas implicadas en la evaluación. Las actividades de evaluación son parte de un proceso de aprendizaje más amplio que promueve la apropiación y establecimiento de procedimientos que permitan mejorar los programas y proyectos promovidos por la organización.
-
Consideraciones políticas
Es importante dar la información más oportuna a la gente más apropiada para fomentar el uso de la evaluación. Para ello hay que establecer los vínculos de relaciones adecuados durante el proceso de evaluación, entender cómo piensa la clase política e identifcar venatas de oportunidad para los resultados de las actividades de evaluación.
-
Evidencia
Proveer de buenas y creíbles evidencias es fundamental para el uso de los resultados de una evaluación. Estas evidencias contribuirán a reforzar creencias que ya existían o cambiar modos de pensar que contribuyan a la mejora continua.
-
Estrategia de comunicación y difusión de resultados
Es importante contar con una estrategia de comunicación y difusión de resultados que sea eficaz. Para ello es necesario preguntarse quién es el público al que va dirigida, cuáles son los intereses de ese público (contenido a difundir), cuál el momento más oportuno para hacerles llegar la información, y cómo hacerlo. Este cómo, el formato de comunicación, puede hacerse de muchas formas y bajo diferentes enfoques y herramientas. Para ello hay que tener en cuenta los diferentes intereses de las diferentes audiencias para diseñar productos diferenciados en nuestra estrategia: informes, resúmenes, pdfs interactivos en la red, informes visuales hechos con diapositivas, folletos, boletines, presentaciones orales, discusiones, exposiciones de fotos y posters, artículos periodísticos, escenas teatralizadas…
Referencias citadas:
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
