Inicio » Entradas etiquetadas como «evaluación de proyectos» (Página 5)
Archivos de la etiqueta: evaluación de proyectos
La evaluación en la Sociedad del Conocimiento
Con el desarrollo de la informática y las telecomunicaciones los sistemas de información han ido ido evolucionando en los últimos años, ganando en eficacia y almacenando mayor cantidad de información en el menor espacio posible. Actualmente existen enormes sistemas de información gestionados por ordenadores para la recogida de datos sobre cualquier cosa que pase en el mundo. Cientos de satélites recogen cantidades masivas de información de todo tipo, climática, geográfica, ambiental, social, etc.
Nuestra sociedad —la Sociedad del Conocimiento y las comunicaciones— ha desarrollado la capacidad de generar, almacenar, transmitir, e instantáneamente comunicar información. Diferentes organizaciones han comenzado a construir sistemas para la gestión de esta ingente cantidad de información. Según la web whois source actualmente hay 142 millones de dominios activos en internet, y en torno a mil millones de páginas. También se ha estimado que se han publicado más de 50 millones de artículos científicos y la producción científica se duplica cada nueve años.
El reto está en discriminar, saber qué información merece la pena. Existen respuestas pero no preguntas, las empresas tienen datos sobre todos los aspectos de sus clientes pero no saben qué necesitan saber sobre ellos. “¿Qué merece la pena saber? Esta es la pregunta clave de la Sociedad del Conocimiento. La importancia de esta situación para la evaluación es el hecho de que nunca como hasta ahora en la historia de la humanidad, ha sido tan verdad la afirmación de que el conocimiento es poder”.
El poder ha sido definido de diferentes modos a lo largo de los años. De acuerdo con los historiadores, los seres humanos aparecieron hace 3-5 millones de años en el Este de África. Durante mucho tiempo los hombres vivieron de la caza constituyendo pequeñas sociedades. Después vino la revolución de la agricultura hace unos 10.000 años y la revolución industrial hace 300. En el último cuarto del siglo XX hemos visto emerger la era de la información. En la era de la agricultura el poder estaba en la tierra, en la era industrial el poder estaba en el capital. En la era de la información el conocimiento es poder, con el conocimiento acertado se puede conseguir tierra y capital.
La evaluación —como actividad para la mejora, fortalecimiento y adquisición de capacidades y no como simple generación de resultados e informes— aborda las preguntas fundamentales de nuestro tiempo: ¿En qué información merece la pena fijar la atención?; ¿cómo juntar la información de cara a convertirla en conocimiento?; ¿cómo sabemos qué es real? (Patton, 1999). A estas cuestiones señaladas por Patton podemos añadir una cuarta: ¿cómo discriminar la información buena de la mala?
Ante las innumerables cuestiones a las que puede responder un evaluador ante una evaluación concreta, el gran reto está en resolver qué merece la pena saber y hacer para obtener información útil en un momento adecuado para la toma de decisiones. En definitiva, averiguar qué es lo que crea la diferencia entre lo que la gente hace.
La evaluación se ha convertido en una profesión clave para la eficacia. Los evaluadores no son sólo consultados para la evaluación sino también para el diseño de programas, especialmente en Norteamérica. Los evaluadores han analizado muchos programas y pueden ayudar a mejorar su eficacia. En esta línea se ha creado todo un campo de investigación para el estudio de los expertos de evaluación para averiguar qué es lo que les capacita como tales expertos. Parte de esta investigación es el desarrollo de la inteligencia artificial en la evaluación, sistemas expertos que puedan ayudar a la evaluación.
El papel clave de la evaluación para mejorar la programación a través de una adecuada retroalimentación y mejorar la gestión de los programas a través de un adecuado seguimiento o monitoreo, es en la actualidad ampliamente reconocido. A través de la evaluación se pueden determinar los efectos socioeconómicos de las acciones emprendidas, compararlos con los recursos invertidos, analizar su coste y mejorar las futuras políticas, programas y proyectos a través de la retroalimentación y lecciones aprendidas, y proporcionar así una base para la responsabilidad y la fundamentación a los encargados de tomar decisiones en acciones futuras. Se trata en definitiva de comprender mejor para actuar mejor, resolver mejor los problemas y lograr mejor los objetivos buscando el perfeccionamiento de los resultados.
El potencial pleno de las actividades evaluativas de seguimiento o monitoreo se pueden comprender sólo cuando se ven como parte integral del proceso de gestión y los directores de los programas aceptan su importancia y utilidad. La buena gestión necesita y demanda un buen sistema de información, pero este sistema, por muy robusto que sea conceptualmente, no puede sobrevivir a una gestión ineficaz o a estructuras de gestión mal diseñadas. La finalidad del seguimiento o monitoreo es ayudar a la gestión a establecer y mantener un sistema de información y a utilizarlo con oportunidad. El seguimiento comprende también la confrontación de los datos registrados del programa y la recopilación de datos suplementarios para el análisis y la interpretación que se precisan a fin de adoptar decisiones relacionadas con el funcionamiento del programa.
Retroalimentación y capacidad de aprendizaje en las funciones de seguimiento y evaluación.
Referencias citadas:
Patton, M. Q. (1999). Utilization- Focused Evaluation in Africa: Evaluation Training Lectures delivered to the Inaugural Conference of the African Evaluation Association. Ed. P.N. Chaiban and M. Patel.
About Carlos Plaza
Relación entre seguimiento y evaluación
El seguimiento y la evaluación están íntimamente vinculados. Ambos constituyen instrumentos necesarios para aportar elementos de juicio al proceso de toma de decisiones y demostrar la rendición de cuentas. Ninguno de los dos reemplaza al otro. La evaluación aprovecha la base de datos creada durante el proceso de seguimiento, suplementándola según sea necesario con datos sobre el efecto causado por el programa y repasando la información combinada en el curso de un período prolongado a fin de juzgar lo realizado.
Las funciones de seguimiento y evaluación de un programa de desarrollo. Fuente: Elaboración propia.
Las características y diferencias de una y otra actividad se definen en la siguiente tabla:
Características y diferencias entre seguimiento y evaluación |
|
Seguimiento |
Evaluación |
| Continuo | Periódica, en etapas importantes: a mitad del período de implementación del programa, al final o al cabo de un período sustancial después de finalizado el programa |
| Análisis poco profundo, supervisa, analiza y documenta los progresos registrados | Análisis a fondo; compara la planificación con los logros reales |
| Se centra en el seguimiento del beneficiario y en las realizaciones físicas y financieras | Se centra en el análisis del planteamiento y lógica de intervención, aplicación y gestión, y en el impacto |
| Responde qué actividades se realizaron y qué resultados se obtuvieron | Responde por qué y cómo se obtuvieron los resultados al contar con una mayor profundidad en el análisis. |
| Alerta a los administradores acerca de los problemas y brinda opciones para la adopción de medidas correctivas | Brinda a los administradores opciones de estrategia y de política |
| Análisis interno (autoevaluación) de los gestores y los interesados locales | Análisis externo a cargo de los evaluadores externos |
| Consumo interno del que se benefician los gestores y los interesados locales de la intervención | Consumo interno y externo del que se benefician los gestores, los interesados locales y los encargados del control externo de la intervención |
El seguimiento debe ser integrado a la estructura de gestión del programa, pero la evaluación, con sus horizontes más amplios, no es necesariamente un componente tan integral. Debemos considerar el seguimiento y la evaluación como funciones independientes una de la otra. Se encuentran separadas por sus objetivos, períodos de referencia, necesidades de análisis y usuarios. Pero una vez destacadas las diferencias, es necesario hacer constatar que hay características comunes que realzan la relación existente entre las dos actividades.
El seguimiento del programa y la evaluación deben colaborar con objeto de utilizar los recursos de manera eficiente sin perder de vista la finalidad primaria de acopiar recursos para información interna del programa, esto es, el suministro de un sistema de información diseñado para satisfacer las necesidades de gestión del programa.
Relación entre las funciones de seguimiento y evaluación
Conceptos relacionados con la evaluación: seguimiento, control, auditoría, investigación
Al no haber unidad de criterio al definir el seguimiento y la evaluación se produce una cierta confusión semántica por lo que trataré de llegar a unas definiciones adecuadas dentro del campo del desarrollo (U.N., 1984; Casley & Kumar, 1990; FAO, 1999; Comisión de la UE, 1999; 2002).
Lo más práctico es comprender el uso de los términos de seguimiento y evaluación, advirtiendo la relación existente entre ellos y las distinciones que cabe establecer. Esta distinción depende del uso y significado que se haga de ellos. En Norteamérica el seguimiento es conocido como la gestión de sistemas de información (management information systems), dejando claro que el propósito de ambas actividades es más para la gestión que para la evaluación (Patton, 1997).
Por seguimiento podemos entender la valoración continua tanto del funcionamiento de las actividades del programa en el contexto de los calendarios de ejecución como de la utilización de los insumos del programa por parte de las poblaciones fijadas como objetivo en el contexto de las expectativas del diseño. Un examen exhaustivo y periódico de los recursos, productos (outputs) y resultados de las intervenciones.
El seguimiento es parte integral del día a día de la gestión. Responsabilidad de los gestores encargados de la implantación de una intervención. El seguimiento es una actividad interna del programa (evaluación interna) realizada por los propios gestores del programa, parte esencial de una buena práctica de gestión y, por tanto, parte integral de la gestión diaria.
Esto supone que gran parte de la labor de vigilancia será realizada por los propios gestores de programa, con la ventaja de asegurar una retroalimentación óptima de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse.
Se distinguen en el seguimiento dos tareas fundamentales, por un lado la elaboración de un sistema de información, y por otro, la valoración continua de la marcha del programa que llamaremos autoevaluación (self-evaluation), de consumo interno y basada en el sistema de información.
El seguimiento se basa en un sistema de información coherente que incluye informes, estudios, balances, indicadores, etc. Ese sistema comprende los registros básicos físicos y financieros, los detalles de insumos y servicios suministrados a beneficiarios y los datos obtenidos de encuestas y otros mecanismos de registro, diseñados específicamente para atender a la función de seguimiento. Sin embargo, la evaluación, por lo común lleva consigo el establecer comparaciones que requieren información procedente externa al programa, en tiempo, zona o población.
La autoevaluación puede definirse como un proceso sistemático de valoración continua (evaluación sobre la marcha) de la pertinencia, eficiencia y eficacia de un programa durante su ejecución, realizado por los gestores de una intervención. La autoevaluación debe ser un ejercicio de reflexión interna de carácter voluntario dirigido a facilitar el aprendizaje. La autoevaluación trata de ejercicios sencillos encaminados a poner el acento en las recomendaciones prácticas que permitan el aprendizaje social y posibles cambios de rumbo en los programas.
La autoevaluación y el sistema de información deben estar diseñados uno en función del otro de manera que en el sistema de información se incluyen casi todos los campos cubiertos por la autoevaluación. En muchas ocasiones la línea divisoria entre ambos resulta muy tenue y no es posible decir dónde se detiene uno y comienza el otro. Cualquier diferencia entre estas dos actividades es meramente de énfasis. El sistema de información tiende a enfocarse más a las cuestiones de ejecución del programa, en tanto que la autoevaluación aborda los resultados probables de las intervenciones. Y en general puede decirse que el sistema de información alimenta la autoevaluación y posibilita la elaboración de recomendaciones prácticas, cuya verificación y uso permitan la mejora de la intervención.
De acuerdo con esta visión, las descripciones individuales de seguimiento del contacto con el beneficiario, de las realizaciones físicas y financieras y la evaluación interna en conjunto constituyen lo que se ha venido llamando seguimiento del programa. En definitiva podemos definir el seguimiento como: La actividad interna de una intervención, realizada por los propios gestores como parte integral de la gestión diaria, que realiza una valoración continua del contacto con los beneficiarios y de las realizaciones de la intervención sobre la base de un sistema de información y autoevaluación y dirigida a facilitar el aprendizaje, el fortalecimiento, adquisición de capacidades y la mejora continua.
La evaluación se distingue de otros procedimientos más normativos, tales como el control, la auditoría (audit) financiera o de gestión, que están encaminados a verificar, ya sea la regularidad, ya sea la legalidad o la ortodoxia financiera, o incluso a detectar errores, fallos o vicios de procedimiento. La principal distinción con la evaluación está por tanto en el objetivo y centro de atención, que en el caso de la evaluación es la valoración del mérito, valor e importancia. En otros términos, la evaluación no debe ser una herramienta de legitimación o deslegitimación de la ayuda, sino un mecanismo de aprendizaje que retroalimente información hacia quienes toman las decisiones. Otra distinción es quién realiza cada actividad: el seguimiento la realizan los gestores de una intervención, la evaluación evaluadores externos que se contratan, y el control y auditoría típicamente está relacionada con los organismos públicos de control.
Por último la evaluación se distingue de la investigación también en su objetivo: mientras que la investigación busca demostrar aspectos de la realidad con evidencias científicas, la evaluación busca mejorar esa realidad a través de juicios de valor en los que se pueda apoyar la toma de decisiones. La investigación busca en primera instancia aumentar el conocimiento (generalizable) en un determinado campo del saber mientras que la evaluación busca ayudar a la toma de decisiones y servir a propósitos específicos de las partes interesadas afectadas por lo que se está evaluando. Esas partes interesadas son las que en gran medida marcan la agenda de la evaluación, mientras que la agenda de la investigación la suele marcar el investigador que la realiza. La motivación por tanto también suele tener un enfoque distinto: curiosidad e interés científico en el caso de la investigación, y solucionar un problema concreto en el caso de la evaluación.
Referencias citadas (Puedes conseguir un ejemplar pinchando en los enlaces):
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
FAO (1999). Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación. Organización de las Naciones Unidas para la Agricultura y la Alimentación. Roma.
U.N. (1984). Guiding principles for the design and use of monitoring and evaluation in rural development projects and programmes. ACC Task Force on Rural Development. Panel on monitoring and evaluation. United Nations. Roma.
Buscando una definición de evaluación
La evaluación no debe ser vista ante todo como una actividad técnica o metodológica. Tampoco ha de ser entendida como la elaboración de informes. Es una actividad que principalmente implica pensar. La evaluación es en su sentido más profundo una vía para reflexionar sobre lo que está pasando. Muy íntimamente unida a esta apertura de un ámbito para reflexión, está el potencial de la evaluación para hacer repensar y analizar, generar capacidades entre la población afectada por un proceso de evaluación, y la mejora de las intervenciones que modifican la realidad que les rodea.
La evaluación como práctica profesional se ha venido definiendo como “el proceso de determinar el mérito, interés e importancia de las cosas” (Scriven, 2005, p. 235). Pero veamos cada uno de estos tres términos.
El mérito (merit) está relacionado con las propiedades intrínsecas, características o atributos de lo que estamos evaluando en comparación con los criterios de calidad utilizados. Por ejemplo, en el caso de una manzana estaríamos hablando de su sabor, apariencia, color, estado de madurez… En la evaluación de programas decimos que un programa tiene mérito cuando: 1) cumple con lo que estaba llamado a hacer, logrando los resultados esperados, y 2) supone una diferencia significativa en la realidad como consecuencia de su implementación.
El interés (worth) es la estimación de lo que vale lo que estamos evaluando en comparación o equivalencia a otra cosa, típicamente el dinero. Así que mientras el mérito puede ser difícil de medir, el valor suele expresarse en un valor monetario fácilmente medible. En el caso de la manzana estaríamos hablando de su precio. En el caso de la evaluación de programas podemos estar hablando de la comparación de dos programas (uno más barato que otro y por tanto con más valor) o la comparación de un mismo programa en dos sitios distintos (uno con más impacto que otro y por tanto con más valor).
La importancia (significance) se refiere a los valores y significación que asociamos a aquello que estamos evaluando. Es preguntarse por lo que lo hace especial o significativo para unos individuos concretos. En el caso de la manzana podríamos estar hablando de su importancia por quién me la ha regalado o por el hecho de que es lo único que tengo para comer; su mérito y valor pueden ser pequeños pero su importancia mucha. En el caso de la evaluación de programas podemos hablar de programa ineficaces, con impacto muy limitado, pero con una alta importancia por su valor simbólico por ser el único que cubre una determinada necesidad de un sector vulnerable de la población.
La evaluación supone así la emisión de un juicio por parte de un sujeto sobre el mérito derivado de las características intrínsecas de lo que evaluamos, el interés en referencia a una determinada moneda (u otro referente que se considere adecuado) y la importancia en relación a características adheridas por el contexto y las personas que rodean lo que evaluamos. Pero es fundamental que ese juicio sobre el mérito, interés e importancia que se emite se fundamente en hechos objetivos y concretos. La evaluación es una actividad en la que partiendo de los hechos (objetivos) llegamos a un juicio (realizado por un sujeto) sobre esos hechos. Este juicio es subjetivo por naturaleza, pero deberá tratar de aproximarse a la realidad y objetividad de los hechos lo máximo posible.
En la evaluación de programas, podemos decir que una evaluación es una valoración, tan sistemática y objetiva como sea posible, de un proyecto, programa o política en marcha o terminado, su diseño, aplicación y resultados (Comisión de la UE, 2002). Evaluar una acción, una operación, un proyecto, un programa, significa examinarlo en su contexto de aplicación, para poder apreciar los efectos en relación con una situación de referencia, y juzgar su impacto en relación con los objetivos perseguidos: impacto global, utilidad social, interés económico… En este sentido, la evaluación es una valoración periódica del programa en el contexto de sus objetivos declarados (Casley & Kumar, 1990).
Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en la toma de decisiones. Para ello es importante preservar la independencia y objetividad de los evaluadores con respecto a los gestores y autoridades financieras, y que la evaluación constituya una actividad externa del programa realizada por profesionales ajenos a la gestión y control del programa.
La evaluación aplicada a un programa de desarrollo, examina de que manera el programa, y las diversas operaciones que lo integran, aporta soluciones a los problemas identificados, alcanza los objetivos fijados, crea nuevos valores económicos, sociales y culturales, así como las condiciones de una dinámica sostenible de desarrollo. En definitiva podemos intentar definir la evaluación de programas como: La actividad externa de una intervención, tan sistemática y objetiva como sea posible, que lleva a cabo de forma periódica el análisis y valoración a fondo de la intervención o aspectos concretos de ella, su diseño, aplicación y resultados, con referencia a unos criterios y estándares explícitos; lo que lleva a un juicio de valor sobre el mérito, interés e importancia y a una oportunidad para el aprendizaje y mejora continua de la intervención y la toma de decisiones sobre futuras intervenciones.
Referencias citadas:
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
SCRIVEN, M. (2005). Logic of evaluation. In S. Mathison (Ed.), Encyclopedia of evaluation (pp. 235-238). Thousand Oaks, CA: Sage.
