Inicio » Entradas etiquetadas como «autoevaluación»
Archivos de la etiqueta: autoevaluación
Puesta en marcha de un sistema de autoevaluación para el seguimiento
Después de abordar la puesta en marcha de un sistema de información, abordamos a continuación el segundo elemento fundamental con el que ha de contar el seguimiento: el sistema de autoevaluación. Al introducir la autoevaluación, hay que tener cuidado y asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El apoyo logrado debe verificar la calidad del proceso y ha de permitir comprender mejor los aspectos financieros y relacionados con la gestión. Un buen sistema de autoevaluación debe contar con tres características:
- Este tipo de evaluación se refiere a un proceso continuo y no a ejercicios especiales. Proporciona información retroactiva constante al administrador a fin de que se puedan adoptar medidas correctivas.
- Consiste en ejercicios sencillos internos que no suponen mucha recopilación de datos. Las evaluaciones sobre la marcha se basan invariablemente en los productos del sistema de información del seguimiento.
- La evaluación acentúa principalmente las recomendaciones prácticas que surgen del programa.
La autoevaluación permite analizar las últimas actividades y preparar mejor el futuro. Por su proximidad al terreno, la autoevaluación pone de relieve tanto los elementos más visibles y fácilmente objetivables como aspectos poco visibles que en general son poco reconocidos o puestos de relieve por una evaluación externa, en particular, los aspectos cualitativos e inmateriales. Las ventajas de efectuar una evaluación sobre la marcha son obvias:
- En primer lugar proporciona información retroactiva sistemática a los administradores de programas y de este modo facilita la integración del seguimiento en el programa.
- En segundo término, toda vez que la evaluación sobre la marcha corre a cargo del propio personal del programa para consideración interna, el personal tiene un motivo poderoso para estimar objetivamente los puntos débiles y fuertes del programa; no necesitan mostrarse defensivos ni evasivos acerca de su progreso.
- En tercer lugar, dado que el personal tiene un convencimiento íntimo de las actividades del programa, las recomendaciones que se derivan del proceso de evaluación deben ser prácticas y pertinentes. Es más probable que los administradores las lleven a la práctica que las recomendaciones de gentes de fuera, quienes pueden creer que no comprenden sus problemas ni aprecian sus perspectivas.
Ahora bien, una evaluación sobre la marcha no es un sustituto de las evaluaciones externas llevadas a cabo en las distintas etapas de una intervención. Es, eso sí, un buen complemento y en gran parte, su fundamento.
Relación entre el sistema de información y la autoevaluación
La relación entre el sistema de información y la autoevaluación constituye un engranaje fundamental dentro de un sistema de seguimiento para la consecución del aprendizaje sobre la marcha durante la etapa de ejecución. Los datos obtenidos a través del sistema de información pueden convertirse en conocimiento útil a través de la autoevaluación. La difusión de conclusiones y recomendaciones derivadas de esta autoevaluación posibilita el aprendizaje, tanto de la población como del equipo que gestiona, sigue y evalúa el programa.
El sistema de información y la autoevaluación han de estar diseñados uno en función del otro, de manera que en el sistema de información se incluyen casi todos los campos cubiertos por una evaluación interna sobre la marcha. En realidad, la línea divisoria de ambos es muy tenue, no es posible decir dónde se detiene el sistema de información y comienza la autoevaluación. Cualquier diferencia entre estos dos conceptos, muchas veces es meramente de énfasis. El sistema de información tiende a enfocarse más en las cuestiones de ejecución del programa, en tanto que la evaluación sobre la marcha aborda los resultados probables de las intervenciones.
Relación entre el sistema de información y la autoevaluación
Verificación y utilización de las recomendaciones
Las conclusiones que se vayan extrayendo de la autoevaluación han de ser verificadas y utilizadas. Un problema importante para diseñar un sistema de seguimiento es que los funcionarios u organizaciones que tienen acceso original a la información se muestran reacios a menudo a cotejarla y difundirla. Hay una tendencia consciente e inconsciente a pasar por alto información que advierte que hay un desempeño deficiente o bien a exagerar hechos positivos. También está el temor a que la información pueda ser utilizada en contra de los trabajadores. En la medida en que el personal del programa suministra información al sistema global, se ha de hacer hincapié en que esa información debe ser verificable y registrada de manera objetiva. Los datos tendenciosos pueden ser más perjudiciales para el sistema que un vacío, que se puede llenar más tarde mediante la recopilación directa de datos.
Por esta razón se hace hincapié en la palabra “interno” de manera que la información tenga un uso interno antes de su difusión. A nivel interno, dentro de la propia administración del programa se reduce enormemente esta tendencia a pasar por alto información. A nivel interno pueden ponerse sobre la mesa todos los problemas para poder buscar una solución, la realidad tal y como está siendo. No un dar cuentas sino un buscar soluciones. No un demostrar que se hacen bien las cosas sino hacerlas de hecho.
Intervención y especificación de metas
Por último se hace necesario definir el modelo de intervención del seguimiento y especificar metas para un eficaz uso de las recomendaciones de la autoevaluación por parte del equipo de gestión. En la ejecución de programas, el progreso hacia el logro de objetivos a corto plazo se mide por la consecución de metas para la conclusión del programa y por la adopción de servicios por la población señalada como objetivo a diversos intervalos.
Algunas de esas metas se especifican en los documentos de evaluación previa del programa, pero otras es necesario elaborarlas en la etapa de ejecución, en particular en el contexto de la preparación de los planes y presupuestos anuales. En los documentos de evaluación previa, algunas metas, aunque cuantificadas, puede que no sean fáciles de verificar a corto plazo. Una meta cuantificada que se pueda verificar con carácter regular y sin demora como parte del proceso de seguimiento, se denomina una meta verificable. Es importante que estas metas, se expresen con referencia a la población beneficiaria prevista y sus grupos de interés.
El sistema de seguimiento se fundamenta en un modelo de intervención –ya sea explícito o no– que explica la relación existente entre éste y el programa, entre las recomendaciones derivadas del seguimiento y el programa. Esta conexión proporciona continua supervisión del programa con la mira puesta en avanzar de las condiciones existentes hacia el estado deseado.
Redacción de informes: el enlace entre el seguimiento y el control
Es necesario definir en qué forma se transmitirá la información. El sistema de información deber ser un proceso de participación conjunta en el que intervenga cada nivel de administración. Su participación activa no sólo estimula a crear un diseño más representativo y que se ajusta más a las necesidades reales, sino que también establece redes de comunicaciones y relaciones que pueden contribuir más tarde a la difusión más amplia y la utilización más provechosa de las comprobaciones y recomendaciones del proceso de seguimiento.
El seguimiento realizado ha de finalizar con la redacción de los informes de seguimiento, recopilación de toda la supervisión realizada hasta el momento de su redacción. Estos informes suponen el suministro –más o menos continuo– de información al sistema global por parte de la administración del programa. Se trata de informes de redacción sencilla que han de contener lo esencial de los hallazgos, haciendo uso de anexos y apéndices en caso de querer extenderse a mayores detalles.
Las administraciones que actúan a cada nivel deben enviar informes periódicos a sus superiores. La redacción de informes durante la etapa de ejecución supone el enlace formal entre la supervisión realizada por el equipo de seguimiento del programa y el control realizado por las autoridades permanentes. Todos los informes realizados por el equipo de seguimiento sirven de base para la realización de los controles y de los informes de control.
El objetivo de estos informes es informar sobre la marcha de los dos principales contenidos del seguimiento, los datos físicos y financieros y las relaciones con los beneficiarios. Principales incidencias, decisiones tomadas, resultados obtenidos… datos que han de ir acompañados de cuadros y tablas que aclaren el mensaje que se desea transmitir e ilustren los puntos sobre los que se desea hacer hincapié.
En el caso de todas las intervenciones plurianuales es conveniente la presentación de informes de seguimiento y control cada año. En los informes se presentarán de forma pormenorizada los progresos de la ejecución de la intervención durante el año anterior. Estos informes se deben elaborar sobre la base de los siguientes elementos:
- Datos sobre el contexto de ejecución de la intervención.
- Progresos realizados en la consecución de las prioridades y objetivos específicos de las medidas y, en su caso, los progresos efectuados en los grandes proyectos, demostrados cuantitativamente mediante los indicadores de seguimiento adoptados al efecto.
- Ejecución financiera de la intervención a nivel de la medida, sobre la base de indicadores cuantificados.
Un aspecto importante para facilitar la transmisión de la información es su informatización. La base de datos creada para el seguimiento ha de permitir emitir los informes de una manera sencilla y rápida en cualquier momento en que se necesiten.
About Carlos Plaza
Conceptos relacionados con la evaluación: seguimiento, control, auditoría, investigación
Al no haber unidad de criterio al definir el seguimiento y la evaluación se produce una cierta confusión semántica por lo que trataré de llegar a unas definiciones adecuadas dentro del campo del desarrollo (U.N., 1984; Casley & Kumar, 1990; FAO, 1999; Comisión de la UE, 1999; 2002).
Lo más práctico es comprender el uso de los términos de seguimiento y evaluación, advirtiendo la relación existente entre ellos y las distinciones que cabe establecer. Esta distinción depende del uso y significado que se haga de ellos. En Norteamérica el seguimiento es conocido como la gestión de sistemas de información (management information systems), dejando claro que el propósito de ambas actividades es más para la gestión que para la evaluación (Patton, 1997).
Por seguimiento podemos entender la valoración continua tanto del funcionamiento de las actividades del programa en el contexto de los calendarios de ejecución como de la utilización de los insumos del programa por parte de las poblaciones fijadas como objetivo en el contexto de las expectativas del diseño. Un examen exhaustivo y periódico de los recursos, productos (outputs) y resultados de las intervenciones.
El seguimiento es parte integral del día a día de la gestión. Responsabilidad de los gestores encargados de la implantación de una intervención. El seguimiento es una actividad interna del programa (evaluación interna) realizada por los propios gestores del programa, parte esencial de una buena práctica de gestión y, por tanto, parte integral de la gestión diaria.
Esto supone que gran parte de la labor de vigilancia será realizada por los propios gestores de programa, con la ventaja de asegurar una retroalimentación óptima de las enseñanzas adquiridas, pero puede adolecer de una falta de independencia. Esta última deficiencia puede subsanarse, al menos en parte, mediante unas normas rigurosas de planificación que exijan una clara indicación de los criterios de efectividad y de las metas que han de alcanzarse, y el establecimiento de las metodologías ordinarias de examen y evaluación que han de aplicarse.
Se distinguen en el seguimiento dos tareas fundamentales, por un lado la elaboración de un sistema de información, y por otro, la valoración continua de la marcha del programa que llamaremos autoevaluación (self-evaluation), de consumo interno y basada en el sistema de información.
El seguimiento se basa en un sistema de información coherente que incluye informes, estudios, balances, indicadores, etc. Ese sistema comprende los registros básicos físicos y financieros, los detalles de insumos y servicios suministrados a beneficiarios y los datos obtenidos de encuestas y otros mecanismos de registro, diseñados específicamente para atender a la función de seguimiento. Sin embargo, la evaluación, por lo común lleva consigo el establecer comparaciones que requieren información procedente externa al programa, en tiempo, zona o población.
La autoevaluación puede definirse como un proceso sistemático de valoración continua (evaluación sobre la marcha) de la pertinencia, eficiencia y eficacia de un programa durante su ejecución, realizado por los gestores de una intervención. La autoevaluación debe ser un ejercicio de reflexión interna de carácter voluntario dirigido a facilitar el aprendizaje. La autoevaluación trata de ejercicios sencillos encaminados a poner el acento en las recomendaciones prácticas que permitan el aprendizaje social y posibles cambios de rumbo en los programas.
La autoevaluación y el sistema de información deben estar diseñados uno en función del otro de manera que en el sistema de información se incluyen casi todos los campos cubiertos por la autoevaluación. En muchas ocasiones la línea divisoria entre ambos resulta muy tenue y no es posible decir dónde se detiene uno y comienza el otro. Cualquier diferencia entre estas dos actividades es meramente de énfasis. El sistema de información tiende a enfocarse más a las cuestiones de ejecución del programa, en tanto que la autoevaluación aborda los resultados probables de las intervenciones. Y en general puede decirse que el sistema de información alimenta la autoevaluación y posibilita la elaboración de recomendaciones prácticas, cuya verificación y uso permitan la mejora de la intervención.
De acuerdo con esta visión, las descripciones individuales de seguimiento del contacto con el beneficiario, de las realizaciones físicas y financieras y la evaluación interna en conjunto constituyen lo que se ha venido llamando seguimiento del programa. En definitiva podemos definir el seguimiento como: La actividad interna de una intervención, realizada por los propios gestores como parte integral de la gestión diaria, que realiza una valoración continua del contacto con los beneficiarios y de las realizaciones de la intervención sobre la base de un sistema de información y autoevaluación y dirigida a facilitar el aprendizaje, el fortalecimiento, adquisición de capacidades y la mejora continua.
La evaluación se distingue de otros procedimientos más normativos, tales como el control, la auditoría (audit) financiera o de gestión, que están encaminados a verificar, ya sea la regularidad, ya sea la legalidad o la ortodoxia financiera, o incluso a detectar errores, fallos o vicios de procedimiento. La principal distinción con la evaluación está por tanto en el objetivo y centro de atención, que en el caso de la evaluación es la valoración del mérito, valor e importancia. En otros términos, la evaluación no debe ser una herramienta de legitimación o deslegitimación de la ayuda, sino un mecanismo de aprendizaje que retroalimente información hacia quienes toman las decisiones. Otra distinción es quién realiza cada actividad: el seguimiento la realizan los gestores de una intervención, la evaluación evaluadores externos que se contratan, y el control y auditoría típicamente está relacionada con los organismos públicos de control.
Por último la evaluación se distingue de la investigación también en su objetivo: mientras que la investigación busca demostrar aspectos de la realidad con evidencias científicas, la evaluación busca mejorar esa realidad a través de juicios de valor en los que se pueda apoyar la toma de decisiones. La investigación busca en primera instancia aumentar el conocimiento (generalizable) en un determinado campo del saber mientras que la evaluación busca ayudar a la toma de decisiones y servir a propósitos específicos de las partes interesadas afectadas por lo que se está evaluando. Esas partes interesadas son las que en gran medida marcan la agenda de la evaluación, mientras que la agenda de la investigación la suele marcar el investigador que la realiza. La motivación por tanto también suele tener un enfoque distinto: curiosidad e interés científico en el caso de la investigación, y solucionar un problema concreto en el caso de la evaluación.
Referencias citadas (Puedes conseguir un ejemplar pinchando en los enlaces):
CASLEY, D. J. & KUMAR, K. (1990). Seguimiento y evaluación de proyectos en agricultura. Banco Mundial. Madrid: Mundi Prensa.
COMISIÓN DE LA UNIÓN EUROPEA (1999). The MEANS collection: Evaluating socio-economic programes. From the programme entitled MEANS: Means for Evaluating Actions of a Structural Nature. Directorate General XVI for Regional Policy and Cohesion. Office for Official Publications of the European Communities. Luxembourg.
COMISIÓN DE LA UNIÓN EUROPEA (2002). Project Cycle Management Handbook. Evaluation Unit of the EuropeAid Co-operation Office. March 2002. Version 2.0. Freiburg, Germany.
FAO (1999). Evaluación en el contexto del Marco Estratégico y del nuevo modelo de programación. Organización de las Naciones Unidas para la Agricultura y la Alimentación. Roma.
U.N. (1984). Guiding principles for the design and use of monitoring and evaluation in rural development projects and programmes. ACC Task Force on Rural Development. Panel on monitoring and evaluation. United Nations. Roma.
