Inicio » ¿Cómo se diseñan evaluaciones? » Puesta en marcha de un sistema de autoevaluación para el seguimiento

Puesta en marcha de un sistema de autoevaluación para el seguimiento

Después de abordar la puesta en marcha de un sistema de información, abordamos a continuación el segundo elemento fundamental con el que ha de contar el seguimiento: el sistema de autoevaluación. Al introducir la autoevaluación, hay que tener cuidado y asegurarse de que no redunda en un aumento del volumen de trabajo improductivo. El apoyo logrado debe verificar la calidad del proceso y ha de permitir comprender mejor los aspectos financieros y relacionados con la gestión. Un buen sistema de autoevaluación debe contar con tres características:

  • Este tipo de evaluación se refiere a un proceso continuo y no a ejercicios especiales. Proporciona información retroactiva constante al administrador a fin de que se puedan adoptar medidas correctivas.
  • Consiste en ejercicios sencillos internos que no suponen mucha recopilación de datos. Las evaluaciones sobre la marcha se basan invariablemente en los productos del sistema de información del seguimiento.
  • La evaluación acentúa principalmente las recomendaciones prácticas que surgen del programa.

La autoevaluación permite analizar las últimas actividades y preparar mejor el futuro. Por su proximidad al terreno, la autoevaluación pone de relieve tanto los elementos más visibles y fácilmente objetivables como aspectos poco visibles que en general son poco reconocidos o puestos de relieve por una evaluación externa, en particular, los aspectos cualitativos e inmateriales. Las ventajas de efectuar una evaluación sobre la marcha son obvias:

  • En primer lugar proporciona información retroactiva sistemática a los administradores de programas y de este modo facilita la integración del seguimiento en el programa.
  • En segundo término, toda vez que la evaluación sobre la marcha corre a cargo del propio personal del programa para consideración interna, el personal tiene un motivo poderoso para estimar objetivamente los puntos débiles y fuertes del programa; no necesitan mostrarse defensivos ni evasivos acerca de su progreso.
  • En tercer lugar, dado que el personal tiene un convencimiento íntimo de las actividades del programa, las recomendaciones que se derivan del proceso de evaluación deben ser prácticas y pertinentes. Es más probable que los administradores las lleven a la práctica que las recomendaciones de gentes de fuera, quienes pueden creer que no comprenden sus problemas ni aprecian sus perspectivas.

Ahora bien, una evaluación sobre la marcha no es un sustituto de las evaluaciones externas llevadas a cabo en las distintas etapas de una intervención. Es, eso sí, un buen complemento y en gran parte, su fundamento.

 

Relación entre el sistema de información y la autoevaluación

La relación entre el sistema de información y la autoevaluación constituye un engranaje fundamental dentro de un sistema de seguimiento para la consecución del aprendizaje sobre la marcha durante la etapa de ejecución. Los datos obtenidos a través del sistema de información pueden convertirse en conocimiento útil a través de la autoevaluación. La difusión de conclusiones y recomendaciones derivadas de esta autoevaluación posibilita el aprendizaje, tanto de la población como del equipo que gestiona, sigue y evalúa el programa.

El sistema de información y la autoevaluación han de estar diseñados uno en función del otro, de manera que en el sistema de información se incluyen casi todos los campos cubiertos por una evaluación interna sobre la marcha. En realidad, la línea divisoria de ambos es muy tenue, no es posible decir dónde se detiene el sistema de información y comienza la autoevaluación. Cualquier diferencia entre estos dos conceptos, muchas veces es meramente de énfasis. El sistema de información tiende a enfocarse más en las cuestiones de ejecución del programa, en tanto que la evaluación sobre la marcha aborda los resultados probables de las intervenciones.

relación entre el sistemaRelación entre el sistema de información y la autoevaluación

Verificación y utilización de las recomendaciones

Las conclusiones que se vayan extrayendo de la autoevaluación han de ser verificadas y utilizadas. Un problema importante para diseñar un sistema de seguimiento es que los funcionarios u organizaciones que tienen acceso original a la información se muestran reacios a menudo a cotejarla y difundirla. Hay una tendencia consciente e inconsciente a pasar por alto información que advierte que hay un desempeño deficiente o bien a exagerar hechos positivos. También está el temor a que la información pueda ser utilizada en contra de los trabajadores. En la medida en que el personal del programa suministra información al sistema global, se ha de hacer hincapié en que esa información debe ser verificable y registrada de manera objetiva. Los datos tendenciosos pueden ser más perjudiciales para el sistema que un vacío, que se puede llenar más tarde mediante la recopilación directa de datos.

Por esta razón se hace hincapié en la palabra “interno” de manera que la información tenga un uso interno antes de su difusión. A nivel interno, dentro de la propia administración del programa se reduce enormemente esta tendencia a pasar por alto información. A nivel interno pueden ponerse sobre la mesa todos los problemas para poder buscar una solución, la realidad tal y como está siendo. No un dar cuentas sino un buscar soluciones. No un demostrar que se hacen bien las cosas sino hacerlas de hecho.

 

Intervención y especificación de metas

Por último se hace necesario definir el modelo de intervención del seguimiento y especificar metas para un eficaz uso de las recomendaciones de la autoevaluación por parte del equipo de gestión. En la ejecución de programas, el progreso hacia el logro de objetivos a corto plazo se mide por la consecución de metas para la conclusión del programa y por la adopción de servicios por la población señalada como objetivo a diversos intervalos.

Algunas de esas metas se especifican en los documentos de evaluación previa del programa, pero otras es necesario elaborarlas en la etapa de ejecución, en particular en el contexto de la preparación de los planes y presupuestos anuales. En los documentos de evaluación previa, algunas metas, aunque cuantificadas, puede que no sean fáciles de verificar a corto plazo. Una meta cuantificada que se pueda verificar con carácter regular y sin demora como parte del proceso de seguimiento, se denomina una meta verificable. Es importante que estas metas, se expresen con referencia a la población beneficiaria prevista y sus grupos de interés.

El sistema de seguimiento se fundamenta en un modelo de intervención –ya sea explícito o no– que explica la relación existente entre éste y el programa, entre las recomendaciones derivadas del seguimiento y el programa. Esta conexión proporciona continua supervisión del programa con la mira puesta en avanzar de las condiciones existentes hacia el estado deseado.

 

Redacción de informes: el enlace entre el seguimiento y el control

Es necesario definir en qué forma se transmitirá la información. El sistema de información deber ser un proceso de participación conjunta en el que intervenga cada nivel de administración. Su participación activa no sólo estimula a crear un diseño más representativo y que se ajusta más a las necesidades reales, sino que también establece redes de comunicaciones y relaciones que pueden contribuir más tarde a la difusión más amplia y la utilización más provechosa de las comprobaciones y recomendaciones del proceso de seguimiento.

El seguimiento realizado ha de finalizar con la redacción de los informes de seguimiento, recopilación de toda la supervisión realizada hasta el momento de su redacción. Estos informes suponen el suministro –más o menos continuo– de información al sistema global por parte de la administración del programa. Se trata de informes de redacción sencilla que han de contener lo esencial de los hallazgos, haciendo uso de anexos y apéndices en caso de querer extenderse a mayores detalles.

Las administraciones que actúan a cada nivel deben enviar informes periódicos a sus superiores. La redacción de informes durante la etapa de ejecución supone el enlace formal entre la supervisión realizada por el equipo de seguimiento del programa y el control realizado por las autoridades permanentes. Todos los informes realizados por el equipo de seguimiento sirven de base para la realización de los controles y de los informes de control.

El objetivo de estos informes es informar sobre la marcha de los dos principales contenidos del seguimiento, los datos físicos y financieros y las relaciones con los beneficiarios. Principales incidencias, decisiones tomadas, resultados obtenidos… datos que han de ir acompañados de cuadros y tablas que aclaren el mensaje que se desea transmitir e ilustren los puntos sobre los que se desea hacer hincapié.

En el caso de todas las intervenciones plurianuales es conveniente la presentación de informes de seguimiento y control cada año. En los informes se presentarán de forma pormenorizada los progresos de la ejecución de la intervención durante el año anterior. Estos informes se deben elaborar sobre la base de los siguientes elementos:

  • Datos sobre el contexto de ejecución de la intervención.
  • Progresos realizados en la consecución de las prioridades y objetivos específicos de las medidas y, en su caso, los progresos efectuados en los grandes proyectos, demostrados cuantitativamente mediante los indicadores de seguimiento adoptados al efecto.
  • Ejecución financiera de la intervención a nivel de la medida, sobre la base de indicadores cuantificados.

Un aspecto importante para facilitar la transmisión de la información es su informatización. La base de datos creada para el seguimiento ha de permitir emitir los informes de una manera sencilla y rápida en cualquier momento en que se necesiten.