Cuando un programa ofrece incentivos a los agentes económicos para llevar a cabo determinadas actuaciones, la evaluación conlleva interesarse por la adecuación de la difusión (grado de conocimiento, idoneidad de los canales empleados, calidad de la información transmitida,…), de los trámites necesarios para acceder a las ayudas, de los requerimientos, de la asistencia técnica prestada, etc. y en definitiva cómo se ha aplicado y gestionado el programa.

 

Análisis de la aplicación del programa

Para responder a la pregunta sobre el cumplimiento de la programación prevista se han de examinar las medidas y verificar si éstas se han desarrollado y según qué modalidades. Sólo a este nivel se puede apreciar la conformidad en términos de “volumen” o de objetivos físicos de las medidas previstas. Se debe analizar cada medida del programa, por una parte, con relación al eje en el que se sitúe (análisis en su contexto) y, por otra, en relación con un cierto número de criterios de desarrollo provenientes de experiencias anteriores y difundidos ampliamente.

En los ejercicios especiales de evaluación a mitad o final del programa, se puede ir mucho más allá y examinar los detalles de las medidas administrativas, la distribución de responsabilidades entre gestores y operadores, los documentos de ejecución entregados a los operadores, los criterios de selección de proyectos, etc.

 

Análisis económico y financiero

En el trabajo de evaluación, son particularmente relevantes tres clases de análisis económico y financiero. Estos son la viabilidad financiera, el análisis coste-beneficio y el análisis coste-eficacia.

• La viabilidad financiera es normalmente muy simple, ya nos encontremos en actividades de producción o de desarrollo social. Se trata de estimar los costes reales en relación con los recursos financieros que están o estarán disponibles a lo largo del tiempo. Situarse estrictamente en el nivel financiero permite determinar la factibilidad financiera de las actuaciones, su autonomía en relación con la factibilidad económica. La estructura de la financiación (importancia relativa de la autofinanciación, de los empréstitos y de las subvenciones) puede dificultar la factibilidad de la acción en el plano financiero, cuando ésta es factible en el plano económico.
• El análisis coste-beneficio se utiliza principalmente cuando la utilidad de un programa puede medirse en términos monetarios. Esto puede hacerse en programas con un enfoque puramente productivo; pero es bastante más complicado, si no imposible, cuando se trate de programas que tienen un enfoque social u otro de carácter no productivo. Con el análisis coste-beneficio la pregunta que hay que responder es si el valor de rentabilidad del programa, su beneficio, justifica los costes en los que se incurre.
• El coste-eficacia puede estimarse después de transcurrido cierto tiempo. Se trata de enfrentar los recursos (costes) del programa con los resultados obtenidos (beneficios) y analizarlos en relación con el número de usuarios, con programas similares en otra parte, etc. para valorar si los resultados son aceptables para la inversión realizada. Aquí el evaluador debe preguntarse si podrían haberse alcanzado resultados similares a un coste menor; por ejemplo, utilizando otros medios o formulando el programa de manera diferente. Debe asimismo considerarse si podrían haberse reducido los costes sin un impacto demasiado negativo sobre los resultados.

Para obtener los costes basta recurrir a los gastos de las medidas encaminadas al mantenimiento de la administración del programa, su gestión, seguimiento y evaluación. La suma de estos gastos nos da el coste total del programa. El estudio de los beneficios es más complicado. Es necesario recurrir al estudio del impacto y hacer un análisis global que nos lleve a los principales logros del programa. Solución de problemas como el empleo, la contaminación ambiental, la desigualdad entre hombres y mujeres, la dificultad al acceso laboral de los jóvenes, la falta de capital territorial, la falta de iniciativa local… u otros problemas coyunturales formarán parte de estos principales logros. Finalmente, es importante ilustrar este análisis con indicadores cuantitativos como el coste de gestión por proyecto, o por nuevo puesto de trabajo fijo creado… Indicadores que ilustran las magnitudes que se manejan y que constituyen tan sólo un apoyo a todo el análisis realizado.

Al final de este análisis económico-financiero se conoce el nivel de realización de cada uno de los objetivos operacionales señalando cual ha sido el funcionamiento de cada una de las medidas aplicadas. Nos permite hacer una primera estimación de cómo y porqué las operaciones y acciones han permitido o no alcanzar los objetivos propuestos.

 

Realizaciones

Los ejercicios especiales de evaluación comprueban la realización efectiva de la actividad determinando el grado de cumplimiento del programa (retrasos sobre la programación). También estudian el grado de acogida o aceptación y las razones que explican su éxito o fracaso de acogida.

Estas evaluaciones realizan un análisis de porcentajes de realización según volumen de medios utilizados, del alcance (beneficiarios), plazos y duración prevista con la ayuda de indicadores. Esto permite medir la eficacia del programa en este ámbito más inmediato (efectos directos o inmediatos), examinando, a través del análisis de los indicadores, el grado de consecución de los objetivos más inmediatos propuestos. Este análisis determina la aportación de cada medida aplicada permitiendo formar un juicio sobre la calidad y rendimiento de cada una de ellas.

Para formular un juicio en relación a estos primeros aspectos específicos y bien delimitados de un programa puede recurrirse al análisis coste-eficacia.

 

Desviaciones encontradas

Se ha de terminar con el análisis de las desviaciones encontradas. Se trata de identificar las desviaciones observadas entre los objetivos, por un lado y las medidas por otro, con el fin de determinar las relaciones entre los dos. Toma un papel importante en este caso la participación social para valorar qué agentes han causado la desviación, externos o internos, y de que manera lo han hecho. Se hace necesario responder a la razón de estas desviaciones: las medidas pueden no ser eficientes, pueden no ser pertinentes o coherentes con los objetivos, los objetivos operacionales pueden no ser suficientes para poner en práctica el eje en cuestión… También es importante considerar si las capacidades humanas y materiales movilizadas son las adecuadas y si existe suficiente coordinación institucional para asegurar el buen funcionamiento. Habría que determinar si para la solución de estas desviaciones bastaría con las financiaciones obtenidas o, si al contrario, habría que emprender acciones a una escala mucho más grande.

Valoración de la gestión y seguimiento

En la valoración de la gestión y seguimiento se valoran numerosos aspectos tales como la correcta gestión interna del equipo administrador del programa –en cuanto a procedimientos establecidos, criterios de valorización y selección, y requisitos exigidos–; el adecuado control por parte de las instancias superiores al programa –verificaciones iniciales, apoyo técnico, plan de controles e informes realizados–; y la existencia de una correcta coordinación entre las diferentes instituciones implicadas en la gestión a nivel local, regional y demás niveles superiores, así como el grado de autonomía y flexibilidad alcanzados.

 

Resultados de los controles de aplicación

Como primer paso conviene analizar los resultados de las verificaciones iniciales y controles realizados por las instituciones implicadas en el programa. En los informes de control deben haberse recogido los resultados sobre el cumplimiento de los procedimientos establecidos, de las normas legales y principios que rigen el programa. Una vez comprobado que estos controles fueron bien realizados, que las comprobaciones se hicieron de la manera idónea y que, en definitiva, su información es fiable, esta información puede utilizarse como punto de partida para la evaluación de la gestión del programa.

Organización interna y toma de decisiones

Estos resultados han de complementarse con el estudio de la gestión interna y el sistema de seguimiento (realizaciones y beneficiarios) implementado. Se analiza la comunicación con los beneficiarios potenciales de forma que éstos conozcan los procedimientos para la concesión de las ayudas, los criterios de subvencionabilidad, los requisitos exigibles y la documentación a aportar así como las características generales del programa. Se aborda también el estudio del modelo de toma de decisiones –su estructura y adecuación– los requisitos exigidos a los beneficiarios y los criterios de subvencionabilidad.

Los ejercicios especiales de evaluación estudian el vínculo entre los criterios de selección de proyectos y los objetivos del programa En ese caso de detección de anomalías, la evaluación debe contribuir a la elección de criterios que sean más acertados a los objetivos que se plantean (sobre todo en el caso de evaluación intermedia). Estos criterios constituyen un factor clave para el éxito del programa, por el tipo de proyecto que se selecciona o por la asignación de prioridades.

 

Coordinación y retrasos

La administración interna de un programa nunca es un ente aislado, sino que forma parte de un engranaje administrativo diferente según el país donde nos encontremos. Por ello es importante analizar la coordinación existente entre la administración del programa y el resto de instituciones que de alguna manera están implicadas en el programa, bien en su control, bien en su financiación, bien en su apoyo técnico.

Es posible que el estudio de esta coordinación detecte fallos que hayan llevado a numerosos retrasos en la aplicación del programa, en la llegada de las ayudas, en la realización de los controles… En estos casos es necesario analizar las causas e intentar facilitar vías de solución para mejorar la coordinación del programa (evaluación intermedia) o bien pensando en futuras programaciones (evaluación final).

Es importante también el estudio de aspectos como la flexibilidad (aparición de rigideces) y el grado de autonomía alcanzado por la administración interna del programa. En ambos casos valorar si se trata de una flexibilidad y autonomía adecuadas a las circunstancias que se presentan.

Otro aspecto a estudiar es la existencia en la modulación de gastos, sueldos, viajes, alquiler de locales, teléfono, fax, internet… de forma que no aparezcan gastos y sueldos de programas similares con diferencias difíciles de justificar.