Existen muchos tipos de evaluación. Muchas particularidades del proceso evaluativo vienen dadas por el momento en que la misma se implementa, es decir, en función del ámbito temporal que cubre la misma. Es así que tenemos evaluaciones previas (durante el diseño de la intervención), intermedias (durante la ejecución), finales (en el momento de finalizar la intervención) y posteriores (tiempo después de finalizada la intervención).

Siguiendo la Colección MEANS de la Comisión Europea (1999) otros tipos de evaluación surgen del distinto nivel de responsabilidad implicado con su nivel de análisis (evaluación de una política, un programa o proyecto lo que da lugar a evaluaciones locales, regionales, nacionales…), del contenido de la evaluación (evaluación de conjunto, temática o detallada) o la utilidad de los trabajos de seguimiento y evaluación (la formación, el aprendizaje, la capacitación…)

En los casos de sucesión de periodos de programación se impone la necesidad de crear una vinculación entre las evaluaciones previas, intermedias y finales. Es muy importante tener en cuenta la complementariedad de todos los trabajos de evaluación, de manera que cada evaluación pueda recurrir a las precedentes y contribuir a las que vengan en un futuro evitando la redundancia. De igual forma, los vínculos entre los diferentes niveles de responsabilidad (política, programa, proyecto) se traducen en que las evaluaciones realizadas a un nivel producen conclusiones de interés a otros niveles.

La misma complementariedad encontramos entre las evaluaciones con distinta temática o utilidad que centrándose en determinados aspectos u objetivos de evaluación han de ayudar a la buena marcha global de las intervenciones y el logro de un adecuado proceso de desarrollo.

Evaluaciones según momento de realización

La utilidad de las evaluaciones es necesario relacionarla con el ciclo  de vida del programa. Cada etapa de evaluación tendrá una función y resultados que deben servir de punto de partida y ser incorporados en las posteriores etapas de evaluación. Cada evaluación debe aprovechar los resultados de evaluaciones anteriores, es decir, que la evaluación intermedia debe tener presentes los resultados de la previa, y la evaluación posterior las conclusiones de la evaluación intermedia (que incluyen la previa). Por otro lado, en todos estos ejercicios de evaluación se ha de tener en cuenta la información que del seguimiento esté disponible en cada caso.

Es necesario cubrir mediante las diferentes etapas de evaluación los distintos planos de evaluación: la situación de partida, la ejecución y los resultados del programa.

Evaluación previa (ex-ante o a priori)

Ex ante evaluation (Términos relacionados en inglés: prior appraisal, needs assessment)

Evaluation ex ante (Términos relacionados en francés: Appréciation  ex ante, evaluation a priori, diagnostic)

Evaluación que se realiza antes de la implantación, durante el diseño de la programación, y sirve para preparar lo que se quiere hacer y facilitar su aplicación. Más en concreto, ayuda a definir los objetivos y su adecuación  a las necesidades, así como a garantizar la pertinencia, el fundamento y la coherencia del programa, dejando para una fase posterior del proceso de evaluación el análisis exhaustivo de la eficiencia y la eficacia. Una buena evaluación previa facilita el trabajo del equipo evaluador a la hora de hacer una valoración de lo que se ha hecho una vez comenzada la ejecución o finalizada.

Evaluación continua y autoevaluación

On-going evaluation (Términos relacionados en inglés: rolling evaluation)

Evaluation chemin-faisant (Términos relacionados en francés: evaluation in itinere)

Evaluación que abarca todo el periodo de implantación de una intervención. Esta forma de evaluación es la propia del seguimiento o monitoreo y a menudo se identifica con él. La evaluación continua puede verse como una serie de estudios detallados, que comprenden análisis sucesivos de cuestiones de evaluación que han surgido durante la implantación. Para aclarar el término autoevaluación (self-evaluation, auto-évaluation) conviene primero esclarecer los términos de evaluación interna y externa:

• Por evaluación interna (internal evaluation, evaluation interne) se entiende la evaluación de una intervención pública por un equipo de evaluación perteneciente a la autoridad administrativa responsable del programa. Es independiente si el equipo de evaluación no tiene una relación jerárquica con los actores que implantan la intervención. De otra manera, sería una autoevaluación.
• Por evaluación externa (external evaluation, evaluation externe) se entiende la evaluación de una intervención pública por personas no pertenecientes a la administración responsable de su implantación. Por ejemplo, un equipo compuesto por consultores privados, investigadores o personas pertenecientes a organismos públicos no relacionados con aquellos responsables de la intervención.

Una vez definidos estos dos términos, se entiende por autoevaluación a la evaluación de una intervención pública por la organización que participa directamente en su implantación

Evaluación intermedia (mid-term)

Mid-term evaluation

Evaluation à mi-parcours, evaluation intermédiare

Aparte de la autoevaluación por el personal del programa, en muchas ocasiones se puede emprender una evaluación más formal durante la ejecución del mismo. La práctica común es realizar un ejercicio de evaluación en medio de la ejecución, cuando el programa ha superado sus problemas iniciales, ha comenzado el flujo de sus servicios e insumos a la población considerada como objetivo y se pueden observar sus reacciones iniciales.

Una evaluación intermedia se lleva a cabo típicamente dos, tres o cuatro años después de haber comenzado la ejecución. Es la primera mirada amplia al programa desde su comienzo. Lo que distingue a ésta de evaluaciones ulteriores es que las resultados de la evaluación todavía se pueden aplicar al programa evaluado e introducir mejoras en la ejecución, o, en algunos casos, revisar los objetivos o prioridades y las medidas adoptadas. La evaluación intermedia es así un medio para mejorar la calidad y pertinencia de los programas y su implementación y para identificar reorientaciones a la programación que pueden ser necesarias para el logro de los objetivos originales. También permite comprobar la pertinencia de las directrices dadas, los criterios e indicadores establecidos para el seguimiento y evaluación del programa.

La evaluación intermedia puede además proporcionar información valiosa a las autoridades responsables del programa. Al tiempo que cubre las preguntas de evaluación, examinaría en particular los logros iniciales, su pertinencia y coherencia con el documento de programación y en qué medida se han alcanzado los objetivos. También analizaría el uso de los recursos financieros, el seguimiento y la ejecución.

Evaluación final y posterior

Ex-post evaluation

Evaluation ex-post, evaluation a posteriori

Evaluación que recapitula y juzga una intervención una vez  terminada. Su objetivo es justificar el empleo de recursos, el logro de los efectos previstos (efectividad) y de los efectos inesperados (utilidad), y la eficacia de las intervenciones. Pretende entender los  factores de éxito o fracaso, además de la sostenibilidad de los resultados e impactos. También intenta sacar conclusiones que se puedan generalizar para otras intervenciones.

Para que los impactos tengan tiempo de materializarse deben transcurrir dos o tres años después de la implantación de una intervención. Algunos organismos recomiendan incluso el transcurso de diez años lo que está reñido con la urgencia para la obtención de los resultados obtenidos. Esto nos lleva a distinguir entre dos tipos de evaluación una vez finalizada la intervención: la que llamamos evaluación final propiamente dicha, una vez concluida la intervención, y la evaluación posterior, una vez transcurrido el tiempo que se estime necesario para la materialización de los impactos.

La principal diferencia entre la evaluación intermedia y la final y posterior es que la primera estará más enfocada hacia los logros iniciales, mientras que éstas se centrarán más en los impactos.

Evaluaciones según nivel de análisis

En los últimos años se ha favorecido la programación integrada de las intervenciones. Un plan se compone de numerosos programas, y éstos a su vez se componen de numerosos proyectos dentro del marco de unos objetivos específicos dirigidos a la consecución de unos objetivos más globales.

En cada nivel nos encontramos con un conjunto de necesidades distintas aunque complementarias, son distintas las necesidades en materia de información y la orientación que se da a la evaluación en cada uno de estos niveles. A un nivel local seguramente interese obtener, mediante una evaluación interna, un análisis de sus propias actividades con el fin de mejorar sus resultados futuros. También interesará disponer de una información seleccionada y sinóptica para ofrecerla a otros niveles y así rendir cuentas de sus acciones y gastos. Mientras en un nivel ya regional, nacional o continental se preferirá, sin duda, presentar los resultados de los diferentes programas (o regiones, o países dependiendo del nivel) y evaluar la asistencia técnica prestada a cada uno de ellos. Asimismo en este nivel, se querrá conocer las repercusiones de los programas y saber si la política aplicada sirve para que las acciones sean más eficaces que otros métodos y políticas que se puedan aplicar. En cualquier caso, los resultados obtenidos en la evaluación de un determinado nivel de análisis (local, regional…) deben servir de base para la realización de una síntesis a un nivel superior (nacional, continental…).

En definitiva, en la evaluación se ha de elegir un nivel de análisis apropiado. Los resultados de un programa pueden analizarse a un nivel macro (conjunto de la sociedad y de la economía), sectorial, o micro (empresa, familia, explotación agraria, etc.). Las ayudas recibidas pueden haber sido muy importantes para sacar una determinada empresa adelante, pero estas ayudas pueden haber sido totalmente irrelevantes en el desarrollo de un determinado sector en una zona concreta. Asimismo estas ayudas  pueden no haber tenido repercusión alguna en el comportamiento de los indicadores de una comarca, mucho más afectados por el comportamiento del tipo de interés o por los vaivenes de la política laboral. Saber situar la evaluación en el nivel apropiado no siempre es evidente.

En este sentido es importante el concepto de metaevaluación (meta-evaluation, méta-évaluation) referido a la evaluación de otra evaluación o de una serie de evaluaciones. Los criterios de juicio generalmente son fiabilidad, credibilidad y utilidad. El término se aplica a veces a la auditoria de la función evaluadora de una organización (para verificar que las normas relacionadas con la evaluación se han aplicado de manera profesional), y otras veces se emplea el término metaevaluación para referirse a una síntesis basada en una serie de evaluaciones.

 Evaluaciones según contenido

El mundo real es complejo, con múltiples variables en el entorno de los programas, y además puede ser abordado desde muy diversos puntos de vista. En este sentido conviene hablar de evaluación multicriterio, es decir juzgar una intervención desde una perspectiva múltiple y con un enfoque crítico pluridisciplinar. Podemos hablar de al menos cuatro perspectivas o enfoques que deben ser considerados en la evaluación de un proyecto o programa de desarrollo: económico, financiero, social y medioambiental. Según el contenido en el que nos centremos podemos tener distintos tipos de evaluación.

Evaluación global

Overall Evaluation

Evaluation d’ensemble

Es la evaluación de una intervención en su totalidad. La evaluación global se ocupa de todas las acciones financiadas dentro de una intervención.  Engloba la totalidad de las herramientas empleadas, de los territorios aplicables, de los impactos previstos y de los temas relevantes. La evaluación global a menudo constituye el primer paso en la investigación de un terreno a evaluar, antes de una segunda fase de concentración en forma de evaluaciones temáticas o específicas.

Evaluación temática

Thematic evaluation

Evaluation thématique

Evaluación que analiza transversalmente un punto específico (un tema) en el contexto de diferentes intervenciones dentro de un único programa o de diferentes programas implantados en diferentes países o regiones. El tema puede tener relación con el impacto previsto o con un área de intervención.  El concepto de la evaluación temática es muy similar al del estudio específico que veremos a continuación.

Cuando hablamos de evaluación de impacto, hablamos de una evaluación final realizada generalmente varios años después de haber concluido una intervención, que se concentra en el fin y el propósito de la intervención, así como en su “sostenibilidad” y efectos imprevistos. Está íntimamente relacionada con lo que hemos llamado anteriormente una evaluación posterior.

Los objetivos perseguidos en cada intervención son diferentes, por lo que la importancia de las evaluaciones será distinta. Si se evalúa una intervención desde la perspectiva de un agente de la economía, utilizando precios de mercado la evaluación principal será de tipo financiera.

Si nos encontramos con una intervención cuyos objetivos son además de los estrictamente financieros, los de eficiencia o eficacia de la economía de un país en su conjunto – estimando por ejemplo la contribución de la intervención al crecimiento del producto interior bruto (PIB) – se denomina económica.

Si además del objetivo de eficiencia se pretende la distribución funcional y territorial de la renta, la creación del empleo y la satisfacción de necesidades básicas, la evaluación se denomina social. En las intervenciones financiadas con fondos públicas las evaluaciones económica y social son básicas.

La evaluación que se centra en la variable ambiental es la EIA o Evaluación de Impacto Ambiental (Environmental Impact Assessment (EIA), Evaluation d’impact sur l’Environnement (EIE)) y estudia todas las repercusiones de un proyecto individual sobre el entorno natural. Se trata de una evaluación generalizada en todos los países industrializados para proteger la degradación continua del medio ambiente, siendo recomendada por los Organismos internacionales y en especial por la UE, donde desde 1985 la EIA queda dotada de una regulación específica reconociéndola como el instrumento más adecuado para la preservación de los recursos naturales y la defensa del medio ambiente.

La EIA tiene dos pasos: la investigación general, que consiste en un primer análisis para determinar el nivel de evaluación medioambiental necesaria para aprobar la implantación; y el estudio del ámbito, que determina qué impactos deben evaluarse en profundidad. La evaluación de impactos medioambientales examina los efectos previstos e imprevistos, a menudo, los imprevistos son más numerosos.

La EIA es obligatoria en ciertos países en grandes proyectos de infraestructura. Por contraste, la Evaluación Estratégica Medioambiental (EEM) o Evaluación Ambiental Estratégica (EAE) se refiere a la evaluación de programas y de políticas prioritarias.

También está el método de evaluación conocido como análisis del ciclo de la vida (life cycle assessment, LCA) formalizado a principios de los noventa como respuesta a la necesidad de conocer y valorar los efectos medioambientales de los productos, procesos y actividades generados por las intervenciones.

Evaluación específica

In-depth evaluation

Evaluation approfondie

Consiste en concentrar una evaluación o parte de ella en una categoría determinada de productos, en un grupo, o en una categoría de impactos.  Esto permite un análisis más específico, al contrario de la evaluación global, que pretende ser exhaustiva.

La evaluación global de un programa puede acompañarse por el análisis específico de una o más cuestiones.  Así mismo, puede optarse por realizar una evaluación dedicada exclusivamente al análisis específico de una única cuestión. La concentración en una cuestión específica permite emplear técnicas de evaluación más rigurosas y por lo tanto más fiables, sobre todo para observar la conducta de los destinatarios, estudiar un grupo de comparación, o analizar los efectos netos. El análisis específico, al concentrarse básicamente en la observación sobre el terreno de los efectos, tiene relación con la evaluación intermedia y final.

Evaluaciones según utilidad

La utilidad de una evaluación está en función de los protagonistas a los que se dirige y su finalidad. Antes de desarrollarla conviene aclarar algunos términos relacionados con ella:

• Retroalimentación (Feedback, Rétroaction): El feedback existe cuando la observación de resultados e impactos en el campo se utiliza para ajustar la implementación de una intervención, o para hacer cambios más radicales, incluso cuestionando la existencia de la intervención. La retroalimentación es el propósito principal de la evaluación cuando tiene una orientación de gestión, formativa o de aprendizaje.
• Aprendizaje organizacional (Organisational learning, Apprentissage organisationnel): Es el hecho de que las lecciones extraídas de la experiencia son aceptadas y retenidas por las instituciones u organizaciones responsables de la intervención. El aprendizaje va más allá del feedback, las lecciones son capitalizadas o pueden ser aplicadas a otras intervenciones.
• El aprendizaje directo (llamado aprendizaje de bucle simple) existe cuando los usuarios aprenden que la intervención ha sido un éxito o un fracaso. Esto puede llevarles, por ejemplo, a reducir los presupuestos asignados a las intervenciones menos importantes.
• El aprendizaje indirecto (llamado aprendizaje de bucle doble) existe cuando los usuarios se dan cuenta de que ellos deben cuestionar sus presuposiciones básicas (su teoría de acción). Esto puede causarles, por ejemplo, reorganizar la implementación de las intervenciones menos exitosas.
• Contabilidad (Accountability, Rendre des comptes): Es la obligación de los actores participantes en la introducción o implementación de un programa de desarrollo, de proporcionar a las autoridades y al público general la información y explicación de los resultados esperados y actuales de una intervención, respecto al uso notorio de recursos públicos.

Desde una perspectiva democrática, la contabilidad es una dimensión importante de la evaluación. Las organizaciones y autoridades públicas están aumentando de manera progresiva sus peticiones de transparencia cara a cara a sus contribuyentes.  Con este espíritu, la evaluación debe ayudar a explicar simplemente dónde se gasta el dinero, que efectos produce y cómo se justifica el gasto.

Evaluación formativa

Formative evaluation

Evaluation endoformative

Es la evaluación que está dirigida a gerentes y protagonistas directos, para ayudarles a mejorar sus acciones (retroalimentación o feedback). La evaluación formativa se aplica principalmente durante la implementación (evaluación continua o intermedia). Se centra principalmente en los procedimientos de implementación y su efectividad y relevancia. La distinción entre evaluación formativa y de resumen ha sido definida de manera ingeniosa: Cuando el cocinero prueba la sopa, es formativa; cuando los invitados prueban la sopa, es de resumen

Evaluación de resumen

Summative evaluation

Evaluation récapitulative

Se llama a así a la evaluación realizada por actores que no están implicados directamente en la gestión de la intervención pública (instituciones políticas o profesionales, fundaciones, la prensa, etc.) para producir una valoración global y distante de una determinada intervención.

Se dice que la evaluación es de resumen o recapituladora cuando se dirige a la contabilidad de las acciones, y cuando sirve tanto para juzgar la intervención pública como para ayudar a las autoridades responsables a decidir sobre su lanzamiento, mantenimiento, aplazamiento, supresión y reproducción. En tales instancias, los usuarios son cuerpos financiadores externos y posiblemente otros actores sociales que puedan decidir para sus propios propósitos sobre la conveniencia de adoptar mejores prácticas identificadas durante la evaluación del programa

Evaluación participativa

Stakeholder evaluation, partnership evaluation, pluralistic evaluation

Evaluation participative, evaluation partenariale, evaluation pluraliste

El enfoque pluralista diseñado como un proceso de solución de problemas colectivo implicando a todas las partes a las que concierne. Sobre las bases de la información creíble aceptadas por todos, los juicios de valor son formulados mediante acuerdos de búsqueda dentro del ámbito de la autoridad de evaluación consistente en oficiales administrativos y políticos, así como en interlocutores para los grupos a los que concierne.

Evaluación como aprendizaje social

Evaluation as social learning

Évaluation comme apprentissage social

La evaluación concebida como un aprendizaje de todos los protagonistas implicados en su realización. No se trata tan sólo de un enfoque pluralista entre todas las partes implicadas, supone una predisposición de todos los participantes por aprender: los expertos de la población, y la población de los expertos, en un intercambio de conocimientos y experiencias que termina enriqueciendo los ejercicios de seguimiento y evaluación.

Es un tipo de evaluación que implica las tres anteriores, la evaluación formativa, la de resumen y la participativa. Implica abrir un proceso de participación cuyo objetivo es el aprendizaje de todos. Siguiendo con el símil anterior, el cocinero prueba la sopa, los invitados también y tratan de llegar a un consenso sobre los mejores modos de hacer.

Evaluación democrática

Democratic evaluation

Évaluation démocratique

Un enfoque evaluativo dirigido a mejorar la calidad y transparencia del debate democrático,  tanto a través  de la promoción de un conocimiento y entendimiento de la lógica y efectos de la intervención como a través de un juicio de su justificación y efectividad.

La evaluación se define como un “juicio sobre los valores de la intervención” por personalidades elegidas de manera democrática. Los profesionales de la evaluación están al servicio de esta autoridad y tienen un papel técnico exclusivo. El proceso es público. Este tipo de evaluación se aplica en el caso de una intervención experimental que, a la vista de los resultados obtenidos tras los primeros años, debe ser confirmada mediante votación.

Evaluación de gestión

Managerial evaluation

Evaluation managériale

Un enfoque evaluador integrado en la gestión de las intervenciones públicas, y dirigida hacia cambios recomendatorios relacionados tanto con la toma de decisiones (feedback) como con el comportamiento de los actores responsables de la implementación de la intervención.

La aproximación general de la evaluación de gestión es similar a la de la nueva gestión pública, y está dirigida a coordinar el problema del estancamiento de la renta pública. La cuestión subyacente puede formularse de la siguiente manera: ¿cómo puede justificarse la compensación entre las diferentes políticas sectoriales? El enfoque dominante aquí que sucede dentro del ámbito de la administración, es el de la “optimización” de los recursos presupuestarios.

La calidad de la evaluación de gestión se basa en dos principios: la independencia del evaluador y la objetividad del método. La objetividad debe garantizarse por la calidad del sistema de indicadores utilizado, la fiabilidad de la información y la neutralidad en la interpretación de los resultados.

Referencias citadas:

Comisión Europea (1999). MEANS collection: evaluating socio-economic programmes. Directorate-General for Regional Policy, & Cohesion. Office for Official Publications of the European Communities.