Antes de comenzar con las limitaciones de ambos enfoques es bueno reconocer la enorme aportación histórica del EML y el ACB, como herramientas de planificación han contribuido a articular muchos esfuerzos dispersos de cooperación para el desarrollo. No obstante, su traslado y aplicación en el campo de la evaluación, a pesar de que cuenta con la defensa de numerosos profesionales, ofrece unos resultados mucho más pobres que en el campo de la planificación. Tanto el EML como el ACB, poseen importantes limitaciones, que merece la pena repasar:
- El EML adolece de rigidez para inspirar modelos de evaluación, ya que depende de indicadores predeterminados. Lo que da lugar a un modelo poco preparado para el gran grado de incertidumbre que se suele encontrar en el dinámico contexto de las evaluaciones. Supone también un enfoque negativo al estar centrado en el análisis de problemas coartando el posible desarrollo de las capacidades. Además, se trata de una metodología cuyos propios fundamentos y presupuestos impiden y restringen la participación local en las evaluaciones.
- Por su lado, el ACB se muestra en gran medida incapaz de evaluar intervenciones de desarrollo social en los que predominan los beneficios intangibles (educación, integración y fortalecimiento institucional, entre otros). Requiere además de elevados conocimientos financieros y económicos, lo que deja en manos de los consultores economistas externos a la comunidad que se pretende desarrollar los secretos para su aplicación, no contribuyendo al aprendizaje local.
- La imposición de procedimientos complejos de evaluación puede conducir a la desaparición de las organizaciones pequeñas y a la pérdida de su identidad asociativa, en favor de organizaciones grandes o transnacionales.
- Ambas metodologías poseen un sesgo hacia los resultados, en detrimento de una reflexión cualitativa sobre los procesos. Algunos evaluadores experimentados han cuestionado ese vínculo automático que se suele hacer entre evaluación e impacto, aduciendo que existen criterios alternativos a la hora de evaluar un programa, como es su potencial de replicación, su capacidad innovadora, el nivel de participación local o su contribución al fortalecimiento de la sociedad civil. Algunos de los principales argumentos aducidos para criticar estos enfoques son:
- Las enormes dificultades para aislar los resultados directos de los programas y para ligar los insumos con los outputs motivan que un número considerable de evaluaciones de impacto carezca de valor. En la práctica es más fácil identificar los factores externos que influyen de forma adversa en las intervenciones que precisar todas las conexiones causales.
- La utilización de las evaluaciones de impacto para distribuir los fondos de desarrollo desencadena el abandono de muchas líneas de trabajo como las actividades orientadas a los sectores más pobres, debido al aumento de los costes y las pobres perspectivas de alcanzar sostenibilidad financiera, o las actividades innovadoras, debido a la incertidumbre de sus resultados. También sufren bajo esta visión los proyectos que buscan resultados intangibles.
Esto no implica la descalificación automática del EML o de los procedimientos clásicos de evaluación (ACB, ACE), sino la necesidad de utilizar estos modelos con precaución y con espíritu abierto para facilitar la percepción de los potenciales aspectos cualitativos —muchas veces no esperados— de los programas.
