El uso de la web y redes sociales en el diseño de evaluaciones
Importancia de internet como fuente de información
Internet ha revolucionado las formas tradicionales de relación entre las personas y esto ha motivado que la actividad se adapte a este nuevo sistema de intercomunicación. Actualmente, Internet constituye una herramienta fundamental e imprescindible para cualquier organización. Con Internet podemos realizar estudios cualitativos (dinámicas de grupo y entrevistas en profundidad), estudios de mercado cuantitativos (encuestas y paneles de consumo), estudios de observación (comentarios, opiniones de usuarios, estrategias de la competencia, tendencias…), búsqueda de nuevas tendencias para innovación, test de valoración, etc.
Internet ha tenido una historia con tres etapas claramente identificadas. La primera, la Web 1.0, donde las empresas publicaban sus contenidos en un sitio web dirigido a un determinado número de usuarios potenciales que contaban con una capacidad muy reducida de interactuar con esa información. Un sitio web era únicamente un escaparate donde exponer información y la red constituía una herramienta de comunicación y, en ocasiones, de distribución (tiendas online). La Web 2.0 comenzó cuando las páginas web dejaron de limitarse a emitir información y se plantearon la posibilidad de recibir información de los usuarios. Se trataba de un modelo bidireccional que abría un abanico de posibilidades de investigación de mercado y de comunicación. En esta etapa comenzaron a tomar importancia las redes sociales y blogs. La Web 3.0, también denominada web semántica o inteligente, representa el futuro de la red y mejora la organización y el acceso a la información. Esta nueva etapa viene ligada a la concepción de la red como base de datos, computación en la nube (cloud computing, prestación de servicios de negocio y tecnología a través de internet), aplicaciones web conectadas a otras aplicaciones web e inteligencia artificial. Según Rodríguez (2012), el concepto web 3.0 se basa en la evolución de las redes sociales bajo los conceptos de búsquedas perfeccionadas hasta conseguir un único resultado totalmente ajustado a la demanda de información; contenidos accesibles sin navegación desde cualquier dispositivo o lugar; tecnologías de inteligencia artificial para la localización y selección de la información; geolocalización avanzada para localizar personas y lugares en cualquier dispositivo móvil; y, la extensión al mundo virtual.
En este punto se hace necesario hacer una diferenciación entre lo que significa red social (social network) y medios sociales (social media). Estamos acostumbrados a hablar tanto de estos conceptos, que a veces se confunde. Según el blog socialmediatoday.com, los medios sociales están dirigidos a transmitir o compartir información con una amplia audiencia; las redes sociales están constituidas por grupos de personas con los mismos intereses. También hay una diferencia de estilos en la comunicación: los medios sociales tienden a ser un canal unidireccional, mientras que las redes sociales constituyen un canal bidireccional, un intercambio de experiencias donde se genera una gran cantidad de información. El uso de las redes sociales hoy en día está muy relacionado con la interrelación entre las personas y la transmisión de información y objetivos. Debido a la globalización, esta nube cada vez crece más rápido, por lo que la cantidad de información que existe en la web es cada vez mayor. Es por ello que debemos identificar la información que necesitamos y analizar los datos correctos, lo que se puede resumir en la frase: “descartar y destacar”.
Se hace así necesaria la existencia de herramientas para poder filtrar y conseguir los datos que realmente nos interesan en cada trabajo de evaluación, dar utilidad, analizar y evaluar todo tipo de datos que pueden obtenerse en el entorno web. Un concepto interesante en esta línea es el de minería de datos (data mining), un campo de las ciencias de la computación referido al proceso que intenta descubrir patrones en grandes volúmenes de datos. La inteligencia artificial, el aprendizaje automático, la estadística y sistemas de bases de datos son los métodos más utilizados en este campo (Maimon y Rokach, 2010). El primer paso de un proceso de minería consiste en la selección de un conjunto de datos y el análisis de sus propiedades (histogramas, o diagramas de depresión pueden ser de gran utilidad en esta fase). En segundo paso es la transformación de esos datos de entrada a través de la selección y aplicación de una de las técnicas de minería de datos (modelo predictivo, de clasificación o de segmentación). Un último paso consiste en la extracción del conocimiento, la interpretación y la evaluación de los datos.
Por otro lado, siempre debemos tener en cuenta para qué y por qué debemos hacer el análisis de esa información y de esos datos, es decir, cuál es el objetivo último que perseguimos con cada trabajo de evaluación. Si sabemos identificar nuestro fin, podremos elegir nuestros medios para conseguir el máximo rendimiento y efectividad.
En último lugar, hacer hincapié en el concepto de seguridad y privacidad, los términos y condiciones y la información personal que se sube a la web, ya que, un mal trato de los datos puede volverse en nuestra contra.
Herramientas para poder utilizar la web y las redes sociales como fuentes de información
La tecnología se ha desarrollado de tal forma que se han creado “laboratorios” para analizar cómo las redes sociales afectan a la sociedad, a las comunicaciones y a la difusión de la información. Los grupos de investigación han desarrollado distintas herramientas para analizar, visualizar y evaluar las distintas redes sociales. Es un nuevo campo con alta innovación tecnológica y donde los elementos de software para analizar y evaluar se han disparado como la espuma. Existen distintas herramientas en función de cuál sea el objetivo que queremos medir o analizar. También, existen distintas herramientas en función de si son gratuitas o de pago, etc. Entonces, lo primero que tenemos que hacer es preguntarnos ¿Qué queremos medir? Es decir, tenemos que tener claros los objetivos. El análisis de los datos nos dará las pautas necesarias para las acciones que debemos tomar y así conseguir el éxito de los objetivos de nuestro estudio. Existen herramientas para el análisis de páginas web (analytics), seguimiento (monitoring), análisis estadístico (reporting), análisis de mejores prácticas (benchmarking) y gestión (management), entre otras. A continuación, nos dispondremos a hacer una breve recopilación de estas herramientas y de su uso, bajo una estructura que sigue la señalada por el blog e-interactive.
– Herramientas para el análisis de páginas web (analytics)
Existen una gran variedad de herramientas para la analítica web que permiten medir y recoger los resultados de una página web, programa, producto o servicio. Especificaremos tres de las más importantes y mejor valoradas por los Community Manager.
Lucky Orange
Herramienta que sirve para analizar formularios y vínculos. Incluye el comportamiento del usuario en la página con un gran abanico de características, desde las grabaciones de visitas hasta la analítica, búsqueda y segmentación por mapas de calor. También ofrece rutas de conversión visuales. Una demostración de esta herramienta puede visualizarse en el siguiente enlace.
4Q
4Q es una herramienta de encuestas para sitios web que permite a los dueños de negocios evaluar la experiencia online, medir la satisfacción de los clientes y poner en marcha rápidamente las mejoras para su sitio web basándose en los comentarios de visitantes reales. Para ver el funcionamiento, existe una demo gratuita clicando en el siguiente enlace.
– Herramientas de seguimiento (monitoring)
Se trata de herramientas que permiten rastrear términos o palabras clave en los diferentes entornos de la web.
Es una herramienta que permite rastrear palabras clave en la mayor parte de plataformas 2.0. Los resultados pueden recibirse a través de SMS y servicios RSS. Aparecen distintos campos como la fuerza, pasión, sentimiento y alcance que produce un término o una marca en la web.
Similar a la herramienta anterior, HowSociable nos señala conversaciones generadas sobre una determinada keyword o palabra clave. Puede ser una herramienta útil para completar la información obtenida a través de socialmention.
Talkwalker
Múltiples opciones para analizar la presencia de una marca o de los tópicos que seleccionamos en todos los medios digitales. Ofrece múltiples opciones entre las redes sociales pero también monitoriza blogs, foros, periódicos, revistas, medios online, agencias de noticias… todos los medios están contemplados aunque deben indicarse los términos a analizar, las direcciones y páginas a monitorizar y los filtros que se van a emplear.
– Herramientas de análisis estadístico (reporting)
Son herramientas que nos permiten analizar estadísticas de social media. Cuanto más analizados estén los datos mejor será el reporte. Pero lo más importante es tener en cuenta que no solo se trata de presentar las cifras sino de darles una explicación y ver qué se puede hacer para mejorarlas. Existen muchas herramientas para este fin pero aquí vamos a presentar solo algunas de ellas, y las vamos a dividir según tres características:
-Estadísticas que nos ofrecen los propios canales: Facebook Insights, Twitter Analytics, Youtube Analytics.
-Mix entre reporting y analytics: Crowdbooster.
-Indicadores de rendimiento: True Social Metrics, Cyfe.
Estadísticas que nos ofrecen los propios canales
Facebook insights
Es una herramienta de Facebook que nos permite medir los resultados de una fanpage. Además de cantidad de fans totales, cantidad de likes, visitas, etc. Nos ofrece otras métricas muy útiles para los reportes:
Alcance (reach): se trata del número de usuarios únicos que ha visto nuestro post. Este es el número más importante a la hora de definir la popularidad o el éxito de una aplicación.
Usuarios que Interactúan (engaged users): esta métrica es efectiva para poder medir la participación de una comunidad.
Personas que están hablando de esto (talking about this): con este extensor título, lo que facebook nos provee es de la posibilidad de ver qué personas han dado like, comentado o compartido nuestro post, o respondido a un evento o pregunta.
Difusión (virality): El porcentaje de difusión se obtiene dividiendo las personas que están hablando de esto por el número de alcance.
También nos ofrece datos demográficos que nos muestra la ubicación geográfica de nuestros usuarios, así como datos sobre el género y la edad, desde dónde interactúan (móviles, tablets, PCs…) los cuales son cruciales a la hora de diseñar el contenido. Así mismo, se puede revisar el funcionamiento de los ads para comprobar cuánto ha sido de exitosa una campaña, qué tipos de posts son los más exitosos y enterarnos del estado de las páginas de la competencia. También desarrolla información gráfica preparada para ser presentada y reportes excel para crear nuestros propios reportes personalizados. En definitiva, lo que nos permite es saber qué es lo que más le gusta a nuestros usuarios para poder usarlo en nuestro beneficio.
Twitter analytics
Esta herramienta nos muestra la evolución de nuestra presencia en Twitter en el último mes. Las funciones principales son:
- Mención principal: cuál ha sido la publicación en la que hemos sido mencionados con mayor número de interacciones durante el mes.
- Tweet principal (y sus variantes): publicación que mejor ha funcionado durante el mes.
- Seguidor principal: qué seguidores son los más relevantes.
Así mismo, existe la opción de ver los detalles del tweet, lo que nos permite analizar el ciclo de vida de la publicación desglosado también según el tipo de interacción. Esta información puede resultar muy útil para saber, por ejemplo, cuál es el mejor horario para publicar. Además la información proporcionada se puede extraer en formato excel para facilitar la presentación de resultados.
La información se presenta en un panel general donde aparecen los números de reproducciones, números de “me gusta” y comentarios en cada vídeo, así como las interacciones de los usuarios. Te permite medir el rendimiento actual de tu canal y videos gracias a una gran cantidad de datos ofrecidos en distintos informes como reproducciones, fuentes de tráfico, o datos demográficos.
Dichos datos pueden visualizarse mediante filtro de datos, gráfico lineal, gráfico multilínea, área apilada, gráfico circular, gráfico de barras, y mapa interactivo. Estos últimos, los mapas interactivos, muestran en las zonas más oscuras dónde se reproducen los vídeos. En dichas ubicaciones hay un mayor número de personas reproduciendo el vídeo. La herramienta proporciona ventajosos datos métricos mediante tres tipos de informes:
- Informes de ingresos: de ingresos estimados y de rendimiento de los anuncios.
- Informes de reproducciones: de fuentes de tráfico y de retención de la audiencia.
- Informes de participación: de suscriptores y de anotaciones.
La siguiente noticia del periódico “Expansión” publicada 12/03/2015 explica la utilidad del uso de la plataforma Youtube donde hace referencia a la importancia de conocer a tu público objetivo y adaptarte a él utilizando la herramienta Youtube Analytics.
Para concluir, la siguiente charla TED es muy interesante ya que Nicholas Christakis explica de una manera muy interactiva y dinámica la influencia oculta que ejercen las redes sociales en la sociedad actual.
– Herramientas para mejores prácticas (benchmarking)
Consiste en herramientas que permiten analizar tanto a tus competidores como las mejores prácticas llevadas a cabo de modo que te permita reestructurar tu estrategia en las redes sociales.
Social Bakers
Permite analizar las principales redes sociales como Facebook, Twitter, YouTube, Linkedin y Google + mediante una plataforma de fácil uso que permite a las empresas medir, comparar y contrastar el éxito de sus campañas mediante las siguientes funciones:
- Analytics. Evaluación, seguimiento y presentación de informes de Facebook, Twitter y YouTube. Analizan tus actuaciones, las de la competencia y las del global de la industria.
- Builder. Es una plataforma de gestión de contenidos que ayuda a los responsables de marketing a aumentar su eficiencia en las redes sociales. Análisis a tiempo real e informes de rendimiento permiten mantener el control de todas las publicaciones.
- Listening. Permite monitorizar las conversaciones en Facebook y Twitter en tiempo real y en las plataformas escogidas, así como exportar el análisis de las conversaciones según las palabras clave y a través de múltiples plataformas de social media.
- Ad Analytics. Son tres herramientas que ayudan a los anunciantes a optimizar, administrar y potenciar su estrategia de publicidad.
Como el resto de herramientas, DKS SocialSmart analiza datos de distintas redes sociales (Twitter, Facebook, Google +, etc) y los blogs. Algunos de los datos que nos ofrece son:
- Posicionamiento de marca en cuanto conjunto competitivo (inteligencia competitiva).
- Análisis y temas Influencers.
- Retorno Social Media de la inversión (ROI).
- Recorte de datos web permite encontrar las palabras clave de Internet e identificar los contenidos principales de trending topics.
- Proporciona indicadores de seguidores, tweets de escritura, mensajes… acerca de la información compartida, las personas relacionadas con tus negocios, propuestas, comentarios y reputación cooperativa.
Se analiza el contenido de todos los mensajes y los clasifica en función de sus intenciones (positivos, negativos o neutros).
Bibliografía:
Maimon, O. y Rokach, L. (2010). Data Mining and Knowledge Discovery Handbook. Springer, New York. ISBN 978-0-387-09823-4.
Rodríguez, O. (2012). Curso de Community Manager. Anaya Multimedia.
Desarrollo de capacidades de evaluación (Evaluation Capacity Building)
Autores: @aleshernandez y @Cecilia.davila
El Desarrollo de Capacidades de Evaluación (ECB por sus siglas en inglés: Evaluation Capacity Building) es un enfoque que surgió en las últimas décadas del siglo XX en los Estados Unidos y ganó fuerza mundialmente a principios del XXI (Preskill & Boyle, 2008). En el ámbito profesional, el ECB ha sido diseminado y adaptado en diferentes campos como, por ejemplo, en el de la ayuda técnica y la cooperación al desarrollo (Horton, 2008). El ECB surge de la mano del Desarrollo de Capacidades o Capacity Building, que es un enfoque que busca fortalecer a las organizaciones desde la valoración continua de los procesos que conducen a alcanzar objetivos para el desarrollo. Es un enfoque con base sistémica que se ha centrado en promover sistemas de gobernanza sostenibles basados en la transparencia y la cultura del desempeño organizacional efectivo. El objetivo es mejorar la gestión y formulación de políticas, además de optimizar los procesos de rendición de cuentas a través del apoyo a la creación o fortalecimiento de los sistemas de monitoreo y evaluación (Zaltsman, 2006).
¿Qué es “Evaluation Capacity Building” ?
El ECB es, primeramente, un proceso dinámico, complejo y contextual (Suarez-Balcazar & Taylor-Ritzler, 2013). Además, es un trabajo intencional que implica el diseño y la implementación de estrategias de aprendizaje y enseñanza con el objetivo de facilitar tanto a individuos, como a grupos u organizaciones, el aprender acerca de lo que constituye una práctica de evaluación efectiva, útil y profesional. Para que el ECB sea una práctica sostenible, es necesario que las organizaciones desarrollen sistemas, procesos, políticas y planes que les permitan alcanzar su misión u objetivos estratégicos. Asimismo, el ECB necesita que sus participantes sean provistos de liderazgo, incentivos, recursos y oportunidades de transferir el aprendizaje acerca de la evaluación a su práctica profesional diaria (Preskill & Boyle, 2008).
A diferencia de los enfoques tradicionales ─lineares, verticales y externos─ de evaluación para el desarrollo, el ECB plantea una práctica continua, cíclica, participativa e interna (no excluye la posibilidad de agentes externos para el proceso de evaluación) que implica generar capacidades adaptativas dentro las organizaciones. Este tipo de práctica permite reconocer las circunstancias que cambian durante las intervenciones de desarrollo y la capacidad organizacional de responder eficaz y efectivamente frente a ellas (Horton, 2008) (Preskill & Boyle, 2008). El ECB es un ciclo constante de aprendizaje que comienza por la planificación, seguido de la colecta de datos para generar información que conduzca al análisis y a la reflexión para, a continuación, decidir qué acciones tomar para mejorar la efectividad y los impactos de la intervención de desarrollo en un punto determinado y, finalmente, comenzar nuevamente con un objetivo distinto (Grantmakers for Effective Organizations, 2011).
Por tratarse de un enfoque que valora lo contextual, no hay una “receta” establecida para el ECB. Se trata, por el contrario, de estimular a las organizaciones a idear formas de planificar y llevar a cabo procesos de evaluación de capacidades que se correspondan con sus objetivos y con los recursos y la capacidad de gestión para alcanzar los mismos (Horton, 2008). Dentro de una organización, el ECB surge por una motivación específica que opera bajo ciertos supuestos sobre lo que es evaluación y desarrollo de capacidades, y que, además, tiene ciertas expectativas de lo que se quiere alcanzar a través de la ejecución del proceso (Preskill & Boyle, 2008).
Un buen diseño de ECB no basta para garantizar el éxito del mismo, existe una variedad de factores que pueden convertirse en obstáculos como, por ejemplo, el tiempo, la experticia del facilitador y su efectividad, la frecuencia y calidad de la participación, y la medida en que la actividad es implementada. La idea es aplicar el conocimiento de la evaluación, las habilidades y competencias, y las actitudes al contexto del trabajo, es decir, que haya una transferencia de conocimiento generado por el proceso de evaluación. La transferencia de conocimiento es, por lo tanto, el factor clave para la sostenibilidad del ECB (Preskill & Boyle, 2008).
A nivel de herramientas es necesario aplicar aquellas que desarrollen capacidades que conduzcan al pensamiento evaluativo y que, además, promuevan el involucramiento y participación activa de los participantes en el proceso de ECB.
¿Para qué sirve el “Evaluation Capacity Building” ?
El proceso de ECB sirve para desarrollar conocimiento, habilidades, competencias y actitudes evaluativas a nivel individual y organizacional y así potenciar el desempeño y la efectividad de las intervenciones en el campo del desarrollo (Preskill & Boyle, 2008). Por otro lado, el ECB sirve para articular esfuerzos dentro de una organización, fomentando el trabajo colaborativo, el involucramiento y la participación activa de los individuos o grupos de trabajo de la misma. Además, genera procesos de reflexión continuos que conducen al aprendizaje individual y organizacional y a cómo mejorar los sistemas de adquisición de información y su respectivo análisis.
A nivel de promotores, el ECB permite que se identifique lo que “funciona bien” y el porqué de ello, además de evaluar cuán preparada está una organización para la planificación y la implementación del proceso de potenciamiento (Grantmakers for Effective Organizations, 2011). Potenciar en este caso, se entiende como el proceso que conduce al desempeño eficiente de las organizaciones y que está centrado en el desarrollo de capacidades y en el aprendizaje continuo.
¿Cómo desarrollar un proceso de ECB?
Siendo un proceso eminentemente práctico, el ECB implica la realización de actividades dirigidas a crear, fortalecer y sostener capacidades de evaluación. Estas actividades pueden llevarse a cabo a través de capacitaciones, asistencia técnica, tutorías, coaching, desarrollo e intercambio de documentación, apoyo a grupos de trabajo y aprendizaje y promoción de un ambiente favorable a la evaluación, para lo cual, la persona o equipo facilitador debe adoptar diferentes roles (University of Wisconsin-Extension, Cooperative Extension, 2008).
El ECB relaciona entre sí tanto los diferentes niveles dentro de una organización (individual, equipo o programa, organización) como los principales actores, que en el caso de proyectos de desarrollo son la propia organización y sus partes implicadas, la entidad financiadora y la persona o equipo externo de evaluación y capacitación. La primera distribución implica que el incremento de las capacidades de evaluación personales contribuye a la mejora del funcionamiento de los programas y a la obtención de mejores resultados de la organización; a su vez, este proceso se ve facilitado si la organización promueve la cultura de la evaluación y pone los medios para llevarla a cabo (Labin, 2014). La segunda clasificación se refiere a la conveniencia de crear una “comunidad de aprendizaje” entre los diferentes actores.
Cada vez se trabaja más en la elaboración de marcos teóricos para explicar la enseñanza y aprendizaje de capacidades de evaluación, principalmente en términos de aprendizaje para adultos y aprendizaje transformativo. Parece haber un consenso a la hora de expresar la necesidad de integrar la ciencia y la investigación con la práctica en una relación estrecha y congruente para fomentar la retroalimentación mutua (Suarez-Balcazar & Taylor-Ritzler, 2013).
Aunque todavía queda un largo recorrido para fundamentar de forma consistente y con bases empíricas estos intentos, ya se han empezado a proponer modelos, como el que se explica en el artículo “A Multidisciplinary Model of Evaluation Capacity Building” (Preskill & Boyle, 2008), cuya finalidad es describir un modelo de ECB que sea útil para diseñar e implementar actividades y procesos de desarrollo de capacidades y como soporte a la investigación empírica.
El IECB o Integrated ECB Model es una compilación hecha a través de la integración de conceptos preexistentes y literatura empírica sobre el ECB y las herramientas identificadas durante su investigación. Se expresa de una forma lineal (no iterativa) y bidimensional, relacionando las necesidades con las estrategias a implementar y supeditando la efectividad de las mismas a las capacidades de evaluación y a disposición a la misma de la organización (Labin, 2014).
Un paso previo al inicio, o más bien el inicio del ECB, es valorar la preparación o disposición (readiness en inglés) de la organización para implementar el proceso de evaluación de forma satisfactoria. Se basa principalmente en la respuesta a las preguntas: ¿Qué prácticas de evaluación se están llevando a cabo actualmente? y ¿cuál es la capacidad de evaluación? Varios factores componen la preparación para la evaluación, a saber, liderazgo, apoyo a la evaluación, cultura de la organización para la orientación al aprendizaje y mejora, capacidades de evaluación, experiencia y recursos (Morariu, 2012). En este artículo, se propone un test para llevar a cabo esta valoración, inspirado en parte en una lista de verificación para la construcción de capacidades de evaluación en las organizaciones presentada como “A Checklist for Building Organizational Evaluation Capacity” (Volkov & King, 2007), basado en casos de estudio y revisión bibliográfica.
La disposición y preparación de la organización para el ECB está directamente relacionada tanto con los resultados del proceso (Labin, 2014), como con el reparto de las responsabilidades que requiere la evaluación entre la organización y el equipo de evaluación y capacitación externo, lo que se denomina el “evaluative learning continuum” (York, 2003).
¿Cómo medir la evolución del proceso?
Este punto es un tema candente, ya que aunque se han hecho esfuerzos por sentar las bases teóricas del ECB y reconocer su potencial, no está clara todavía la forma de medir la evolución y el impacto del mismo en los factores contextuales y culturales (Suarez-Balcazar & Taylor-Ritzler, 2013).
Además del checklist anterior y otros tests, se han propuesto instrumentos más elaborados para valorar la capacidad de evaluación y su progreso, como el ECAI o Evaluation Capacity Assessment Instrument; ésta es una herramienta para medir la capacidad de evaluación del personal de organizaciones sin ánimo de lucro diseñada como modelo de síntesis. Se detalla e intenta validar en el artículo “Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study” (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Consideraciones finales
El enfoque del ECB es algo relativamente reciente pero el interés que suscita tanto en organizaciones como en entidades financiadoras y equipos evaluadores continúa creciendo a una gran ritmo (Wandersman, 2014).
No obstante, queda un largo camino por recorrer principalmente en dos sentidos. El primero es el de integrar definitivamente en la investigación la ciencia y la práctica, en una relación bidireccional y complementaria (Suarez-Balcazar & Taylor-Ritzler, 2013). El segundo es el de reforzar los modelos existentes, validando los que no lo estén y aplicando a muestras más grandes los que sí que lo están (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Finalmente, cabe remarcar que a pesar de que el ECB promulga procesos más participativos y centrados en el aprendizaje y en el desarrollo de capacidades individuales y organizacionales, la razón fundamental de su aplicación y el objetivo principal de la investigación que lo rodea es el de mejorar los resultados de la organización (Suarez-Balcazar & Taylor-Ritzler, 2013).
Bibliografía:
Grantmakers for Effective Organizations. (2011). Scaling What Works. Recuperado el 29 de October de 2015, de http://www.socialimpactexchange.org/sites/www.socialimpactexchange.org/files/GEO_SWW_HowDoWeApproachImpactandEval.pdf
Horton, D. (September de 2008). international Center of tropical Agriculture. Recuperado el 20 de October de 2015, de http://preval.org/files/texto_completo.pdf
Labin, S. N. (2014). Developing Common Measures in Evaluation Capacity Building: An Iterative Science and Practice Process. American Journal of Evaluation, Vol. 35(1) 107-115.
Morariu, J. (2012). Readiness for Evaluation and Learning: Assessing Grantmaker and Grantee Capacity. Innovation Network.
Preskill, H., & Boyle, S. (2008). American Journal of Evaluation. Recuperado el 19 de October de 2015, de http://www.unm.edu/~marivera/522%20readings%203/Multidisciplinary%20model%20of%20evaluation%20capacity%20building.pdf
Suarez-Balcazar, Y., & Taylor-Ritzler, T. (15 de August de 2013). American Journal of Evaluation. Recuperado el 30 de October de 2015, de http://aje.sagepub.com/content/35/1/95.full.pdf+html
Taylor-Ritzler, T., Suarez-Balcazar, Y., Garcia-Iriarte, E., Henry, D. B., & Balcazar, F. E. (2013). Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study. American Journal of Evaluation, 34(2), 190-206.
University of Wisconsin-Extension, Cooperative Extension. (2008). Building Capacity in Evaluating Outcomes. Madison: University of Wisconsin-Extension, Cooperative Extension, Program Development and Evaluation.
Volkov, B. B., & King, J. A. (2007). A Checklist for Building Organizational Evaluation Capacity. Obtenido de https://www.wmich.edu/sites/default/files/attachments/u350/2014/organiziationevalcapacity.pdf
Wandersman, A. (2014). Moving Forward With the Science and Practice of Evaluation Capacity Building (ECB) The Why, How, What, and Outcomes of ECB. American Journal of Evaluation, 35(1), 87-89.
York, P. J. (2003). Learning As We Go: Making Evaluation Work for Everyone. A Briefing Paper for Funders and Nonprofits. TCC Group.
Zaltsman, A. (May de 2006). Independent Evaluation Group. Recuperado el 29 de octubre de 2015, de Desarrollo de la capacidad de evaluación, Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: http://ieg.worldbank.org/Data/reports/ecd_wp16_spanish.pdf
¿De qué depende la credibilidad de una evaluación y de un evaluador?
La credibilidad se define como la cualidad de algo que puede o merece ser creído (RAE). Para merecer ser creíble por personas que no han sido testigos directos. Pero, ¿qué hay de relevante entre el concepto de credibilidad y el evaluador y la evaluación?
La credibilidad de una evaluación y evaluador depende de los siguientes factores: características del evaluador y la evaluación, del receptor que recibe la información y del flujo de comunicación entre las partes involucradas en la evaluación.
Evaluación
Una evaluación es creíble cuando es imparcial, es decir, cuando se maximiza la objetividad en cada una de las etapas que la conforman. Además, si la evaluación está dotada de evidencias, la credibilidad se verá más favorecida. ¿Dónde se encuentran estas dos características en las etapas de una evaluación?
–Estructuración: tanto la respuesta a las preguntas planteadas como la definición de estándares y criterios de juicio, deberán ser explícitos y no influenciados por consideraciones personales o partidistas.
–Observación: la información recogida y las herramientas utilizadas deberán ser fiables. Además, los datos recolectados han de ser evidentes para dotar a la evaluación de credibilidad, así como al juicio de valor elaborado por el evaluador.
-Análisis: los indicadores utilizados, en base a los criterios fijados para la comparación de los datos recogidos y estimación de efectos, han de ser fiables.
–Emisión de juicio: los resultados para reforzar la creencia del receptor habrán de proveer evidencias.
Evaluador
El evaluador es un factor que también condiciona la credibilidad de la evaluación. Respecto a qué y qué no debe poseer un evaluador, esto lo condiciona su perfil y las competencias que tenga para realizar su trabajo. Pero para ser creíble no existe una guía ni declaración internacional consensuada acerca de ello. Como aproximación se ha recopilado lo que, según reconocidas organizaciones y asociaciones como el Programa de Naciones Unidas para el Desarrollo (PNUD, UNDP-United Nations Development Programme), la ANZEA o el Grupo de Evaluación de Naciones Unidas (UNEG, 2005) consideran como características de importancia que dotan a un buen evaluador.
– Perfil de un Evaluador
El evaluador necesita ostentar atributos personales que le permitan poder desenvolverse con la mayor objetividad posible (SEAP, 2008). Se determina que debe contar con:
- Atributos Personales
- Ético, imparcial, sincero, honesto y discreto.
- Observador: activamente consciente del entorno físico y las actividades.
- Tenaz: que ponga todo el empeño para lograr los resultados planteados.
- De mentalidad abierta: dispuesto a considerar ideas o puntos de vista alternativos.
- Asertivo: poder brindar opiniones y directrices que resulten más un consejo que un mandato.
- Diplomático: facilidad para poder conciliar conflictos.
- Perceptivo: instintivamente consciente y capaz de entender las situaciones.
- Versátil: poder asumir los cambios que ocurren en su entorno.
- Decidido: alcanzar conclusiones oportunas basadas en el análisis y razonamiento lógico.
- Seguro de sí mismo: actúa y funciona de forma independiente a la vez que se relaciona eficazmente con otros
- Educación
- Preferiblemente universitaria.
- Cursos específicos orientados hacia la evaluación.
- Expresión oral y escrita clara y fluida.
- Competencias
Actualmente, en países donde la cultura de evaluación es más madura, o sea, principalmente en Norteamérica, numerosos autores exigen una profesionalización del perfil de evaluador. Este hecho, según ellos, dotará de mayor credibilidad las acciones de los evaluadores y la evaluación. Sin embargo, otros expertos se manifiestan en contra de la profesionalización del evaluador justificando la diversidad del modo de organización y diseño de las evaluaciones. Lo que no está en discusión es que todo evaluador debe de tener competencias para enfrentar una evaluación con éxito, tales como: análisis del contexto y su compromiso; investigación evaluativa y sistemática; gestión de proyectos de evaluación y la práctica profesional; el desarrollo profesional y la práctica reflexiva.
Flujo de Comunicación
No todas las evaluaciones se diseñan y ejecutan contando con la participación de las personas implicadas. Si se establece un modelo de participación, integración y aprendizaje conjunto a lo largo de todas las fases de la evaluación, la credibilidad del resultado final se verá favorecida.
En la etapa de comunicación de resultados se deberá tener en cuenta aspectos como: el canal a través del cual se envía el mensaje, el momento temporal en el que se produce, el lugar y, por último, a quién se esté dirigiendo el mensaje, o sea, el receptor quien recibe la información.
Receptor
El grado de credibilidad que el receptor perciba de la evaluación va a depender directamente del marco de referencia con la que se articule la evaluación, es decir, de la orientación que tenga (enfoque), de los criterios e indicadores que se utilicen, de las herramientas implementadas, así como del juicio utilizado para realizar las recomendaciones (en caso de que procedan) y resultados. Todos estos factores mencionados son aquellos que conducen a la confianza que, junto al grado de conocimiento que tenga el receptor de la información suministrada, inciden en la credibilidad de la evaluación.
Autores: @Carmen.luna, @d.doleo y @stalingcordero
Referencias citadas:
SEAP (2008). Guía del Evaluador. Secretaría de Estado de Administración Pública. Santo Domingo.
Otras referencias interesantes a consultar pueden ser:
About Carlos Plaza
¿Cómo pueden adquirirse las competencias necesarias para ser un evaluador?
Si un evaluador con las competencias necesarias sirve para dar mayor credibilidad al proceso de evaluación es importante determinar la forma de adquirir dichas competencias.
Como con cualquier habilidad o destreza humana, una competencia de evaluación se puede tener de manera innata o no. Las personas con habilidades innatas solo cuentan con cierta ventaja inicial frente a las personas que no las tienen de forma natural. Al mismo tiempo siempre habrá que trabajar para desarrollarlas al máximo, refinarlas y conocer la mejor manera de llevarlas a la práctica.
Si no se poseen las competencias necesarias, estas se pueden adquirir mediante trabajo y esfuerzo. Según Stevanh, King, Ghere y Minnema (2005) hay cuatro formas de adquisición de las competencias: mejora de la formación, aumento de la práctica reflexiva, avance en la investigación de la evaluación y profesionalización del campo.
1º. La mejora de la formación pasa por el establecimiento de asignaturas y materias a nivel educativo, ya sea universitario o no. Esto se ha de realizar para que los futuros evaluadores ya tengan de base ciertas competencias básicas técnicas como herramientas de observación o de análisis. Pero no solo se puede enseñar las herramientas técnicas, materia habitual en los ámbitos educativo, también se pueden enseñar algunas competencias interpersonales y personales como saber realizar correctamente una entrevista o aprender de los éxitos y fracasos propios.
2º. El aumento de la práctica reflexiva consiste en la continua puesta en marcha de las habilidades de evaluación. Además, en esta puesta en práctica de las competencias el evaluador ha de saber automonitorizarse e ir viendo en todo momento sus propias fortalezas y debilidades. Este mecanismo sirve para ir evolucionando entre los distintos tipos de evaluadores que se puede encontrar en la realidad: accidentales, nuevos evaluadores, en transición y experimentados. Cuanto mayor sea la puesta en funcionamiento de las competencias el evaluador irá creciendo hasta convertirse en un evaluador experimentado.
3º. En el avance de la investigación sobre evaluación se ha de focalizar los recursos en desarrollar nuevas teorías, mejorar en la concepción de las preguntas adecuadas y optimizar al máximo la práctica reflexiva. Investigar y evaluar son dos conceptos parecidos y complementarios. Investigar la evaluación contribuye de la manera ya vista y evaluar la investigación puede ayudar a corregir los fallos y optimizar los aciertos.
4º. La última manera de adquirir las competencias es la profesionalización del campo ya que de esta manera se establecerían criterios, acreditaciones o licencias que de una manera formal distinguirían al evaluador profesional del accidental. Sería más sencillo y simple distinguir al charlatán del verdadero evaluador.
Así que, como se puede observar, hay varios caminos para adquirir y mejorar las competencias. Las dos últimas formas de avanzar en este ámbito se refieren al desarrollo del propio campo en sí, con el impulso en la investigación y en la profesionalización de la evaluación. En cambio, las dos primeras tienen más que ver con aspectos más personales y propios del evaluador, aunque hay que señalar que se trata desde distintas perspectivas. La primera de las maneras de mejorar las competencias presenta un enfoque de aprendizaje externo al evaluador, una institución o entidad ha de establecer mejor su programa o metodología para que se adquieran de una forma más eficaz las competencias necesarias. En cambio, el aumento de la práctica reflexiva refleja la necesidad del propio aprendizaje interno y personal del evaluador para conocer cómo se pueden poner en práctica los conocimientos teóricos aprendidos. Además con dicha reflexión se puede entrar en un análisis personal para descubrir como potenciar sus fortalezas y disminuir sus debilidades.
Finalmente solo queda subrayar que todas estas maneras de progresar en el campo de las competencias de los evaluadores no son opuestas unas de otras, sino complementarias. Sería un error pensar que el campo debe centrarse en uno u otro aspecto olvidando los otros tres. Ha de haber una serie de sinergias entre todos los caminos de progreso para que se avance tanto en el campo de la definición de las competencias como en el campo de la puesta en prácticas de las mismas.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Qué competencias debe tener un evaluador?
Una vez establecidas las razones por las que cuales es necesario crear un marco (más o menos flexible según el enfoque) en el cual quede reflejado las competencias necesarias del evaluador según el enfoque de Stevahn, King, Ghere y Minnema (2005).
Según dicho enfoque las competencias o habilidades que debe tener o adquirir un evaluador se pueden agrupar en las siguientes 6 categorías:
1- La práctica profesional
Las competencias de la práctica profesional tienen que ver con el rigor y seriedad a la hora de trabajar. Este tipo de competencias profesionales se centran en las normas fundamentales y valores prácticos de evaluación, la adhesión a las normas de evaluación o la correcta ética a la hora de evaluar.
2- La investigación sistemática
Las competencias referidas a la investigación sistemática se centran en los aspectos técnicos de las prácticas de evaluación; tales como el diseño, la recogida de datos, conocimiento de distintos métodos de trabajo (mixto, cualitativo o cuantitativo), el análisis de los datos o la presentación de informes. De esta manera, la evaluación podrá seguir el procedimiento adecuado y podrá ser contrastada por otras personas.
3- Análisis de la situación
Estas competencias se refieren al contexto en el que se desarrolla la evaluación. El evaluador ha de ser capaz de adaptar y modificar la evaluación si es necesario, de utilizar la información que le proporcionan y de solucionar posibles conflictos.
4- La gestión de proyectos
En la categoría de gestión de proyectos se agrupan las competencias referentes a aspectos prácticos de la realización de una evaluación como la negociación de los términos de referencia, la realización de presupuestos, la justificación de los gastos, la coordinación de recursos o la supervisión de los procedimientos.
5- La práctica reflexiva
Se centran en la capacidad del evaluador para aprender con su propia experiencia y que se necesita para el crecimiento como profesional. Algunos ejemplos podrían ser el conocer las fortalezas y debilidades propias como evaluador, la evaluación de las necesidades personales de prácticas mejoradas o participar en el desarrollo profesional hacia esa meta.
6- La competencia interpersonal
Este tipo de competencia se centra en las habilidades referentes al trato con las personas como la comunicación, la negociación, el conflicto, la colaboración o las habilidades interculturales.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Se pueden definir las competencias que ha de tener un evaluador?
Se entiende por competencia entre otras acepciones la pericia, aptitud o idoneidad para hacer algo o intervenir en algo (Real Academia de la Lengua, 2001). En otras palabras, son las capacidades y habilidades que tiene una persona o que tienen un grupo de personas para poder desarrollar satisfactoriamente una labor, un trabajo etc.
Por otro lado Michael Scriven define la evaluación como el proceso de determinación del mérito, valor e importancia de algo, ya sea un producto, una actuación, un programa de desarrollo rural, una política, etc. Además se entiende al evaluador o evaluadores como la persona o las personas encargadas de realizar dicha evaluación. Por tanto los evaluadores son los responsables de determinar el mérito, valor e importancia de algo como podría ser un programa educativo.
Si se unen ambos conceptos, se determina que las competencias de un evaluador son todas aquellas habilidades o aptitudes que tiene una persona para desarrollar satisfactoriamente su labor que no es otra que la de evaluar; la de determinar la calidad, el valor y la importancia de algo.
1. ¿Por qué determinar las competencias de un evaluador?
Definir las competencias que ha de tener un evaluador es importante ya que de ellas dependerá la calidad y validez de la evaluación. Hay aspectos de la propia persona que evalúa que puede poner en duda la credibilidad del proceso como podría ser la dependencia o falta de objetividad del evaluador o la incapacidad para analizar la situación.
Si un evaluador no posee las herramientas adecuadas de análisis y fundamenta su evaluación en simples observaciones, opiniones o creencias propias, sin contrastarlas con ningún tipo de dato o de evidencia, entonces parece lógico pensar que la persona a la que va dirigida la evaluación dude de la validez de la misma. Así mismo, cuando el evaluador o grupo de evaluadores está muy vinculado o es muy dependiente de aquello que se evalúa es normal que se llegue a cuestionar la objetividad de la misma.
De este modo, resulta que las competencias y habilidades que tenga un evaluador son muy influyentes a la hora de realizar una evaluación creíble. No solo ya en lo referente a la evaluación en sí, sino también a la hora de presentar los resultados, la evaluación despierte la confianza del público. A lo que se suma la creencia de que la definición de las competencias puede servir para contribuir a la mejora del campo profesional de la evaluación de varias formas (Stevahn, King, Ghere & Minnema, 2005; Moreno, 2015):
– Estableciendo una base para orientar los programas de formación de nuevos evaluadores.
– Ayudando a la mejora continua de los profesionales experimentados.
– Llevando a cabo revisiones periódicas que aseguren la integridad del campo.
2. ¿De qué competencias hablamos?
Las competencias que ha de tener un evaluador son múltiples y existe cierto debate en torno a ello. Antes de entrar en dicho debate se ha de realizar un pequeño razonamiento para tener una primera idea de las aptitudes básicas que precisaría tener un evaluador.
Si el objetivo de un evaluador es realizar una evaluación, el evaluador deberá cumplir con los procesos y procedimientos que se exigen para realizar una evaluación correctamente. Michael Scriven (1980) describió en su gráfico de diamante los procesos básicos que se han de realizar: estructurar, observar, analizar y juzgar. Procesos que suelen comenzar con situaciones en las que el evaluador cuenta con poca o nula información, por lo que ha de profundizar en el tema evaluado observando evidencias, recopilando datos y preguntando a personas claves. Cuando la cantidad de información aumenta se ha de analizar para llegar a síntesis que desemboquen en juicios de valor y conclusiones. Por tanto, el evaluador ha de estructurar el plan, observar las evidencias y recolectar datos, analizar la información recogida comparando datos y estimando los efectos para, por último, establecer un juicio de valor y sintetizarlo de tal manera que sea útil y comprensible.
Pero, ¿es solo esto lo necesario para realizar una buena evaluación? La respuesta en la inmensa mayoría de los casos es que no. Aunque éste sea el esquema básico para poder llevar a cabo una evaluación, deben también contemplarse todos los elementos internos y externos que afectan en el objeto a evaluar y que obligan al evaluador a ir más allá del esquema básico. Además de estas competencias técnicas y básicas, se ha de contar con muchas otras competencias de ámbito más personal y contextual como la objetividad, la ética o las habilidades interpersonales.
3.Tres enfoques para abordar la cuestión
Ahora que se va perfilando las distintas competencias de un evaluador hay que conocer los distintos enfoques que existen en la bibliografía especializada acerca de este asunto. Se podrían resumir los enfoques en 3 grandes vertientes (Moreno, 2015):
1º. Una primera postura entiende que en el campo de la evaluación no ha de haber una lista de competencias fijas. Al ser un proceso flexible y adaptable las competencias han de ser también flexibles y adaptables. En esta postura se encuentran autores como Kirkhart (1981).
2º. Un segundo grupo defendido por la American Evaluation Association (AEA) en la que se establecen principios rectores para guiar a los profesionales del campo pero que no abordan concretamente las competencias que ha de tener un evaluador.
3º. Autores como Stevahn, King, Ghere y Minnema (2005) que establece una lista de las competencias que ha de tener un evaluador.
En la siguiente entrada utilizaremos este último enfoque para profundizar en las competencias que un evaluador ha de tener por ser el más concreto y el que quizás más pueda contribuir a que se puedan apreciar mejor de un modo general cuáles son esas competencias o, por lo menos, su naturaleza.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
9. 5 pasos para implicar a la población
En los procesos de evaluación de proyectos, programas o políticas existen diversas técnicas y herramientas que pueden ser aplicadas según los enfoques con los que sean abordadas. Con el transcurso del tiempo, dentro de los procesos evaluativos, se ha incrementado la necesidad de involucrar de forma más activa y representativa a los agentes involucrados de tal forma que los resultados de la evaluación sean más cercanos a las necesidades locales y se mejoren los procesos de toma de decisiones.
Dentro de los principales beneficios que se obtiene al involucrar a los agentes se encuentran: mejoras más reales a los programas; mutuo aprendizaje; integración de conocimientos locales; reducción de sesgos. Además, para el grupo de agentes, se otorga una mayor oportunidad de contribuir con el programa o proyecto; mejora las líneas de comunicación con los dirigentes y le otorga un mayor acceso a los procesos de toma de decisiones, creando procesos dinámicos de aprendizaje e innovación.
Es por esta razón, que esta guía presenta una estrategia muy básica de 5 principales pasos para ser tomados en consideración al momento de involucrar a los agentes implicados en la evaluación. Además, se exponen 3 herramientas de aplicación básicas que pueden ser adaptadas a los diferentes proyectos o programas, según las necesidades de cada uno. La guía busca ser un modelo para la orientación de las actividades de evaluación, incrementando el valor y utilidad de sus resultados, porque es de vital importancia permitirles ser parte de este proceso constructivo de evaluación.
Objetivos
Proporcionar a los evaluadores una guía para el proceso de participación de los agentes implicados, que son aquellos que tienen una participación o interés en el programa, la política, o la iniciativa a ser evaluada.
Estrategia
La estrategia reúne 5 pasos básicos y continuos que permitirán un desarrollo más adecuado de los procesos participativos. A continuación se van a presentar cada una de las 5 reglas.
1. Preparación
Tienes que conocer todo el plan, programa o iniciativa:
¿Para qué?
Si quieres participación activa de tus agentes implicados más importantes, necesitas comprender todo el programa así tendrás un panorama amplio del ¿cómo, por qué, cuándo y dónde? de los resultados del programa.
Tienes que contestar estas preguntas:
- ¿Por qué el programa existe?
- ¿Cuáles son los recursos monetarios asignados al programa o iniciativa?
- ¿Cuáles eran los objetivos y resultados esperados a corto y largo plazo?
- ¿Cuáles fueron las actividades realizadas para alcanzar las metas?
- ¿Qué resultados del programa o iniciativa se lograron?
- ¿Quiénes son los agentes implicados externos e internos al programa que afectaron o influyen en el diseño e implementación del programa?
Ahora, ¿Cómo harás esto?
- Busca información sobre el programa o iniciativa de subvención documentos, informes de mesa, artículos de investigación (por ejemplo, el modelo lógico del programa)
- Si no existen tales documentos, hablar con dos o tres personas que tienen alguna responsabilidad, experiencia o conocimientos históricos dentro del programa o iniciativa.
- Lleva un registro sistemático de los conocidos o referentes con su respectivo grado de afiliación con el programa. Este archivo es muy valioso, así se aprovechan las relaciones y conexiones entre la gente que se está conociendo para el momento de la evaluación
Recopila características de los agentes implicados bien sean individuales, grupales o de la organización, datos como áreas de experiencia, ubicación geográfica y profesional afiliaciones dentro de su red. Esta información permitirá determinar si sus actores representan experiencias particulares, perspectivas o si es el financista
Recuerda construir relaciones de afecto con los agentes implicados es una excelente inversión de tiempo y energía. Mientras más larga sea la que se tiene, más opciones tendrás de incluir un conjunto diverso de puntos de vista y experiencias en la evaluación.
Y cuantas más perspectivas se llegan a considerar, más robusta e inclusivas son sus preguntas resultantes.
2. Identificación
El equipo evaluador debe tener claro el por qué se necesita involucrar a los agentes implicados en el proyecto. A continuación en la siguiente tabla se presentan los principales beneficios que le trae tanto a los agentes involucrados como al equipo evaluador, la participación de los agentes en el proceso de evaluación.
Tabla 1 Beneficios de los procesos participativos
Se debe establecer una lista de los principales agentes involucrados, enlistar aquellos que hayan sido incluidos en el programa, aquellos que tienen poder de decisión en el programa y aquellos que han sido afectados por el programa sin haber sido contemplados. Para la realización de esta tarea, se puede guiar con las siguientes preguntas:
- ¿Quién es responsable del proyecto o una política más amplia?
- ¿Qué personas o grupos tienen una participación o un interés en el tema?
- ¿Quién es influyente en el campo de la política?
- ¿Quién toma las decisiones?
- ¿Quién puede influir en las decisiones?
- ¿Quiénes potencialmente se verán afectados por los resultados?
- ¿Quién va a aportar recursos?
- ¿Quién puede detener el proyecto?
- ¿Quién está excluido y no siempre se han considerado?
Se debe considerar que los diversos agentes tendrán diferentes niveles de participación en el proceso evaluativo, por lo que se debe considerar los principales niveles de participación que se encuentran detallados en la siguiente figura.
Figura 1.- Niveles de participación
Para realizar el análisis respectivo del nivel de participación de los agentes implicados, se debe entender propiamente su relación con el programa y tener en consideración su interés e influencia en el programa. Para esto, se puede utilizar la siguiente matriz (Figura 2) que permite ubicar los diferentes niveles de influencia versus los niveles de interés, ubicando de esta forma la participación que se debe considerar para el proceso de evaluación.
El análisis puede apoyarse en las siguientes preguntas básicas:
- ¿Qué participación o interés tiene el de los interesados en la política, proyecto o servicio?
- ¿Cómo va a la parte interesada verse afectado por la política o proyecto?
- ¿Qué influencia tiene las partes interesadas en relación con la política, proyecto o servicio?
Figura 2.- Matriz de análisis de nivel de participación de agentes implicados
3. Quiénes son prioritarios
Recuerda que tienes que hacer una lista de aquellos agentes que son prioritarios en tu proceso de evaluación, no todos van a tener el mismo grado de implicación en el proyecto, por lo que a medida que conoces a estos agentes puedes distinguir aquellos que harán más falta en tu proceso de evaluación.
Todos tendrán puntos de vista diferentes por lo que es necesario discernir cuales son los que aportar material para el proyecto y cuáles no.
- Anota todos los puntos de vista de los diferentes agentes implicados, y luego de ello determina ¿qué tan importante es incluir sus puntos de vista?
- Si no estás seguro de cuales son aquellos que deben ir de primero, busca a un personaje que observe el objetivo del proyecto desde otro punto de vista, no te preocupes, siempre hay alguien que lo observa desde otra perspectiva y ese te ayudará a ver el proyecto con otras gafas.
- Y recuerda NO divulgar tu lista de agentes implicados prioritarios, esto puede generar problemas entre los participantes de las evaluaciones.
Figura 3: Esquema de relación de las contribuciones de los agentes implicados en los procesos de formulación de preguntas de evaluación y hallazgos en las respuestas
4. Busca sus motivaciones
Ahora que tienes a los agentes implicados identificados y elaboraste tu lista de quienes son prioritarios, tienes que pensar e investigar las razones ¿por las qué los agentes implicados estarían motivados a participar en el proceso de evaluación?
Las razones pueden ser:
- Quieren ver que el programa sea exitoso porque desean ver cambios en su comunidad, por esta razón algunos se ven motivados a que el proceso de evaluación se realice con éxito. Consideran el proceso de evaluación como un compromiso y responsabilidad con la comunidad.
- Visión de desarrollo, algunos observan la evaluación como un proceso más que hay que transitar para lograr el desarrollo.
- Prestigio dentro de su campo de trabajo, se sienten motivados al recibir algunos reconocimientos dentro de su trabajo, grupo de acción local que los hace sentir importantes.
- Aprendizaje y red de contactos (“networking”)., muchos agentes implicados utilizan una oportunidad de evaluación de proyecto para conectarse con otras personas, empresarios, voluntarios, líderes locales que les permite obtener conocimientos y beneficios.
Recuerda en el momento de hablar con ellos identificar cuáles son sus motivaciones y los beneficios que los participantes obtendrán por participar en la evaluación, en ocasiones puede ser dinero y este factor se dará si hay un presupuesto que permita contemplar ese gasto, conocimiento en temas de evaluación o ampliar su red de contactos.
5. Selecciona una estrategia
El último paso es seleccionar una estrategia para poder comprometer a estos evaluadores a que sean colaboradores en el proceso de evaluación.
Aquí sugerimos uno criterios a considerar antes de seleccionar la estrategia
| Factor a considerar |
Estrategia |
| Tiempo | Considera cuanto tiempo tienes para realizar la evaluación, ya que de este dato dependerá cuanto tiempo puedes invertir en comprometer a los agentes implicados. |
| Presupuesto | Considera cuanto del presupuesto asignado para la evaluación podrá ser incluido en esta fase de la metodología de evaluación. Se tienen que considerar costos de movilización, alquiler de salones, materiales, honorarios profesionales y herramientas web para encuestas y análisis de respuesta. |
| Localización geográfica | Es importante mantener a los agentes implicados en un mismo espacio físico al momento de evaluar el programa. Al estar en mismo espacio físico permite generar agentes implicados. Sin embargo, todo dependerá del presupuesto, las limitaciones de tiempo, lugar de residencia, si esto no es posible una herramienta de participación virtual también se puede implementar. |
| Cómo se relacionan los agentes implicados | Como ya conocemos la relación entre los agentes implicados, clasifíquelos y elabore dinámicas para que los agentes se conozcan y el proceso de evaluación sea enriquecedor. Por otro lado, si el grupo se conoce entre sí, usted puede optar por una estrategia que se construya a partir de sus experiencias en conjunto. |
| Grado de complejidad del programa | Si el programa o iniciativa que se está evaluando es complejo (de varias fases), puede que se tenga que proporcionar materiales que permitan a los participantes una comprensión completa del programa. Y, cuanto más complejo sea el programa o iniciativa, probablemente se necesite más tiempo para asegurar que la mayoría entienda los que se está evaluando y alcanzar un consenso sobre hacia dónde enfocar la evaluación. |
| Experiencia previa en evaluación | Es importante conocer si los agentes involucrados han participado anteriormente en los procesos de evaluación y si han sido partes activas del proceso.
Tienen poca o ninguna experiencia con la evaluación, considere guiarlos en el proceso, un poco de material de fondo, incluyendo un resumen de la evaluación como parte de su estrategia de compromiso. Realiza una tabla de evaluación en donde consideres la frecuencia a la que tu agente implicado ha participado en un proceso de evaluación.
Figura 4: Escala de frecuencia de participación en las evaluaciones por parte de los agentes implicado |
Post elaborado por: Liseth Barriga, Carolina de la Torre y Gabriela Mójer.
