Inicio » 2016 (Página 2)
Archivos anuales: 2016
Diseño de evaluaciones: Herramientas Participativas
[spb_row element_name=”Row” wrap_type=”content-width” parallax_image_height=”content-height” parallax_image_movement=”fixed” parallax_image_speed=”0.5″ bg_video_loop=”yes” parallax_video_height=”window-height” parallax_video_overlay=”none” row_overlay_opacity=”0″ row_col_pos=”default” width=”1/1″ el_position=”first last”] [spb_text_block animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/1″ el_position=”first last”]
Las metodologías participativas están en pleno crecimiento y cada día aparece más información, es por eso que se ha hecho un esfuerzo por recopilar el mayor número de herramientas posibles. Además,este inventario cuenta con un número aceptable de metodologías participativas que podrían usarse en cualquier momento de una evaluación. Para su clasificación, se estudiaron diferentes métodos y tras varias comparativas se decidió seguir la metodología de evaluación de Scriven que reúne las características de la mejor manera posible.
Los Icebreakers y las Herramientas Transversales no siguen la metodología de Scriven pero son una parte esencial en los métodos participativos.
[/spb_text_block] [spb_column col_sm=”6″ padding_horizontal=”0″ width=”1/2″ el_position=”first”] [/spb_column] [spb_column col_sm=”6″ padding_horizontal=”0″ width=”1/2″ el_position=”last”] [/spb_column] [/spb_row]
About Carlos Plaza
Las nuevas tecnologías en el campo de la evaluación
Los grandes avances desarrollados en el campo de las tecnologías de la información y comunicación, principalmente a partir de las últimas décadas del siglo XX, se han intensificado en nuestros días, produciendo cambios significativos en la estructura económica y social, y en el conjunto de las relaciones sociales.
Las nuevas tecnologías de la información y la comunicación se aplican actualmente en todos los ámbitos económicos y se integran en el día a día de las actividades empresariales, científicas, técnicas y educativas. Su utilización ha permitido, por un lado, la realización de actividades de forma más rápida y eficaz y, por otro, introducir nuevas formas y metodologías de trabajo, alentadas por la universalización de los intercambios de información y de las relaciones sociales.
Este desarrollo, al igual que ocurre con el resto de aspectos socioeconómicos, no se ha producido a nivel mundial de forma equilibrada. Esto ha dado lugar a la denominada brecha digital, término referido a las barreras geográficas, económicas, sociales y de alfabetización informática que limitan el uso y apropiación de las nuevas tecnologías de la información.
Según “The Statistics Portal” en 2012 el cálculo de esta brecha digital suponía que tan sólo el 34% de la población tenía acceso a internet. En 2015, según esta misma fuente, esta cifra habría aumentado hasta un 43,4%, sin embargo, las diferencias en el uso y acceso a internet siguen siendo una realidad.
http://www.statista.com/chart/3512/internet-adoption-in-2015/
En el campo de la evaluación, el concepto de brecha digital, adquiere gran importancia, más aún cuando sus actividades se dirigen a la evaluación de programas e iniciativas que tienen lugar en territorios rurales. En este caso, la brecha digital no es tan sólo una cuestión que afecte a los países en desarrollo sino también a los países desarrollados, en los que las áreas rurales menos pobladas, cuentan a menudo con problemas de acceso a internet y, aun cuando tienen acceso, con un menor número de usuarios. Pese a estas cuestiones, el desarrollo de las nuevas tecnologías nos ofrece alternativas que permiten trabajar en zonas, en principio, menos favorables para el uso de dispositivos tecnológicos.
Se abre así un mundo de posibilidades en el campo de la evaluación que los evaluadores deben tener en cuenta a la hora de programar y establecer sus rutinas de trabajo e investigación. Por ello, es importante conocer, experimentar y adaptar estas nuevas herramientas que el avance de las nuevas tecnologías nos ofrece y que nos permiten mejorar el desarrollo del proceso de la evaluación.
Las nuevas tecnologías aplicadas al campo de la evaluación han permitido mejorar la gestión, sistematización y análisis de la información recopilada obteniendo resultados en menos tiempo y de forma más eficaz. En cada una de las etapas de la evaluación: estructuración; observación; análisis y juicio; sea trabajo de campo o de gabinete; nos encontramos con multitud de herramientas que nos facilitan el trabajo del día a día.
(ver post: ¿Qué ofrecen las tecnologías en el campo de la evaluación? Algunas herramientas)
About Miriam López
Social Media en el ámbito de la investigación
Actualmente, vivimos rodeados de una cantidad inmensa de información y herramientas que puede llegar incluso a saturarnos, pero las ventajas y el potencial de todos los recursos es enorme por ello debemos conocerlos y sacarles el máximo rendimiento posible.
En el mundo de la investigación, cada vez más son los que utilizan los medios sociales para sus investigaciones y participan en redes sociales científicas con el objetivo de observar y recopilar información de manera más rápida, sencilla y barata. Así como compartir conocimientos. Si bien es cierto que la participación sigue siendo escasa por falta de tiempo y miedo a perder privacidad.
Aunque no tengan mucha publicidad, existen redes sociales científicas muy conocidas como Academia.edu que cuenta con más de 18 millones de usuarios, ResearchGate, con más de 6 millones y Mendeley, con más de 3 millones.
La revista Nature publicó un estudio que indicaba los investigadores utilizaban estas redes principalmente para la búsqueda de nuevos artículos y para contactar con otros investigadores. Este estudio también nos muestra algunos de los datos que muestran el uso de las redes sociales así como un análisis de la frecuencia de visitas dependiendo del área de especialización. Así tenemos:
- Twitter: más del 50% seguimiento a los debates.
- Facebook más del 55% para ocio.
- LinkedIn: más del 65% para contactar con otros investigadores.
- Ciencias e Ingeniería: las tres redes más consultadas son Google Scholar (60%), ResearchGate (48%) y LinkedIn (40%).
- Ciencias Sociales, Artes y Humanidades: son Google Scholar (70%), Facebook (52%) y LinkedIn (42%).
Un ejemplo de las aportaciones y avances de estas redes son los estudios realizados en 2014 por ResearchGate:
- Ideas para frenar la crisis del Ébola.
- 15 investigadores de nueve países de seis disciplinas ayudaron a proteger la mariposa más grande de África.
- 89.000 personas participaron en la revisión abierta de un estudio de las células madre.
- La investigación del Sida en más de 100 campos de estudio.
La Dra. Olivia Hernández Pozas, profesora asociada de EGADE Business School del Tecnológico de Monterrey, en su afán por el desarrollo de la Inteligencia Cultural promueve el uso de redes sociales alegando que su utilización aumenta los conocimientos adquiridos sobre ambiente multicultural, e internacionales de modo más sencillo y cómodo.
Gracias a esta revolución, en este momento, podemos acceder a una base de datos de más de 2.000 millones de personas. De ahí surge un nuevo concepto, el llamado Social Media Listening o el Social Listening, como elemento clave para conocer más detalladamente las opiniones de las personas.
Por último, a pesar de que debemos intentar sacar el máximo partido posible a estas herramientas, es importante tener en cuenta que respetar la privacidad de las personas es esencial. Los usuarios tienen que conocer en todo momento en qué actividades están participando para que no puedan sentirse molestos o utilizados. Ejemplo de ello, fue cuando en 2012 salió a la luz la noticia de que Facebook había alterado el orden de las noticias que los usuarios ven de sus contactos y fanpages, con el objetivo de demostrar la teoría del contagio emocional. Para ello, decidieron mostrar sólo noticias positivas a un grupo de usuarios, y sólo publicaciones negativas al otro, para comprobar si cada grupo reaccionaba diferente y se contagiaba de la emoción de las publicaciones. Este “experimento” se llevó a cabo sin el consentimiento de los usuarios por lo que provocó el cabreo de los usuarios y debates sobre la legalidad de este proceso.
Redes sociales y Organizaciones sin ánimo de lucro
Como comentábamos en un post anterior el uso de las redes sociales para la evaluación y análisis de distintas actividades organizadas en campos sociales, como el educativo o el médico también están cobrando importancia en los últimos años, no sólo en el marketing de grandes empresas multinacionales. Como nos dice Jan Rezab, el uso de las redes sociales puede crear un mundo mejor. Y aquí entran en juego las organizaciones sin ánimo de lucro.
El uso de las redes sociales en aquellas organizaciones sin ánimo de lucro, ya que su presencia en las redes e Internet debe ser fundamental en los tiempos que corren hoy en día, pero al mínimo coste. La situación económica actual ha desbancado a muchas de estas organizaciones y los fondos que obtienen se han reducido. Además, tiene que competir con las empresas comerciales, tanto en el mundo físico como en el digital. Es por ello que las organizaciones sin ánimo de lucro tienen que rentabilizar sus esfuerzos de la mejor manera posible. Deben centrarse en ser útiles, generar valor e interés en lo que se publica y no utilizarlas, en un primer momento, en canalizar fondos. La idea es divertir y entretener. Las donaciones vendrán luego. Hace falta trabajo previo para construir una comunidad fidelizada y comprometida con la causea que difunda el mensaje y que esté dispuesta a pasar a la acción en el mundo online.
Desde esta perspectiva, Allison H. Fine ha fundado una organización sin ánimo de lucro, Networked Nonprofits, dedicada a la transformación de la evaluación para el cambio social. Esta entidad está dirigida a descubrir y discutir los desafíos particulares y las nuevas oportunidades para medir el uso de las redes sociales por organizaciones de todo tipo, las conexiones y relaciones creadas a través de los medios de comunicación social con el fin de comprender mejor las formas en que los medios digitales están dando forma a los esfuerzos de cambio social. Esta red se dedica a contactar a diversas personas y organizaciones que compartan su trabajo con el fin de crear conciencia de los problemas sociales y organizar a las comunidades para prestar servicios de legislación. En el largo plazo, el objetivo es crear un mundo más seguro, más justo y más saludable para vivir.
¿Cómo funciona? Conecta a las personas, más allá de sus muros, a través de las conversaciones y las relaciones que se mantienen a través de sus redes. Así, se construye una responsabilidad común creando una lista de “cosas pendientes” donde todos los participantes puedan remar en la misma dirección. Alguno de estos medios sociales son las conversaciones generadas en Twitter, Youtube y blogs; la colaboración que se genera en grupos de Google; o las redes construidas a través de Facebook o MySpace.
Las redes sociales tienen una gran fuerza en la vida de los individuos de hoy en día, conectando a personas que se encuentran en polos opuestos de la tierra en tan sólo décimas de segundo. Esto hace unos años era impensable. Las redes sociales han despertado la creatividad y esto es un gran canalizador para luchar por aquellas causas en las que las personas creen. ¿Lo mejor de todo? Es espontáneo.
Social media y educación
Dentro de las nuevas tendencias que se están desarrollando en la actualidad y las redes sociales, en la educación superior por ejemplo, el impacto de las iniciativas no puede ser únicamente determinado por la cantidad de participantes que entran/salen de dichos programas. Es importante determinar una estrategia de seguimiento para recoger los datos de los resultados y evaluar estos planes de educación superior. Se debe recopilar la información de los participantes de primera mano. Puede ser un trabajo largo y laborioso, por la cantidad de participantes que pueden entrar en dichos programas.
Es por ello que el uso de las redes sociales nos puede facilitar mucho trabajo y darnos pistas clave para identificar a dichos participantes, ya sea por su localización, el puesto laboral que desempeñan en la actualidad u otras actividades (voluntariado, por ejemplo) que nos ayuden a determinar perfiles. Algunas de estas herramientas son LinkedIn, ResearchGate o Educa, donde además de la información personal básica se puede recoger información relacionada con publicaciones, comunicaciones, artículos científicos, premios o menciones que completen esa información. Todo esto nos puede ayudar a dibujar un primer mapa con información de la muestra a estudiar de una organización o una especialidad en concreto, por ejemplo: ¿la tendencia de aquellos graduados del 2005 que estudiaron Administración y Dirección de Empresas en la Universidad Autónoma de Madrid? Otro filtro podría ser, ¿cuál es la tendencia de los alumnos que estudiaron la carrera de ciencias de la comunicación en la Comunidad de Madrid en todas las Escuelas? Algunas de etas herramientas pueden ser las encuestas online y su difusión a través de la base de datos recogida gracias a las redes sociales. Algunas de estas herramientas gratuitas son Google Forms, Survey Monkey, Survey Gizmo. Entre aquellas de pago podemos utilizar Qualtrics, SurveyAnalytics, SurveyMonkey o SurveyGizmo. La metodología cualitativa te puede ayudar a profundizar en la personalidad y las perspectivas de cada uno de los participantes.
Bibliografía
About Carmen García Ferrer
Herramientas para el análisis de redes sociales
Es cierto que existen multitud de herramientas, formatos y tipos de aplicaciones analíticas que se han desarrollado de manera exponencial en los últimos años. Para aplicar las redes sociales de manera efectiva y que puedan mantener estos esfuerzos que se están realizando, las organizaciones tienen que ser capaces de evaluar las ventajas y desventajas de cada una de las redes sociales, qué tipo de datos se pueden obtener de cada una de las redes y cómo los programas pueden ser usados para mejorar estos esfuerzos.
La evolución y desarrollo de las redes sociales también ha influido en la manera de hacer ciencia e investigar. La metodología ARS (Análisis de Redes Sociales) es una nueva manera de investigar centrada en la “cartografía y la medición de las relaciones y los flujos entre las personas, los grupos, las organizaciones, los ordenadores, las direcciones URL y otras entidades de la información/conocimiento conectado” (Orgnet.com). Actualmente, el ARS está siendo aplicado a diferentes escenarios de las ciencias sociales y computacionales enmarcadas dentro de las TIC. El interés que se ha generado en el ARS radica principalmente, en que es un tópico que representa un enfoque atractivo en las relaciones que tienen lugar entre las entidades sociales y en las métricas e implicaciones de dichas relaciones y además profundiza en el conocimiento de los fenómenos sociales. Actualmente, el ARS está siendo aplicado a diferentes escenarios como el ámbito económico, el ámbito de la salud o de la educación entre otros. Antonieta Kuz et.al, en el simposio argentino sobre tecnología y sociedad muestran tres campos de actividad:
1.Campo de la salud: estudios vinculados a enfermedades infecciosas, pero los de mayor importancia están dirigidas a la difusión del SIDA, intentando establecer el tamaño y las características de estas poblaciones ocultas como el caso de las poblaciones que consumen drogas como la cocaína, así como las probabilidades de contagio con diferentes relaciones de riesgo. Por ejemplo, en la Asociación Americana de Evaluación (AEA por sus siglas en inglés) se pueden encontrar trabajos diversos trabajos como, el uso de las redes sociales para evaluar la obesidad en las comunidades y fomentar iniciativas de prevención.
2. Campo social: este campo incluye el concepto de “capital social” una aplicación de este concepto es la hipótesis de los “lazos débiles”. La idea básica es que las personas tienen a su alrededor un núcleo fuerte de lazos que le proporcionan la información, los recursos y el soporte emocional que necesitan. También, a través de las redes sociales puede evaluarse el nivel de compromiso en una comunidad y el impacto social que ésta tiene. Otro punto muy importante en el desarrollo de las redes sociales es lo que llaman laboratorios de ideas o Think Tank. Son organizaciones sin ánimo de lucro donde se trabaja de manera multidisciplinar en la elaboración de análisis y recomendaciones políticas. Estas organizaciones buscan promover y crear espacios de diálogo y debate, desarrollar y capacitar a futuros tomadores de decisiones y cuadros políticos, legitimar narrativas y políticas de los regímenes de turno o los movimientos de oposición y ofrecer un rol de auditor de los actores públicos. En España se han desarrollado multitud de organizaciones independientes donde cabe destacar CIDOB (dedicado a la investigación en los ámbitos de relaciones internacionales y los estudios de desarrollo); FRIDE, que busca proveer conocimiento innovador sobre el papel de Europa en las relaciones internacionales; el Real Instituto Elcano de Estudios Internacionales y Estratégicos o el Instituto Complutense de Estudios Internacionales.
Redes sociales y Organizaciones sin ánimo de lucro. Como comentábamos en un post anterior el uso de las redes sociales para la evaluación y análisis de distintas actividades organizadas en campos sociales, como el educativo o el médico también están cobrando importancia en los últimos años, no sólo en el marketing de grandes empresas multinacionales. Como nos dice Jan Rezab, el uso de las redes sociales puede crear un mundo mejor. Y aquí entran en juego las organizaciones sin ánimo de lucro. El uso de las redes sociales en aquellas organizaciones sin ánimo de lucro, ya que su presencia en las redes e Internet debe ser fundamental en los tiempos que corren hoy en día, pero al mínimo coste. La situación económica actual ha desbancado a muchas de estas organizaciones y los fondos que obtienen se han reducido. Además, tiene que competir con las empresas comerciales, tanto en el mundo físico como en el digital. Es por ello que las organizaciones sin ánimo de lucro tienen que rentabilizar sus esfuerzos de la mejor manera posible. Deben centrarse en ser útiles, generar valor e interés en lo que se publica y no utilizarlas, en un primer momento, en canalizar fondos. La idea es divertir y entretener. Las donaciones vendrán luego. Hace falta trabajo previo para construir una comunidad fidelizada y comprometida con la causea que difunda el mensaje y que esté dispuesta a pasar a la acción en el mundo online. Desde esta perspectiva, Allison H. Fine ha fundado una organización sin ánimo de lucro, Networked Nonprofits, dedicada a la transformación de la evaluación para el cambio social. Esta entidad está dirigida a descubrir y discutir los desafíos particulares y las nuevas oportunidades para medir el uso de las redes sociales por organizaciones de todo tipo, las conexiones y relaciones creadas a través de los medios de comunicación social con el fin de comprender mejor las formas en que los medios digitales están dando forma a los esfuerzos de cambio social. Esta red se dedica a contactar a diversas personas y organizaciones que compartan su trabajo con el fin de crear conciencia de los problemas sociales y organizar a las comunidades para prestar servicios de legislación. En el largo plazo, el objetivo es crear un mundo más seguro, más justo y más saludable para vivir. ¿Cómo funciona? Conecta a las personas, más allá de sus muros, a través de las conversaciones y las relaciones que se mantienen a través de sus redes. Así, se construye una responsabilidad común creando una lista de “cosas pendientes” donde todos los participantes puedan remar en la misma dirección. Alguno de estos medios sociales son las conversaciones generadas en Twitter, Youtube y blogs; la colaboración que se genera en grupos de Google; o las redes construidas a través de Facebook o MySpace. Las redes sociales tienen una gran fuerza en la vida de los individuos de hoy en día, conectando a personas que se encuentran en polos opuestos de la tierra en tan sólo décimas de segundo. Esto hace unos años era impensable. Las redes sociales han despertado la creatividad y esto es un gran canalizador para luchar por aquellas causas en las que las personas creen. ¿Lo mejor de todo? Es espontáneo.
3. Campo educativo: a través de la sociometría y los test sociométricos es posible obtener métricas y determinar la utilidad que reviste instrumentos para mejorar las relaciones sociales dentro de la clase y favorecer la integración de los alumnos aislados y los rechazados. Otro punto muy importante es el cambio de paradigma de la educación, donde las redes sociales e internet han conseguido cambiar la forma en la que se enseña y el acceso a la educación. Es el caso de los cursos MOOC. Anant Agarwal nos cuenta por qué estos cursos masivos y abiertos son importantes. También para evaluar las políticas antes realizadas y la medición de sus impactos. Encontramos un caso en la Asociación Americana de Evaluación que explica cómo se participa en las evaluaciones, cómo se involucra la población y de qué manera. En el siguiente enlace podemos ver toda la información.
Social media y educación. Continuando con uno de los temas incluidos en el Análisis de las Redes Sociales y el campo educativo, nos centraremos en la educación y cómo se pueden evaluar las tendencias de aquellos alumnos y graduados que finalizan sus estudios y comienzan a trabajar. ¿Cómo ha sido ese resultado? ¿Ha sido el esperado? ¿Dónde se encuentran trabajando hoy en día? Para ello, es importante determinar una estrategia de seguimiento para recoger los datos de los resultados y evaluar estos planes de educación superior. Se debe recopilar la información de los participantes de primera mano. Puede ser un trabajo largo y laborioso, por la cantidad de participantes que pueden entrar en dichos programas.
Es por ello que el uso de las redes sociales nos puede facilitar mucho trabajo y darnos pistas clave para identificar a dichos participantes, ya sea por su localización, el puesto laboral que desempeñan en la actualidad u otras actividades (voluntariado, por ejemplo) que nos ayuden a determinar perfiles. Algunas de estas herramientas son LinkedIn, ResearchGate o Educa, donde además de la información personal básica se puede recoger información relacionada con publicaciones, comunicaciones, artículos científicos, premios o menciones que completen esa información. Todo esto nos puede ayudar a dibujar un primer mapa con información de la muestra a estudiar de una organización o una especialidad en concreto, por ejemplo: ¿la tendencia de aquellos graduados del 2005 que estudiaron Administración y Dirección de Empresas en la Universidad Autónoma de Madrid? Otro filtro podría ser, ¿cuál es la tendencia de los alumnos que estudiaron la carrera de ciencias de la comunicación en la Comunidad de Madrid en todas las Escuelas? Algunas de etas herramientas pueden ser las encuestas online y su difusión a través de la base de datos recogida gracias a las redes sociales. Algunas de estas herramientas gratuitas son Google Forms, Survey Monkey, Survey Gizmo. Entre aquellas de pago podemos utilizar Qualtrics, SurveyAnalytics, SurveyMonkey o SurveyGizmo. La metodología cualitativa te puede ayudar a profundizar en la personalidad y las perspectivas de cada uno de los participantes.
Una de las aplicaciones más utilizadas en esta nueva metodología ARS es NETLYTIC, una aplicación en forma de nube gratuita que usa la interfaz de programación de aplicaciones (API) de las distintas conversaciones existentes en las redes sociales, para ayudar a los Community Managers a descubrir trending topics, conversaciones y participantes influyentes en la red. Actualmente, los datos provienen de redes sociales como Facebook, Twitter, grupos y páginas, post de Instagram y comentarios de Youtube. Los informes que genera esta aplicación y las palabras, pueden ser reagrupadas para así identificar temas populares en la red. También representan cluster de redes sociales donde se muestran las correlaciones entre los participantes. Lo que te permite esta herramienta es profundizar más en cada una de las palabras, como en la ocurrencia de postearla o el listado con los tweets y comentarios realizados. Otra herramienta muy interesante y utilizada en la metodología ARS para analizar el impacto de redes sociales es el programa software NodeXL. Es una aplicación complementaria al Excel y tiene una función de estudiar las redes que se forman a partir de los mensajes y comentarios que se realizan en Twitter. Tiene un gran potencial para analizar redes sociales de comunicación a través de Twitter y el impacto de los eventos estudiados. En el siguiente enlace podemos acceder a un tutorial para ver cómo funciona este programa.
El potencial que tienen las redes sociales hoy en día es imposible de cuantificar. Podemos acceder a gran cantidad de información y datos, y analizar todos estos recursos en función de qué queremos estudiar. En el campo de la evaluación, hay multitud de casos de estudio donde las redes sociales son la herramienta fundamental e indispensable para hacerlo posible.
Referencias:
http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=0cfa30f7-97b4-74d0-3b1c-2e2ba8bd3be9&forceDialog=0
http://www.eval.org/
http://comm.eval.org/search?executeSearch=true&SearchTerm=social+media
Cómo hacer análisis de redes con los comentarios de Twitter usando NodeXL
http://nodexl.codeplex.com/https://netlytic.org/home/
http://revista-redes.rediris.es/recerca/jlm/ars/ars_ects.pdf?
http://comm.eval.org/HigherLogic/System/DownloadDocumentFile.ashx?DocumentFileKey=0cfa30f7-97b4-74d0-3b1c-2e2ba8bd3be9&forceDialog=0http://www.eval.org/
About Carlos Plaza
El uso de la web y redes sociales en el diseño de evaluaciones
Importancia de internet como fuente de información
Internet ha revolucionado las formas tradicionales de relación entre las personas y esto ha motivado que la actividad se adapte a este nuevo sistema de intercomunicación. Actualmente, Internet constituye una herramienta fundamental e imprescindible para cualquier organización. Con Internet podemos realizar estudios cualitativos (dinámicas de grupo y entrevistas en profundidad), estudios de mercado cuantitativos (encuestas y paneles de consumo), estudios de observación (comentarios, opiniones de usuarios, estrategias de la competencia, tendencias…), búsqueda de nuevas tendencias para innovación, test de valoración, etc.
Internet ha tenido una historia con tres etapas claramente identificadas. La primera, la Web 1.0, donde las empresas publicaban sus contenidos en un sitio web dirigido a un determinado número de usuarios potenciales que contaban con una capacidad muy reducida de interactuar con esa información. Un sitio web era únicamente un escaparate donde exponer información y la red constituía una herramienta de comunicación y, en ocasiones, de distribución (tiendas online). La Web 2.0 comenzó cuando las páginas web dejaron de limitarse a emitir información y se plantearon la posibilidad de recibir información de los usuarios. Se trataba de un modelo bidireccional que abría un abanico de posibilidades de investigación de mercado y de comunicación. En esta etapa comenzaron a tomar importancia las redes sociales y blogs. La Web 3.0, también denominada web semántica o inteligente, representa el futuro de la red y mejora la organización y el acceso a la información. Esta nueva etapa viene ligada a la concepción de la red como base de datos, computación en la nube (cloud computing, prestación de servicios de negocio y tecnología a través de internet), aplicaciones web conectadas a otras aplicaciones web e inteligencia artificial. Según Rodríguez (2012), el concepto web 3.0 se basa en la evolución de las redes sociales bajo los conceptos de búsquedas perfeccionadas hasta conseguir un único resultado totalmente ajustado a la demanda de información; contenidos accesibles sin navegación desde cualquier dispositivo o lugar; tecnologías de inteligencia artificial para la localización y selección de la información; geolocalización avanzada para localizar personas y lugares en cualquier dispositivo móvil; y, la extensión al mundo virtual.
En este punto se hace necesario hacer una diferenciación entre lo que significa red social (social network) y medios sociales (social media). Estamos acostumbrados a hablar tanto de estos conceptos, que a veces se confunde. Según el blog socialmediatoday.com, los medios sociales están dirigidos a transmitir o compartir información con una amplia audiencia; las redes sociales están constituidas por grupos de personas con los mismos intereses. También hay una diferencia de estilos en la comunicación: los medios sociales tienden a ser un canal unidireccional, mientras que las redes sociales constituyen un canal bidireccional, un intercambio de experiencias donde se genera una gran cantidad de información. El uso de las redes sociales hoy en día está muy relacionado con la interrelación entre las personas y la transmisión de información y objetivos. Debido a la globalización, esta nube cada vez crece más rápido, por lo que la cantidad de información que existe en la web es cada vez mayor. Es por ello que debemos identificar la información que necesitamos y analizar los datos correctos, lo que se puede resumir en la frase: “descartar y destacar”.
Se hace así necesaria la existencia de herramientas para poder filtrar y conseguir los datos que realmente nos interesan en cada trabajo de evaluación, dar utilidad, analizar y evaluar todo tipo de datos que pueden obtenerse en el entorno web. Un concepto interesante en esta línea es el de minería de datos (data mining), un campo de las ciencias de la computación referido al proceso que intenta descubrir patrones en grandes volúmenes de datos. La inteligencia artificial, el aprendizaje automático, la estadística y sistemas de bases de datos son los métodos más utilizados en este campo (Maimon y Rokach, 2010). El primer paso de un proceso de minería consiste en la selección de un conjunto de datos y el análisis de sus propiedades (histogramas, o diagramas de depresión pueden ser de gran utilidad en esta fase). En segundo paso es la transformación de esos datos de entrada a través de la selección y aplicación de una de las técnicas de minería de datos (modelo predictivo, de clasificación o de segmentación). Un último paso consiste en la extracción del conocimiento, la interpretación y la evaluación de los datos.
Por otro lado, siempre debemos tener en cuenta para qué y por qué debemos hacer el análisis de esa información y de esos datos, es decir, cuál es el objetivo último que perseguimos con cada trabajo de evaluación. Si sabemos identificar nuestro fin, podremos elegir nuestros medios para conseguir el máximo rendimiento y efectividad.
En último lugar, hacer hincapié en el concepto de seguridad y privacidad, los términos y condiciones y la información personal que se sube a la web, ya que, un mal trato de los datos puede volverse en nuestra contra.
Herramientas para poder utilizar la web y las redes sociales como fuentes de información
La tecnología se ha desarrollado de tal forma que se han creado “laboratorios” para analizar cómo las redes sociales afectan a la sociedad, a las comunicaciones y a la difusión de la información. Los grupos de investigación han desarrollado distintas herramientas para analizar, visualizar y evaluar las distintas redes sociales. Es un nuevo campo con alta innovación tecnológica y donde los elementos de software para analizar y evaluar se han disparado como la espuma. Existen distintas herramientas en función de cuál sea el objetivo que queremos medir o analizar. También, existen distintas herramientas en función de si son gratuitas o de pago, etc. Entonces, lo primero que tenemos que hacer es preguntarnos ¿Qué queremos medir? Es decir, tenemos que tener claros los objetivos. El análisis de los datos nos dará las pautas necesarias para las acciones que debemos tomar y así conseguir el éxito de los objetivos de nuestro estudio. Existen herramientas para el análisis de páginas web (analytics), seguimiento (monitoring), análisis estadístico (reporting), análisis de mejores prácticas (benchmarking) y gestión (management), entre otras. A continuación, nos dispondremos a hacer una breve recopilación de estas herramientas y de su uso, bajo una estructura que sigue la señalada por el blog e-interactive.
– Herramientas para el análisis de páginas web (analytics)
Existen una gran variedad de herramientas para la analítica web que permiten medir y recoger los resultados de una página web, programa, producto o servicio. Especificaremos tres de las más importantes y mejor valoradas por los Community Manager.
Lucky Orange
Herramienta que sirve para analizar formularios y vínculos. Incluye el comportamiento del usuario en la página con un gran abanico de características, desde las grabaciones de visitas hasta la analítica, búsqueda y segmentación por mapas de calor. También ofrece rutas de conversión visuales. Una demostración de esta herramienta puede visualizarse en el siguiente enlace.
4Q
4Q es una herramienta de encuestas para sitios web que permite a los dueños de negocios evaluar la experiencia online, medir la satisfacción de los clientes y poner en marcha rápidamente las mejoras para su sitio web basándose en los comentarios de visitantes reales. Para ver el funcionamiento, existe una demo gratuita clicando en el siguiente enlace.
– Herramientas de seguimiento (monitoring)
Se trata de herramientas que permiten rastrear términos o palabras clave en los diferentes entornos de la web.
Es una herramienta que permite rastrear palabras clave en la mayor parte de plataformas 2.0. Los resultados pueden recibirse a través de SMS y servicios RSS. Aparecen distintos campos como la fuerza, pasión, sentimiento y alcance que produce un término o una marca en la web.
Similar a la herramienta anterior, HowSociable nos señala conversaciones generadas sobre una determinada keyword o palabra clave. Puede ser una herramienta útil para completar la información obtenida a través de socialmention.
Talkwalker
Múltiples opciones para analizar la presencia de una marca o de los tópicos que seleccionamos en todos los medios digitales. Ofrece múltiples opciones entre las redes sociales pero también monitoriza blogs, foros, periódicos, revistas, medios online, agencias de noticias… todos los medios están contemplados aunque deben indicarse los términos a analizar, las direcciones y páginas a monitorizar y los filtros que se van a emplear.
– Herramientas de análisis estadístico (reporting)
Son herramientas que nos permiten analizar estadísticas de social media. Cuanto más analizados estén los datos mejor será el reporte. Pero lo más importante es tener en cuenta que no solo se trata de presentar las cifras sino de darles una explicación y ver qué se puede hacer para mejorarlas. Existen muchas herramientas para este fin pero aquí vamos a presentar solo algunas de ellas, y las vamos a dividir según tres características:
-Estadísticas que nos ofrecen los propios canales: Facebook Insights, Twitter Analytics, Youtube Analytics.
-Mix entre reporting y analytics: Crowdbooster.
-Indicadores de rendimiento: True Social Metrics, Cyfe.
Estadísticas que nos ofrecen los propios canales
Facebook insights
Es una herramienta de Facebook que nos permite medir los resultados de una fanpage. Además de cantidad de fans totales, cantidad de likes, visitas, etc. Nos ofrece otras métricas muy útiles para los reportes:
Alcance (reach): se trata del número de usuarios únicos que ha visto nuestro post. Este es el número más importante a la hora de definir la popularidad o el éxito de una aplicación.
Usuarios que Interactúan (engaged users): esta métrica es efectiva para poder medir la participación de una comunidad.
Personas que están hablando de esto (talking about this): con este extensor título, lo que facebook nos provee es de la posibilidad de ver qué personas han dado like, comentado o compartido nuestro post, o respondido a un evento o pregunta.
Difusión (virality): El porcentaje de difusión se obtiene dividiendo las personas que están hablando de esto por el número de alcance.
También nos ofrece datos demográficos que nos muestra la ubicación geográfica de nuestros usuarios, así como datos sobre el género y la edad, desde dónde interactúan (móviles, tablets, PCs…) los cuales son cruciales a la hora de diseñar el contenido. Así mismo, se puede revisar el funcionamiento de los ads para comprobar cuánto ha sido de exitosa una campaña, qué tipos de posts son los más exitosos y enterarnos del estado de las páginas de la competencia. También desarrolla información gráfica preparada para ser presentada y reportes excel para crear nuestros propios reportes personalizados. En definitiva, lo que nos permite es saber qué es lo que más le gusta a nuestros usuarios para poder usarlo en nuestro beneficio.
Twitter analytics
Esta herramienta nos muestra la evolución de nuestra presencia en Twitter en el último mes. Las funciones principales son:
- Mención principal: cuál ha sido la publicación en la que hemos sido mencionados con mayor número de interacciones durante el mes.
- Tweet principal (y sus variantes): publicación que mejor ha funcionado durante el mes.
- Seguidor principal: qué seguidores son los más relevantes.
Así mismo, existe la opción de ver los detalles del tweet, lo que nos permite analizar el ciclo de vida de la publicación desglosado también según el tipo de interacción. Esta información puede resultar muy útil para saber, por ejemplo, cuál es el mejor horario para publicar. Además la información proporcionada se puede extraer en formato excel para facilitar la presentación de resultados.
La información se presenta en un panel general donde aparecen los números de reproducciones, números de “me gusta” y comentarios en cada vídeo, así como las interacciones de los usuarios. Te permite medir el rendimiento actual de tu canal y videos gracias a una gran cantidad de datos ofrecidos en distintos informes como reproducciones, fuentes de tráfico, o datos demográficos.
Dichos datos pueden visualizarse mediante filtro de datos, gráfico lineal, gráfico multilínea, área apilada, gráfico circular, gráfico de barras, y mapa interactivo. Estos últimos, los mapas interactivos, muestran en las zonas más oscuras dónde se reproducen los vídeos. En dichas ubicaciones hay un mayor número de personas reproduciendo el vídeo. La herramienta proporciona ventajosos datos métricos mediante tres tipos de informes:
- Informes de ingresos: de ingresos estimados y de rendimiento de los anuncios.
- Informes de reproducciones: de fuentes de tráfico y de retención de la audiencia.
- Informes de participación: de suscriptores y de anotaciones.
La siguiente noticia del periódico “Expansión” publicada 12/03/2015 explica la utilidad del uso de la plataforma Youtube donde hace referencia a la importancia de conocer a tu público objetivo y adaptarte a él utilizando la herramienta Youtube Analytics.
Para concluir, la siguiente charla TED es muy interesante ya que Nicholas Christakis explica de una manera muy interactiva y dinámica la influencia oculta que ejercen las redes sociales en la sociedad actual.
– Herramientas para mejores prácticas (benchmarking)
Consiste en herramientas que permiten analizar tanto a tus competidores como las mejores prácticas llevadas a cabo de modo que te permita reestructurar tu estrategia en las redes sociales.
Social Bakers
Permite analizar las principales redes sociales como Facebook, Twitter, YouTube, Linkedin y Google + mediante una plataforma de fácil uso que permite a las empresas medir, comparar y contrastar el éxito de sus campañas mediante las siguientes funciones:
- Analytics. Evaluación, seguimiento y presentación de informes de Facebook, Twitter y YouTube. Analizan tus actuaciones, las de la competencia y las del global de la industria.
- Builder. Es una plataforma de gestión de contenidos que ayuda a los responsables de marketing a aumentar su eficiencia en las redes sociales. Análisis a tiempo real e informes de rendimiento permiten mantener el control de todas las publicaciones.
- Listening. Permite monitorizar las conversaciones en Facebook y Twitter en tiempo real y en las plataformas escogidas, así como exportar el análisis de las conversaciones según las palabras clave y a través de múltiples plataformas de social media.
- Ad Analytics. Son tres herramientas que ayudan a los anunciantes a optimizar, administrar y potenciar su estrategia de publicidad.
Como el resto de herramientas, DKS SocialSmart analiza datos de distintas redes sociales (Twitter, Facebook, Google +, etc) y los blogs. Algunos de los datos que nos ofrece son:
- Posicionamiento de marca en cuanto conjunto competitivo (inteligencia competitiva).
- Análisis y temas Influencers.
- Retorno Social Media de la inversión (ROI).
- Recorte de datos web permite encontrar las palabras clave de Internet e identificar los contenidos principales de trending topics.
- Proporciona indicadores de seguidores, tweets de escritura, mensajes… acerca de la información compartida, las personas relacionadas con tus negocios, propuestas, comentarios y reputación cooperativa.
Se analiza el contenido de todos los mensajes y los clasifica en función de sus intenciones (positivos, negativos o neutros).
Bibliografía:
Maimon, O. y Rokach, L. (2010). Data Mining and Knowledge Discovery Handbook. Springer, New York. ISBN 978-0-387-09823-4.
Rodríguez, O. (2012). Curso de Community Manager. Anaya Multimedia.
Desarrollo de capacidades de evaluación (Evaluation Capacity Building)
Autores: @aleshernandez y @Cecilia.davila
El Desarrollo de Capacidades de Evaluación (ECB por sus siglas en inglés: Evaluation Capacity Building) es un enfoque que surgió en las últimas décadas del siglo XX en los Estados Unidos y ganó fuerza mundialmente a principios del XXI (Preskill & Boyle, 2008). En el ámbito profesional, el ECB ha sido diseminado y adaptado en diferentes campos como, por ejemplo, en el de la ayuda técnica y la cooperación al desarrollo (Horton, 2008). El ECB surge de la mano del Desarrollo de Capacidades o Capacity Building, que es un enfoque que busca fortalecer a las organizaciones desde la valoración continua de los procesos que conducen a alcanzar objetivos para el desarrollo. Es un enfoque con base sistémica que se ha centrado en promover sistemas de gobernanza sostenibles basados en la transparencia y la cultura del desempeño organizacional efectivo. El objetivo es mejorar la gestión y formulación de políticas, además de optimizar los procesos de rendición de cuentas a través del apoyo a la creación o fortalecimiento de los sistemas de monitoreo y evaluación (Zaltsman, 2006).
¿Qué es “Evaluation Capacity Building” ?
El ECB es, primeramente, un proceso dinámico, complejo y contextual (Suarez-Balcazar & Taylor-Ritzler, 2013). Además, es un trabajo intencional que implica el diseño y la implementación de estrategias de aprendizaje y enseñanza con el objetivo de facilitar tanto a individuos, como a grupos u organizaciones, el aprender acerca de lo que constituye una práctica de evaluación efectiva, útil y profesional. Para que el ECB sea una práctica sostenible, es necesario que las organizaciones desarrollen sistemas, procesos, políticas y planes que les permitan alcanzar su misión u objetivos estratégicos. Asimismo, el ECB necesita que sus participantes sean provistos de liderazgo, incentivos, recursos y oportunidades de transferir el aprendizaje acerca de la evaluación a su práctica profesional diaria (Preskill & Boyle, 2008).
A diferencia de los enfoques tradicionales ─lineares, verticales y externos─ de evaluación para el desarrollo, el ECB plantea una práctica continua, cíclica, participativa e interna (no excluye la posibilidad de agentes externos para el proceso de evaluación) que implica generar capacidades adaptativas dentro las organizaciones. Este tipo de práctica permite reconocer las circunstancias que cambian durante las intervenciones de desarrollo y la capacidad organizacional de responder eficaz y efectivamente frente a ellas (Horton, 2008) (Preskill & Boyle, 2008). El ECB es un ciclo constante de aprendizaje que comienza por la planificación, seguido de la colecta de datos para generar información que conduzca al análisis y a la reflexión para, a continuación, decidir qué acciones tomar para mejorar la efectividad y los impactos de la intervención de desarrollo en un punto determinado y, finalmente, comenzar nuevamente con un objetivo distinto (Grantmakers for Effective Organizations, 2011).
Por tratarse de un enfoque que valora lo contextual, no hay una “receta” establecida para el ECB. Se trata, por el contrario, de estimular a las organizaciones a idear formas de planificar y llevar a cabo procesos de evaluación de capacidades que se correspondan con sus objetivos y con los recursos y la capacidad de gestión para alcanzar los mismos (Horton, 2008). Dentro de una organización, el ECB surge por una motivación específica que opera bajo ciertos supuestos sobre lo que es evaluación y desarrollo de capacidades, y que, además, tiene ciertas expectativas de lo que se quiere alcanzar a través de la ejecución del proceso (Preskill & Boyle, 2008).
Un buen diseño de ECB no basta para garantizar el éxito del mismo, existe una variedad de factores que pueden convertirse en obstáculos como, por ejemplo, el tiempo, la experticia del facilitador y su efectividad, la frecuencia y calidad de la participación, y la medida en que la actividad es implementada. La idea es aplicar el conocimiento de la evaluación, las habilidades y competencias, y las actitudes al contexto del trabajo, es decir, que haya una transferencia de conocimiento generado por el proceso de evaluación. La transferencia de conocimiento es, por lo tanto, el factor clave para la sostenibilidad del ECB (Preskill & Boyle, 2008).
A nivel de herramientas es necesario aplicar aquellas que desarrollen capacidades que conduzcan al pensamiento evaluativo y que, además, promuevan el involucramiento y participación activa de los participantes en el proceso de ECB.
¿Para qué sirve el “Evaluation Capacity Building” ?
El proceso de ECB sirve para desarrollar conocimiento, habilidades, competencias y actitudes evaluativas a nivel individual y organizacional y así potenciar el desempeño y la efectividad de las intervenciones en el campo del desarrollo (Preskill & Boyle, 2008). Por otro lado, el ECB sirve para articular esfuerzos dentro de una organización, fomentando el trabajo colaborativo, el involucramiento y la participación activa de los individuos o grupos de trabajo de la misma. Además, genera procesos de reflexión continuos que conducen al aprendizaje individual y organizacional y a cómo mejorar los sistemas de adquisición de información y su respectivo análisis.
A nivel de promotores, el ECB permite que se identifique lo que “funciona bien” y el porqué de ello, además de evaluar cuán preparada está una organización para la planificación y la implementación del proceso de potenciamiento (Grantmakers for Effective Organizations, 2011). Potenciar en este caso, se entiende como el proceso que conduce al desempeño eficiente de las organizaciones y que está centrado en el desarrollo de capacidades y en el aprendizaje continuo.
¿Cómo desarrollar un proceso de ECB?
Siendo un proceso eminentemente práctico, el ECB implica la realización de actividades dirigidas a crear, fortalecer y sostener capacidades de evaluación. Estas actividades pueden llevarse a cabo a través de capacitaciones, asistencia técnica, tutorías, coaching, desarrollo e intercambio de documentación, apoyo a grupos de trabajo y aprendizaje y promoción de un ambiente favorable a la evaluación, para lo cual, la persona o equipo facilitador debe adoptar diferentes roles (University of Wisconsin-Extension, Cooperative Extension, 2008).
El ECB relaciona entre sí tanto los diferentes niveles dentro de una organización (individual, equipo o programa, organización) como los principales actores, que en el caso de proyectos de desarrollo son la propia organización y sus partes implicadas, la entidad financiadora y la persona o equipo externo de evaluación y capacitación. La primera distribución implica que el incremento de las capacidades de evaluación personales contribuye a la mejora del funcionamiento de los programas y a la obtención de mejores resultados de la organización; a su vez, este proceso se ve facilitado si la organización promueve la cultura de la evaluación y pone los medios para llevarla a cabo (Labin, 2014). La segunda clasificación se refiere a la conveniencia de crear una “comunidad de aprendizaje” entre los diferentes actores.
Cada vez se trabaja más en la elaboración de marcos teóricos para explicar la enseñanza y aprendizaje de capacidades de evaluación, principalmente en términos de aprendizaje para adultos y aprendizaje transformativo. Parece haber un consenso a la hora de expresar la necesidad de integrar la ciencia y la investigación con la práctica en una relación estrecha y congruente para fomentar la retroalimentación mutua (Suarez-Balcazar & Taylor-Ritzler, 2013).
Aunque todavía queda un largo recorrido para fundamentar de forma consistente y con bases empíricas estos intentos, ya se han empezado a proponer modelos, como el que se explica en el artículo “A Multidisciplinary Model of Evaluation Capacity Building” (Preskill & Boyle, 2008), cuya finalidad es describir un modelo de ECB que sea útil para diseñar e implementar actividades y procesos de desarrollo de capacidades y como soporte a la investigación empírica.
El IECB o Integrated ECB Model es una compilación hecha a través de la integración de conceptos preexistentes y literatura empírica sobre el ECB y las herramientas identificadas durante su investigación. Se expresa de una forma lineal (no iterativa) y bidimensional, relacionando las necesidades con las estrategias a implementar y supeditando la efectividad de las mismas a las capacidades de evaluación y a disposición a la misma de la organización (Labin, 2014).
Un paso previo al inicio, o más bien el inicio del ECB, es valorar la preparación o disposición (readiness en inglés) de la organización para implementar el proceso de evaluación de forma satisfactoria. Se basa principalmente en la respuesta a las preguntas: ¿Qué prácticas de evaluación se están llevando a cabo actualmente? y ¿cuál es la capacidad de evaluación? Varios factores componen la preparación para la evaluación, a saber, liderazgo, apoyo a la evaluación, cultura de la organización para la orientación al aprendizaje y mejora, capacidades de evaluación, experiencia y recursos (Morariu, 2012). En este artículo, se propone un test para llevar a cabo esta valoración, inspirado en parte en una lista de verificación para la construcción de capacidades de evaluación en las organizaciones presentada como “A Checklist for Building Organizational Evaluation Capacity” (Volkov & King, 2007), basado en casos de estudio y revisión bibliográfica.
La disposición y preparación de la organización para el ECB está directamente relacionada tanto con los resultados del proceso (Labin, 2014), como con el reparto de las responsabilidades que requiere la evaluación entre la organización y el equipo de evaluación y capacitación externo, lo que se denomina el “evaluative learning continuum” (York, 2003).
¿Cómo medir la evolución del proceso?
Este punto es un tema candente, ya que aunque se han hecho esfuerzos por sentar las bases teóricas del ECB y reconocer su potencial, no está clara todavía la forma de medir la evolución y el impacto del mismo en los factores contextuales y culturales (Suarez-Balcazar & Taylor-Ritzler, 2013).
Además del checklist anterior y otros tests, se han propuesto instrumentos más elaborados para valorar la capacidad de evaluación y su progreso, como el ECAI o Evaluation Capacity Assessment Instrument; ésta es una herramienta para medir la capacidad de evaluación del personal de organizaciones sin ánimo de lucro diseñada como modelo de síntesis. Se detalla e intenta validar en el artículo “Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study” (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Consideraciones finales
El enfoque del ECB es algo relativamente reciente pero el interés que suscita tanto en organizaciones como en entidades financiadoras y equipos evaluadores continúa creciendo a una gran ritmo (Wandersman, 2014).
No obstante, queda un largo camino por recorrer principalmente en dos sentidos. El primero es el de integrar definitivamente en la investigación la ciencia y la práctica, en una relación bidireccional y complementaria (Suarez-Balcazar & Taylor-Ritzler, 2013). El segundo es el de reforzar los modelos existentes, validando los que no lo estén y aplicando a muestras más grandes los que sí que lo están (Taylor-Ritzler, Suarez-Balcazar, Garcia-Iriarte, Henry, & Balcazar, 2013).
Finalmente, cabe remarcar que a pesar de que el ECB promulga procesos más participativos y centrados en el aprendizaje y en el desarrollo de capacidades individuales y organizacionales, la razón fundamental de su aplicación y el objetivo principal de la investigación que lo rodea es el de mejorar los resultados de la organización (Suarez-Balcazar & Taylor-Ritzler, 2013).
Bibliografía:
Grantmakers for Effective Organizations. (2011). Scaling What Works. Recuperado el 29 de October de 2015, de http://www.socialimpactexchange.org/sites/www.socialimpactexchange.org/files/GEO_SWW_HowDoWeApproachImpactandEval.pdf
Horton, D. (September de 2008). international Center of tropical Agriculture. Recuperado el 20 de October de 2015, de http://preval.org/files/texto_completo.pdf
Labin, S. N. (2014). Developing Common Measures in Evaluation Capacity Building: An Iterative Science and Practice Process. American Journal of Evaluation, Vol. 35(1) 107-115.
Morariu, J. (2012). Readiness for Evaluation and Learning: Assessing Grantmaker and Grantee Capacity. Innovation Network.
Preskill, H., & Boyle, S. (2008). American Journal of Evaluation. Recuperado el 19 de October de 2015, de http://www.unm.edu/~marivera/522%20readings%203/Multidisciplinary%20model%20of%20evaluation%20capacity%20building.pdf
Suarez-Balcazar, Y., & Taylor-Ritzler, T. (15 de August de 2013). American Journal of Evaluation. Recuperado el 30 de October de 2015, de http://aje.sagepub.com/content/35/1/95.full.pdf+html
Taylor-Ritzler, T., Suarez-Balcazar, Y., Garcia-Iriarte, E., Henry, D. B., & Balcazar, F. E. (2013). Understanding and Measuring Evaluation Capacity: A Model and Instrument Validation Study. American Journal of Evaluation, 34(2), 190-206.
University of Wisconsin-Extension, Cooperative Extension. (2008). Building Capacity in Evaluating Outcomes. Madison: University of Wisconsin-Extension, Cooperative Extension, Program Development and Evaluation.
Volkov, B. B., & King, J. A. (2007). A Checklist for Building Organizational Evaluation Capacity. Obtenido de https://www.wmich.edu/sites/default/files/attachments/u350/2014/organiziationevalcapacity.pdf
Wandersman, A. (2014). Moving Forward With the Science and Practice of Evaluation Capacity Building (ECB) The Why, How, What, and Outcomes of ECB. American Journal of Evaluation, 35(1), 87-89.
York, P. J. (2003). Learning As We Go: Making Evaluation Work for Everyone. A Briefing Paper for Funders and Nonprofits. TCC Group.
Zaltsman, A. (May de 2006). Independent Evaluation Group. Recuperado el 29 de octubre de 2015, de Desarrollo de la capacidad de evaluación, Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: http://ieg.worldbank.org/Data/reports/ecd_wp16_spanish.pdf
¿De qué depende la credibilidad de una evaluación y de un evaluador?
La credibilidad se define como la cualidad de algo que puede o merece ser creído (RAE). Para merecer ser creíble por personas que no han sido testigos directos. Pero, ¿qué hay de relevante entre el concepto de credibilidad y el evaluador y la evaluación?
La credibilidad de una evaluación y evaluador depende de los siguientes factores: características del evaluador y la evaluación, del receptor que recibe la información y del flujo de comunicación entre las partes involucradas en la evaluación.
Evaluación
Una evaluación es creíble cuando es imparcial, es decir, cuando se maximiza la objetividad en cada una de las etapas que la conforman. Además, si la evaluación está dotada de evidencias, la credibilidad se verá más favorecida. ¿Dónde se encuentran estas dos características en las etapas de una evaluación?
–Estructuración: tanto la respuesta a las preguntas planteadas como la definición de estándares y criterios de juicio, deberán ser explícitos y no influenciados por consideraciones personales o partidistas.
–Observación: la información recogida y las herramientas utilizadas deberán ser fiables. Además, los datos recolectados han de ser evidentes para dotar a la evaluación de credibilidad, así como al juicio de valor elaborado por el evaluador.
-Análisis: los indicadores utilizados, en base a los criterios fijados para la comparación de los datos recogidos y estimación de efectos, han de ser fiables.
–Emisión de juicio: los resultados para reforzar la creencia del receptor habrán de proveer evidencias.
Evaluador
El evaluador es un factor que también condiciona la credibilidad de la evaluación. Respecto a qué y qué no debe poseer un evaluador, esto lo condiciona su perfil y las competencias que tenga para realizar su trabajo. Pero para ser creíble no existe una guía ni declaración internacional consensuada acerca de ello. Como aproximación se ha recopilado lo que, según reconocidas organizaciones y asociaciones como el Programa de Naciones Unidas para el Desarrollo (PNUD, UNDP-United Nations Development Programme), la ANZEA o el Grupo de Evaluación de Naciones Unidas (UNEG, 2005) consideran como características de importancia que dotan a un buen evaluador.
– Perfil de un Evaluador
El evaluador necesita ostentar atributos personales que le permitan poder desenvolverse con la mayor objetividad posible (SEAP, 2008). Se determina que debe contar con:
- Atributos Personales
- Ético, imparcial, sincero, honesto y discreto.
- Observador: activamente consciente del entorno físico y las actividades.
- Tenaz: que ponga todo el empeño para lograr los resultados planteados.
- De mentalidad abierta: dispuesto a considerar ideas o puntos de vista alternativos.
- Asertivo: poder brindar opiniones y directrices que resulten más un consejo que un mandato.
- Diplomático: facilidad para poder conciliar conflictos.
- Perceptivo: instintivamente consciente y capaz de entender las situaciones.
- Versátil: poder asumir los cambios que ocurren en su entorno.
- Decidido: alcanzar conclusiones oportunas basadas en el análisis y razonamiento lógico.
- Seguro de sí mismo: actúa y funciona de forma independiente a la vez que se relaciona eficazmente con otros
- Educación
- Preferiblemente universitaria.
- Cursos específicos orientados hacia la evaluación.
- Expresión oral y escrita clara y fluida.
- Competencias
Actualmente, en países donde la cultura de evaluación es más madura, o sea, principalmente en Norteamérica, numerosos autores exigen una profesionalización del perfil de evaluador. Este hecho, según ellos, dotará de mayor credibilidad las acciones de los evaluadores y la evaluación. Sin embargo, otros expertos se manifiestan en contra de la profesionalización del evaluador justificando la diversidad del modo de organización y diseño de las evaluaciones. Lo que no está en discusión es que todo evaluador debe de tener competencias para enfrentar una evaluación con éxito, tales como: análisis del contexto y su compromiso; investigación evaluativa y sistemática; gestión de proyectos de evaluación y la práctica profesional; el desarrollo profesional y la práctica reflexiva.
Flujo de Comunicación
No todas las evaluaciones se diseñan y ejecutan contando con la participación de las personas implicadas. Si se establece un modelo de participación, integración y aprendizaje conjunto a lo largo de todas las fases de la evaluación, la credibilidad del resultado final se verá favorecida.
En la etapa de comunicación de resultados se deberá tener en cuenta aspectos como: el canal a través del cual se envía el mensaje, el momento temporal en el que se produce, el lugar y, por último, a quién se esté dirigiendo el mensaje, o sea, el receptor quien recibe la información.
Receptor
El grado de credibilidad que el receptor perciba de la evaluación va a depender directamente del marco de referencia con la que se articule la evaluación, es decir, de la orientación que tenga (enfoque), de los criterios e indicadores que se utilicen, de las herramientas implementadas, así como del juicio utilizado para realizar las recomendaciones (en caso de que procedan) y resultados. Todos estos factores mencionados son aquellos que conducen a la confianza que, junto al grado de conocimiento que tenga el receptor de la información suministrada, inciden en la credibilidad de la evaluación.
Autores: @Carmen.luna, @d.doleo y @stalingcordero
Referencias citadas:
SEAP (2008). Guía del Evaluador. Secretaría de Estado de Administración Pública. Santo Domingo.
Otras referencias interesantes a consultar pueden ser:
About Carlos Plaza
¿Cómo pueden adquirirse las competencias necesarias para ser un evaluador?
Si un evaluador con las competencias necesarias sirve para dar mayor credibilidad al proceso de evaluación es importante determinar la forma de adquirir dichas competencias.
Como con cualquier habilidad o destreza humana, una competencia de evaluación se puede tener de manera innata o no. Las personas con habilidades innatas solo cuentan con cierta ventaja inicial frente a las personas que no las tienen de forma natural. Al mismo tiempo siempre habrá que trabajar para desarrollarlas al máximo, refinarlas y conocer la mejor manera de llevarlas a la práctica.
Si no se poseen las competencias necesarias, estas se pueden adquirir mediante trabajo y esfuerzo. Según Stevanh, King, Ghere y Minnema (2005) hay cuatro formas de adquisición de las competencias: mejora de la formación, aumento de la práctica reflexiva, avance en la investigación de la evaluación y profesionalización del campo.
1º. La mejora de la formación pasa por el establecimiento de asignaturas y materias a nivel educativo, ya sea universitario o no. Esto se ha de realizar para que los futuros evaluadores ya tengan de base ciertas competencias básicas técnicas como herramientas de observación o de análisis. Pero no solo se puede enseñar las herramientas técnicas, materia habitual en los ámbitos educativo, también se pueden enseñar algunas competencias interpersonales y personales como saber realizar correctamente una entrevista o aprender de los éxitos y fracasos propios.
2º. El aumento de la práctica reflexiva consiste en la continua puesta en marcha de las habilidades de evaluación. Además, en esta puesta en práctica de las competencias el evaluador ha de saber automonitorizarse e ir viendo en todo momento sus propias fortalezas y debilidades. Este mecanismo sirve para ir evolucionando entre los distintos tipos de evaluadores que se puede encontrar en la realidad: accidentales, nuevos evaluadores, en transición y experimentados. Cuanto mayor sea la puesta en funcionamiento de las competencias el evaluador irá creciendo hasta convertirse en un evaluador experimentado.
3º. En el avance de la investigación sobre evaluación se ha de focalizar los recursos en desarrollar nuevas teorías, mejorar en la concepción de las preguntas adecuadas y optimizar al máximo la práctica reflexiva. Investigar y evaluar son dos conceptos parecidos y complementarios. Investigar la evaluación contribuye de la manera ya vista y evaluar la investigación puede ayudar a corregir los fallos y optimizar los aciertos.
4º. La última manera de adquirir las competencias es la profesionalización del campo ya que de esta manera se establecerían criterios, acreditaciones o licencias que de una manera formal distinguirían al evaluador profesional del accidental. Sería más sencillo y simple distinguir al charlatán del verdadero evaluador.
Así que, como se puede observar, hay varios caminos para adquirir y mejorar las competencias. Las dos últimas formas de avanzar en este ámbito se refieren al desarrollo del propio campo en sí, con el impulso en la investigación y en la profesionalización de la evaluación. En cambio, las dos primeras tienen más que ver con aspectos más personales y propios del evaluador, aunque hay que señalar que se trata desde distintas perspectivas. La primera de las maneras de mejorar las competencias presenta un enfoque de aprendizaje externo al evaluador, una institución o entidad ha de establecer mejor su programa o metodología para que se adquieran de una forma más eficaz las competencias necesarias. En cambio, el aumento de la práctica reflexiva refleja la necesidad del propio aprendizaje interno y personal del evaluador para conocer cómo se pueden poner en práctica los conocimientos teóricos aprendidos. Además con dicha reflexión se puede entrar en un análisis personal para descubrir como potenciar sus fortalezas y disminuir sus debilidades.
Finalmente solo queda subrayar que todas estas maneras de progresar en el campo de las competencias de los evaluadores no son opuestas unas de otras, sino complementarias. Sería un error pensar que el campo debe centrarse en uno u otro aspecto olvidando los otros tres. Ha de haber una serie de sinergias entre todos los caminos de progreso para que se avance tanto en el campo de la definición de las competencias como en el campo de la puesta en prácticas de las mismas.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Qué competencias debe tener un evaluador?
Una vez establecidas las razones por las que cuales es necesario crear un marco (más o menos flexible según el enfoque) en el cual quede reflejado las competencias necesarias del evaluador según el enfoque de Stevahn, King, Ghere y Minnema (2005).
Según dicho enfoque las competencias o habilidades que debe tener o adquirir un evaluador se pueden agrupar en las siguientes 6 categorías:
1- La práctica profesional
Las competencias de la práctica profesional tienen que ver con el rigor y seriedad a la hora de trabajar. Este tipo de competencias profesionales se centran en las normas fundamentales y valores prácticos de evaluación, la adhesión a las normas de evaluación o la correcta ética a la hora de evaluar.
2- La investigación sistemática
Las competencias referidas a la investigación sistemática se centran en los aspectos técnicos de las prácticas de evaluación; tales como el diseño, la recogida de datos, conocimiento de distintos métodos de trabajo (mixto, cualitativo o cuantitativo), el análisis de los datos o la presentación de informes. De esta manera, la evaluación podrá seguir el procedimiento adecuado y podrá ser contrastada por otras personas.
3- Análisis de la situación
Estas competencias se refieren al contexto en el que se desarrolla la evaluación. El evaluador ha de ser capaz de adaptar y modificar la evaluación si es necesario, de utilizar la información que le proporcionan y de solucionar posibles conflictos.
4- La gestión de proyectos
En la categoría de gestión de proyectos se agrupan las competencias referentes a aspectos prácticos de la realización de una evaluación como la negociación de los términos de referencia, la realización de presupuestos, la justificación de los gastos, la coordinación de recursos o la supervisión de los procedimientos.
5- La práctica reflexiva
Se centran en la capacidad del evaluador para aprender con su propia experiencia y que se necesita para el crecimiento como profesional. Algunos ejemplos podrían ser el conocer las fortalezas y debilidades propias como evaluador, la evaluación de las necesidades personales de prácticas mejoradas o participar en el desarrollo profesional hacia esa meta.
6- La competencia interpersonal
Este tipo de competencia se centra en las habilidades referentes al trato con las personas como la comunicación, la negociación, el conflicto, la colaboración o las habilidades interculturales.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
About Carlos Plaza
¿Se pueden definir las competencias que ha de tener un evaluador?
Se entiende por competencia entre otras acepciones la pericia, aptitud o idoneidad para hacer algo o intervenir en algo (Real Academia de la Lengua, 2001). En otras palabras, son las capacidades y habilidades que tiene una persona o que tienen un grupo de personas para poder desarrollar satisfactoriamente una labor, un trabajo etc.
Por otro lado Michael Scriven define la evaluación como el proceso de determinación del mérito, valor e importancia de algo, ya sea un producto, una actuación, un programa de desarrollo rural, una política, etc. Además se entiende al evaluador o evaluadores como la persona o las personas encargadas de realizar dicha evaluación. Por tanto los evaluadores son los responsables de determinar el mérito, valor e importancia de algo como podría ser un programa educativo.
Si se unen ambos conceptos, se determina que las competencias de un evaluador son todas aquellas habilidades o aptitudes que tiene una persona para desarrollar satisfactoriamente su labor que no es otra que la de evaluar; la de determinar la calidad, el valor y la importancia de algo.
1. ¿Por qué determinar las competencias de un evaluador?
Definir las competencias que ha de tener un evaluador es importante ya que de ellas dependerá la calidad y validez de la evaluación. Hay aspectos de la propia persona que evalúa que puede poner en duda la credibilidad del proceso como podría ser la dependencia o falta de objetividad del evaluador o la incapacidad para analizar la situación.
Si un evaluador no posee las herramientas adecuadas de análisis y fundamenta su evaluación en simples observaciones, opiniones o creencias propias, sin contrastarlas con ningún tipo de dato o de evidencia, entonces parece lógico pensar que la persona a la que va dirigida la evaluación dude de la validez de la misma. Así mismo, cuando el evaluador o grupo de evaluadores está muy vinculado o es muy dependiente de aquello que se evalúa es normal que se llegue a cuestionar la objetividad de la misma.
De este modo, resulta que las competencias y habilidades que tenga un evaluador son muy influyentes a la hora de realizar una evaluación creíble. No solo ya en lo referente a la evaluación en sí, sino también a la hora de presentar los resultados, la evaluación despierte la confianza del público. A lo que se suma la creencia de que la definición de las competencias puede servir para contribuir a la mejora del campo profesional de la evaluación de varias formas (Stevahn, King, Ghere & Minnema, 2005; Moreno, 2015):
– Estableciendo una base para orientar los programas de formación de nuevos evaluadores.
– Ayudando a la mejora continua de los profesionales experimentados.
– Llevando a cabo revisiones periódicas que aseguren la integridad del campo.
2. ¿De qué competencias hablamos?
Las competencias que ha de tener un evaluador son múltiples y existe cierto debate en torno a ello. Antes de entrar en dicho debate se ha de realizar un pequeño razonamiento para tener una primera idea de las aptitudes básicas que precisaría tener un evaluador.
Si el objetivo de un evaluador es realizar una evaluación, el evaluador deberá cumplir con los procesos y procedimientos que se exigen para realizar una evaluación correctamente. Michael Scriven (1980) describió en su gráfico de diamante los procesos básicos que se han de realizar: estructurar, observar, analizar y juzgar. Procesos que suelen comenzar con situaciones en las que el evaluador cuenta con poca o nula información, por lo que ha de profundizar en el tema evaluado observando evidencias, recopilando datos y preguntando a personas claves. Cuando la cantidad de información aumenta se ha de analizar para llegar a síntesis que desemboquen en juicios de valor y conclusiones. Por tanto, el evaluador ha de estructurar el plan, observar las evidencias y recolectar datos, analizar la información recogida comparando datos y estimando los efectos para, por último, establecer un juicio de valor y sintetizarlo de tal manera que sea útil y comprensible.
Pero, ¿es solo esto lo necesario para realizar una buena evaluación? La respuesta en la inmensa mayoría de los casos es que no. Aunque éste sea el esquema básico para poder llevar a cabo una evaluación, deben también contemplarse todos los elementos internos y externos que afectan en el objeto a evaluar y que obligan al evaluador a ir más allá del esquema básico. Además de estas competencias técnicas y básicas, se ha de contar con muchas otras competencias de ámbito más personal y contextual como la objetividad, la ética o las habilidades interpersonales.
3.Tres enfoques para abordar la cuestión
Ahora que se va perfilando las distintas competencias de un evaluador hay que conocer los distintos enfoques que existen en la bibliografía especializada acerca de este asunto. Se podrían resumir los enfoques en 3 grandes vertientes (Moreno, 2015):
1º. Una primera postura entiende que en el campo de la evaluación no ha de haber una lista de competencias fijas. Al ser un proceso flexible y adaptable las competencias han de ser también flexibles y adaptables. En esta postura se encuentran autores como Kirkhart (1981).
2º. Un segundo grupo defendido por la American Evaluation Association (AEA) en la que se establecen principios rectores para guiar a los profesionales del campo pero que no abordan concretamente las competencias que ha de tener un evaluador.
3º. Autores como Stevahn, King, Ghere y Minnema (2005) que establece una lista de las competencias que ha de tener un evaluador.
En la siguiente entrada utilizaremos este último enfoque para profundizar en las competencias que un evaluador ha de tener por ser el más concreto y el que quizás más pueda contribuir a que se puedan apreciar mejor de un modo general cuáles son esas competencias o, por lo menos, su naturaleza.
Autores: @adrian_gse y @emmanueldejesus
Referencias citadas:
Kirkhart, K. (1981). Defining evaluator competencies: New light on an old issue. American Journal of Evaluation, 2, 188-192.
Moreno, T. (2015). Las competencias del evaluador educativo. Revista de la Educación Superior, 44 (174), 101-126.
Stevahn, L., King, J. A., Ghere, G., & Minnema, J. (2005). Establishing essential competencies for program evaluators. American Journal of Evaluation, 26 (1), 43-59.
Scriven, M. (1980). The Logic of Evaluation. Inverness CA: Edgepress.
