Inicio » Entradas etiquetadas como «evaluación» (Página 4)
Archivos de la etiqueta: evaluación
Árbol de objetivos
[spb_image image=”1680″ image_size=”full” frame=”noframe” caption_pos=”hover” remove_rounded=”yes” fullwidth=”no” overflow_mode=”none” link_target=”_self” lightbox=”no” intro_animation=”none” animation_delay=”200″ width=”1/3″ el_position=”first”][/spb_image] [spb_text_block animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/3″]
Fase evaluación: Estructuración
Tipo evaluación: Específica
Evaluación participativa: Sí
Grado complejidad: Medio
Otros Nombres: Objetives tree, Árbol de medios y fines.
[/spb_text_block] [spb_text_block title=”Bibliografía Recomendada” icon=”Bibliografía Recomendada” animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/3″ el_position=”last”]
[/spb_text_block] [spb_text_block animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/1″ el_position=”first last”]
Descripción
Permite transformar del árbol de problemas: las causas (raíces) en medios y los efectos (hojas) en fines, permite realizar el análisis de alternativas llevando los medios a estrategias. El árbol de objetivos de un programa vuelve explícita su lógica global. Se usa para la aclaración realizando una clasificación jerárquica de los objetivos de una intervención pública, ligando cada objetivo específico a su objetivo global.
Con un árbol de objetivos logramos que:
•La situación futura sea visualizada en torno a la resolución de los problemas antes detectados.
•La relación del problema con los medios y fines sea comprendida en un vistazo.
•Los objetivos a plantearnos sean ponderados según su orden de importancia o secuencia en su resolución.
•Haya un punto de partida para iniciar la solución del problema central: Las alternativas de solución.
Pasos a seguir
- Transformar las causas y consecuencias en medios y fines respectivamente. En la medida en que tengamos causas y consecuencias pertinentes, serán los efectos y fines que obtengamos. En caso tal de que los medios y fines obtenidos no sean los apropiados o se consideren muy difusos, volvemos a discutir sobre la situación problemática y reconsideramos una modificación al árbol de problemas.
- Verificar y modificar las redundancias, semejanzas o inconsistencias en el árbol. Una buena forma de lograr esto es estableciendo una relación 1 a 1 desde causa a efecto y desde efecto a fin.
- Ajustar para hacer el método flexible. Una vez transformado el árbol de problemas en uno de objetivos, hay que ver si le falta algo y si es así, habrá que completarlo.
[/spb_text_block]
Matriz Impact Cruzad
[spb_image image=”1271″ image_size=”full” frame=”noframe” caption_pos=”hover” remove_rounded=”yes” fullwidth=”no” overflow_mode=”none” link_target=”_self” lightbox=”no” intro_animation=”none” animation_delay=”200″ width=”1/3″ el_position=”first”][/spb_image] [spb_text_block animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/3″]
Fase evaluación: Estructuración
Tipo evaluación: Global
Evaluación participativa: Sí
Grado complejidad: Medio
Otros nombres: Matrix of cross impacts
[/spb_text_block] [spb_text_block title=”Bibliografía Recomendada” icon=”Bibliografía Recomendada” animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/3″ el_position=”last”]
[/spb_text_block] [spb_text_block animation=”none” animation_delay=”0″ simplified_controls=”yes” custom_css_percentage=”no” padding_vertical=”0″ padding_horizontal=”0″ margin_vertical=”0″ custom_css=”margin-top: 0px;margin-bottom: 0px;” border_size=”0″ border_styling_global=”default” width=”1/1″ el_position=”first last”]
Descripción
Herramienta empleada para destacar la posible complementariedad, duplicación y conflicto entre los impactos de los distintos componentes de una intervención, o entre los impactos de diferentes intervenciones. Por ejemplo, la herramienta presenta las diferentes medidas de un programa en líneas y columnas. En cada célula se aplica un valor (símbolo o número) para describir la sinergia potencial entre una medida ubicada en una línea y otra ubicada en una columna.
Pasos a seguir
- Constituir el grupo de participantes
- Identificación de actividades
- Inventario de impactos previstos (frases cortas en cartulinas)
- Valoración de los impactos (repartir un juego de cartulinas a cada participante, dar un valor y agruparlos en familias)
- Creación de la matriz
- Análisis del resultado de la matriz
[/spb_text_block]
Las nuevas tecnologías en el campo de la evaluación
Los grandes avances desarrollados en el campo de las tecnologías de la información y comunicación, principalmente a partir de las últimas décadas del siglo XX, se han intensificado en nuestros días, produciendo cambios significativos en la estructura económica y social, y en el conjunto de las relaciones sociales.
Las nuevas tecnologías de la información y la comunicación se aplican actualmente en todos los ámbitos económicos y se integran en el día a día de las actividades empresariales, científicas, técnicas y educativas. Su utilización ha permitido, por un lado, la realización de actividades de forma más rápida y eficaz y, por otro, introducir nuevas formas y metodologías de trabajo, alentadas por la universalización de los intercambios de información y de las relaciones sociales.
Este desarrollo, al igual que ocurre con el resto de aspectos socioeconómicos, no se ha producido a nivel mundial de forma equilibrada. Esto ha dado lugar a la denominada brecha digital, término referido a las barreras geográficas, económicas, sociales y de alfabetización informática que limitan el uso y apropiación de las nuevas tecnologías de la información.
Según “The Statistics Portal” en 2012 el cálculo de esta brecha digital suponía que tan sólo el 34% de la población tenía acceso a internet. En 2015, según esta misma fuente, esta cifra habría aumentado hasta un 43,4%, sin embargo, las diferencias en el uso y acceso a internet siguen siendo una realidad.
http://www.statista.com/chart/3512/internet-adoption-in-2015/
En el campo de la evaluación, el concepto de brecha digital, adquiere gran importancia, más aún cuando sus actividades se dirigen a la evaluación de programas e iniciativas que tienen lugar en territorios rurales. En este caso, la brecha digital no es tan sólo una cuestión que afecte a los países en desarrollo sino también a los países desarrollados, en los que las áreas rurales menos pobladas, cuentan a menudo con problemas de acceso a internet y, aun cuando tienen acceso, con un menor número de usuarios. Pese a estas cuestiones, el desarrollo de las nuevas tecnologías nos ofrece alternativas que permiten trabajar en zonas, en principio, menos favorables para el uso de dispositivos tecnológicos.
Se abre así un mundo de posibilidades en el campo de la evaluación que los evaluadores deben tener en cuenta a la hora de programar y establecer sus rutinas de trabajo e investigación. Por ello, es importante conocer, experimentar y adaptar estas nuevas herramientas que el avance de las nuevas tecnologías nos ofrece y que nos permiten mejorar el desarrollo del proceso de la evaluación.
Las nuevas tecnologías aplicadas al campo de la evaluación han permitido mejorar la gestión, sistematización y análisis de la información recopilada obteniendo resultados en menos tiempo y de forma más eficaz. En cada una de las etapas de la evaluación: estructuración; observación; análisis y juicio; sea trabajo de campo o de gabinete; nos encontramos con multitud de herramientas que nos facilitan el trabajo del día a día.
(ver post: ¿Qué ofrecen las tecnologías en el campo de la evaluación? Algunas herramientas)
About Miriam López
Social Media en el ámbito de la investigación
Actualmente, vivimos rodeados de una cantidad inmensa de información y herramientas que puede llegar incluso a saturarnos, pero las ventajas y el potencial de todos los recursos es enorme por ello debemos conocerlos y sacarles el máximo rendimiento posible.
En el mundo de la investigación, cada vez más son los que utilizan los medios sociales para sus investigaciones y participan en redes sociales científicas con el objetivo de observar y recopilar información de manera más rápida, sencilla y barata. Así como compartir conocimientos. Si bien es cierto que la participación sigue siendo escasa por falta de tiempo y miedo a perder privacidad.
Aunque no tengan mucha publicidad, existen redes sociales científicas muy conocidas como Academia.edu que cuenta con más de 18 millones de usuarios, ResearchGate, con más de 6 millones y Mendeley, con más de 3 millones.
La revista Nature publicó un estudio que indicaba los investigadores utilizaban estas redes principalmente para la búsqueda de nuevos artículos y para contactar con otros investigadores. Este estudio también nos muestra algunos de los datos que muestran el uso de las redes sociales así como un análisis de la frecuencia de visitas dependiendo del área de especialización. Así tenemos:
- Twitter: más del 50% seguimiento a los debates.
- Facebook más del 55% para ocio.
- LinkedIn: más del 65% para contactar con otros investigadores.
- Ciencias e Ingeniería: las tres redes más consultadas son Google Scholar (60%), ResearchGate (48%) y LinkedIn (40%).
- Ciencias Sociales, Artes y Humanidades: son Google Scholar (70%), Facebook (52%) y LinkedIn (42%).
Un ejemplo de las aportaciones y avances de estas redes son los estudios realizados en 2014 por ResearchGate:
- Ideas para frenar la crisis del Ébola.
- 15 investigadores de nueve países de seis disciplinas ayudaron a proteger la mariposa más grande de África.
- 89.000 personas participaron en la revisión abierta de un estudio de las células madre.
- La investigación del Sida en más de 100 campos de estudio.
La Dra. Olivia Hernández Pozas, profesora asociada de EGADE Business School del Tecnológico de Monterrey, en su afán por el desarrollo de la Inteligencia Cultural promueve el uso de redes sociales alegando que su utilización aumenta los conocimientos adquiridos sobre ambiente multicultural, e internacionales de modo más sencillo y cómodo.
Gracias a esta revolución, en este momento, podemos acceder a una base de datos de más de 2.000 millones de personas. De ahí surge un nuevo concepto, el llamado Social Media Listening o el Social Listening, como elemento clave para conocer más detalladamente las opiniones de las personas.
Por último, a pesar de que debemos intentar sacar el máximo partido posible a estas herramientas, es importante tener en cuenta que respetar la privacidad de las personas es esencial. Los usuarios tienen que conocer en todo momento en qué actividades están participando para que no puedan sentirse molestos o utilizados. Ejemplo de ello, fue cuando en 2012 salió a la luz la noticia de que Facebook había alterado el orden de las noticias que los usuarios ven de sus contactos y fanpages, con el objetivo de demostrar la teoría del contagio emocional. Para ello, decidieron mostrar sólo noticias positivas a un grupo de usuarios, y sólo publicaciones negativas al otro, para comprobar si cada grupo reaccionaba diferente y se contagiaba de la emoción de las publicaciones. Este “experimento” se llevó a cabo sin el consentimiento de los usuarios por lo que provocó el cabreo de los usuarios y debates sobre la legalidad de este proceso.
Redes sociales y Organizaciones sin ánimo de lucro
Como comentábamos en un post anterior el uso de las redes sociales para la evaluación y análisis de distintas actividades organizadas en campos sociales, como el educativo o el médico también están cobrando importancia en los últimos años, no sólo en el marketing de grandes empresas multinacionales. Como nos dice Jan Rezab, el uso de las redes sociales puede crear un mundo mejor. Y aquí entran en juego las organizaciones sin ánimo de lucro.
El uso de las redes sociales en aquellas organizaciones sin ánimo de lucro, ya que su presencia en las redes e Internet debe ser fundamental en los tiempos que corren hoy en día, pero al mínimo coste. La situación económica actual ha desbancado a muchas de estas organizaciones y los fondos que obtienen se han reducido. Además, tiene que competir con las empresas comerciales, tanto en el mundo físico como en el digital. Es por ello que las organizaciones sin ánimo de lucro tienen que rentabilizar sus esfuerzos de la mejor manera posible. Deben centrarse en ser útiles, generar valor e interés en lo que se publica y no utilizarlas, en un primer momento, en canalizar fondos. La idea es divertir y entretener. Las donaciones vendrán luego. Hace falta trabajo previo para construir una comunidad fidelizada y comprometida con la causea que difunda el mensaje y que esté dispuesta a pasar a la acción en el mundo online.
Desde esta perspectiva, Allison H. Fine ha fundado una organización sin ánimo de lucro, Networked Nonprofits, dedicada a la transformación de la evaluación para el cambio social. Esta entidad está dirigida a descubrir y discutir los desafíos particulares y las nuevas oportunidades para medir el uso de las redes sociales por organizaciones de todo tipo, las conexiones y relaciones creadas a través de los medios de comunicación social con el fin de comprender mejor las formas en que los medios digitales están dando forma a los esfuerzos de cambio social. Esta red se dedica a contactar a diversas personas y organizaciones que compartan su trabajo con el fin de crear conciencia de los problemas sociales y organizar a las comunidades para prestar servicios de legislación. En el largo plazo, el objetivo es crear un mundo más seguro, más justo y más saludable para vivir.
¿Cómo funciona? Conecta a las personas, más allá de sus muros, a través de las conversaciones y las relaciones que se mantienen a través de sus redes. Así, se construye una responsabilidad común creando una lista de “cosas pendientes” donde todos los participantes puedan remar en la misma dirección. Alguno de estos medios sociales son las conversaciones generadas en Twitter, Youtube y blogs; la colaboración que se genera en grupos de Google; o las redes construidas a través de Facebook o MySpace.
Las redes sociales tienen una gran fuerza en la vida de los individuos de hoy en día, conectando a personas que se encuentran en polos opuestos de la tierra en tan sólo décimas de segundo. Esto hace unos años era impensable. Las redes sociales han despertado la creatividad y esto es un gran canalizador para luchar por aquellas causas en las que las personas creen. ¿Lo mejor de todo? Es espontáneo.
Social media y educación
Dentro de las nuevas tendencias que se están desarrollando en la actualidad y las redes sociales, en la educación superior por ejemplo, el impacto de las iniciativas no puede ser únicamente determinado por la cantidad de participantes que entran/salen de dichos programas. Es importante determinar una estrategia de seguimiento para recoger los datos de los resultados y evaluar estos planes de educación superior. Se debe recopilar la información de los participantes de primera mano. Puede ser un trabajo largo y laborioso, por la cantidad de participantes que pueden entrar en dichos programas.
Es por ello que el uso de las redes sociales nos puede facilitar mucho trabajo y darnos pistas clave para identificar a dichos participantes, ya sea por su localización, el puesto laboral que desempeñan en la actualidad u otras actividades (voluntariado, por ejemplo) que nos ayuden a determinar perfiles. Algunas de estas herramientas son LinkedIn, ResearchGate o Educa, donde además de la información personal básica se puede recoger información relacionada con publicaciones, comunicaciones, artículos científicos, premios o menciones que completen esa información. Todo esto nos puede ayudar a dibujar un primer mapa con información de la muestra a estudiar de una organización o una especialidad en concreto, por ejemplo: ¿la tendencia de aquellos graduados del 2005 que estudiaron Administración y Dirección de Empresas en la Universidad Autónoma de Madrid? Otro filtro podría ser, ¿cuál es la tendencia de los alumnos que estudiaron la carrera de ciencias de la comunicación en la Comunidad de Madrid en todas las Escuelas? Algunas de etas herramientas pueden ser las encuestas online y su difusión a través de la base de datos recogida gracias a las redes sociales. Algunas de estas herramientas gratuitas son Google Forms, Survey Monkey, Survey Gizmo. Entre aquellas de pago podemos utilizar Qualtrics, SurveyAnalytics, SurveyMonkey o SurveyGizmo. La metodología cualitativa te puede ayudar a profundizar en la personalidad y las perspectivas de cada uno de los participantes.
Bibliografía
About Carmen García Ferrer
El uso de la web y redes sociales en el diseño de evaluaciones
Importancia de internet como fuente de información
Internet ha revolucionado las formas tradicionales de relación entre las personas y esto ha motivado que la actividad se adapte a este nuevo sistema de intercomunicación. Actualmente, Internet constituye una herramienta fundamental e imprescindible para cualquier organización. Con Internet podemos realizar estudios cualitativos (dinámicas de grupo y entrevistas en profundidad), estudios de mercado cuantitativos (encuestas y paneles de consumo), estudios de observación (comentarios, opiniones de usuarios, estrategias de la competencia, tendencias…), búsqueda de nuevas tendencias para innovación, test de valoración, etc.
Internet ha tenido una historia con tres etapas claramente identificadas. La primera, la Web 1.0, donde las empresas publicaban sus contenidos en un sitio web dirigido a un determinado número de usuarios potenciales que contaban con una capacidad muy reducida de interactuar con esa información. Un sitio web era únicamente un escaparate donde exponer información y la red constituía una herramienta de comunicación y, en ocasiones, de distribución (tiendas online). La Web 2.0 comenzó cuando las páginas web dejaron de limitarse a emitir información y se plantearon la posibilidad de recibir información de los usuarios. Se trataba de un modelo bidireccional que abría un abanico de posibilidades de investigación de mercado y de comunicación. En esta etapa comenzaron a tomar importancia las redes sociales y blogs. La Web 3.0, también denominada web semántica o inteligente, representa el futuro de la red y mejora la organización y el acceso a la información. Esta nueva etapa viene ligada a la concepción de la red como base de datos, computación en la nube (cloud computing, prestación de servicios de negocio y tecnología a través de internet), aplicaciones web conectadas a otras aplicaciones web e inteligencia artificial. Según Rodríguez (2012), el concepto web 3.0 se basa en la evolución de las redes sociales bajo los conceptos de búsquedas perfeccionadas hasta conseguir un único resultado totalmente ajustado a la demanda de información; contenidos accesibles sin navegación desde cualquier dispositivo o lugar; tecnologías de inteligencia artificial para la localización y selección de la información; geolocalización avanzada para localizar personas y lugares en cualquier dispositivo móvil; y, la extensión al mundo virtual.
En este punto se hace necesario hacer una diferenciación entre lo que significa red social (social network) y medios sociales (social media). Estamos acostumbrados a hablar tanto de estos conceptos, que a veces se confunde. Según el blog socialmediatoday.com, los medios sociales están dirigidos a transmitir o compartir información con una amplia audiencia; las redes sociales están constituidas por grupos de personas con los mismos intereses. También hay una diferencia de estilos en la comunicación: los medios sociales tienden a ser un canal unidireccional, mientras que las redes sociales constituyen un canal bidireccional, un intercambio de experiencias donde se genera una gran cantidad de información. El uso de las redes sociales hoy en día está muy relacionado con la interrelación entre las personas y la transmisión de información y objetivos. Debido a la globalización, esta nube cada vez crece más rápido, por lo que la cantidad de información que existe en la web es cada vez mayor. Es por ello que debemos identificar la información que necesitamos y analizar los datos correctos, lo que se puede resumir en la frase: “descartar y destacar”.
Se hace así necesaria la existencia de herramientas para poder filtrar y conseguir los datos que realmente nos interesan en cada trabajo de evaluación, dar utilidad, analizar y evaluar todo tipo de datos que pueden obtenerse en el entorno web. Un concepto interesante en esta línea es el de minería de datos (data mining), un campo de las ciencias de la computación referido al proceso que intenta descubrir patrones en grandes volúmenes de datos. La inteligencia artificial, el aprendizaje automático, la estadística y sistemas de bases de datos son los métodos más utilizados en este campo (Maimon y Rokach, 2010). El primer paso de un proceso de minería consiste en la selección de un conjunto de datos y el análisis de sus propiedades (histogramas, o diagramas de depresión pueden ser de gran utilidad en esta fase). En segundo paso es la transformación de esos datos de entrada a través de la selección y aplicación de una de las técnicas de minería de datos (modelo predictivo, de clasificación o de segmentación). Un último paso consiste en la extracción del conocimiento, la interpretación y la evaluación de los datos.
Por otro lado, siempre debemos tener en cuenta para qué y por qué debemos hacer el análisis de esa información y de esos datos, es decir, cuál es el objetivo último que perseguimos con cada trabajo de evaluación. Si sabemos identificar nuestro fin, podremos elegir nuestros medios para conseguir el máximo rendimiento y efectividad.
En último lugar, hacer hincapié en el concepto de seguridad y privacidad, los términos y condiciones y la información personal que se sube a la web, ya que, un mal trato de los datos puede volverse en nuestra contra.
Herramientas para poder utilizar la web y las redes sociales como fuentes de información
La tecnología se ha desarrollado de tal forma que se han creado “laboratorios” para analizar cómo las redes sociales afectan a la sociedad, a las comunicaciones y a la difusión de la información. Los grupos de investigación han desarrollado distintas herramientas para analizar, visualizar y evaluar las distintas redes sociales. Es un nuevo campo con alta innovación tecnológica y donde los elementos de software para analizar y evaluar se han disparado como la espuma. Existen distintas herramientas en función de cuál sea el objetivo que queremos medir o analizar. También, existen distintas herramientas en función de si son gratuitas o de pago, etc. Entonces, lo primero que tenemos que hacer es preguntarnos ¿Qué queremos medir? Es decir, tenemos que tener claros los objetivos. El análisis de los datos nos dará las pautas necesarias para las acciones que debemos tomar y así conseguir el éxito de los objetivos de nuestro estudio. Existen herramientas para el análisis de páginas web (analytics), seguimiento (monitoring), análisis estadístico (reporting), análisis de mejores prácticas (benchmarking) y gestión (management), entre otras. A continuación, nos dispondremos a hacer una breve recopilación de estas herramientas y de su uso, bajo una estructura que sigue la señalada por el blog e-interactive.
– Herramientas para el análisis de páginas web (analytics)
Existen una gran variedad de herramientas para la analítica web que permiten medir y recoger los resultados de una página web, programa, producto o servicio. Especificaremos tres de las más importantes y mejor valoradas por los Community Manager.
Lucky Orange
Herramienta que sirve para analizar formularios y vínculos. Incluye el comportamiento del usuario en la página con un gran abanico de características, desde las grabaciones de visitas hasta la analítica, búsqueda y segmentación por mapas de calor. También ofrece rutas de conversión visuales. Una demostración de esta herramienta puede visualizarse en el siguiente enlace.
4Q
4Q es una herramienta de encuestas para sitios web que permite a los dueños de negocios evaluar la experiencia online, medir la satisfacción de los clientes y poner en marcha rápidamente las mejoras para su sitio web basándose en los comentarios de visitantes reales. Para ver el funcionamiento, existe una demo gratuita clicando en el siguiente enlace.
– Herramientas de seguimiento (monitoring)
Se trata de herramientas que permiten rastrear términos o palabras clave en los diferentes entornos de la web.
Es una herramienta que permite rastrear palabras clave en la mayor parte de plataformas 2.0. Los resultados pueden recibirse a través de SMS y servicios RSS. Aparecen distintos campos como la fuerza, pasión, sentimiento y alcance que produce un término o una marca en la web.
Similar a la herramienta anterior, HowSociable nos señala conversaciones generadas sobre una determinada keyword o palabra clave. Puede ser una herramienta útil para completar la información obtenida a través de socialmention.
Talkwalker
Múltiples opciones para analizar la presencia de una marca o de los tópicos que seleccionamos en todos los medios digitales. Ofrece múltiples opciones entre las redes sociales pero también monitoriza blogs, foros, periódicos, revistas, medios online, agencias de noticias… todos los medios están contemplados aunque deben indicarse los términos a analizar, las direcciones y páginas a monitorizar y los filtros que se van a emplear.
– Herramientas de análisis estadístico (reporting)
Son herramientas que nos permiten analizar estadísticas de social media. Cuanto más analizados estén los datos mejor será el reporte. Pero lo más importante es tener en cuenta que no solo se trata de presentar las cifras sino de darles una explicación y ver qué se puede hacer para mejorarlas. Existen muchas herramientas para este fin pero aquí vamos a presentar solo algunas de ellas, y las vamos a dividir según tres características:
-Estadísticas que nos ofrecen los propios canales: Facebook Insights, Twitter Analytics, Youtube Analytics.
-Mix entre reporting y analytics: Crowdbooster.
-Indicadores de rendimiento: True Social Metrics, Cyfe.
Estadísticas que nos ofrecen los propios canales
Facebook insights
Es una herramienta de Facebook que nos permite medir los resultados de una fanpage. Además de cantidad de fans totales, cantidad de likes, visitas, etc. Nos ofrece otras métricas muy útiles para los reportes:
Alcance (reach): se trata del número de usuarios únicos que ha visto nuestro post. Este es el número más importante a la hora de definir la popularidad o el éxito de una aplicación.
Usuarios que Interactúan (engaged users): esta métrica es efectiva para poder medir la participación de una comunidad.
Personas que están hablando de esto (talking about this): con este extensor título, lo que facebook nos provee es de la posibilidad de ver qué personas han dado like, comentado o compartido nuestro post, o respondido a un evento o pregunta.
Difusión (virality): El porcentaje de difusión se obtiene dividiendo las personas que están hablando de esto por el número de alcance.
También nos ofrece datos demográficos que nos muestra la ubicación geográfica de nuestros usuarios, así como datos sobre el género y la edad, desde dónde interactúan (móviles, tablets, PCs…) los cuales son cruciales a la hora de diseñar el contenido. Así mismo, se puede revisar el funcionamiento de los ads para comprobar cuánto ha sido de exitosa una campaña, qué tipos de posts son los más exitosos y enterarnos del estado de las páginas de la competencia. También desarrolla información gráfica preparada para ser presentada y reportes excel para crear nuestros propios reportes personalizados. En definitiva, lo que nos permite es saber qué es lo que más le gusta a nuestros usuarios para poder usarlo en nuestro beneficio.
Twitter analytics
Esta herramienta nos muestra la evolución de nuestra presencia en Twitter en el último mes. Las funciones principales son:
- Mención principal: cuál ha sido la publicación en la que hemos sido mencionados con mayor número de interacciones durante el mes.
- Tweet principal (y sus variantes): publicación que mejor ha funcionado durante el mes.
- Seguidor principal: qué seguidores son los más relevantes.
Así mismo, existe la opción de ver los detalles del tweet, lo que nos permite analizar el ciclo de vida de la publicación desglosado también según el tipo de interacción. Esta información puede resultar muy útil para saber, por ejemplo, cuál es el mejor horario para publicar. Además la información proporcionada se puede extraer en formato excel para facilitar la presentación de resultados.
La información se presenta en un panel general donde aparecen los números de reproducciones, números de “me gusta” y comentarios en cada vídeo, así como las interacciones de los usuarios. Te permite medir el rendimiento actual de tu canal y videos gracias a una gran cantidad de datos ofrecidos en distintos informes como reproducciones, fuentes de tráfico, o datos demográficos.
Dichos datos pueden visualizarse mediante filtro de datos, gráfico lineal, gráfico multilínea, área apilada, gráfico circular, gráfico de barras, y mapa interactivo. Estos últimos, los mapas interactivos, muestran en las zonas más oscuras dónde se reproducen los vídeos. En dichas ubicaciones hay un mayor número de personas reproduciendo el vídeo. La herramienta proporciona ventajosos datos métricos mediante tres tipos de informes:
- Informes de ingresos: de ingresos estimados y de rendimiento de los anuncios.
- Informes de reproducciones: de fuentes de tráfico y de retención de la audiencia.
- Informes de participación: de suscriptores y de anotaciones.
La siguiente noticia del periódico “Expansión” publicada 12/03/2015 explica la utilidad del uso de la plataforma Youtube donde hace referencia a la importancia de conocer a tu público objetivo y adaptarte a él utilizando la herramienta Youtube Analytics.
Para concluir, la siguiente charla TED es muy interesante ya que Nicholas Christakis explica de una manera muy interactiva y dinámica la influencia oculta que ejercen las redes sociales en la sociedad actual.
– Herramientas para mejores prácticas (benchmarking)
Consiste en herramientas que permiten analizar tanto a tus competidores como las mejores prácticas llevadas a cabo de modo que te permita reestructurar tu estrategia en las redes sociales.
Social Bakers
Permite analizar las principales redes sociales como Facebook, Twitter, YouTube, Linkedin y Google + mediante una plataforma de fácil uso que permite a las empresas medir, comparar y contrastar el éxito de sus campañas mediante las siguientes funciones:
- Analytics. Evaluación, seguimiento y presentación de informes de Facebook, Twitter y YouTube. Analizan tus actuaciones, las de la competencia y las del global de la industria.
- Builder. Es una plataforma de gestión de contenidos que ayuda a los responsables de marketing a aumentar su eficiencia en las redes sociales. Análisis a tiempo real e informes de rendimiento permiten mantener el control de todas las publicaciones.
- Listening. Permite monitorizar las conversaciones en Facebook y Twitter en tiempo real y en las plataformas escogidas, así como exportar el análisis de las conversaciones según las palabras clave y a través de múltiples plataformas de social media.
- Ad Analytics. Son tres herramientas que ayudan a los anunciantes a optimizar, administrar y potenciar su estrategia de publicidad.
Como el resto de herramientas, DKS SocialSmart analiza datos de distintas redes sociales (Twitter, Facebook, Google +, etc) y los blogs. Algunos de los datos que nos ofrece son:
- Posicionamiento de marca en cuanto conjunto competitivo (inteligencia competitiva).
- Análisis y temas Influencers.
- Retorno Social Media de la inversión (ROI).
- Recorte de datos web permite encontrar las palabras clave de Internet e identificar los contenidos principales de trending topics.
- Proporciona indicadores de seguidores, tweets de escritura, mensajes… acerca de la información compartida, las personas relacionadas con tus negocios, propuestas, comentarios y reputación cooperativa.
Se analiza el contenido de todos los mensajes y los clasifica en función de sus intenciones (positivos, negativos o neutros).
Bibliografía:
Maimon, O. y Rokach, L. (2010). Data Mining and Knowledge Discovery Handbook. Springer, New York. ISBN 978-0-387-09823-4.
Rodríguez, O. (2012). Curso de Community Manager. Anaya Multimedia.
De los términos de referencia al diseño de tu evaluación
El diseño de una evaluación implica establecer un plan temporal que guíe los plazos a seguir, definir unos contenidos de evaluación que reflejen los temas críticos a evaluar, especificar unos recursos económicos y de personal con los que se va a contar, y establecer los enfoques metodológicos y herramientas que van a utilizarse en la evaluación.
En los términos de referencia de una evaluación han de especificarse los tiempos para el diseño del plan temporal, los contenidos de evaluación, los recursos con los que se cuenta, y al menos indicaciones y sugerencias sobre los enfoques metodológicos y herramientas de evaluación que han de utilizarse.
About Carlos Plaza
Consejos para poner en marcha un buen sistema de seguimiento y evaluación
Existen una serie de aspectos importantes para la correcta aplicación práctica de un sistema de seguimiento y evaluación (S&E) en cada una de sus etapas. Lecciones de experiencia que actúan como simples consejos, indican alguna realidad a tener en cuenta o señalan aspectos donde es necesario poner especial atención.
Etapa de diseño
- Nada hay más práctico que una buena teoría. Hay que partir siempre de un modelo cuya comprensión supone un componente crítico para la buena práctica del S&E, una guía de los pasos que se han de seguir. Una buena teoría elimina las concepciones erróneas y la falta de definición de tareas.
- El diseño de un plan apropiado para el S&E del desarrollo ha de suponer un plan de integración de las actividades de S&E en las actividades de programación. Un proceso mediante el cual el S&E se convierten en parte de la normal planificación y gestión del programa, lo que lleva a su institucionalización e internalización.
- El logro de una buena adecuación al programa y su contexto ya en la etapa de diseño. Los múltiples aspectos, circunstancias y perspectivas en que nos podríamos fijar exigen un análisis profundo de los objetivos, estrategia y funcionamiento del programa y un estudio de su contexto.
- El plan de S&E debe estar concluido antes de que finalice la etapa de diseño. En esta etapa, lo más importante es diseñar un programa que pueda ser seguido y evaluado más adelante. El inmediato comienzo de las actividades de S&E en el diseño permite mejorar el buen desempeño de los programas y de las propias actividades de S&E.
- Es importante proveer al sistema de S&E de los mecanismos necesarios para detectar los retrasos, analizar la amenaza que suponen y realizar los ajustes necesarios para que los programas sigan adelante.
- Falta concienciación sobre la necesidad de realizar seriamente la evaluación previa. Muchas programaciones no la incluyen y cuando lo hacen, la realizan de una forma muy superficial.
- Una utilidad importante del S&E radica en su potencial para usarse en el fortalecimiento y construcción de capacidades, principalmente capacidades de gestión, seguimiento y evaluación. El S&E puede diseñarse para ayudar a la gente a ayudarse a sí misma y mejorar sus programas.
- Arrancar desde un principio los mecanismos de participación y aprendizaje. Para conseguirlo hace falta aunar voluntades y esfuerzos de cara a una perfecta integración de las actividades de S&E.
- Es preciso preparar a los distintos agentes para usar tanto los resultados como el proceso de evaluación. El uso adecuado del proceso puede convertirse en una vía para aprovechar el potencial del S&E para generar capacidades entre la población.
- Las actividades de S&E han de concebirse como un proceso sistemático de aprendizaje que activa un ciclo de retroalimentación. El aprendizaje de la población implicada constituye el medio para la construcción de capacidades locales.
Etapa de ejecución
- La implementación efectiva de un buen sistema de seguimiento. En muchas ocasiones se trata de un sistema casi inexistente o bien muy deficiente que crea una excesiva dependencia de la evaluación intermedia para la reorientación de los programas en esta etapa. Como en el caso de la evaluación previa, es necesaria una labor de concienciación sobre la necesidad de realizar un buen seguimiento.
- Contar con un adecuado sistema de seguimiento por proyectos es uno de los mejores medios para una evaluación adecuada en ámbito de subprogramas, medidas y proyectos. La cercanía de los gestores a estos niveles compensa la lejanía y desconocimiento de los evaluadores en este campo.
- La adecuada formación de los encargados de la gestión del programa. Es necesaria una confianza pero también se hace necesaria una labor de control y apoyo técnico por parte de las instituciones pertinentes.
- La ubicación apropiada para las funciones de S&E dentro de las estructuras de gestión y autoridad del programa. La práctica demuestra que pueden aparecer problemas institucionales con el enfoque orientado hacia la gestión, en particular en programas complejos en los que intervienen varios organismos diferentes. La solución está en disponer lo necesario para el S&E.
- Sólo si se concede prioridad a una función de seguimiento concebida para satisfacer las necesidades de la gestión se pueden desarrollar sistemas de información ajustados a la realidad y eficaces. Esos sistemas no sólo prestan asistencia a los gestores sino que proporcionan muchos datos para llevar a cabo un S&E pegado a la realidad.
- Los ejercicios de evaluación –en especial las evaluaciones intermedias– constituyen la más clara oportunidad para mejorar los sistemas de seguimiento ineficientes.
- Los gestores han de estar dispuestos a poner esfuerzo y recursos para contribuir a crear un proceso organizativo que permita la gestión del conocimiento y la innovación.
- El trabajo en equipo como una fuente fundamental de aprendizaje puede resultar muy útil para la eficacia del S&E. Ahora bien, existen situaciones en las que compartir conocimiento puede resultar contraproducente y otras en las que un desempeño individual, basado en el conocimiento individual, puede resultar lo más indicado.
- Sólo una valoración realizada sistemáticamente sobre todas las acciones iniciadas conduce a una correcta autoevaluación. Su práctica pone de manifiesto su dificultad. Se llega fácilmente a valoraciones generales sin basarse en elementos concretos y cuando se basa en ejemplos, se corre el riesgo de obtener una valoración no representativa del conjunto del trabajo realizado.
Ejercicios especiales de evaluación
- La falta de concienciación de la necesidad de la evaluación previa y el seguimiento. En muchos casos se trata más que de una verdadera falta de concienciación – pues su aceptación es más o menos generalizada – de la falta de una correcta implementación, de un modelo adecuado para realizarlas.
- La necesidad de partir prácticamente de cero. El resultado de la dificultad anterior son evaluaciones caras y que no llegan a ahondar en los aspectos que tratan por una clara falta de antecedentes.
- Conseguir una efectiva continuidad de todas las etapas de S&E, que las distintas evaluaciones no sean ejercicios individuales sin conexión con el resto del proceso de S&E. Para ello hay que reforzar las relaciones entre las distintas evaluaciones apoyándose las unas en las otras y reforzar su relación con el seguimiento, según un proceso de S&E continuo.
- Un buen modelo de S&E ha de facilitar la preparación de la evaluación final desde la etapa de diseño.
- El beneficio más importante que aportan las actividades de S&E a largo plazo son los conocimientos que generan para el futuro, en definitiva el aprendizaje resultante. Por ello es necesario suplir la frecuente ausencia de mecanismos de aprendizaje y retroalimentación y aprovechar al máximo los conocimientos generados.
- Aprendemos más de los fallos que de los éxitos. En la mayoría de los casos los implicados en una evaluación no quieren oír hablar de lo que está yendo mal en su trabajo. Están interesados en buenas evaluaciones de forma que los programas sigan recibiendo inversión. Convierten en algo negativo el hecho de que el programa falle cuando realmente, el aprendizaje de esos fallos permite poner los medios para evitar esos errores.
- Es necesario que la evaluación de pie a comunidades que aprenden compuestas por personas sin miedo al fracaso. Personas que vean el fracaso como una oportunidad de aprender. El único fracaso real es no aprender, y fracasar en el conocimiento de lo que está sucediendo, repitiendo los mismos errores sin aprender de ellos.
- Abordar cualquier cambio exige crear primero una cultura que posteriormente incorpore estos cambios como respuesta a una necesidad generada.
La simple disponibilidad de herramientas de gestión del conocimiento no garantiza una adecuada gestión del mismo. Por el contrario, se han obtenido experiencias en las que una implantación excesivamente temprana de la tecnología ha generado rechazo y anulado las oportunidades de mejora.
About Carlos Plaza
La integración entre el seguimiento, la evaluación, el programa y su contexto
La integración puede ser concebida de dos diferentes formas: por un lado supone el nexo de unión interno entre las actividades de seguimiento y evaluación, y por otro supone el nexo de unión externo entre el sistema de seguimiento y evaluación (S&E), el programa y su contexto.
Nexo de unión interno
La integración como nexo de unión interno es el vínculo entre las actividades de seguimiento y evaluación, especialmente a través de una adecuada gestión del conocimiento e innovación. Esta integración está representada por los engranajes de la figura.
La actividad principal lo constituye el seguimiento que supone la base de los ejercicios de evaluación, con la aportación de información y primeras reflexiones. Por su parte, los ejercicios de evaluación orientan y permiten corregir las deficiencias que pueda estar presentando el sistema de seguimiento. Todo ello a través de una adecuada gestión del conocimiento e innovación que se vaya generando.
Nexo de unión externo
Las actividades de S&E (representadas en la figura por los engranajes S y E) han de estar en contacto con la realidad del programa y su contexto (representados por la cascada de agua), para extraer los conocimientos y experiencia existentes y, gracias a una gestión adecuada (engranajes G), convertirlos en conocimiento útil incorporable al sistema de S&E.
La integración como nexo de unión externo es imprescindible para lograr la adecuación de las actividades de S&E al programa y su contexto, la adaptación en todo momento a las necesidades que puedan surgir en las tareas de programación.
Por otro lado permite la integración de los resultados de las actividades de S&E en la programación de forma que le sirvan de orientación y las intervenciones introduzcan los cambios que se vean necesarios.
La integración tiene entonces un doble papel. Por un lado, permite el aprendizaje adaptativo para la adecuación del S&E al programa y su contexto, y por otro lado permite el aprendizaje generativo para la mejora de las intervenciones a través de cambios e innovaciones.
Todo buen plan de seguimiento y evaluación debe estar concluido antes de que finalice la etapa de diseño de un programa. El proceso de integración como nexo de unión externo lleva consigo, en definitiva, el diseño de un adecuado plan de S&E, un estudio de cada etapa del programa —diseño, iniciación, ejecución, terminación— y un análisis detallado de las correspondientes necesidades en cada una de las etapas:
- En la etapa de diseño, la evaluación previa ha de encargarse de que el programa diseñado pueda ser evaluado más adelante.
- En la etapa de iniciación el seguimiento realiza un control de retrasos.
- En la etapa de ejecución del programa, el seguimiento y evaluación intermedia han de encargarse de que el programa siga siendo pertinente, eficaz y eficiente.
- En la etapa final, corresponde al seguimiento y evaluación final la medición y la valoración de los resultados del programa, su aplicación, resultados e impacto y la extracción de conclusiones que sirvan de experiencia en el futuro.
Diseño de un plan apropiado de S&E de un programa de desarrollo.
En definitiva, la integración supone el proceso mediante el cual el S&E se convierte en parte de la normal planificación y gestión de un programa, lo que supone su institucionalización e internalización. Ello permitirá realizar una adecuada gestión de los cambios e innovaciones que se consideren necesarios.
La integración interna entre el seguimiento y la evaluación, y la integración externa entre el sistema S&E y el programa y su contexto.
About Carlos Plaza
Características metodológicas de un sistema de seguimiento y evaluación
Nuestra propuesta es que un buen sistema de seguimiento y evaluación (S&E) ha de buscar la integración con los programas —su planificación y gestión— y su contexto, ha de contar con la participación activa de todos los implicados, y se ha de fundamentar en el aprendizaje. El modelo propuesto consta así de tres características principales: la integración, la participación y el aprendizaje. Ninguna es independiente de las otras y para lograr cualquiera de ellas es imprescindible que las tres alcancen un adecuado desarrollo dentro de las actividades de S&E.
Puesto que dedicaremos una entrada a cada una de estas tres características principales, nos ceñimos ahora a explicar otras características que resultan básicas a la hora de abordar los problemas que se intentan resolver:
- Complementación: El modelo se fundamenta en la complementación de enfoques básicos que han venido orientando las actividades de S&E. Supone una guía para la complementación de los enfoques cuantitativo y cualitativo, S&E de objetivos y S&E de procesos y de los enfoques ascendente y descendente. Supone además la complementación de fuentes de información cuantitativas y cualitativas, primarias y secundarias.
- Continuidad: El modelo parte de los procedimientos clásicos utilizados hasta ahora. El modelo no supone una ruptura sino una continuidad con lo que se ha venido haciendo. Es una apuesta por la participación y el aprendizaje que en muchos trabajos ya se realiza y por la complementación de enfoques que han orientado muchos de los estudios en el campo del S&E.
- Sencillez: Es importante que el modelo no precise de unos elevados conocimientos financieros, económicos, estadísticos o de cualquier tipo. En caso contrario, el proceso de S&E quedaría en manos de expertos externos a la comunidad que se pretende desarrollar, no contribuyendo al aprendizaje local.
- Flexibilidad: Aspecto que rompe con la —en ocasiones frecuente— rigidez de estos procedimientos. Esta característica busca preparar al modelo para el elevado grado de incertidumbre que se suele encontrar en el dinámico contexto del S&E del desarrollo. Contar con los mecanismos necesarios para una adecuada adaptación a las más diversas situaciones. Estos mecanismos se basan en la combinación de los enfoques de S&E por objetivos y los enfoques de S&E de procesos.
Mecanismo para asegurar la flexibilidad en el modelo de S&E.
- Enfoque positivo: Superar la visión a veces un poco negativa que centra sus esfuerzos en el análisis de los problemas que se han solucionado o quedan por resolver. El objetivo es buscar un enfoque más positivo, más centrado en el desarrollo de las capacidades y potencialidades que en el análisis de problemas.
- Precisión: Definir con claridad el contenido de las actividades de S&E —y especialmente de los ejercicios especiales de evaluación— concretando los objetivos de los esfuerzos que se vayan a realizar.
- Centralidad de los aspectos específicos: El modelo cuenta con los medios para detectar, seguir y evaluar los aspectos específicos que puedan presentar una intervención. Este aspecto permite no centrar siempre todos los esfuerzos en el estudio del impacto, permitiendo cuestionar el frecuente vínculo automático que se suele hacer entre evaluación e impacto. Existen criterios alternativos a la hora de evaluar un programa de desarrollo, como es su potencial de replicación, su capacidad innovadora, el nivel de participación local o su contribución al fortalecimiento de la sociedad civil.
About Carlos Plaza
Hacer evaluaciones útiles: El uso del proceso y los resultados
“Producir datos es una cosa. Conseguir que se usen es otra bien distinta” (House, 1972). Un problema actual es la clasificación, absorción y utilización de la cantidad de información que se genera. Conseguir que la gente haga uso de los conocimientos que existen se ha convertido en una de las principales preocupaciones entre los diferentes sectores de la sociedad. Conseguir que la gente aplique los conocimientos que se generan en una evaluación, o incluso lo que ellos mismos ya saben, es un reto que hay que afrontar.
En ocasiones se ha denunciado un vacío entre el mundo de la evaluación y el mundo del trabajo práctico diario. Sin embargo, lo que prueba la eficacia y éxito de una evaluación es su uso e impacto a la hora de mejorar la realidad que evaluan. En una evaluación se ha de vincular la generación de conocimientos y resultados con su efectiva utilización para la toma de decisiones y la mejora continua. Se ha de luchar por superar la resistencia que muchas veces presentamos ante los nuevos conocimientos, ante el cambio.
Es importante evitar que los frutos de una evaluación se queden en un conjunto de informes que muchas veces ni se leen, ni se usan. La cuestión del uso de la evaluación surge de la necesidad de vincular el conocimiento y la acción (Patton, 2008), y plantea preguntas fundamentales sobre la toma de decisiones y la aplicación del conocimiento para la creación de un mundo mejor.
Siguiendo a Patton (2008) una de las cuestiones más importantes es la construcción de capacidades que aseguren el uso del proceso y de los resultados de la evaluación. Se trata de poner el acento en el aprendizaje en el contexto de una comunidad que aprende (learning organizations), de modo que la evaluación no se centre en generar unos resultados, sino que esos resultados se usen y se use también el proceso que ha llevado a obtener esos resultados, de modo que den lugar a cambios que mejoren las realidades evaluadas.
El uso de los resultados de evaluación está íntimamente unido al planteamiento que esta tenga dentro de las corrientes del aprendizaje, la teoría o las pruebas. Y así, los resultados de evaluación pueden utilizarse principalmente para mejorar los programas, generar conocimiento o juzgar el valor de una intervención. El reto para los evaluadores está en adaptar estos usos a cada contexto concreto, con unos usuarios concretos. Han de adaptar sus conocimientos y experiencia a los factores y circunstancias que puedan afectar al uso de la evaluación.
El uso del proceso está íntimamente unido a la participación. Participar en el proceso de evaluación puede ser más útil para los implicados que el simple conocimiento de los resultados. Gran parte del aprendizaje descansa en el proceso al que da lugar una evaluación, cuanto más gente participe en él mayores serán los beneficios de este proceso. Los resultados e informes finalizan, pero lo que permanece es la capacidad de los implicados de pensar en términos de evaluación y de mejora continua. “El uso del proceso es en sí mismo un impacto en forma de adquisición de capacidades” (Patton, 1999). En aquellas evaluaciones donde es importante la participación es necesario apostar por un adecuado uso del proceso como vía para el fortalecimiento y adquisición de capacidades, sin olvidar la importancia del uso de los resultados.
Referencias citadas:
House, E.R. (1972). The conscience of educational evaluation. Teachers College Record, 73(3), 405-414.
Patton, M. Q. (1999). Utilization- Focused Evaluation in Africa: Evaluation Training Lectures delivered to the Inaugural Conference of the African Evaluation Association. Ed. P.N. Chaiban and M. Patel.
Patton, M. Q. (2008). Utilization-Focused Evaluation (4ª Ed.). Thousand Oaks: Sage Publications.
