Big data es un término cuya definición se dio por primera vez en 2001, por el analista Doug Laney de Gartner: “El conjunto de técnicas y tecnologías para el tratamiento de datos, en entornos de gran volumen, variedad de orígenes y en los que la velocidad de respuesta es crítica”. Aunque los datos han sido siempre útiles en la toma de decisiones, no está tan claro cuando es interesante aplicar una solución basada en datos de tipo Big Data. Para reconocer si hay que trabajar con estos macrodatos hay que valorar si es interesante analizar un gran volumen de datos de alta velocidad de generación y con mucha variabilidad, pero no es necesario que se cumplan las tres condiciones. Esta condición que poseen los Big Data, se denomina Regla de las “3 V”: volumen, variabilidad y velocidad. Con volumen, se refieren a grandes cantidades de información y conocimiento que se maneja. Con variabilidad, a la estructura de la composición que tiene ese gran volumen de datos. Y con velocidad, a la rapidez con que ese volumen de datos es transportado y analizado. Algunos expertos, como IBM incluyen la Veracidad como una cuarta V pero no hay unanimidad al respecto por parte de todos los expertos.
Existen dos antecedentes principales del Big Data: por un lado, el Business Intelligence, que utiliza los datos para la realización de análisis y consecuentemente una serie de previsiones; por otro lado, está la Minería de Datos, basada en dos métodos que permiten el análisis y la utilización de los datos: la Inteligencia Artificial; y la estadística, mediante la cual realiza estimaciones.
La cantidad de datos que existe en la actualidad es inmensa y los análisis se complejizan bastante. Estos datos se encuentran en internet y en las relaciones que las nuevas tecnologías de la información ofrecen, el internet de las cosas a través de grabaciones de sonido y video, drones, robots, satélites, smartphones, etc. Hay que tener en cuenta el incremento de complejidad y coste respecto a un análisis tradicional. Los macro datos hay que buscarlos, clasificarlos, organizarlos y analizarlos para que logren tener una utilidad y calidad adecuada a lo que se quiere analizar. Los avances tecnológicos recientes han reducido exponencialmente el coste del gestión y almacenamiento de datos, siendo cada vez más fácil y más barato. En la práctica existen técnicas como minería de datos, cálculo lingüístico, aprendizaje automático, creación de algoritmos para trabajar en la búsqueda y clasificación de la información (Janssen, Vander, & Huayudi, 2016, pág. 5). Es también muy importante la veracidad de los datos, que se refiere a cuánto puede confiar en ellos. Además de los pasos anteriores, el valor del Big Data radica sobre todo en plantearse las preguntas correctas para identificar patrones que puedan predecir comportamientos. Bizer, Boncz, Brodie y Erling (2012) han identificado 6 fases en el Big Data:
Recolección
Para determinar si nos encontramos en el camino correcto, debemos preguntarnos en qué medida el Big Data respalda y habilita las necesidades del proyecto o la evaluación. Se deberá alinear la necesidad de trabajar con Big Data con los objetivos específicos del proyecto o la evaluación. Algunas actividades previas incluyen entender cómo filtrar los registros web para comprender el comportamiento del comercio electrónico, extraer el sentimiento de las redes sociales, de las interacciones de atención al cliente, así como entender los métodos de correlación estadística.
Gestión y Almacenamiento
Lo primero que se debe hacer es almacenar los datos. Su solución de almacenamiento puede residir en la nube, on premise o ambas. La nube es la forma que más está aumentando.
Análisis: Manipulación, limpieza, transformación de datos
Una vez localizados y clasificados existen técnicas y programas específicos que ayudan a organizarlos y analizarlos, ya que los datos poseen un valor intrínseco que no tendrá utilidad hasta que dicho valor se descubra. Los modelos y procesos analíticos de Big Data pueden ser tanto humanos como automáticos. Las capacidades de análisis de Big Data incluyen estadísticas, análisis especiales, semántica, detección interactiva y visualización. Mediante el uso de modelos analíticos, puede relacionar distintos tipos y fuentes de datos para realizar asociaciones y hallazgos significativos.
Utilidad real en Evaluación y limitaciones del Big Data
El análisis de grandes datos es muy útil para las organizaciones en la calidad de su toma de decisiones y, por tanto, también son útiles en la evaluación. El cambio de paradigma está arrastrando los modelos tradicionales de análisis de datos hacia el Big Data de manera rápida y se podría decir que descontrolada. En primer lugar, se crea un nuevo software que tenga la capacidad de sustentar esa cantidad de información, se establecen nuevos modelos de análisis de la misma y se avanza considerablemente en el análisis semántico. Se fomenta el uso de aplicaciones como Hadoop, Apache Hadoop, Apache Spark semejante a Excel pero que permite utilizar miles de nodos distribuidos y con pentabytes de información. Hay que tener en cuenta que el crecimiento de las “3 V” en menos de 10 años pasó de contabilizar la información en Megabytes y Gigabytes a hacerlo en una serie de unidades de medida de un valor considerablemente más alto. Aparece el Pentabyte (1015 bytes), Exabyte (1018 bytes) y el Zettabyte (1021 bytes). También la velocidad del tratamiento de datos aumentó de manera exponencial.
Campos de aplicación
El modelo Big Data es aplicable a casi cualquier campo moderno en el que se precise un análisis de un volumen de datos elevado, a tiempo real, y con la posterior de generación de correlaciones, esto es, casi cualquier ámbito público-privado. En el esquema inferior se destacan las principales áreas en las que se utiliza este modelo.
Más concretamente, en el ámbito público se ha generado un nuevo concepto de, las denominadas Smart Cities (o ciudades inteligentes); que, basadas en el uso de software de análisis de Big Data, monitorizan todos los procesos llevados a cabo en las grandes ciudades con el fin de llevar a cabo medidas con mayor eficacia, eficiencia y sostenibilidad.
Bibliografía:
Brown, B., Chui, M., & Manyika, J. (2011). Are you ready for the era of ‘big data’. McKinsey Quarterly
Chen, Y. -C., & Hsieh, T. -C. (2014). Big data for digital government: Opportunities, challenges, and strategies. International Journal of Public Administration in the Digital Age
Coble, K., Griffin, T., Ahear, M., Ferrel, S., Mcfadden, J., Sonka, S., & Fulton, J. (2016). Avance de la competitividad agrícola de los Estados Unidos Con grandes datos y la economía agrícola Información de mercado, análisis e investigación. Obtenido de www.cfare.org: www.cfare.org
Janssen, M., Vander, H., & Huayudi, A. (8 de 2016). Factores que influyen en la calidad de los datos. Obtenido de journal on buisness research-ELSEVIER: www.sciencedirect.org
Joyanes, L. (2013). Análisis de grandes volúmenes de datos en organizaciones
Raghunathan, S. (1999). Impact of information quality and decision-maker quality on decision quality: A theoretical model and simulation analysis. Decision Support Systems
Zhou, Z. H., Chawla, N. V., Jin, Y., & Williams, G. J. (2014). Big data opportunities and challenges: Discussions from data analytics perspectives. IEEE Computational Intelligence Magazine
