Herramientas comunes y barreras en la implementación de Big Data

Autor Sergio A. Castañeda el 11/8/19, 11:23 AM

Herramientas comunes y barreras en la implementación de Big Data

Cuando nos referimos al término Big Data pensamos inmediatamente en procesamiento y análisis de enormes cantidades de información, tan grandes que resulta muy complejo evaluarlos de la manera tradicional.  Esto se encuentra directamente relacionado con el inevitable aumento en la cantidad de datos, que se manipulan diariamente gracias a los avances tecnológicos en los distintos dispositivos que se conectan entre si e intercambian información constantemente.  Así como también al incremento paralelo del número de usuarios que manipulan y tienen acceso a estos dispositivos (Hernández-Leal, 2017).

A pesar de que el término Big Data se asocia principalmente con manejo de cantidades de datos exorbitantes, se debe aclarar que este concepto no va dirigido solo a gran tamaño, sino que abarca otros aspectos fundamentales que permiten entender su gran relevancia y poder: volumen, velocidad, variedad y valor (Mohanty, 2015):

- Volumen: Se refiere al hecho de que el universo digital y tecnológico sigue expandiendo sus fronteras y sigue rompiendo cada día más límites que anteriormente se creían infranqueables.

- Velocidad: Nos habla de que tan rápidamente se generan datos cada segundo.

- Variedad: Implica que los datos no sólo incrementan, sino que también cambian constantemente su ritmo de crecimiento y su estructura. 

- Valor: Se refiere a todo aquello que podemos extraer de los datos y la información para la acción que podemos obtener de estos, tales como mejoras en el rendimiento de un modelo de negocio, automatización de decisiones, etc. (También puede leer: La importancia de SISPRO en la era de la gestión basada en datos)

 

BARRERAS PARA LA IMPLEMENTACIÓN EN BIG DATA

A pesar de que en la actualidad es una necesidad imperativa tener la capacidad de implementar Big Data en organizaciones de todos los sectores, siempre existen dificultades de diferente índole frente a la aplicación de estos avances, por lo cual surge la pregunta, ¿cuáles con las barreras que impiden o dificultan la implementación del Big Data?

La aplicación del Big Data en los diferentes campos ofrece una serie de beneficios que diferentes estudios y expertos consideran incuestionables y que indudablemente representan un gran avance en los diferentes procesos de una organización. En el sector salud, por ejemplo, existen potenciales beneficios que pueden propender por la mejora en la atención y calidad de vida de los pacientes, así como también en lo relacionado con la optimización de costos. Sin embargo, la implementación de estos avances requiere superar importantes barreras que han sido evidenciadas, no solamente en el sector salud, sino también en otros contextos en los que se ha buscado implementar el Big Data (Schroeck, 2012). Estas son algunas:

  • Políticas: Tanto la estructura organizacional de nuestra empresa, así como también la estructura en la cual está inmersa (sistema de salud, por ejemplo), juegan un papel clave en la generación de barreras que dificultan la implementación del Big Data. Los problemas de coordinación entre sistemas de información, inversión económica, políticas públicas, entre otras, pueden entorpecer el proceso de implementación.
  • Normativas: Uno de los aspectos más controversiales relacionados con el Big Data tiene que ver con la normativa de protección de datos, la cual, según diferentes autores, puede dificultar su aplicación en numerosos contextos siendo necesaria una normatividad adaptada a la realidad de estas nuevas tecnologías.
  • Técnicas y Tecnológicas. Dentro de este grupo encontramos diferentes barreras. Inicialmente no contar con el recurso tecnológico adecuado dificulta claramente la aplicación e implementación de herramientas de Big Data (servidores, equipos, capacidad de procesamiento, etc.). Otro aspecto fundamental tiene que ver con la deficiente interoperabilidad entre sistemas, lo cual significa en términos muy simples, la incapacidad de sistemas para compartir datos.
  • Talento Humano: A pesar de que la formación de profesionales en este campo ha ido aumentando exponencialmente, es aún insuficiente para la demanda actual. Adicionalmente, se debe generar conciencia en las organizaciones acerca de la necesidad que se tiene de contar con profesionales en Ciencia de Datos para el manejo e implementación de este tipo de herramientas (van der Aalst, 2014).

 

ALGUNAS HERRAMIENTAS PARA BIG DATA

Como se evidenció anteriormente, existen barreras de tipo técnico, tecnológico y de recurso humano que pueden dificultar la implementación del Big Data. Sin embargo, hoy en día existen diferentes tipos de herramientas que son utilizadas por empresas de todos los sectores para lograr superar dichas barreras y lograr la aplicación eficiente del Big Data en los diferentes procesos. Dentro de las más comunes podemos encontrar:

  • Hadoop: Este conjunto de herramientas se basa en un concepto clave que es el paradigma de programación MapReduce, el cual consiste en mapear información para manipular los datos distribuidos en diferentes nodos de un clúster o grupo de ordenadores logrando un alto paralelismo en el procesamiento. Esto significa que esta herramienta permite tomar un conjunto de datos y convertirlo en otro conjunto donde los elementos son separados para ser manipulados (Lee, 2016). eBay y Facebook son ejemplos de organizaciones que utilizan esta herramienta.
  • Cassandra: Este modelo de almacenamiento, se fundamenta en una base de datos no relacional distribuida y basada en un modelo de almacenamiento de clave-valor, lo cual significa que almacena datos en los que una clave sirve como un identificador único permitiendo su escalabilidad (es decir se pueden agregar tareas nuevas con un esfuerzo mínimo sin comprometer el rendimiento y la calidad de la información). Twitter es una de las empresas que utiliza Cassandra dentro de su plataforma (Mujeeb, 2015).
  • MongoDB: Esta herramienta se ha convertido en una interesante alternativa para almacenar los datos de las aplicaciones. MongoDB es una base de datos orientada a documentos (guarda los datos en documentos, no en registros). Esta herramienta tiene un ámbito de aplicación más amplio en diferentes tipos de contextos; es especialmente útil en entornos que requieran escalabilidad (Mujeeb, 2015). Forbes, por ejemplo, utiliza esta herramienta para la analítica de datos en tiempo real.
  • Apache Spark: Este conjunto de herramientas creado en la Universidad de Berkeley, corresponde a una plataforma que hace la programación distribuida, es decir, consiste básicamente en distribuir el trabajo entre un grupo de ordenadores (clúster) que trabajan como uno (Klein, 2017). Gigantes como Apple, Facebook, IBM y Microsoft lo han implementado.

Existe muchas otras herramientas basadas en diferentes lenguajes de programación o en cloud computing que a diario revolucionan el ámbito del Big Data, por lo que es indispensable evaluar las características de implementación de cada una para aplicarla en nuestro contexto empresarial (Deka, 2014).

 

Las tecnologías y avances relacionados con Big Data ofrecen oportunidades, pero también grandes retos en su utilización, optimización y adaptación en diferentes campos para el manejo de datos. Como se puede ver, aunque existen diversas herramientas que día a día ponen a disposición nuevas estrategias, es fundamental definir el contexto en el que serán implementadas. Buscando así disminuir al máximo las barreras que puedan generarse en el proceso de implementación y conseguir sacar el mayor provecho a estas tecnologías.  (También puede leer: La evolución de la divulgación científica)

 Lo invitamos a suscribirse a nuestro blog para estar al tanto de temas de innovación, gestión e investigación en salud. Cuéntennos en los comentarios si su compañía ya implementa Big Data para sus procesos y estrategias.

 

Sergio A. Castañeda

Investigador CAIMED

 

Referencias

- Mohanty, P. Bhuyan, and D. Chenthati, Big Data: A Primer, vol. 11. Springer, 2015.
- J. Hernández-Leal, N.D. Duque-Méndez y J. Moreno-Cadavid, “Big Data: una exploración de investigaciones, tecnologías y casos de aplicación”, TecnoLógicas, vol. 20, no. 39, mayo - agosto, 2017
- M. P. van der Aalst, “Data Scientist: The Engineer of the Future,” in Enterprise Interoperability VI, no. 7, K. -Mertins, F. Bénaben, R. Poler, and J.-P. Bourrières, Eds. Springer International Publishing, 2014, pp. 13–26.
-Klein, R. Sharma, C. H. Bohrer, C. M. Avelis, and E. Roberts, “Biospark: scalable analysis of large numerical datasets from biological simulations and experiments using Hadoop and Spark,” Bioinformatics, vol. 33, no. 2, pp. 303–305, Jan. 2017.
-Lee, K. Jung, J. Park, and D. Kwon, “ARLS: A MapReduce-based output analysis tool for large-scale simulations,” Adv. Eng. Softw., vol. 95, pp. 28–37, May 2016.
-M. D. MUJEEB and L. K. NAIDU, “A Relative Study on Big Data Applications and Techniques,” Int. J. Eng. Innov. Technol., vol. 4, no. 10, pp. 133–138, 2015
- Michael Schroeck, Rebecca Shockley, Janet Smart, Dolores Romero, and Peter Tufano, "Analytics: el uso de big data en el mundo real," IBM Institute for Business Value, Oxford, Informe ejecutivo 2012.
- C. Deka, “A Survey of Cloud Database Systems,” IT Prof., vol. 16, no. 2, pp. 50–57, Mar. 2014.
-A. S. Foundation, “The Apache Cassandra Project,” Apache Cassandra. 2015

 

9 maneras de generar confianza en Big Data

 

Etiquetas: Tecnologia, gestion de datos, Big Data

Suscríbase al Blog

Lists by Topic

see all