¿Qué es el Big Data?

Últimamente, seguro que habéis visto la cantidad de veces que esta apareciendo este termino por todos lados en Internet (y cada vez mas, y mas…) todo el mundo habla de Big Data…¿Pero que es?.

Para no liar mucho el tema son básicamente los millones de datos  existentes que superan  la  capacidad  de  procesamiento  de  los  sistemas  de  bases  de  datos convencionales, bien por  su tamaño (son  demasiado  grandes), bien por que se mueven  demasiado  rápido, o bien por su complejidad  como tal,  y no  encajan con las restricciones de arquitecturas de bases de datos relacionales.  Por lo tanto no pueden ser gestionados mediante las técnicas convencionales a través de una Base de Datos SQL y hay que buscar otras formas de manejarlos.

Vamos que son petabytes de datos complicados de manejar de una forma tradicional casi en tiempo real y muy actualizados constantemente.

De ahí que la gestión se realiza a través de tres dimensiones o características con las que controlarla: volumen,
velocidad y variedad y los sistemas que tengamos deberán soportar estas dimensiones:

  1. Volumen: El beneficio de procesar grandes cantidades de información es el principal atractivo del análisis con big data. El desafío es la gran cantidad de datos almacenada, pero también la capacidad de procesarlos (ahi es donde esta la importancia del tema).
  2. Velocidad: La frecuencia de las actualizaciones de estas grandes bases de datos también es  un punto muy a tener en cuenta. La evolución en la velocidad de los datos (la velocidad en el procesamiento, en el flujo de datos, en operaciones I/O) ha experimentado un crecimiento similar al del volumen. Es por ello, por lo que su procesamiento y posterior análisis también ha de realizarse prácticamente en tiempo real para poder mejorar la toma de decisiones en base a la información generada.
  3. Variedad: El concepto de Big Data también suele venir acompañado de diversos tipos de fuentes de datos, ya sean estructurados o no estructurados. Es raro que los datos se presenten en una forma perfectamente ordenada y lista para su procesamiento. Podría ser texto de las redes sociales, datos de imagen, un flujo de información básica desde un sensor inteligente o cualquier otro tipo de fuente, música, vídeo etc…).

De hecho una forma común de procesar los big data es tomar la información no estructurada, es decir, bajo diferentes formatos y volúmenes, y extraer su significado de una forma ordenada creando una salida para su consumo por alguna aplicación estructurada o de Inteligencia de Negocio.

Sin entrar en detalles nuestro sistema deberá tener:
Un appliance en el que funcione alguna distribución del sistema Hadoop.
NoSQL   para   capturar   datos   y   hacer   consultas   rápidas   de manera flexible.
MapReduce   para   procesar   grandes   cantidades   de   datos convirtiéndolos en sets de datos más optimizados y reducidos que puedan ser introducidos en el sistema de gestión de bases de datos.
Conectores  big  data.  Nos  permitirán  integrar  la  información entre Hadoop y nuestro sistema de gestión de bases de datos.
  Un  sistema  de  inteligencia  de  negocio  que  proporcione  la capacidad analítica a los usuarios finales de forma ágil.

Y ¿Por qué está tanto de Moda últimamente?, pues básicamente, por los beneficios que conlleva:

  • Toma de decisiones: El valor del Big Data no es solo la información, sino además, la nueva forma de toma de decisiones basada en evidencias y datos empíricos. Tomar decisiones en base a datos empíricos y tendencias evitando asi tomar decisiones en base a corazonadas, instinto o experiencias pasadas.
  • Creación de transparencia. Hacer   grandes   volúmenes   de   datos   más fácilmente accesibles a las partes interesadas de manera oportuna puede crear un enorme valor y aumentar la eficiencia. Fomentando  la   experimentación   para   descubrir   necesidades, exposición a la variabilidad y mejora en el rendimiento. De este modo las empresas pueden recopilar datos de su funcionamiento más precisos y detallados y esto puede permitir a los líderes de las mismas alcanzar niveles superiores de rendimiento en sus sistemas de producción y mejorar la relación con los empleados
  • Experimentación  Una vez recopilados los datos que nos interesan, la experimentación y la exploración de los mismos puede mostrarnos información que a primera vista nunca hubiésemos encontrado o que nunca se nos hubiese ocurrido buscar abriendo nuevos caminos.
  • Nuevos Modelos. Big data permite a las empresas crear nuevos productos y servicios, mejorar los existentes e inventar modelos de negocio completamente nuevos y puede ser muy útil para reducir el ciclo de conversión de efectivo.
  • Mejora de la eficiencia y los costes: el análisis del Big Data puede acelerar la velocidad con que se desarrolla un producto. También permite compartir datos de forma rápida y realizar simulaciones de producto aumentando la Innovación  para así permitir crear nuevos productos y servicios, mejorar los existentes.
  • Segmentación   de   clientes: Con el Big Data se consigue el  objetivo de  personalizar las acciones permitiendo crear segmentaciones muy específicas y adaptar los productos y servicios a las caracteristicas de los clientes y saber sus necesidades y sus tendencias.

Las expectativas a futuro del big data son prometedoras:

 Millones  de  dólares  en  ingresos  anuales  por  el  uso  de datos de localización personal a nivel global.
  Un incremento de beneficios de hasta un 60 % en empresas del sector minorista (retail).
  El  sector  público  europeo  se  vería  beneficiado  con  un  cuarto  de billón de euros con la adopción de los sistemas big data en la Administración.
  Aproximadamente   1,5  millones  de  directores  de  proyecto  y ejecutivos necesitarán  contar con nociones de gestión de datos masivos  solo  en  Estados  Unidos.  Y  el  número de  posiciones para este país de analistas en big data alcanza los 190.000, esto creara una gran cantidad de puestos de trabajo. De hecho ya en el 2014 se estimaba que generaría mas de 4,4 millones de empleo.
 El  valor  potencial  anual  para  el  sector  de  la  salud  en  Estados Unidos equivaldría a trescientos mil millones de dólares.

La Era del Big Data es un hecho y se utiliza en muchísimas cosas:

Sistemas de recomendación: Utilizan la información de comportamiento de cada usuario para predecir sus intenciones e intereses, y ofrecerles así contenidos adecuados. Son muy utilizados en comercio electrónico.

  Análisis de sentimientos: Basándose en conversaciones públicas (e.g. twitter, foros) y otros elementos 2.0, se intentan predecir los gustos y el comportamiento de cada usuario con finalidades de diferente tipo.

Predicción de catástrofes: Las grandes cantidades de datos disponibles se utilizan en la detección de eventos como incendios o terremotos, de tal manera que se pueda predecir su impacto y generar una reacción temprana.

Categorización y reconocimiento: De lugares, caras o personas, mediante el análisis el gran volumen de datos de este tipo disponible online.

Modelado de riesgos: Algunas entidades bancarias y firmas de inversión punteras utilizan tecnologías de análisis de grandes cantidades de datos para determinar el riesgo de operaciones, evaluando un gran número de escenarios financieros hipotéticos.

Detección de fraude: Utilizando técnicas para combinar bases de datos comportamiento de usuarios y datos transaccionales puede detectarse actividad fraudulenta, como por ejemplo el uso de una tarjeta de crédito robada.

Medicina: La medicina genómica personalizada analiza e integra datos genómicos y clínicos para el diagnóstico precoz y una mejor aplicación de las terapias.

Las posibilidades son prácticamente infinitas, de ahí que todo el mundo este interesado y todas las empresas quieran invertir.

¿¿CUÁNDO COMENZAR CON BIG DATA???

La verdad es que cada empresa puede tener su propio punto de inflexión que conducirá a resultados diferentes.
Aunque normalmente se poducen dos enfoques distintos dentro de las compañías.

Un enfoque basado en la tecnología (cuando la iniciativa nace del departamento de IT) se toma como punto de vista cómo mejorar todo para procesar datos importantes en términos de volumen, velocidad y variedad.(las tres V como dicen los expertos):
 A menudo están impulsados por el rendimiento, agilidad, u otras ventajas en la tecnología. También pueden estar basados en la investigación y asociados al equipo que se encarga de la  gestión de la infraestructura de datos, en lugar de ser una iniciativa empresarial específica con los requisitos definidos.

 Suelen tener un detonante basado en el rendimiento del datawarehouse, la agilidad de respuesta frente a futuras demandas de negocio o un simple deseo de ganar conocimientos en nuevas tecnologías.

 Pueden deberse a dificultades específicas, tales como la forma de manejar un gran volumen de datos en el appliance para el análisis de petabytes, aumentar la velocidad con tecnología suficiente para poder entregar la información en milisegundos, o ser capaces de trabajar con una gran variedad de datos, por ejemplo, con Hadoop.

 Están típicamente financiados como una actualización de la infraestructura, una optimización de los sistemas IT, una prueba de concepto o una mejora del nivel de servicio.

En cambio, un enfoque orientado desde el área de negocio puede hacer mejorar la iniciativa en tanto que se va a incorporar el valor añadido como principal aliciente:
A menudo conducen a la necesidad de introducir nuevas plataformas de información y aplicar nuevos estilos de análisis y visualización para su explotación.

Tienen un punto de inflexión que se da cuando el negocio es consciente de que hay conjuntos de información más amplios, nuevas fuentes y tipos de información que pueden agregar información adicional valiosa a la empresa.

  Tienden a tener un sponsor ejecutivo, con requisitos más claros. Por lo que consiguen la financiación necesaria con mayor facilidad.

 Pueden no ser identificados como un proyecto en big data, pero sí incorporarán esta tecnología.

Lo que si tenemos que tener claro es que la  analítica  y  los  datos  siempre  tratan  de  ayudar  a  las organizaciones a mejorar sus resultados, y con big data se ayuda a cumplir  este  objetivo.

Ten en cuenta que se  trata  de  una  expansión  del  BI,  y  de  las  analíticas en general. Es una evolución de  la tecnología para abrazar  los  grandes  volúmenes  de  datos  y  extraer  valor  de  ellos ofreciendo nuevas tecnicas analíticas  avanzadas  en  red  y entidad,  analíticas  de  texto  más  sofisticadas  usando  lenguajes naturales de procesamiento.

También analíticas  tendentes  a  la  automatización,  como  la gestión de la toma de decisiones semi automatizada. Pero ademas nuevas formas de visualización y exploración de la información mediante mapas  de  calor,  diagramas  en  árbol, diagramas de red, etc.  todo desde cuadros de mandos mas intuitivos y fáciles de gestionar.
En definitiva nuevos  modelos  de  computación:  sistemas  cognitivos,  y sistemas de aprendizaje que aportan un gran valor a la empresa.

Si que es ciento que gran promoción del Big Data se ha centrado principalmente en la gestión  del  volumen,  la  velocidad,  y  la  variedad  de  datos, pera hay una  nueva  V,  el  valor,  y  ahí  es  donde el análisis de Big Data ha pasado al primer plano y es donde se nota su uso, el gran valor que aporta a las empresas que deciden dar el paso al Big data y por ende al Business Inteligent.

Todo este tema del Big Data es apasionante y puedes perder días y días leyendo e informándote. Puedes ir empezando apuntándote a varios cursos gratuitos de Big Data si quieres profundizar mas en el tema y si te gustan las mates, los números, las estadísticas sin lugar a dudas estudia Big Data, seguro que no te faltara trabajo una vez termines.

Alfonso López

Alfonso López

Instagram

MBA Dirección de Sistemas de Información.
Grado Ingeniería Informática.
Ingeniero Técnico Informática sistemas.
CISM - LPIC1 - SUSE SCA - MCSE
___________________________________________

Alfonso López

Latest posts by Alfonso López (see all)

También te podría gustar...

Di lo que piensas

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies , pinche el enlace para mayor información.Mas información sobre las cookies

ACEPTAR
Aviso de cookies