Que es Big Data?

Damián Barsotti

Facultad de Matemática Astronomía Física y Computación
Universidad Nacional de Córdoba

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

• Docente/Investigador en la Licenciatura/Doctorado en Computación FaMAF - UNC.
• Docente de materia de posgrado "Programación Distribuida sobre Grandes Volúmenes de Datos".
• Consultor empresas privadas y estado.
• Últimos trabajos:
  • Visualización de Redes de Músicos para el Festival Internacional de Jazz Córdoba (ver visualizaciones).
  • Using Embeddings to Predict Changes in Large Semantic Graphs. SIMBig2019.

• Análisis y marketing en redes sociales?
• Inteligencia artificial?
• Ciencia de datos (data science)?
• Internet de las cosas (internet of things)?

Tiene que ver con cantidad de datos

• Colisionador de partículas CERN generó 40 TB/Seg en 2012.
• Avión Airbus A380 genera 640 TB por vuelo.
• Twitter genera 12 TB por día.
• Bolsa de Nueva York genera 1 TB por día.
• Cosechadora genera 5.000 datos por hectárea en cada pasada.
  • En Argentina hay alrededor de 30.000.000 de hectáreas cultivadas.
  • 150 TB por pasada.

Gentileza Esteban Feuerstein 2014

• Empresa argentina mayorista de publicidad en apps de celulares

• +100TB procesados por día
• +600TB de datos almacenados y consultados
• +70 instancias EMR

• 5 Petabytes = 5000 Terabytes de información

  = mp3 de 5000 años de duración.

  
  • los 5 PB transportados por avión

• 1 Petabyte = 1000 Terabytes

  = lo que CERN procesa en 1 día⁽¹⁾

  = 20 millones de archivos de 4 cajones llenos de texto

• 5 Exabytes = 5000 Petabytes

  = todas las palabras habladas por la humanidad

• 1 Zettabyte = 1000 Exabytes

• 1 Yottabyte = 1000 Zetabytes

  (Se necesitarían aproximadamente 11,000,000,000,000 años para descargar un archivo de 1 Yottabyte)

Esteban Feuerstein 2014 | (1) http://home.cern/about/computing

• 1 Brontobyte = 1000 Yottabytes

y aun más

• 1 Geopbyte = 1000 Brontobytes

• Universo digital será de 40 Zettabytes a fines del 2020

The digital Universe in 2020
http://www.emc.com/collateral/
  analyst-reports/idc-the-digital-universe-in-2020.pdf

https://www.seagate.com/files/www-content/
  our-story/trends/files/idc-seagate-dataage-whitepaper.pdf

• Muchas computadoras (nodos) en red
• Hardware escalable

Servidor de disco en red

• Filers
  • Scale-Out NAS⁽¹⁾ = 50 PB
• Se transporta datos a programas (clásico).
  • Modelo de programación Network Programming (MPI).
• Problema: red es lenta.

(1) NAS: Network-attached storage.

• Ley de Kryder: densidad almacenamiento crece 59% por año.
• Ley de Nielsen: velocidad red crece 50% por año.

Discos locales en cada nodo

• Distribución de datos en distintas computadoras (nodos)

  

  • lectura en paralelo

Modelo Data Flow

• Transportar programas a datos
  • con distribuidos en computadoras
• Menos red!
• Restringir interfaces de programación (patrones)
  • el sistema puede hacer más cosas automáticas
• Facilita programación paralela

• Se escribe programa declarativo
• Paralelización automática
• El sistema elige como dividir las operaciones en tareas y donde correrlas
  • Gestor de clusters: Hadoop Yarn, Apache Mesos, Amazon EC2.
• Tolerancia a fallos: replicación de tareas

Replicación de Datos

• Varias copias del pedacito de dato (chunk)

• Datos más cerca de los programas
• Menos red! (mayor localidad de datos)
• Tolerancia a fallos
• Ej: Hadoop File System (HDFS), Google File System (GFS)

• Ejemplo canónico de Data Flow Programming

• Page Rank
• Distributed grep
• Distributed sort
• Web link-graph reversal
• Inverted index construction

• Machine Learning

  • Logistic Regresion, Random Forest, K-means, ...

• Backend SQL para Data Warehouse

  • Apache Hive.

• No es bueno para algoritmos iterativos

  • muchos MR.
  • page Rank, descenso por el gradiente, clustering, etc. (la mayoría)

• Primitivas poco eficientes para compartir datos

  • datos entre iteraciones en FS distribuido
  • lento por uso de disco y replicación

• Multiplica matriz rala por vector muchas veces
• Recrea hash de neighbors y ranks

+iteraciones = + I/O

• 90% del tiempo haciendo I/O
• Solución: Spark = MR++ en memoria

• Patrones como grafo de operaciones de alto nivel

  • relación temporal entre operaciones (map, reduce, filter, join, etc.)
  

- Analitics (datos estructurados)

- Machine Learning

- Análisis de Redes (grandes grafos)

- Streaming (real time)

- Visualización

• Herramientas: Pig, Cascading, Storm, Flink, Zeppelin, Spark

Deep Learning en modelos Data Flow (Spark)

• Elephas: Distributed Deep learning with Keras & Spark
• Yahoo! Inc.: TensorFlowOnSpark
• CERN Distributed Keras (Keras + Spark)
• Qubole (tutorial Keras + Spark)
• Intel Corporation: BigDL (Distributed Deep Learning Library for Apache Spark)
• BigDL: Distributed Deep Learning Library for Apache Spark

Deep Learning With Apache Spark
https://towardsdatascience.com/
  deep-learning-with-apache-spark-part-1-6d397c16abd

https://cs.famaf.unc.edu.ar/~damian/bigdata/presentation