SlideShare une entreprise Scribd logo
1  sur  62
Télécharger pour lire hors ligne
Big Data
Valor estratégico para el mercado corporativo
@ferparra
A. Definición de Big Data
B. Aplicaciones
C. Tecnologías
D. Mejores prácticas
E. Reflexión final
• Hacia 2020, 5,200 Gigabytes de
datos serán generados para cada ser
humano del planeta.
• Un motor de jet en un vuelo de
Londres a Nueva York genera 10
Terabytes de datos cada 30
minutos.
• El 90% de los datos del mundo
actuales fueron generados en los
últimos 2 años.
• Según MIT, las organizaciones
grandes tienen en promedio 5.000
fuentes de datos, pero 1-2% terminan
en su Data Warehouse.
• El crecimiento exponencial se torna
cada vez mas difícil de administrar.
• Los datos contienen información
poco obvia que las empresas
podrían descubrir para mejorar sus
resultados.
• Las medidas de datos son relativas.
Cada industria enfrenta desafíos de
distinto tamaño.
A. Definición de
Big Data!
B. Aplicaciones
C. Tecnologías
D. Mejores prácticas
E. Reflexión final
¿Qué es Big Data?
¿Análisis Predictivo
¿Business Intelligence?
¿Data Discovery?
¿Visualizaciones e infografías?
¿Búsqueda de texto?
¿Procesamiento de

eventos complejos?
¿Programación neurolingüística?
¿Aprendizaje profundo?
¿Inteligencia Artificial?
Big Data
¿Cual es nuestra frontera?
MB GB TB PB
tabla
base
de
datos
fotos
w
eb
audio
social video
m
obile
tiem
po
real
casitiem
po
real
periodico
batch
Velocidad
Volumen
Variedad
El problema comienza a
definirse como de Big Data
cuando la frontera

se expande.
Nuestras arquitectura de
información tradicional
se torna inadecuada.
El ruido
supera
la señal
Hay buenos modelos…

y malos modelos…
El 80% del esfuerzo se
produce en la
integración de datos
La explotación de Big Data
está debajo de la superficie
alias

“Dark data"
Además, el 80% de los

datos disponibles son

no estructurados, pero…
¿equivalen al 80% del valor?
ROB (Return on Byte)!
Es el valor de un byte dividido
por el costo de almacenarlo
MAX(ROB)
¿Alto ROB?
¿Bajo ROB?
Big Data es la frontera de una
firma para almacenar, procesar y
acceder a todos los datos que
necesita para operar eficazmente,
tomar decisiones, reducir riesgos
y servir a los clientes.
A. Definición de Big Data
B. Aplicaciones!
C. Tecnologías
D. Mejores Prácticas
E. Reflexión final
Machine
learning
Procesamiento en
tiempo real
Analytics
exploratorio
Banca
Bienes de
Consumo
IT
Telcos y
comunicaciones
Servicio al
consumidor
Análisis
sentimental
Seguridad
informática
Churn
Riesgo

crediticio
Recomendación
de productos
Escabilidad de
Infraestructura
Gestión de
promociones
Detección de
Transacciones
fraudulentas
Predicción de
demanda en
tiempo real
Optimización de
protocolos
Alocación
inteligente de
capacidad
Upsell y cross-sell
de productos
Vista 360 del
consumidor
Predicción de
fallos
M2M
Gobierno y
ciudad
Biología y
Medicina
Energía y
utilidades
Internet
Predicción y
prevención del
delito
Genómica
Medidores
inteligentes
Asistente

virtual
Ciudad

inteligente
Registro de
enfermedades
Redes

mixtas
Contenido
personalizado
Digitalización de
documentos
Diagnóstico
médico en la
nube
Predicción de la
demanda
Aprendizaje
profundo
Open

Government
“Yo” cuantificado
Gestión de
energía desde el
consumidor
Internet of

Things
A. Definición de Big Data
B. Aplicaciones
C. Tecnologías!
D. Mejores prácticas
E. Reflexión final
Nuevas estructuras

de datos para

nuevos problemas
No Relacional Relacional
Hadoop!
Horton!
Cloudera!
MapR!
Zettaset!
!
!
Hadapt!
!
!
Teradata!
Aster!
EMC!
Greeplum!
IBM InfoSphere!
Netezza!
SAP HANA!
SAP Sybase IQ!
HP Vertica!
Oracle!
Times-ten!
Infobright!
ParAccel!
Calpoint!
VectorWise
Analíticas
Operativas Spark Oracle IBM DB2 SQLSrvr JustOneDB
Documentos
Lotus Notes
InterSystems!
Progress!
Objectivity!
Versant
Marklogic!
McObject
CouchDB!
MongoDB!
RavenDB
NoSQL
Clave

Valor
Big Table
Grafos
Couchbase
Riak!
Redis!
Membrain!
Voldemort!
BerkleyDB
Cassandra
HyperTable!
HBase FlockDB!
InfiniteGraph!
Neo4j!
AllegroGraph
Datos en la nube
App Engine!
SimpleDB
Amazon Redshift!
SQL Azure!
database.com
Xeround!
FathomDB
NewSQL
Sybase ASE Ingress
MySQL
PostgreSQL
EnterpriseDB
SchoonerSQL!
Tokutek!
Continuent!
Translattice!
GenieDB
ScaleBase!
CodeFutures!
VoltDB!
ScalArc!
Drizzle
HandlerSocket!
Akiban!
MySQL Cluster!
Clustix!
Tuplas
"Clave":

{ 

"valor": 0.55
}
¿Lenguaje de query?
(C) consistencia
(A) disponibilidad
(P) tolerancia a
particiones
¿NoSQL?
Elija 2
(lo sentimos)
Big Data
Big Data
Hadoop
• Almacenaje y procesamiento
barato y a escala.
• Es la tecnología dominante
para procesamiento distribuido
a gran escala. Crece 60%
anual a tasa compuesta.
• Sin embargo su nivel de
utilización se encuentra por
debajo del 6% en empresas.
Big Data
Hadoop instala herramientas en cada nodo:
• Librerías y scripts en Java
• Un filesystem de alta

disponibilidad -> HDFS
• Una plataforma de gestión

de recursos de cómputo -> YARN
• Un motor de 

extracción -> Map-Reduce
Arquitectura básica
Fuente: Rare Mile Technologies, 26 de Junio de 2012, http://blog.raremile.com/hadoop-demystified/
MapReduce
Input -> Map(..) -> Reduce(..) -> output
Nodo 2
Nodo 3
Nodo 1
Nodo 2
Nodo 3
Nodo 1
Archivosenfilesystem
Map(..) Reduce(..)input output
Soy maestro primario… tengo una caja de
lápices de color y cajas más pequeñas
->
Caja de
lápices
Un alumno:
toma lápiz, le
pone etiqueta, y
lo vuelca en su
caja (Ejemplo:
Rojo, 1)
->
Otro alumno:
toma caja y
suma los 1s
-> Lápices

por color
input
Map(..)
Reduce(..)
output
Map Reduce
Storm!
Drill!
HANA

Spark
Alto volumen, alta latencia Alto volumen, baja latencia
Procesamiento en batch Acceso a datos en memoria
Se define proceduralmente
Son queries a bases de datos
columnares como HBase,
Cassandra o MongoDB
Es adecuado para el
procesamiento total de datos
Es adecuado para producir
reportes ah-hoc y procesamiento
en tiempo real
• Persistencia

Cassandra, HBase
• Manipulación de datos

Pig, Pandas
• Búsqueda de texto

Solr, Lucene
Tecnologías complementarias
que hay que saber obligado
Tecnologías complementarias
que hay que saber obligado
• Machine Learning

Mahout, R, SAS, MADLib
• Real-time processing

Drill, Storm, Impala
• In-memory

SAP HANA, Apache Spark
fácil ranking de ventas por
región
difícil clientes que estén por
dejar el servicio
ultra difícil clientes que
muestran insatisfacción sobre
problemas aún no identificados
Consulta SQL
Clasificador
Programación
neuro linguistica
¿Con qué sentido
sumergirnos entre tanta
complejidad?
fácil ranking de ventas por
región
difícil clientes que estén por
dejar el servicio
ultra difícil clientes que
muestran insatisfacción sobre
problemas aún no identificados
Microstrategy
Modelo en R
Luminoso
Las bases de datos columnares
tienen grandes beneficios
• Aprovechamiento de procesamiento
masivo en paralelo (MPP).
• Posibilitan el almacenamiento en
memoria RAM.
• Fáciles de administrar y de leer

(viejo y conocido SQL)
• Soportan un volumen del orden de
los TBs sin problemas
Analytics in-database y funciones
definidas por el usuario
• Ganancia cualitativa en performance.
• Compatibles con lenguajes de markup
para aplicaciones de Data Mining
(PMML)
• Contendientes: Aster Data, Vertica,
Netezza, Greenplum (EMC), ParAccel,
SAP Sybase
Columnar + In-Database analytics =
A. Definición de Big Data
B. Aplicaciones
C. Tecnologías
D. Mejores prácticas!
E. Reflexión final
Big Data
Big Data
Algunas Mejores
prácticas
1. Partir siempre de una hipótesis
antes de actuar sobre los datos
2. No construir Legacy
3. Definir una “autopista de la
información”
4. Seguir pensando en dimensiones e
indicadores
Algunas Mejores
prácticas
5. Construir una infraestructura
flexible y escalable (la nube)
6. Implementar flujos conectados a
las etapas de caché anteriores
7. Los datos mas próximos van a ser
sucios, pero debe agregarse valor
en la etapas subsiguientes
A. Definición de Big Data
B. Aplicaciones
C. Tecnologías
D. Kimball
E. Reflexión
final
Big Data
–Brett Sheppard, director de Big Data, Splunk
“2014 will be the year of the big data non-
specialist. Until recently, many big data
projects—including those built with Hadoop—
have required the skills of highly trained data
scientists. They’ve also tended to rely on fixed
schemas and scheduled reporting that limit
the kinds of questions the system can answer.
Starting in 2014, line-of-business
employees will be able to ask and
answer their own questions using
raw, unstructured big data from
disparate sources. They won’t need to
rely on specialists to unlock the value of big
data. Inevitably, they’ll start using data to help
make decisions they previously might have
made on gut-feel alone. Decision-making will
also become a more creative process, as
employees of all kinds start asking questions
of their data to test hypotheses and explore
new approaches to old problems.”
Fuente: http://inside-bigdata.com/2013/12/09/big-data-predictions-2014/
Fuente: Read Write Web, 26 de Diciembre 2013, http://readwrite.com/2013/12/26/big-data-myths-reality
El mercado requerirá
nuevos perfiles
Resumiendo
1. Las empresas pueden
capturar más datos que
nunca.
2. La explosión del social
media y del Internet of
Things son los principales
disparadores.
Resumiendo
3. Identificar lo importante
entre tanto ruido depende
del las capacidades
intuitivas y de la apertura del
tomador de decisiones.
4. Hadoop es una herramienta
extremadamente flexible
que pocos ejecutivos
entienden.
Resumiendo
5. El cliente va cambiando. Las
gerencias de negocio son
las nuevas compradoras de
software.
6. La apuesta es a largo plazo,
pero con foco en lo diario.
Las empresas necesitan de
la prueba y el error.
Big Data es pensar en nuevos
modelos de negocio basados
en las necesidades del futuro
¡Gracias!

Contenu connexe

Tendances

Inteligencia de Negocios presentacion
Inteligencia de Negocios presentacionInteligencia de Negocios presentacion
Inteligencia de Negocios presentacionClinica Internacional
 
Big Data: conceptos generales e impacto en los negocios
Big Data: conceptos generales e impacto en los negociosBig Data: conceptos generales e impacto en los negocios
Big Data: conceptos generales e impacto en los negociosCelestino Güemes Seoane
 
Big data diapositivas
Big data diapositivasBig data diapositivas
Big data diapositivassgcuadrado
 
Lecture1 introduction to big data
Lecture1 introduction to big dataLecture1 introduction to big data
Lecture1 introduction to big datahktripathy
 
Big Data PPT by Rohit Dubey
Big Data PPT by Rohit DubeyBig Data PPT by Rohit Dubey
Big Data PPT by Rohit DubeyRohit Dubey
 
Presentacion data mining (mineria de datos)- base de datos
Presentacion data mining (mineria de datos)- base de datosPresentacion data mining (mineria de datos)- base de datos
Presentacion data mining (mineria de datos)- base de datosMaría Inés Cahuana Lázaro
 
Big data by Mithlesh sadh
Big data by Mithlesh sadhBig data by Mithlesh sadh
Big data by Mithlesh sadhMithlesh Sadh
 
The Data Driven Enterprise - Roadmap to Big Data & Analytics Success
The Data Driven Enterprise - Roadmap to Big Data & Analytics SuccessThe Data Driven Enterprise - Roadmap to Big Data & Analytics Success
The Data Driven Enterprise - Roadmap to Big Data & Analytics SuccessBigInsights
 
Introducción a Business Intelligence
Introducción a Business IntelligenceIntroducción a Business Intelligence
Introducción a Business IntelligenceJuan Azcurra
 
Big Data: Its Characteristics And Architecture Capabilities
Big Data: Its Characteristics And Architecture CapabilitiesBig Data: Its Characteristics And Architecture Capabilities
Big Data: Its Characteristics And Architecture CapabilitiesAshraf Uddin
 
How a Semantic Layer Makes Data Mesh Work at Scale
How a Semantic Layer Makes  Data Mesh Work at ScaleHow a Semantic Layer Makes  Data Mesh Work at Scale
How a Semantic Layer Makes Data Mesh Work at ScaleDATAVERSITY
 
RWDG Slides: What is a Data Steward to do?
RWDG Slides: What is a Data Steward to do?RWDG Slides: What is a Data Steward to do?
RWDG Slides: What is a Data Steward to do?DATAVERSITY
 
Big data architectures and the data lake
Big data architectures and the data lakeBig data architectures and the data lake
Big data architectures and the data lakeJames Serra
 
Building a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business GoalsBuilding a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business GoalsDATAVERSITY
 
Big Data
Big DataBig Data
Big DataNGDATA
 
Inteligencia de Negocios BI
Inteligencia de Negocios BIInteligencia de Negocios BI
Inteligencia de Negocios BIfabian fernandez
 

Tendances (20)

Inteligencia de Negocios presentacion
Inteligencia de Negocios presentacionInteligencia de Negocios presentacion
Inteligencia de Negocios presentacion
 
Big Data: conceptos generales e impacto en los negocios
Big Data: conceptos generales e impacto en los negociosBig Data: conceptos generales e impacto en los negocios
Big Data: conceptos generales e impacto en los negocios
 
Big data diapositivas
Big data diapositivasBig data diapositivas
Big data diapositivas
 
Big data-ppt
Big data-pptBig data-ppt
Big data-ppt
 
Lecture1 introduction to big data
Lecture1 introduction to big dataLecture1 introduction to big data
Lecture1 introduction to big data
 
base de datos exposicion simple
base de datos exposicion simplebase de datos exposicion simple
base de datos exposicion simple
 
Big Data PPT by Rohit Dubey
Big Data PPT by Rohit DubeyBig Data PPT by Rohit Dubey
Big Data PPT by Rohit Dubey
 
Presentacion data mining (mineria de datos)- base de datos
Presentacion data mining (mineria de datos)- base de datosPresentacion data mining (mineria de datos)- base de datos
Presentacion data mining (mineria de datos)- base de datos
 
Big data by Mithlesh sadh
Big data by Mithlesh sadhBig data by Mithlesh sadh
Big data by Mithlesh sadh
 
The Data Driven Enterprise - Roadmap to Big Data & Analytics Success
The Data Driven Enterprise - Roadmap to Big Data & Analytics SuccessThe Data Driven Enterprise - Roadmap to Big Data & Analytics Success
The Data Driven Enterprise - Roadmap to Big Data & Analytics Success
 
Introducción a Business Intelligence
Introducción a Business IntelligenceIntroducción a Business Intelligence
Introducción a Business Intelligence
 
Big Data: Its Characteristics And Architecture Capabilities
Big Data: Its Characteristics And Architecture CapabilitiesBig Data: Its Characteristics And Architecture Capabilities
Big Data: Its Characteristics And Architecture Capabilities
 
How a Semantic Layer Makes Data Mesh Work at Scale
How a Semantic Layer Makes  Data Mesh Work at ScaleHow a Semantic Layer Makes  Data Mesh Work at Scale
How a Semantic Layer Makes Data Mesh Work at Scale
 
RWDG Slides: What is a Data Steward to do?
RWDG Slides: What is a Data Steward to do?RWDG Slides: What is a Data Steward to do?
RWDG Slides: What is a Data Steward to do?
 
Big data architectures and the data lake
Big data architectures and the data lakeBig data architectures and the data lake
Big data architectures and the data lake
 
Presentation on Big Data
Presentation on Big DataPresentation on Big Data
Presentation on Big Data
 
Big Data ppt
Big Data pptBig Data ppt
Big Data ppt
 
Building a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business GoalsBuilding a Data Strategy – Practical Steps for Aligning with Business Goals
Building a Data Strategy – Practical Steps for Aligning with Business Goals
 
Big Data
Big DataBig Data
Big Data
 
Inteligencia de Negocios BI
Inteligencia de Negocios BIInteligencia de Negocios BI
Inteligencia de Negocios BI
 

En vedette

Big Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesBig Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesStratebi
 
69 claves para conocer Big Data
69 claves para conocer Big Data69 claves para conocer Big Data
69 claves para conocer Big DataStratebi
 
Presentación big data Roggero
Presentación big data RoggeroPresentación big data Roggero
Presentación big data RoggeroJavier Roggero
 
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...Quanam
 
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...Introducción básica a Big Data e inventario de herramientas efectivas para Bi...
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...Sebastián Ramírez Montaño
 
Big Data Introducción
Big Data IntroducciónBig Data Introducción
Big Data Introducciónbd4s
 
Big Data Open Source Analytics (español)
Big Data Open Source Analytics (español)Big Data Open Source Analytics (español)
Big Data Open Source Analytics (español)Stratebi
 
Big Data para Dummies
Big Data para DummiesBig Data para Dummies
Big Data para DummiesStratebi
 
Día solar europeo, natalia
Día solar europeo, nataliaDía solar europeo, natalia
Día solar europeo, nataliaManuel Segura
 
Lineamientos montaje cursos bb
Lineamientos montaje cursos bbLineamientos montaje cursos bb
Lineamientos montaje cursos bbdamialex
 
Setmana cutural
Setmana cuturalSetmana cutural
Setmana cuturalJordiroig
 
Publicar contenidos en internet
Publicar contenidos en internetPublicar contenidos en internet
Publicar contenidos en internetAida March
 
B O L E T I N A R T I C U L O U N O J O R G E T O L E D O
B O L E T I N  A R T I C U L O  U N O  J O R G E  T O L E D OB O L E T I N  A R T I C U L O  U N O  J O R G E  T O L E D O
B O L E T I N A R T I C U L O U N O J O R G E T O L E D OJuan Carlos Paredes Plaza
 

En vedette (20)

Big Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesBig Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones reales
 
Big data
Big dataBig data
Big data
 
Que es big data
Que es big dataQue es big data
Que es big data
 
69 claves para conocer Big Data
69 claves para conocer Big Data69 claves para conocer Big Data
69 claves para conocer Big Data
 
Presentación big data Roggero
Presentación big data RoggeroPresentación big data Roggero
Presentación big data Roggero
 
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...
Presentación Leonardo Louriero - Big Data : Mito o Realidad - Transformando e...
 
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...Introducción básica a Big Data e inventario de herramientas efectivas para Bi...
Introducción básica a Big Data e inventario de herramientas efectivas para Bi...
 
Big Data y Redes Sociales: Ejemplos y casos de éxito
Big Data y Redes Sociales: Ejemplos y casos de éxitoBig Data y Redes Sociales: Ejemplos y casos de éxito
Big Data y Redes Sociales: Ejemplos y casos de éxito
 
Big Data Introducción
Big Data IntroducciónBig Data Introducción
Big Data Introducción
 
Big Data Open Source Analytics (español)
Big Data Open Source Analytics (español)Big Data Open Source Analytics (español)
Big Data Open Source Analytics (español)
 
"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas"Casos de uso del Big Data" por Wolfram Rozas
"Casos de uso del Big Data" por Wolfram Rozas
 
Big Data para Dummies
Big Data para DummiesBig Data para Dummies
Big Data para Dummies
 
Día solar europeo, natalia
Día solar europeo, nataliaDía solar europeo, natalia
Día solar europeo, natalia
 
Lenergía eólica
Lenergía eólicaLenergía eólica
Lenergía eólica
 
Lineamientos montaje cursos bb
Lineamientos montaje cursos bbLineamientos montaje cursos bb
Lineamientos montaje cursos bb
 
Brujula
BrujulaBrujula
Brujula
 
Setmana cutural
Setmana cuturalSetmana cutural
Setmana cutural
 
Que importa
Que importaQue importa
Que importa
 
Publicar contenidos en internet
Publicar contenidos en internetPublicar contenidos en internet
Publicar contenidos en internet
 
B O L E T I N A R T I C U L O U N O J O R G E T O L E D O
B O L E T I N  A R T I C U L O  U N O  J O R G E  T O L E D OB O L E T I N  A R T I C U L O  U N O  J O R G E  T O L E D O
B O L E T I N A R T I C U L O U N O J O R G E T O L E D O
 

Similaire à Big Data

Big data con SQL Server 2014
Big data con SQL Server 2014Big data con SQL Server 2014
Big data con SQL Server 2014Eduardo Castro
 
Programa Superior en Big Data
Programa Superior en Big DataPrograma Superior en Big Data
Programa Superior en Big DataICEMD
 
Big Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeBig Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeEduardo Castro
 
Introduccion a Big Data stack
Introduccion a Big Data stackIntroduccion a Big Data stack
Introduccion a Big Data stackEduardo Castro
 
Resumen del Microsoft Big Data Stack
Resumen del Microsoft Big Data StackResumen del Microsoft Big Data Stack
Resumen del Microsoft Big Data StackEduardo Castro
 
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...Joaquín Borrego-Díaz
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...CICE
 
Big-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxBig-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxJavierNavarrete43
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerEduardo Castro
 
Introduccion datawarehouse
Introduccion datawarehouseIntroduccion datawarehouse
Introduccion datawarehouseEduardo Castro
 
Analisis predictivo con microsoft azure
Analisis predictivo con microsoft azureAnalisis predictivo con microsoft azure
Analisis predictivo con microsoft azureEduardo Castro
 
Big data para la toma de decisiones en empresas de Turismo
Big data para la toma de decisiones en empresas de TurismoBig data para la toma de decisiones en empresas de Turismo
Big data para la toma de decisiones en empresas de TurismoEdwin Arley Bernal Holguin
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleoCICE
 
Smart data el uso inteligente de los datos
Smart data el uso inteligente de los datosSmart data el uso inteligente de los datos
Smart data el uso inteligente de los datosDataCentric PDM
 
Las dudas del Big Data, América Economía Internacional febrero 2014
Las dudas del Big Data, América Economía Internacional febrero 2014Las dudas del Big Data, América Economía Internacional febrero 2014
Las dudas del Big Data, América Economía Internacional febrero 2014David Cornejo
 

Similaire à Big Data (20)

Big data con SQL Server 2014
Big data con SQL Server 2014Big data con SQL Server 2014
Big data con SQL Server 2014
 
Programa Superior en Big Data
Programa Superior en Big DataPrograma Superior en Big Data
Programa Superior en Big Data
 
Big Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeBig Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nube
 
Introduccion a Big Data stack
Introduccion a Big Data stackIntroduccion a Big Data stack
Introduccion a Big Data stack
 
Resumen del Microsoft Big Data Stack
Resumen del Microsoft Big Data StackResumen del Microsoft Big Data Stack
Resumen del Microsoft Big Data Stack
 
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...
Información Adaptativa, Ingeniería del Conocimiento e Inteligencia Colectiva ...
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Big-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxBig-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptx
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight Server
 
Introduccion datawarehouse
Introduccion datawarehouseIntroduccion datawarehouse
Introduccion datawarehouse
 
Analisis predictivo con microsoft azure
Analisis predictivo con microsoft azureAnalisis predictivo con microsoft azure
Analisis predictivo con microsoft azure
 
Qué es la ciencia de datos.pdf
Qué es la ciencia de datos.pdfQué es la ciencia de datos.pdf
Qué es la ciencia de datos.pdf
 
Big data para la toma de decisiones en empresas de Turismo
Big data para la toma de decisiones en empresas de TurismoBig data para la toma de decisiones en empresas de Turismo
Big data para la toma de decisiones en empresas de Turismo
 
Big Data Business
Big Data BusinessBig Data Business
Big Data Business
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
 
Big data
Big dataBig data
Big data
 
Smart data el uso inteligente de los datos
Smart data el uso inteligente de los datosSmart data el uso inteligente de los datos
Smart data el uso inteligente de los datos
 
Las dudas del Big Data, América Economía Internacional febrero 2014
Las dudas del Big Data, América Economía Internacional febrero 2014Las dudas del Big Data, América Economía Internacional febrero 2014
Las dudas del Big Data, América Economía Internacional febrero 2014
 
Big Data, Big Picture
Big Data, Big PictureBig Data, Big Picture
Big Data, Big Picture
 

Dernier

Técnicas de Planeación y control 2.pptx
Técnicas de  Planeación y control 2.pptxTécnicas de  Planeación y control 2.pptx
Técnicas de Planeación y control 2.pptxkarlapatriciagaona
 
Seguridad vial OSC TELECOMS Seguridad vial OSC TELECOMS
Seguridad vial OSC TELECOMS  Seguridad vial OSC TELECOMSSeguridad vial OSC TELECOMS  Seguridad vial OSC TELECOMS
Seguridad vial OSC TELECOMS Seguridad vial OSC TELECOMSJorgeContreras580838
 
Practica de Evaluacion de tarea crisis de liderazgo
Practica de Evaluacion de tarea crisis de liderazgoPractica de Evaluacion de tarea crisis de liderazgo
Practica de Evaluacion de tarea crisis de liderazgooscramcon
 
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdf
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdfEspejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdf
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdfaespejos
 
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓN
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓNAnálisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓN
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓNlacosaensi982
 
3-5-usac-manuales-administrativos-2017.ppt
3-5-usac-manuales-administrativos-2017.ppt3-5-usac-manuales-administrativos-2017.ppt
3-5-usac-manuales-administrativos-2017.pptConsultorSinergia
 
CLASE UTP 2023 S10.s1 - Material de clases .pdf
CLASE UTP 2023 S10.s1 - Material de clases .pdfCLASE UTP 2023 S10.s1 - Material de clases .pdf
CLASE UTP 2023 S10.s1 - Material de clases .pdfAnglicaArauzoF
 
Mentoría para Empresarios Oxford Group L.pdf
Mentoría para Empresarios Oxford Group L.pdfMentoría para Empresarios Oxford Group L.pdf
Mentoría para Empresarios Oxford Group L.pdfOxford Group
 
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptx
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptxTEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptx
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptxCristianCambranis
 

Dernier (9)

Técnicas de Planeación y control 2.pptx
Técnicas de  Planeación y control 2.pptxTécnicas de  Planeación y control 2.pptx
Técnicas de Planeación y control 2.pptx
 
Seguridad vial OSC TELECOMS Seguridad vial OSC TELECOMS
Seguridad vial OSC TELECOMS  Seguridad vial OSC TELECOMSSeguridad vial OSC TELECOMS  Seguridad vial OSC TELECOMS
Seguridad vial OSC TELECOMS Seguridad vial OSC TELECOMS
 
Practica de Evaluacion de tarea crisis de liderazgo
Practica de Evaluacion de tarea crisis de liderazgoPractica de Evaluacion de tarea crisis de liderazgo
Practica de Evaluacion de tarea crisis de liderazgo
 
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdf
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdfEspejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdf
Espejo Salamanca Cuadro Sinoptico Decreto 2649 1993.pdf
 
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓN
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓNAnálisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓN
Análisis y evaluación de proyectos / ESTUDIO DE MERCADO Y COMERCIALIZACIÓN
 
3-5-usac-manuales-administrativos-2017.ppt
3-5-usac-manuales-administrativos-2017.ppt3-5-usac-manuales-administrativos-2017.ppt
3-5-usac-manuales-administrativos-2017.ppt
 
CLASE UTP 2023 S10.s1 - Material de clases .pdf
CLASE UTP 2023 S10.s1 - Material de clases .pdfCLASE UTP 2023 S10.s1 - Material de clases .pdf
CLASE UTP 2023 S10.s1 - Material de clases .pdf
 
Mentoría para Empresarios Oxford Group L.pdf
Mentoría para Empresarios Oxford Group L.pdfMentoría para Empresarios Oxford Group L.pdf
Mentoría para Empresarios Oxford Group L.pdf
 
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptx
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptxTEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptx
TEORÍAS CONTEMPORÁNEAS DE LA ADMINISTRACIÓN.pptx
 

Big Data

  • 1. Big Data Valor estratégico para el mercado corporativo @ferparra
  • 2. A. Definición de Big Data B. Aplicaciones C. Tecnologías D. Mejores prácticas E. Reflexión final
  • 3. • Hacia 2020, 5,200 Gigabytes de datos serán generados para cada ser humano del planeta. • Un motor de jet en un vuelo de Londres a Nueva York genera 10 Terabytes de datos cada 30 minutos.
  • 4. • El 90% de los datos del mundo actuales fueron generados en los últimos 2 años. • Según MIT, las organizaciones grandes tienen en promedio 5.000 fuentes de datos, pero 1-2% terminan en su Data Warehouse.
  • 5. • El crecimiento exponencial se torna cada vez mas difícil de administrar. • Los datos contienen información poco obvia que las empresas podrían descubrir para mejorar sus resultados. • Las medidas de datos son relativas. Cada industria enfrenta desafíos de distinto tamaño.
  • 6. A. Definición de Big Data! B. Aplicaciones C. Tecnologías D. Mejores prácticas E. Reflexión final
  • 7. ¿Qué es Big Data? ¿Análisis Predictivo ¿Business Intelligence? ¿Data Discovery? ¿Visualizaciones e infografías?
  • 8. ¿Búsqueda de texto? ¿Procesamiento de
 eventos complejos? ¿Programación neurolingüística? ¿Aprendizaje profundo? ¿Inteligencia Artificial?
  • 10. ¿Cual es nuestra frontera? MB GB TB PB tabla base de datos fotos w eb audio social video m obile tiem po real casitiem po real periodico batch Velocidad Volumen Variedad
  • 11. El problema comienza a definirse como de Big Data cuando la frontera
 se expande.
  • 12. Nuestras arquitectura de información tradicional se torna inadecuada.
  • 14. Hay buenos modelos…
 y malos modelos…
  • 15. El 80% del esfuerzo se produce en la integración de datos
  • 16. La explotación de Big Data está debajo de la superficie alias
 “Dark data"
  • 17. Además, el 80% de los
 datos disponibles son
 no estructurados, pero… ¿equivalen al 80% del valor?
  • 18. ROB (Return on Byte)! Es el valor de un byte dividido por el costo de almacenarlo MAX(ROB)
  • 20. Big Data es la frontera de una firma para almacenar, procesar y acceder a todos los datos que necesita para operar eficazmente, tomar decisiones, reducir riesgos y servir a los clientes.
  • 21. A. Definición de Big Data B. Aplicaciones! C. Tecnologías D. Mejores Prácticas E. Reflexión final
  • 23. Banca Bienes de Consumo IT Telcos y comunicaciones Servicio al consumidor Análisis sentimental Seguridad informática Churn Riesgo
 crediticio Recomendación de productos Escabilidad de Infraestructura Gestión de promociones Detección de Transacciones fraudulentas Predicción de demanda en tiempo real Optimización de protocolos Alocación inteligente de capacidad Upsell y cross-sell de productos Vista 360 del consumidor Predicción de fallos M2M
  • 24. Gobierno y ciudad Biología y Medicina Energía y utilidades Internet Predicción y prevención del delito Genómica Medidores inteligentes Asistente
 virtual Ciudad
 inteligente Registro de enfermedades Redes
 mixtas Contenido personalizado Digitalización de documentos Diagnóstico médico en la nube Predicción de la demanda Aprendizaje profundo Open
 Government “Yo” cuantificado Gestión de energía desde el consumidor Internet of
 Things
  • 25. A. Definición de Big Data B. Aplicaciones C. Tecnologías! D. Mejores prácticas E. Reflexión final
  • 26. Nuevas estructuras
 de datos para
 nuevos problemas
  • 27. No Relacional Relacional Hadoop! Horton! Cloudera! MapR! Zettaset! ! ! Hadapt! ! ! Teradata! Aster! EMC! Greeplum! IBM InfoSphere! Netezza! SAP HANA! SAP Sybase IQ! HP Vertica! Oracle! Times-ten! Infobright! ParAccel! Calpoint! VectorWise Analíticas Operativas Spark Oracle IBM DB2 SQLSrvr JustOneDB Documentos Lotus Notes InterSystems! Progress! Objectivity! Versant Marklogic! McObject CouchDB! MongoDB! RavenDB NoSQL Clave
 Valor Big Table Grafos Couchbase Riak! Redis! Membrain! Voldemort! BerkleyDB Cassandra HyperTable! HBase FlockDB! InfiniteGraph! Neo4j! AllegroGraph Datos en la nube App Engine! SimpleDB Amazon Redshift! SQL Azure! database.com Xeround! FathomDB NewSQL Sybase ASE Ingress MySQL PostgreSQL EnterpriseDB SchoonerSQL! Tokutek! Continuent! Translattice! GenieDB ScaleBase! CodeFutures! VoltDB! ScalArc! Drizzle HandlerSocket! Akiban! MySQL Cluster! Clustix!
  • 29. (C) consistencia (A) disponibilidad (P) tolerancia a particiones ¿NoSQL? Elija 2 (lo sentimos)
  • 32. Hadoop • Almacenaje y procesamiento barato y a escala. • Es la tecnología dominante para procesamiento distribuido a gran escala. Crece 60% anual a tasa compuesta. • Sin embargo su nivel de utilización se encuentra por debajo del 6% en empresas.
  • 34. Hadoop instala herramientas en cada nodo: • Librerías y scripts en Java • Un filesystem de alta
 disponibilidad -> HDFS • Una plataforma de gestión
 de recursos de cómputo -> YARN • Un motor de 
 extracción -> Map-Reduce
  • 35. Arquitectura básica Fuente: Rare Mile Technologies, 26 de Junio de 2012, http://blog.raremile.com/hadoop-demystified/
  • 36. MapReduce Input -> Map(..) -> Reduce(..) -> output
  • 37. Nodo 2 Nodo 3 Nodo 1 Nodo 2 Nodo 3 Nodo 1 Archivosenfilesystem Map(..) Reduce(..)input output
  • 38. Soy maestro primario… tengo una caja de lápices de color y cajas más pequeñas -> Caja de lápices Un alumno: toma lápiz, le pone etiqueta, y lo vuelca en su caja (Ejemplo: Rojo, 1) -> Otro alumno: toma caja y suma los 1s -> Lápices
 por color input Map(..) Reduce(..) output
  • 39. Map Reduce Storm! Drill! HANA
 Spark Alto volumen, alta latencia Alto volumen, baja latencia Procesamiento en batch Acceso a datos en memoria Se define proceduralmente Son queries a bases de datos columnares como HBase, Cassandra o MongoDB Es adecuado para el procesamiento total de datos Es adecuado para producir reportes ah-hoc y procesamiento en tiempo real
  • 40. • Persistencia
 Cassandra, HBase • Manipulación de datos
 Pig, Pandas • Búsqueda de texto
 Solr, Lucene Tecnologías complementarias que hay que saber obligado
  • 41. Tecnologías complementarias que hay que saber obligado • Machine Learning
 Mahout, R, SAS, MADLib • Real-time processing
 Drill, Storm, Impala • In-memory
 SAP HANA, Apache Spark
  • 42. fácil ranking de ventas por región difícil clientes que estén por dejar el servicio ultra difícil clientes que muestran insatisfacción sobre problemas aún no identificados Consulta SQL Clasificador Programación neuro linguistica
  • 43. ¿Con qué sentido sumergirnos entre tanta complejidad?
  • 44. fácil ranking de ventas por región difícil clientes que estén por dejar el servicio ultra difícil clientes que muestran insatisfacción sobre problemas aún no identificados Microstrategy Modelo en R Luminoso
  • 45. Las bases de datos columnares tienen grandes beneficios • Aprovechamiento de procesamiento masivo en paralelo (MPP). • Posibilitan el almacenamiento en memoria RAM. • Fáciles de administrar y de leer
 (viejo y conocido SQL) • Soportan un volumen del orden de los TBs sin problemas
  • 46. Analytics in-database y funciones definidas por el usuario • Ganancia cualitativa en performance. • Compatibles con lenguajes de markup para aplicaciones de Data Mining (PMML) • Contendientes: Aster Data, Vertica, Netezza, Greenplum (EMC), ParAccel, SAP Sybase
  • 47. Columnar + In-Database analytics =
  • 48. A. Definición de Big Data B. Aplicaciones C. Tecnologías D. Mejores prácticas! E. Reflexión final
  • 51. Algunas Mejores prácticas 1. Partir siempre de una hipótesis antes de actuar sobre los datos 2. No construir Legacy 3. Definir una “autopista de la información” 4. Seguir pensando en dimensiones e indicadores
  • 52. Algunas Mejores prácticas 5. Construir una infraestructura flexible y escalable (la nube) 6. Implementar flujos conectados a las etapas de caché anteriores 7. Los datos mas próximos van a ser sucios, pero debe agregarse valor en la etapas subsiguientes
  • 53. A. Definición de Big Data B. Aplicaciones C. Tecnologías D. Kimball E. Reflexión final
  • 55. –Brett Sheppard, director de Big Data, Splunk “2014 will be the year of the big data non- specialist. Until recently, many big data projects—including those built with Hadoop— have required the skills of highly trained data scientists. They’ve also tended to rely on fixed schemas and scheduled reporting that limit the kinds of questions the system can answer. Starting in 2014, line-of-business employees will be able to ask and answer their own questions using raw, unstructured big data from disparate sources. They won’t need to rely on specialists to unlock the value of big data. Inevitably, they’ll start using data to help make decisions they previously might have made on gut-feel alone. Decision-making will also become a more creative process, as employees of all kinds start asking questions of their data to test hypotheses and explore new approaches to old problems.” Fuente: http://inside-bigdata.com/2013/12/09/big-data-predictions-2014/
  • 56. Fuente: Read Write Web, 26 de Diciembre 2013, http://readwrite.com/2013/12/26/big-data-myths-reality
  • 58. Resumiendo 1. Las empresas pueden capturar más datos que nunca. 2. La explosión del social media y del Internet of Things son los principales disparadores.
  • 59. Resumiendo 3. Identificar lo importante entre tanto ruido depende del las capacidades intuitivas y de la apertura del tomador de decisiones. 4. Hadoop es una herramienta extremadamente flexible que pocos ejecutivos entienden.
  • 60. Resumiendo 5. El cliente va cambiando. Las gerencias de negocio son las nuevas compradoras de software. 6. La apuesta es a largo plazo, pero con foco en lo diario. Las empresas necesitan de la prueba y el error.
  • 61. Big Data es pensar en nuevos modelos de negocio basados en las necesidades del futuro