2. 2
Presentation Title | Date
Diferencia entre Business Intelligence y Big
Data
Business Intelligence te ayuda a encontrar
respuestas a preguntas conocidas, Big Data te
ayuda en encontrar las cuestiones que no sabes
preguntar
4. 4
Presentation Title | Date
Historia
En un tiempo, las
organizaciones dependían
de sus departamentos
de sistemas de información
para proporcionarles reportes
estándar y personalizados.
Esto ocurrió en los días de
los mainframes y mini
computadoras, cuando la
mayoría de los usuarios
no tenía acceso directo a las
computadoras.
Sin embargo, esto comenzó a
cambiar en los años 70’s
Cuando los sistemas basados
en servidores se convirtieron
en la moda. Con el paso del
tiempo, fueron desarrollados
los sistemas de información
ejecutiva (EIS, por sus siglas
en inglés), los cuales fueron
adaptados para apoyar a las
necesidades de ejecutivos y
administradores
HISTORIA
5. 5
Presentation Title | Date
Definición Business Intelligence
Business Intelligence es la habilidad para transformar los datos en
información, y la información en conocimiento, de forma que se
pueda optimizar el proceso de toma de decisiones en los negocios.
Business Intelligence es el conjunto de metodologías, aplicaciones y
tecnologías que permiten reunir, depurar y transformar datos de los
sistemas transaccionales en información estructurada, para su
explotación directa o para su análisis y conversión en conocimiento,
dando así soporte a la toma de decisiones sobre el negocio.
6. 6
Presentation Title | Date
Arquitectura de sistemas de información
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos
• Planificacion
• Control
•
•NIVEL
DECISIÓN
A LA
NIVEL
GESTIÓN
ECURSOS
MERCAD HUMANOS
NIVEL
PRODUCCIÓN
CONEXIÓN ADMINISTRAC.
Red de Ce
Proveedor
MERCAD
ntros
es
CUADRO
DE MANDO
AYUDAS
DECISIÓN
O
CALIDAD
CONTROL
DE
GESTIÓN
R
ESTRUCTURA
PRODUCTOS
Y SERVICIOS
ADMINIS
INTERIOREXTERIOR
7. 7
Presentation Title | Date
Business Intelligence en la Arquitectura
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos
• Planificacion
• Control
•
•NIVEL
DECISIÓN
A LA
NIVEL
GESTIÓN
ECURSOS
MERCAD HUMANOS
NIVEL
PRODUCCIÓN
CONEXIÓN ADMINISTRAC.
Red de Ce
Proveedor
MERCAD
ntros
es
CUADRO
DE MANDO
AYUDAS
DECISIÓN
O
CALIDAD
CONTROL
DE
GESTIÓN
R
ESTRUCTURA
PRODUCTOS
Y SERVICIOS
ADMINIS
INTERIOREXTERIOR
10. 10
Presentation Title | Date
Componentes de un modelo de BI –
Data Warehouse
“Un DataWarehouse es un conjunto de datos orientado
a temas, integrado, no volátil, estable y que se usa para
el proceso de toma de decisiones”. Un DataMart es un
subconjunto sectorial del DW a menudo perteneciente a
un departamento concreto.
Data
Warehouse
11. 11
Presentation Title | Date
Componentes de un modelo de BI –
Query y Reporting
Son las herramientas para la elaboración de informes y listados, tanto en detalle como
sobre información agregada, a partir de la información de los DataWarehouses y
DataMarts.
12. 12
Presentation Title | Date
Componentes de un modelo de BI –
OLAP
OLAP (ONLINE ANALYTICAL PROCESSING)
Es un conjunto de tecnologfas y aplicaciones de software que permite recoger
los datos de la compañfa, almacenarlos e indagar sobre ellos de forma rapida
e intuitiva. Se trata de crear una ‘capa de negocio’ con lenguaje funcional por
encima de estructuras complejas de la Base de Datos.
13. 13
Presentation Title | Date
Ejemplos de Business Intelligence
Sector Ejemplo
Empresa conservera Mediante la implantación de un sistema de soporte a la
decisión (DSS), y tras el análisis minucioso de los datos
históricos que guardaba la compañía, resultó posible
rediseñar todo el proceso logístico y de almacenamiento
productivo hasta el punto de incrementar la rentabilidad
económica de la misma en un 10%.
Cadena de
supermercados
Una conocida cadena de supermercados ha recurrido a un
sistema de Business Intelligence para averiguar cual era el
perfil de sus clientes más rentables e intentar hacer lo posible
para fidelizarlos.
Walmart Colocando Pañales al lado de la cerveza
14. 14
Presentation Title | Date
Conclusión BI
“BI ayuda a rastrear lo que en realidad
funciona y lo que no”.
Bill Gates
17. Que es Big Data?
80%
De los datos del
mundo no están
estructurados
Muchos PBs 25+ TBs 12+ TBs 30 billiones 4.6 billiones 100s de 2+ billiones 76 milliones
de datos de datos de datos de tags de RFID de smart millones de de gente en de
diario diario tweet diarios diarios (1.3B phones en la GPS la red a medidores
in 2005) red vendidos finales del inteligentes
anualmente. 2011 en 2009
19. Big Data – ¿Qué es todo eso?
economías, la entrega de una nueva ola de margen de operación en más de un 60% "
“Los encuestados estiman que, para procesos en los que se ha aplicado análisis de datos
grandes, en promedio, han visto una mejora del 26% en el rendimiento en los últimos tres años, y
se espera que mejore en un 41% en los próximos tres.”
&
“El manejo de datos y la toma de decisiones basado en los datos pueden explicar el 5-6% en
producutividad más allá de lo que se puede explicar por los insumos tradicionales y el uso de TI. “
MIT – Strength in Numbers – April 2011
“El uso eficaz de grandes volúmenes de “Estimamos que un minorista que abarca grandes
datos tiene el potencial para transformar las de datos tiene el potencial de aumentar el
crecimiento de la productividad ... Uso de
grandes volúmenes de datos se convertirá “$300bn – el ahorro potencial en salud de EE.UU.”
en una base clave para la competencia ...”
“$250bn – el potencial de ahorro en el sector público europeo”
McKinsey Institute – Big Data: La próxima frontera para la innovación, la competencia y la productividad - Mayo 2011
20. Las 3V del Bid Data
Volúmen Exponencial:
•
•
Más y más dispositivos
Cada dispositivo genera más y más datos
Variedad : Datos estructurados o no estructurados
• Es sobre un mundo interconectado con múltiples fuentes
• Trabajar con datos poco estructurados o sin estructurar.
Velocidad : Esto no es sobre velocidad tecnológica
• Es sobre el valor de los datos
• El valor de los datos decrece cada minuto!
21. ¿Qué es Big Data y porqué es tan importante?
de negocio para M&E –
+ =
Investigación don datos
mundo
Nuevas oportunidades:
Tesco & Wal-Mart –
Conocimiento del cliente
Netflix – Nuevos modelos
basado en análisis
Amazon - Inteligencia de
consumidor
Seguridad Pública –
en tiempo real
Transformación del
Nuevas Fuentes de
Datos:
571 sitios web son creados
cada minuto.
Más dispositivos
conectados a internet que
personas.
34,722 “Likes” por marca
en facebook cada minuto
Más información acerca
de lo que hacemos.
Tecnología que puede:
Distribución de los datos
por más de 100 tipos de
dispositivos de hardware
conocidos
Administración de los
datos (estructurados y no
estructurados)
(ejemplo: Hadoop,
MapReduce, R, Cassandra,
Endeca,Aster, Vertica, …)
Bajos costos &
volúmenes masivos
22. Procesamiento y Almacenamiento en Memoria
Mejoramiento del performance significa :
1 - 10 ratio : 10’’ y 20’’ comienza a ser instantaneo
1 - 100 ratio : 2 minutos se vuelve 1 segundo
1 - 1000 : 2 horas son 10 segundos
48 horas de procesamiento pueden correr en
3 minutos!
En un appliance de memoria
40 x86 cores, 1TB of RAM
Por solo 100 K EUR !
23. Cluster de Big Data Hadoop
Esquema con HadoopEsquema Actual
HW dedicado con altos costos de propiedad y operación.
Construido para el desempeño
Diseñado para altos volumenes (ej: 10s of TB)
Alta disponibilidad
Inicialmente desarrollado para BD estructuradas (tradicionales)
Soluciones muy maduras (características, SW, HW, administración)
Diseñado para datos modelados y estructurados
Negocio como una manera usual de diseñar, construir y entregar.
Marcas: Teradata, Exadata, Netezza, HANA, ...
Utiliza PCs comunes
Construido para una escalabilidad extrema
Diseñado para volumenes extremos (10s en PB y
más)
Muy alta disponibilidad
Inicialmente desarrollado para Web
No está lo suficientemente maduro
Hadoop = Lenguaje de Estructuración de Datos
26. Proceso de Big Data
Adquisición Ordenamiento Análisis Acción
analisis de gente para despues
Maquina ( más communes con
automática de clientes para
Tecnología BPM / Desciciones
Sistemas de información de
Gobernabilidad de datos
Colección de datos de
diferentes fuentes
"La adquisición constante"
ETL, pero a menudo en
tiempo real tradicional
debido al volumen y la
velocidad
Como los datos siempre son
externos hay problemas de
seguridad y confianza.
Licencia para los datos /
problemas de privacidad por
los datos externos
Datos abiertos ( publicidad
disponible
Organizacion y
almacenamiento de
datos
Altos volumenes siempre
alimentados.
Se neceistan definir como
serán consumidos (tiempo
real , ASAP, historico) y
filtrados apropiadamente.
Formato – estructurado,
semi-estructurado no
estructurado
Modelado– desde cada
renglón hasta formas
complejas de estructura.
Encontrando ideas y
modelado predictivo
Predicción en lugar de
histórico
Modelar el comportamiento -
la forma en que reaccionan
los clientes? ¿Cuándo es el
momento óptimo para
reemplazar las piezas ....
Analisis, de texto, video y
voz
Usando ideas para
cambiar los resultados
empresariales
Las salidas son:
Humano (ej. Reportes y
actuar sobre ellos)
Big Data) – ej.. evaluación
ajustar oferta(e.g. Amazon)
en tiempo real
socios
27. Tecnología del proceso de Big Data
Adquisición Ordenamiento Análisis Acción
tiempo real (Oracle RTD – real
Monitoring)
(Autonomy, Attensity...)
eventos(CEP) – ETL tools eg
Gestión de Datos Maestros + Calidad de Datos + Metadata + Gestión del Ciclo de Vida de los Datos
• Extracción (Aspire)
• ETL
• Integración en tiempo real
o SOA / Web Services
(eg Facebook)
o Eventos
o Enterprise Service Bus (ESB)
o Change Data Capture (CDC)
o RSS feeds
• Open data
• Social Network
• Whatsapp, Skype, etc.
• Los datos están aquí!
• Hadoop / MapReduce
• Otros almaceniamientos
distribuidos utilizando SQL (eg
AsterData, Neo4J, MongoDB,
MarkLogic…)
• Large Data Warehousing
• Large Content Management
Solutions
• inMemory (eg Oracle Endeca,
SAP HANA)
• Streaming (ESB / Information
Service Bus)
• Remover los datos que no son
útiles.
• BI (SAP Business Objects, IBM
Cognos, Microstrategy,
Exalytics…)
• Analisis predictivo(SAS, SPSS)
• Modelado matemático (eg
Mathematical Prediction)
• Minería de Texto, audio y video
• Procesamiento complejo de
Informatica, IBM Streams..
• BPM (Pega...)
• Herramientas de analisis en
time decision, SPSS, SAS)
• BAM (Business Activity
• Push (mail / mobile BI)
• ESB, SOA
28. 28
Presentation Title | Date
Ejemplos de Big Data
Sector Ejemplo
Retail
Gran Consumo
Análisis de Redes Sociales para
entender las tendencias y preferencias
de Consumidores (Facebook, Twitter)
Manufactura Vibraciones de maquinas para ayudar en
definir el tiempo optimo hasta la
sustitución
Manufactura Análisis de Redes Sociales para
entender posibles defectos de productos
(Coches, Maquinas) que se discuten
abiertamente
Salud Análisis de Expedientes Clínicos para
entender que padecimientos requieren
que tipo de tratamiento y prevenir
reingresos costosos
Futbol Análisis de videos y otra información de
partidos para determinar la estrategia a
ganar
29. 29
Presentation Title | Date
Solution:
• Big Data established as a “shared service” across
multiple LOBs..
• Business Cases: Next Best Action, Sentiment Analysis,
Cross-Sell/Upsell, Fraud Analytics, Mortgage
Dispositions
Business Challenge:
• Global bank establishing “Analytics” as a core
competency. Bank focusing on Information and Data
as strategic asset.
• Bank is focused on Big Data as key analytics tool and
establishing a Big Data COE to be leveraged into
multiple lines of business of the bank – retail, cards,
commercial
Big Data Deployments In Financial Services
Global Bank
30. 30
Presentation Title | Date
Case Studies: Global Customer Products
Company
Global
Consumer
Products
Company
Jive
Radian6
Adobe
Omniture
Eloqua
Social media analytics services. Listen, monitor and engage to the social
conversation with Jive and Radian6 cloud solutions. Don’t miss a word customers
say about you, no matter in what language or location. Open 24x7x365 around the
globe
Web analytics services. Transform website traffic data into intelligence and
actionable insights with Adobe Omniture, Discover and Insight. Built to transform
large amounts of off- and online data
Email and web-based marketing campaign services. Automate and align multi
channel marketing campaigns with Eloqua campaign management. From lead
nurturing to multi channel effectiveness all by one cloud-based marketing
automation experience
Search-marketing management services. Manage multiple advertisement
accounts across multiple platforms as Google, Bing and others form a single
interface with Adobe SearchCenter. Manage ad spend, click through, conversion
and add creatives directly
31. 31
Presentation Title | Date
Big Data Deployment: From Satellite to Mobile
device
Capgemini Austria
TU Vienna / IPF
Capgemini
Aerospace & Defense
GeoVille
Delivery Consortium
Office of the Styrian Government
Dept. for Protective Hydraulic Eng. &
Soil Water Management
Federal government of Lower Austria
Department for fire department and civil
protection
(Exemplary) End Users / “Clients”
New Business Model or Business Model
Improvement
The FAAPS processing chain
accesses EO data and
generates geo-coded
flood information
Scientific community
provides with
scientific algorithms
Satellite creates Earth
Observation (EO) data
Disaster Management Centers access
flood information
Rescue Teams access flood information
via mobile devices
Big Data Solution
ESA is advertising us: http://iap.esa.int/projects/security/faaps
32. Arquitectura de una Solución para Seguridad
Monitoreo Redes Sociales
NoticiasVideo Wall
Sistema Alertas
- Palantir + CCTV Solution
- ARCGIS + Palantir
Indicadores & KPIs
Reconocimiento Facial
Bio-AnálisisHerramienta Investigación
- Palantir
- Palantir
- Palantir
Big Data
(Estructurado y No Estructurado)
Datos Públicos Datos Privados Entidades de Justicia
Otras
Fuentes
Datos
Bancarios
Otras
Fuentes
Internet IFAI Telefonía Intercepción Demandas
Every industry has very specific use cases that drive Big Data Success.
In areas such as…
Transportation & Logistics that are detecting Fraudb efore it happens– (Timocom)
Driving Sales by incorporating Environmental Data such as weather with PoS data (Sheets)
Web Traffic Monitoring to determine customer behavior– GSI Commerce
When you know your goals and fully understand your data requirements then you know what data you need to collect.
It is then you can make a decision on what infrastructure you need.
Point of slide – Establish how quickly data is growing. If you don’t have big data now you might soon.
Data only grows. And Big Data is growing exponentially.
Why?
Growth of existing data sources, with sophistocation of computer tracking of shipments, sales, suppliers, and customers, as well as e-mail, and web traffic.
Growth of new data sources and types such as geospatial, social media comments, mobile, etc