SlideShare une entreprise Scribd logo
1  sur  77
Septiembre 12, 2015
Bogotá, Colombia
#sqlsatBogota
Ing. Eduardo Castro, PhD
MVP de Microsoft SQL Server
PASS Regional de Mentor
PASS Board of Directors
ecastro@simsasys.com
http://www.youtube.com/eduardocastrom
Microsoft Big Data Stack
Introducción a los Big Data
 ¿Qué es el Big Data?
 ¿Qué es Hadoop?
 Introducción a Map / Reduce
 Soluciones de Big Data de Microsoft
Qué es un Petabyte
Tomado de http://www.informatica-hoy.com.ar/aprender-informatica/Que-es-Petabyte.php
Un Terabyte son 1024 Gigabytes. 1 Gigabyte = 1024
Megabytes.
Un Petabyte es una unidad de almacenamiento de información
cuyo símbolo es PB, equivale a 1024 Terabytes =
1.125.899.906.842.624 de bytes.
Qué es un Petabyte
Tomado de http://www.informatica-hoy.com.ar/aprender-informatica/Que-es-Petabyte.php
 1 Petabyte es suficiente para almacenar 13.3 años de video HD
 1.5 Petabytes son necesarios para almacenar 10 Billones de
fotos de Facebook
 Google procesa alrededor de 24 Petabytes de información por
día.
 Avatar, la película de James Cameron del 2009, usó 1 Petabyte
de información para realizar los efectos especiales.
 AT&T, el carrier del iPhone en Estados Unidos, transmite 19
Petabytes de datos por mes.
¿Qué es el Big Data?
 Datos que son demasiado grandes o complejos para el
análisis de bases de datos relacionales tradicionales
 Caracterizado por las tres” V”
 Volumen - Enormes cantidades de datos
 Variedad - Una mezcla de datos estructurados y datos no
estructurados
 Velocidad - Nuevos datos generados extremadamente rápido
Dominio Escenarios de grandes volúmenes datos
comunes
Servicios financieros Modelado riesgo verdadero
Análisis de las amenazas y detección de fraude
Vigilancia Comercio
El puntaje de crédito y análisis
Medios y Entretenimiento Los motores de recomendación
Focalización Ad
Buscar calidad
Los abusos y detección de fraude de clics
Venta al por menor Punto de análisis de las transacciones de
ventas
Análisis de la pérdida de clientes
El análisis de sentimientos (sentiment
analysis)
Telecomunicaciones Cliente prevención del churn
La optimización del rendimiento de la red
Detalles de llamadas (CDR) y su análisis
Predicción de fallos de red
Gobierno Seguridad Cibernética (botnets, fraudes)
La congestión del tráfico y re-enrutamiento
Monitoreo Ambiental
Monitoreo Antisocial través de medios sociales
Salud La investigación del genoma
La investigación del cáncer
Pandemias detección temprana
Monitoreo de la calidad del aire
Casos en los cuales se utiliza Big Data
 Parte de lo que hace Hadoop y otras tecnologías y
enfoques Big Data es encontrar respuestas a preguntas
que ni siquiera saben que preguntar.
 Dar lugar a ideas que conducen a nuevas ideas de
productos o ayudar a identificar formas de mejorar la
eficiencia operativa.
 Casos de uso ya identificadas para Big Data, tanto para
los gigantes de internet como Google, Facebook y
LinkedIn, y para la empresa más tradicional
Casos en los cuales se utiliza Big Data
Sentiment Analysis
 Utilizado junto con Hadoop, herramientas avanzadas de análisis
de texto analizan el texto no estructurado de las redes sociales y
mensajes de redes sociales
 Incluyendo los Tweets y mensajes de Facebook, para determinar
la confianza del usuario en relación con determinadas empresas,
marcas o productos.
 El análisis puede centrarse en el sentimiento a nivel macro hasta
el sentimiento usuario individual.
Casos en los cuales se utiliza Big Data
Modelado de riesgo
 Las empresas financieras, bancos y otros utilizan Hadoop y Next
Generation Data Warehouse para analizar grandes volúmenes de
datos transaccionales para determinar el riesgo y la exposición de
los activos financieros
 Para preparar la posible "qué pasaría si" los escenarios
basados ​​en el comportamiento del mercado simulado, y para
puntuación de clientes potenciales por el riesgo.
Casos en los cuales se utiliza Big Data
Motor de recomendación
 Los minoristas en línea utilizan Hadoop para igualar y recomendar
a los usuarios entre sí o con los productos y servicios basados ​​en
el análisis del perfil de usuario y los datos de comportamiento.
 LinkedIn utiliza este enfoque para potenciar su función de "la
gente puede saber", mientras que Amazon utiliza para sugerir
productos a la venta a los consumidores en línea.
Casos en los cuales se utiliza Big Data
Detección de Fraude
 Utilizar técnicas de Big Data para combinar el
comportamiento del cliente, históricos y datos de
transacciones para detectar la actividad fraudulenta.
 Las compañías de tarjetas de crédito, por ejemplo, utilizan
tecnologías de Big Data para identificar el comportamiento
transaccional que indica una alta probabilidad de una tarjeta
robada.
Casos en los cuales se utiliza Big Data
Análisis de la campaña de marketing
 Los departamentos de marketing a través de industrias han
utilizado durante mucho tiempo la tecnología para monitorear
y determinar la efectividad de las campañas de marketing.
 Big Data permite a los equipos de marketing para incorporar
mayores volúmenes de datos cada vez más granulares,
como los datos de click-stream y registros detallados de
llamadas, para aumentar la precisión de los análisis.
Casos en los cuales se utiliza Big Data
Análisis Social Graph
 Junto con Hadoop los datos de redes sociales se extraen para
determinar qué clientes representan la mayor influencia sobre
los demás dentro de las redes sociales.
 Esto ayuda a determinar las empresas que son sus clientes
"más importantes", que no siempre son los que compran la
mayoría de los productos o de los que más gastan, pero los
que tienden a influir en el comportamiento de compra de la
mayoría de los demás.
Casos en los cuales se utiliza Big Data
Customer Experience Analytics
 Empresas orientadas al consumidor utilizan Hadoop y
tecnologías relacionadas con Big Data para integrar los
datos de antes silos canales de interacción con clientes
 Tales como centros de llamadas, chat en línea, Twitter, etc,
para obtener una visión completa de la experiencia del
cliente.
Científico de datos
 Ciencia de datos: un término utilizado indistintamente con
inteligencia de negocio o análitica empresarial
Qué es ciencia de datos?
 Descubrir lo que nó sabemos de los datos
 Obtener conocimiento de los datos, que permita hacer
predicciones y tomar acciones
 Crear soluciones basadas en datos que tienen impacto en el
negocio
 Relacionar los datos con el negocio
 Crear confianza en la toma de decisiones que brindan valor
para el negocio
Científico de datos
 Un científico de datos incorpora técnicas y teorías de muchos
campos, incluyendo las matemáticas, la estadística, la ingeniería de
datos, reconocimiento de patrones, aprendizaje avanzado ,
visualización, modelado de la incertidumbre, almacenamiento de
datos y la computación de alto rendimiento con el objetivo de
extraer el significado de datos.
Quién es un científico de datos?
Alguien mejor en las estadísticas que cualquier ingeniero
de software, y alguien mejor
en la ingeniería de software que cualquier estadístico
Qué es un Data Scientist?
Un científico de datos definitivamente tiene un mucho mayor
comprensión de la informática y se espera que él desarrolle
herramientas o que utilice algunas herramientas no estándar
para las necesidades de productos o las necesidades de la
empresa.
Qué es un Data Scientist?
Data Science London. 2013.
10 Cosas que hacen los científicos de datos
 Modelar datos, modelar algoritmos
 Entender las relaciones de los datos
 Decirle a la máquina cómo aprender de los datos
 Crear soluciones de datos que entregar conocimiento para
tomar decisiones
 Expresar los datos con conocimiento que es relevante para el
negocio
Data Scientist Toolkit
 Java, R, Python… (bonus: Clojure, Haskell, Scala)
 Hadoop, HDFS MapReduce… (bonus: Spark, Storm)
 HBase, Pig Hive… (bonus: Shark, Impala, Cascalog)
 ETL, Webscrapers,Flume, Sqoop… (bonus: Hume)
 SQL, RDBMS, DW, OLAP…
 Knime, Weka, RapidMiner…(bonus: SciPy, NumPy, scikit-learn,
pandas)
 D3.js, Gephi, ggplot2, Tableu, Flare, Shiny…
 SPSS, Matlab, SAS
 NoSQL, Mongo DB, Couchbase, Cassandra
 MS-Excel: la herramienta más utilizada
Almacenamiento
adaptadores
Corriente
tratamient
o
Gateways Nube
(APIs web)
Field
gateways
Aplicaciones
Búsqueda y consulta
Análisis de datos (Excel)
/ Cliente pesado Web
cuadros de mando
Dispositivos
Kafka /
RabbitMQ /
ActiveMQ
Web y Social
Dispositivos
Sensore
s
Aplicaciones de datos
intensivos
Activity Queue
Azure Storage
Google Analytics
Logs
Azure Storage
Email DBs
SQL Azure x 16
Username DBs
SQL Azure x 16
User Profiles
SQL Azure x 400
Activity Table
X 50 Partitions
Azure Storage
IIS Logs
Azure Storage
Data Analysis: Staging
Virtual Machine
Data
Warehouse
Reporting
Services
Activity Processors
Worker Roles x 2
Cache
Users and Friends Feed
Games and Leader Boards
Resources and References
Distributed Cache x 32
Cache Tasks
Worker Roles x 4
Back Office
Web Roles x 2
Background Tasks DB
Utility DB, Content
DB, Taxonomy DB
SQL Azure
Web Application
Web Roles x 180
Web Service/API
Web Roles x 2
Moderation
Service/Appliance
CRISP/3rd
Party
Qué es Hadoop?
 Hadoop es un proyecto de código abierto, supervisado por la
Apache Software Foundation
 Originalmente basado en documentos publicados por Google
en 2003 y 2004
 Hadoop es un ecosistema, no un solo producto
 Hadoop trabaja en diversas organizaciones e incluye
Facebook, Yahoo!, Twitter, Cloudera, Hortonworks
29
Hadoop Timeline
• Iniciado por Doug Nutch en Yahoo! a principios del 2006
• Hadoop 2.x, lanzado en el 2012, es la base para todas las
distribuciones Hadoop actuales y estables
• Apache Hadoop 2.0.xx
 CDH4.*
 HDP2.*
30
¿Qué es Hadoop?
• Clusters de Hadoop
• Varios servidores con un sistema de archivos compartido
denominado HDFS
• Las solicitudes de cliente son atendidos por el “Name Node”
• Varios nodos de datos procesan los datos mediante Map/Reduce
• Proyectos relacionados
• Hive
• HCatalog
• Pig
• Oozie
• Mahout
Hadoop - Inspiración
32
Google Equivalente de Hadoop
GFS HDFS
MapReduce Hadoop MapReduce
Sawzall Hive, Pig
BigTable HBase
Chubby ZooKeeper
Pregel Giraph
Google obtuvo una patente para “map reduce – un sistema de procesamiento de
datos de gran escala" en 2010, pero favorece a Apache Hadoop mediante la
concesión de una licencia.
Estrategia de datos tradicional
ETL Tools DW / Marts BI Analytics
comercial
Informatica Teradata Microstrategy SAS
Oracle Data Integrator Oracle OBIEE TIBCO Spotfire
IBM Datastage DB2, Netezza Cognos SPSS
Microsoft SSIS SQL server Microsoft SSRS
EMC Greenplum
Open source Talend mySQL Pentaho , Jaspersoft R, RapidMiner
Estrategia con Hadoop
34
Hadoop puede complementar el ambiente DW existente así como reemplazar
algunos de los componentes de una estrategia de datos tradicionales.
Componentes de Hadoop
• Almacenamiento
• HDFS – Es un Sistema de archivos NO una DBMS
• HBase - Almacenamiento columnar que sirve de baja latencia de lectura / escritura a petición
• Extraer - Cargar
• Fuente / Destino es RDBMS - Sqoop, hiho
• Stream processing - Flume, Scribe, Chukwa, S4, Storm
• Transformación
• Map-reduce (Java u otro lenguaje), Pig, Hive, Oozie etc.
• Talend e Informatica han construido productos para abstraer la complejidad de la map-reduce
35
Componentes de Hadoop
• Analytics
• RHadoop, Mahout
• BI – Todas las empresas actuales poseen conectores de Hadoop
36
Ecosistema de Hadoop
37
Ecosistema de Hadoop
38
Pig Latin
• Lenguaje orientado a flujo de datos
• Idioma de alto nivel para el enrutamiento de datos, permite la fácil integración de Java para
tareas complejas
• Tipos de datos incluyen conjuntos, matrices asociativas, tuplas
39
• Herramientas de cliente
• El Pig Interpreter convirte el pig-script a Java map-
reduce y los envía mediante el JobTracker
• No instala adicional necesario en el Hadoop Cluster
• Desempeño de Pig ~ 1.4x Java MapReduce, pero
necesitan menos líneas de código ~ 1/10th
• Desarrollado por Yahoo!
Hive
• Aplicación de datawarehouse basado en SQL
• Conjunto de características es similar a Pig pero se asimila a TSQL
• Soporta SELECT, JOIN, GROUP BY, etc.
• Utiliza la filosofía “Schema on Read”
• Características para el análisis de grandes conjuntos de datos
• Partition columns
• Sampling
• Buckets
• Requiere la instalación de metastore en cluster de Hadoop
• Desarrollado por Facebook
40
HBase
 Distribuido, versionado, orientada a la columnas basado en HDFS
 Objetivo: para almacenar las tablas con miles de millones de filas y millones columnas
 Proporciona una opción de "baja latencia" (OLTP) Lee y escribe junto con el soporte para el
modelo de procesamiento por lotes de map-reduce
 Cluster de HBase consiste en un único "maestro HBase" y varios "RegionServers“
 Facebook utiliza HBase para impulsar su infraestructura de mensajería
 Estadísticas - servicio de Chat soporta más 300 millones los usuarios que envían mensajes
más 120 billones por mes
 Valores NULL no se almacena por diseño y parece tabla típica del almacenaje
41
Row-key Column-family Column Timestamp Value
1 CF Name Ts1 Vijay
1 CF Address Ts1 Mumbai
1 CF Address Ts2 Goa
Sqoop
 RDBMS hacia Hadoop
 Herramienta de línea de comandos para importar cualquier JDBC de base de datos hacia Hadoop
 Y también exportar datos de Hadoop a cualquier base de datos
 Genera trabajos de map-reduce para conectar a los registros de base de datos y
lectura/escritura
 DB conectores específicos aportados por los proveedores –
 Oraoop for Oracle by Quest software
 Teradata connector from Teradata
 Netezza connector from IBM
 Desarrollado por Cloudera
 Oracle ha llegado con "Oracle Loader para Hadoop" y afirman que
está optimizado para "Oracle Database 11g"
42
Flume
 Flume es un servicio distribuido, fiable y disponible para mover eficientemente grandes
cantidades de datos a manera como se produce, casi en línea
 Desarrollado en Cloudera
43
Machine Learning
• Apache Mahout
• Biblioteca de aprendizaje máquina escalable la mayoría de los algoritmos implementados sobre Apache
Hadoop utilizando map/reduce
• Algoritmos soportados –
• Recomendación minería - toma el comportamiento de los usuarios y encontrar artículos dijeron le
gustaría usuario especificado.
• Agrupamiento - toma por ejemplo, documentos de texto y grupos de ellos basados en temas
relacionados con documento.
• Clasificación- Aprende de los documentos existentes categorizados cómo documentos categoría
específica y es capaces de asignar documentos sin etiqueta a la categoría adecuada.
• Frequent item set mining - Toma un conjunto de elemento de grupos (e.g. términos en una sesión
de consulta, contenido del carrito de compras) e identifica, qué elementos individuales típicamente
aparece juntos.
• RHadoop (Revolution Analytics) y RHIPE (Purdue University) permiten ejecutar programas R en Apache
Hadoop
44
Plataforma de Big Data Micrsooft
Soluciones Big Data Microsoft
 SQL Server Parallel Data Warehouse
 Appliance para data warehouse corporativo
 Procesamiento paralelo masivo (MPP), arquitectura de Shared-
Noting
 Windows Azure HDInsight
 Implementación de Hadoop basada en la nube
 Disponible como un servicio de Microsoft Azure
 Polibase
 Tecnología de integración de SQL Server Parallel Data Warehouse
y HDInsight
Integración con herramientas Microsoft
Integración con las
herramientas de
Análisis de Microsoft
APPLICATIONSDATASYSTEMS
Aplicaciones Microsoft
HORTONWORKS
DATA PLATFORM
For Windows
DATASOURCES
MOBILE
DATA
OLTP, POS
SYSTEMS
Fuentes tradicionales
(RDBMS, OLTP, OLAP)
Nuevas Fuentes
(web logs, email, sensor data, social media)
HDInsight: HadoopOnAzure.com
48
Hadoop y Kafka
Centro de datos en
directo
Centro de datos fuera
de línea
HadoopHadoopDev
Hadoop
InterfazInterfazLos
consumidoresre
s en tiempo real
KafkaKafkaKafka
KafkaKafkaKafka
HadoopHadoopPROD
Hadoop
¿Apache Storm?
4
Fácil de programar
Una plataforma de
procesamiento en tiempo
real distribuido
Tolerante a fallos
Se espera que que falle y
esta preparado para
recuperarse
Rápido
Velocidad de 1M +
mensajes por segundo
por nodo
Escalable
Miles de workers por
grupo
Seguro
Entrega de mensajes
garantizada
Exactamente una vez
Análisis de
Streaming de
datos
Storm Cluster
5
5
http://files.meetup.com/15878892/Storm%20Presentation.pptx
Casos de uso de Storm
7
Entrada Operadores (Ejemplos) Lookup Salida
Lenguaje De
Programación
Automoviles
Conectados
Event hubs
Window based aggregation,
Join stream/split stream
HBase, ML DocumentDB C# hybrid, Java
ETL Event Hubs
Partitioning/
organize
N/A WASB Java
IoT Event Hubs Window based aggregation Hbase, ML
DocumentDB,
HBase
Java
Detección
Fraude
ServiceBus
Queue
Filter ML Hbase C# hybrid
Análisis Sociales Twitter Groupby/trending topics N/A
Realtime dashboard
(BI)
Trident
Supervisión de
la red
Kafka Split (on success/ failure) ML SQL C# hybrid
Búsqueda de
Log
Storage
Queue/ Event
Hub
Parsing & index N/A Elastic Search Java
Dispositivos
Moviles
Eventhub Count HBase SignalR C# hybrid
iter. 1 iter. 2 . . .
Entrada
Intercambio de Datos en
Spark
Repartido
memoria
Entrada
consulta 1
pregunta 2
consulta 3
. . .
una vez
tratamiento
10-100× más rápido que la red y el disco
Qué es Azure Stream Analytics
 La automatización de la automatización
 Utilizar computadoras para programar computadoras
 Escribir software es el cuello de botella
 Deje que los datos hagan el trabajo!
Qué es el aprendizaje autómático o Machine Learning
Flujo en Azure Machine Learning
Flujo en Azure Machine Learning
Flujo en Azure Machine Learning
Flujo en Azure Machine Learning
Alto rendimiento y
optimizado en el
hardware
Autenticación del
usuario final con
Active Directory
Accesible para todo
el mundo con las
herramientas de
Microsoft BI
Administrado y
monitoreado
utilizando System
Center
100-por ciento
Apache Hadoop
SQL Server
Parallel Data
warehouse
Microsoft
HDInsight
Polibase
APS listo para la empresa Hadoop con HDInsight
Manejable, asegurado, y de alta disponibilidad Hadoop integrado dentro del aparato
(HDFS) Bridge
Resultado
s
Acceso directo y paralelo a HDFS
Data Movement Service (DMS) of APS APS para permitir la comunicación directa entre HDFS datos nodos y nodos de computación
PDW
Los datos no relacional
Aplicaciones
Social
Sensor
y RFID
Móvil
aplicaciones
Web
aplicaciones
Hadoop
Los datos relacionales
Basado esquema tradicional
almacén de datos
PDWPuente HDFS
Enhanced PDW
query engine
La tabla externa
Los datos
externos
Archivo
externo
Regular
T-SQL
62
SSIS hacia HDInsight
63
SSIS
Procesamiento
SSAS
Tabular
de Datos de
Autoría
SQOOP, HiveODBC,
Templeton, CSV, etc
Conectividad de BI
Big Data Utilice Excel!
2 Servidores, 3 meses
110 GB
Archivos
Binarios
SSIS
SSIS
SSIS
SSIS extraer
1.2GB de texto
120MB gz
Hadoop hacia
PowerPivot
6MB
PowerPivot Hoja de Excel de HoA Audit data
Power View de HoA Audit Data
Nombre de la demo
#sqlsatBogota
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia5 |
#sqlsatBogota
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia6 |
Preguntas y Respuestas
Capítulos Organizadores del SQL Saturday
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia7 |
Patrocinadores del SQL Saturday
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia8 |
Planea asistir al PASS Summit 2015? Comience a ahorrar hoy!
• El más grande evento del mundo que reúne a profesionales de SQL Server y BI
• Adquiera habilidades en SQL Server a un nivel superior al aprender de los mejores
expertos del mundo de SQL Server, en más de 190 sesiones técnicas
• Más de 5.000 registros, que representan a 2.000 empresas, de 52 países, listos para la
red y aprender
Ahorre $150 en este momento
pregunta por el código de
descuento
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia9 |
Sea cual sea su pasión datos - hay un capítulo virtual para
usted!
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia10 |
Septiembre 17 | 12:00 UTC
Sesiones previas del PASS Summit 2015, obtenga 24
Horas de formación de SQL Server y BI de forma
gratuita!
Regístrese hoy: 24hoursofpass.com
Evaluación
Sesión: http://www.sqlsaturday.com/448/sessions/sessionevaluation.aspx
Evento: http://www.sqlsaturday.com/448/eventeval.aspx
#sqlsatBogota
12/9/2015 | SQL Saturday #448 – Bogotá, Colombia12 |
Gracias !!!

Contenu connexe

En vedette

SQL 2016 Mejoras en InMemory OLTP y Column Store Index
SQL 2016 Mejoras en InMemory OLTP y Column Store IndexSQL 2016 Mejoras en InMemory OLTP y Column Store Index
SQL 2016 Mejoras en InMemory OLTP y Column Store IndexEduardo Castro
 
Servicios cognitivos y su integración
Servicios cognitivos y su integraciónServicios cognitivos y su integración
Servicios cognitivos y su integraciónEduardo Castro
 
Introduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesIntroduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesEduardo Castro
 
Cuadros de mando BI con SQL Server
Cuadros de mando BI con SQL ServerCuadros de mando BI con SQL Server
Cuadros de mando BI con SQL ServerEduardo Castro
 
Big Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeBig Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeEduardo Castro
 
Big data con SQL Server 2014
Big data con SQL Server 2014Big data con SQL Server 2014
Big data con SQL Server 2014Eduardo Castro
 
Que debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre HadoopQue debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre HadoopEduardo Castro
 
Deep learning image classification aplicado al mundo de la moda
Deep learning image classification aplicado al mundo de la modaDeep learning image classification aplicado al mundo de la moda
Deep learning image classification aplicado al mundo de la modaJavier Abadía
 
Vistazo a SQL Server 2016
Vistazo a SQL Server 2016Vistazo a SQL Server 2016
Vistazo a SQL Server 2016Eduardo Castro
 
Introducción al SQL Server 2016 Query Store
Introducción al SQL Server 2016 Query StoreIntroducción al SQL Server 2016 Query Store
Introducción al SQL Server 2016 Query StoreEduardo Castro
 
Que hay de nuevo en SQL 2016 Analysis Services
Que hay de nuevo en SQL 2016 Analysis ServicesQue hay de nuevo en SQL 2016 Analysis Services
Que hay de nuevo en SQL 2016 Analysis ServicesEduardo Castro
 
Minería datos con SQL Server 2012
Minería datos con SQL Server 2012Minería datos con SQL Server 2012
Minería datos con SQL Server 2012Eduardo Castro
 
6.pdf codigos averias toyota auris
6.pdf  codigos averias toyota auris6.pdf  codigos averias toyota auris
6.pdf codigos averias toyota aurisJesus Pascual Quilez
 
Consideraciones de discos sql server hardware
Consideraciones de discos sql server hardwareConsideraciones de discos sql server hardware
Consideraciones de discos sql server hardwareEduardo Castro
 
Servicios cognitivos y su integración
Servicios cognitivos y su integraciónServicios cognitivos y su integración
Servicios cognitivos y su integraciónEduardo Castro
 
Consideraciones de memoria sql server hardware
Consideraciones de memoria sql server hardwareConsideraciones de memoria sql server hardware
Consideraciones de memoria sql server hardwareEduardo Castro
 
Introduccion a Big Data stack
Introduccion a Big Data stackIntroduccion a Big Data stack
Introduccion a Big Data stackEduardo Castro
 
Vistazo a lo nuevo en SQL Server 2016
Vistazo a lo nuevo en SQL Server 2016Vistazo a lo nuevo en SQL Server 2016
Vistazo a lo nuevo en SQL Server 2016Eduardo Castro
 

En vedette (20)

SQL 2016 Mejoras en InMemory OLTP y Column Store Index
SQL 2016 Mejoras en InMemory OLTP y Column Store IndexSQL 2016 Mejoras en InMemory OLTP y Column Store Index
SQL 2016 Mejoras en InMemory OLTP y Column Store Index
 
Servicios cognitivos y su integración
Servicios cognitivos y su integraciónServicios cognitivos y su integración
Servicios cognitivos y su integración
 
Codemotion 2016
Codemotion 2016Codemotion 2016
Codemotion 2016
 
Introduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch DatabasesIntroduccion a SQL Server 2016 Stretch Databases
Introduccion a SQL Server 2016 Stretch Databases
 
Cuadros de mando BI con SQL Server
Cuadros de mando BI con SQL ServerCuadros de mando BI con SQL Server
Cuadros de mando BI con SQL Server
 
Big Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nubeBig Data con Sql Server 2014 y la nube
Big Data con Sql Server 2014 y la nube
 
Big data con SQL Server 2014
Big data con SQL Server 2014Big data con SQL Server 2014
Big data con SQL Server 2014
 
Que debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre HadoopQue debe saber un DBA de SQL Server sobre Hadoop
Que debe saber un DBA de SQL Server sobre Hadoop
 
Deep learning image classification aplicado al mundo de la moda
Deep learning image classification aplicado al mundo de la modaDeep learning image classification aplicado al mundo de la moda
Deep learning image classification aplicado al mundo de la moda
 
Vistazo a SQL Server 2016
Vistazo a SQL Server 2016Vistazo a SQL Server 2016
Vistazo a SQL Server 2016
 
Introducción al SQL Server 2016 Query Store
Introducción al SQL Server 2016 Query StoreIntroducción al SQL Server 2016 Query Store
Introducción al SQL Server 2016 Query Store
 
Que hay de nuevo en SQL 2016 Analysis Services
Que hay de nuevo en SQL 2016 Analysis ServicesQue hay de nuevo en SQL 2016 Analysis Services
Que hay de nuevo en SQL 2016 Analysis Services
 
Minería datos con SQL Server 2012
Minería datos con SQL Server 2012Minería datos con SQL Server 2012
Minería datos con SQL Server 2012
 
6.pdf codigos averias toyota auris
6.pdf  codigos averias toyota auris6.pdf  codigos averias toyota auris
6.pdf codigos averias toyota auris
 
Microsoft R Server
Microsoft R ServerMicrosoft R Server
Microsoft R Server
 
Consideraciones de discos sql server hardware
Consideraciones de discos sql server hardwareConsideraciones de discos sql server hardware
Consideraciones de discos sql server hardware
 
Servicios cognitivos y su integración
Servicios cognitivos y su integraciónServicios cognitivos y su integración
Servicios cognitivos y su integración
 
Consideraciones de memoria sql server hardware
Consideraciones de memoria sql server hardwareConsideraciones de memoria sql server hardware
Consideraciones de memoria sql server hardware
 
Introduccion a Big Data stack
Introduccion a Big Data stackIntroduccion a Big Data stack
Introduccion a Big Data stack
 
Vistazo a lo nuevo en SQL Server 2016
Vistazo a lo nuevo en SQL Server 2016Vistazo a lo nuevo en SQL Server 2016
Vistazo a lo nuevo en SQL Server 2016
 

Similaire à Resumen del Microsoft Big Data Stack

HD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot ExcelHD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot ExcelEduardo Castro
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerEduardo Castro
 
Big Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesBig Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesStratebi
 
Herramientas de Microsoft para el Científicos de Datos
Herramientas de Microsoft para el Científicos de DatosHerramientas de Microsoft para el Científicos de Datos
Herramientas de Microsoft para el Científicos de DatosEduardo Castro
 
Introduccion datawarehouse
Introduccion datawarehouseIntroduccion datawarehouse
Introduccion datawarehouseEduardo Castro
 
Analisis predictivo con microsoft azure
Analisis predictivo con microsoft azureAnalisis predictivo con microsoft azure
Analisis predictivo con microsoft azureEduardo Castro
 
Big-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxBig-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxJavierNavarrete43
 
Cursos de Big Data y Machine Learning
Cursos de Big Data y Machine LearningCursos de Big Data y Machine Learning
Cursos de Big Data y Machine LearningStratebi
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...CICE
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleoCICE
 
Smart data el uso inteligente de los datos
Smart data el uso inteligente de los datosSmart data el uso inteligente de los datos
Smart data el uso inteligente de los datosDataCentric PDM
 
Desmitificando el Big Data
Desmitificando el Big DataDesmitificando el Big Data
Desmitificando el Big DataStratebi
 
Exposicion big data
Exposicion big dataExposicion big data
Exposicion big datamateo luquez
 

Similaire à Resumen del Microsoft Big Data Stack (20)

HD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot ExcelHD Insight Integracion con SQL Server Power-Pivot Excel
HD Insight Integracion con SQL Server Power-Pivot Excel
 
SQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight ServerSQL Saturday Bogota - Big Data HDInsight Server
SQL Saturday Bogota - Big Data HDInsight Server
 
Big Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones realesBig Data, casos, tecnologias y aplicaciones reales
Big Data, casos, tecnologias y aplicaciones reales
 
Herramientas de Microsoft para el Científicos de Datos
Herramientas de Microsoft para el Científicos de DatosHerramientas de Microsoft para el Científicos de Datos
Herramientas de Microsoft para el Científicos de Datos
 
Introduccion datawarehouse
Introduccion datawarehouseIntroduccion datawarehouse
Introduccion datawarehouse
 
Analisis predictivo con microsoft azure
Analisis predictivo con microsoft azureAnalisis predictivo con microsoft azure
Analisis predictivo con microsoft azure
 
Big-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptxBig-Data-aplicado-a-los-Negocios (1).pptx
Big-Data-aplicado-a-los-Negocios (1).pptx
 
Claves para entender el actual big data
Claves para entender el actual big dataClaves para entender el actual big data
Claves para entender el actual big data
 
Cursos de Big Data y Machine Learning
Cursos de Big Data y Machine LearningCursos de Big Data y Machine Learning
Cursos de Big Data y Machine Learning
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
Business Intelligende& Big Data: Nuevos perfiles y oportunidades de empleo. P...
 
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleoPonencia B2C  Antonio Alonso. Big Data. Nuevas oportunidades de empleo
Ponencia B2C Antonio Alonso. Big Data. Nuevas oportunidades de empleo
 
Smart data el uso inteligente de los datos
Smart data el uso inteligente de los datosSmart data el uso inteligente de los datos
Smart data el uso inteligente de los datos
 
Big data
Big dataBig data
Big data
 
Desmitificando el Big Data
Desmitificando el Big DataDesmitificando el Big Data
Desmitificando el Big Data
 
Big Data
Big DataBig Data
Big Data
 
Exposicion big data
Exposicion big dataExposicion big data
Exposicion big data
 
Big Data: retos y oportunidades para el turismo
Big Data: retos y oportunidades para el turismoBig Data: retos y oportunidades para el turismo
Big Data: retos y oportunidades para el turismo
 
Presentación big data
Presentación big dataPresentación big data
Presentación big data
 
ppt inteligencia de trabajo.pdf
ppt inteligencia de trabajo.pdfppt inteligencia de trabajo.pdf
ppt inteligencia de trabajo.pdf
 

Plus de Eduardo Castro

Introducción a polybase en SQL Server
Introducción a polybase en SQL ServerIntroducción a polybase en SQL Server
Introducción a polybase en SQL ServerEduardo Castro
 
Creando tu primer ambiente de AI en Azure ML y SQL Server
Creando tu primer ambiente de AI en Azure ML y SQL ServerCreando tu primer ambiente de AI en Azure ML y SQL Server
Creando tu primer ambiente de AI en Azure ML y SQL ServerEduardo Castro
 
Seguridad en SQL Azure
Seguridad en SQL AzureSeguridad en SQL Azure
Seguridad en SQL AzureEduardo Castro
 
Azure Synapse Analytics MLflow
Azure Synapse Analytics MLflowAzure Synapse Analytics MLflow
Azure Synapse Analytics MLflowEduardo Castro
 
SQL Server 2019 con Windows Server 2022
SQL Server 2019 con Windows Server 2022SQL Server 2019 con Windows Server 2022
SQL Server 2019 con Windows Server 2022Eduardo Castro
 
Novedades en SQL Server 2022
Novedades en SQL Server 2022Novedades en SQL Server 2022
Novedades en SQL Server 2022Eduardo Castro
 
Introduccion a SQL Server 2022
Introduccion a SQL Server 2022Introduccion a SQL Server 2022
Introduccion a SQL Server 2022Eduardo Castro
 
Machine Learning con Azure Managed Instance
Machine Learning con Azure Managed InstanceMachine Learning con Azure Managed Instance
Machine Learning con Azure Managed InstanceEduardo Castro
 
Novedades en sql server 2022
Novedades en sql server 2022Novedades en sql server 2022
Novedades en sql server 2022Eduardo Castro
 
Sql server 2019 con windows server 2022
Sql server 2019 con windows server 2022Sql server 2019 con windows server 2022
Sql server 2019 con windows server 2022Eduardo Castro
 
Introduccion a databricks
Introduccion a databricksIntroduccion a databricks
Introduccion a databricksEduardo Castro
 
Pronosticos con sql server
Pronosticos con sql serverPronosticos con sql server
Pronosticos con sql serverEduardo Castro
 
Data warehouse con azure synapse analytics
Data warehouse con azure synapse analyticsData warehouse con azure synapse analytics
Data warehouse con azure synapse analyticsEduardo Castro
 
Que hay de nuevo en el Azure Data Lake Storage Gen2
Que hay de nuevo en el Azure Data Lake Storage Gen2Que hay de nuevo en el Azure Data Lake Storage Gen2
Que hay de nuevo en el Azure Data Lake Storage Gen2Eduardo Castro
 
Introduccion a Azure Synapse Analytics
Introduccion a Azure Synapse AnalyticsIntroduccion a Azure Synapse Analytics
Introduccion a Azure Synapse AnalyticsEduardo Castro
 
Seguridad de SQL Database en Azure
Seguridad de SQL Database en AzureSeguridad de SQL Database en Azure
Seguridad de SQL Database en AzureEduardo Castro
 
Python dentro de SQL Server
Python dentro de SQL ServerPython dentro de SQL Server
Python dentro de SQL ServerEduardo Castro
 
Servicios Cognitivos de de Microsoft
Servicios Cognitivos de de Microsoft Servicios Cognitivos de de Microsoft
Servicios Cognitivos de de Microsoft Eduardo Castro
 
Script de paso a paso de configuración de Secure Enclaves
Script de paso a paso de configuración de Secure EnclavesScript de paso a paso de configuración de Secure Enclaves
Script de paso a paso de configuración de Secure EnclavesEduardo Castro
 
Introducción a conceptos de SQL Server Secure Enclaves
Introducción a conceptos de SQL Server Secure EnclavesIntroducción a conceptos de SQL Server Secure Enclaves
Introducción a conceptos de SQL Server Secure EnclavesEduardo Castro
 

Plus de Eduardo Castro (20)

Introducción a polybase en SQL Server
Introducción a polybase en SQL ServerIntroducción a polybase en SQL Server
Introducción a polybase en SQL Server
 
Creando tu primer ambiente de AI en Azure ML y SQL Server
Creando tu primer ambiente de AI en Azure ML y SQL ServerCreando tu primer ambiente de AI en Azure ML y SQL Server
Creando tu primer ambiente de AI en Azure ML y SQL Server
 
Seguridad en SQL Azure
Seguridad en SQL AzureSeguridad en SQL Azure
Seguridad en SQL Azure
 
Azure Synapse Analytics MLflow
Azure Synapse Analytics MLflowAzure Synapse Analytics MLflow
Azure Synapse Analytics MLflow
 
SQL Server 2019 con Windows Server 2022
SQL Server 2019 con Windows Server 2022SQL Server 2019 con Windows Server 2022
SQL Server 2019 con Windows Server 2022
 
Novedades en SQL Server 2022
Novedades en SQL Server 2022Novedades en SQL Server 2022
Novedades en SQL Server 2022
 
Introduccion a SQL Server 2022
Introduccion a SQL Server 2022Introduccion a SQL Server 2022
Introduccion a SQL Server 2022
 
Machine Learning con Azure Managed Instance
Machine Learning con Azure Managed InstanceMachine Learning con Azure Managed Instance
Machine Learning con Azure Managed Instance
 
Novedades en sql server 2022
Novedades en sql server 2022Novedades en sql server 2022
Novedades en sql server 2022
 
Sql server 2019 con windows server 2022
Sql server 2019 con windows server 2022Sql server 2019 con windows server 2022
Sql server 2019 con windows server 2022
 
Introduccion a databricks
Introduccion a databricksIntroduccion a databricks
Introduccion a databricks
 
Pronosticos con sql server
Pronosticos con sql serverPronosticos con sql server
Pronosticos con sql server
 
Data warehouse con azure synapse analytics
Data warehouse con azure synapse analyticsData warehouse con azure synapse analytics
Data warehouse con azure synapse analytics
 
Que hay de nuevo en el Azure Data Lake Storage Gen2
Que hay de nuevo en el Azure Data Lake Storage Gen2Que hay de nuevo en el Azure Data Lake Storage Gen2
Que hay de nuevo en el Azure Data Lake Storage Gen2
 
Introduccion a Azure Synapse Analytics
Introduccion a Azure Synapse AnalyticsIntroduccion a Azure Synapse Analytics
Introduccion a Azure Synapse Analytics
 
Seguridad de SQL Database en Azure
Seguridad de SQL Database en AzureSeguridad de SQL Database en Azure
Seguridad de SQL Database en Azure
 
Python dentro de SQL Server
Python dentro de SQL ServerPython dentro de SQL Server
Python dentro de SQL Server
 
Servicios Cognitivos de de Microsoft
Servicios Cognitivos de de Microsoft Servicios Cognitivos de de Microsoft
Servicios Cognitivos de de Microsoft
 
Script de paso a paso de configuración de Secure Enclaves
Script de paso a paso de configuración de Secure EnclavesScript de paso a paso de configuración de Secure Enclaves
Script de paso a paso de configuración de Secure Enclaves
 
Introducción a conceptos de SQL Server Secure Enclaves
Introducción a conceptos de SQL Server Secure EnclavesIntroducción a conceptos de SQL Server Secure Enclaves
Introducción a conceptos de SQL Server Secure Enclaves
 

Dernier

definicion segun autores de matemáticas educativa
definicion segun autores de matemáticas  educativadefinicion segun autores de matemáticas  educativa
definicion segun autores de matemáticas educativaAdrianaMartnez618894
 
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptx
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptxGoogle-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptx
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptxAlexander López
 
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOAREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOnarvaezisabella21
 
dokumen.tips_36274588-sistema-heui-eui.ppt
dokumen.tips_36274588-sistema-heui-eui.pptdokumen.tips_36274588-sistema-heui-eui.ppt
dokumen.tips_36274588-sistema-heui-eui.pptMiguelAtencio10
 
tics en la vida cotidiana prepa en linea modulo 1.pptx
tics en la vida cotidiana prepa en linea modulo 1.pptxtics en la vida cotidiana prepa en linea modulo 1.pptx
tics en la vida cotidiana prepa en linea modulo 1.pptxazmysanros90
 
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptxMedidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptxaylincamaho
 
Segunda ley de la termodinámica TERMODINAMICA.pptx
Segunda ley de la termodinámica TERMODINAMICA.pptxSegunda ley de la termodinámica TERMODINAMICA.pptx
Segunda ley de la termodinámica TERMODINAMICA.pptxMariaBurgos55
 
Mapa-conceptual-del-Origen-del-Universo-3.pptx
Mapa-conceptual-del-Origen-del-Universo-3.pptxMapa-conceptual-del-Origen-del-Universo-3.pptx
Mapa-conceptual-del-Origen-del-Universo-3.pptxMidwarHenryLOZAFLORE
 
Explorando la historia y funcionamiento de la memoria ram
Explorando la historia y funcionamiento de la memoria ramExplorando la historia y funcionamiento de la memoria ram
Explorando la historia y funcionamiento de la memoria ramDIDIERFERNANDOGUERRE
 
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptx
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptxLAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptx
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptxAlexander López
 
GonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptxGonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptx241523733
 
Tecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxTecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxGESTECPERUSAC
 
Actividad integradora 6 CREAR UN RECURSO MULTIMEDIA
Actividad integradora 6    CREAR UN RECURSO MULTIMEDIAActividad integradora 6    CREAR UN RECURSO MULTIMEDIA
Actividad integradora 6 CREAR UN RECURSO MULTIMEDIA241531640
 
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptx
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptxCrear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptx
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptxNombre Apellidos
 
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.ppt
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.pptTEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.ppt
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.pptJavierHerrera662252
 
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).ppt
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).pptLUXOMETRO EN SALUD OCUPACIONAL(FINAL).ppt
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).pptchaverriemily794
 
El uso de las TIC's en la vida cotidiana.
El uso de las TIC's en la vida cotidiana.El uso de las TIC's en la vida cotidiana.
El uso de las TIC's en la vida cotidiana.241514949
 
El uso delas tic en la vida cotidiana MFEL
El uso delas tic en la vida cotidiana MFELEl uso delas tic en la vida cotidiana MFEL
El uso delas tic en la vida cotidiana MFELmaryfer27m
 
Arenas Camacho-Practica tarea Sesión 12.pptx
Arenas Camacho-Practica tarea Sesión 12.pptxArenas Camacho-Practica tarea Sesión 12.pptx
Arenas Camacho-Practica tarea Sesión 12.pptxJOSEFERNANDOARENASCA
 
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptx
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptxEl_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptx
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptxAlexander López
 

Dernier (20)

definicion segun autores de matemáticas educativa
definicion segun autores de matemáticas  educativadefinicion segun autores de matemáticas  educativa
definicion segun autores de matemáticas educativa
 
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptx
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptxGoogle-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptx
Google-Meet-como-herramienta-para-realizar-reuniones-virtuales.pptx
 
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPOAREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
AREA TECNOLOGIA E INFORMATICA TRABAJO EN EQUIPO
 
dokumen.tips_36274588-sistema-heui-eui.ppt
dokumen.tips_36274588-sistema-heui-eui.pptdokumen.tips_36274588-sistema-heui-eui.ppt
dokumen.tips_36274588-sistema-heui-eui.ppt
 
tics en la vida cotidiana prepa en linea modulo 1.pptx
tics en la vida cotidiana prepa en linea modulo 1.pptxtics en la vida cotidiana prepa en linea modulo 1.pptx
tics en la vida cotidiana prepa en linea modulo 1.pptx
 
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptxMedidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
 
Segunda ley de la termodinámica TERMODINAMICA.pptx
Segunda ley de la termodinámica TERMODINAMICA.pptxSegunda ley de la termodinámica TERMODINAMICA.pptx
Segunda ley de la termodinámica TERMODINAMICA.pptx
 
Mapa-conceptual-del-Origen-del-Universo-3.pptx
Mapa-conceptual-del-Origen-del-Universo-3.pptxMapa-conceptual-del-Origen-del-Universo-3.pptx
Mapa-conceptual-del-Origen-del-Universo-3.pptx
 
Explorando la historia y funcionamiento de la memoria ram
Explorando la historia y funcionamiento de la memoria ramExplorando la historia y funcionamiento de la memoria ram
Explorando la historia y funcionamiento de la memoria ram
 
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptx
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptxLAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptx
LAS_TIC_COMO_HERRAMIENTAS_EN_LA_INVESTIGACIÓN.pptx
 
GonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptxGonzalezGonzalez_Karina_M1S3AI6... .pptx
GonzalezGonzalez_Karina_M1S3AI6... .pptx
 
Tecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptxTecnologias Starlink para el mundo tec.pptx
Tecnologias Starlink para el mundo tec.pptx
 
Actividad integradora 6 CREAR UN RECURSO MULTIMEDIA
Actividad integradora 6    CREAR UN RECURSO MULTIMEDIAActividad integradora 6    CREAR UN RECURSO MULTIMEDIA
Actividad integradora 6 CREAR UN RECURSO MULTIMEDIA
 
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptx
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptxCrear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptx
Crear un recurso multimedia. Maricela_Ponce_DomingoM1S3AI6-1.pptx
 
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.ppt
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.pptTEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.ppt
TEMA 2 PROTOCOLO DE EXTRACCION VEHICULAR.ppt
 
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).ppt
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).pptLUXOMETRO EN SALUD OCUPACIONAL(FINAL).ppt
LUXOMETRO EN SALUD OCUPACIONAL(FINAL).ppt
 
El uso de las TIC's en la vida cotidiana.
El uso de las TIC's en la vida cotidiana.El uso de las TIC's en la vida cotidiana.
El uso de las TIC's en la vida cotidiana.
 
El uso delas tic en la vida cotidiana MFEL
El uso delas tic en la vida cotidiana MFELEl uso delas tic en la vida cotidiana MFEL
El uso delas tic en la vida cotidiana MFEL
 
Arenas Camacho-Practica tarea Sesión 12.pptx
Arenas Camacho-Practica tarea Sesión 12.pptxArenas Camacho-Practica tarea Sesión 12.pptx
Arenas Camacho-Practica tarea Sesión 12.pptx
 
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptx
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptxEl_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptx
El_Blog_como_herramienta_de_publicacion_y_consulta_de_investigacion.pptx
 

Resumen del Microsoft Big Data Stack

  • 1. Septiembre 12, 2015 Bogotá, Colombia #sqlsatBogota
  • 2. Ing. Eduardo Castro, PhD MVP de Microsoft SQL Server PASS Regional de Mentor PASS Board of Directors ecastro@simsasys.com http://www.youtube.com/eduardocastrom Microsoft Big Data Stack
  • 3. Introducción a los Big Data  ¿Qué es el Big Data?  ¿Qué es Hadoop?  Introducción a Map / Reduce  Soluciones de Big Data de Microsoft
  • 4. Qué es un Petabyte Tomado de http://www.informatica-hoy.com.ar/aprender-informatica/Que-es-Petabyte.php Un Terabyte son 1024 Gigabytes. 1 Gigabyte = 1024 Megabytes. Un Petabyte es una unidad de almacenamiento de información cuyo símbolo es PB, equivale a 1024 Terabytes = 1.125.899.906.842.624 de bytes.
  • 5. Qué es un Petabyte Tomado de http://www.informatica-hoy.com.ar/aprender-informatica/Que-es-Petabyte.php  1 Petabyte es suficiente para almacenar 13.3 años de video HD  1.5 Petabytes son necesarios para almacenar 10 Billones de fotos de Facebook  Google procesa alrededor de 24 Petabytes de información por día.  Avatar, la película de James Cameron del 2009, usó 1 Petabyte de información para realizar los efectos especiales.  AT&T, el carrier del iPhone en Estados Unidos, transmite 19 Petabytes de datos por mes.
  • 6. ¿Qué es el Big Data?  Datos que son demasiado grandes o complejos para el análisis de bases de datos relacionales tradicionales  Caracterizado por las tres” V”  Volumen - Enormes cantidades de datos  Variedad - Una mezcla de datos estructurados y datos no estructurados  Velocidad - Nuevos datos generados extremadamente rápido
  • 7. Dominio Escenarios de grandes volúmenes datos comunes Servicios financieros Modelado riesgo verdadero Análisis de las amenazas y detección de fraude Vigilancia Comercio El puntaje de crédito y análisis Medios y Entretenimiento Los motores de recomendación Focalización Ad Buscar calidad Los abusos y detección de fraude de clics Venta al por menor Punto de análisis de las transacciones de ventas Análisis de la pérdida de clientes El análisis de sentimientos (sentiment analysis) Telecomunicaciones Cliente prevención del churn La optimización del rendimiento de la red Detalles de llamadas (CDR) y su análisis Predicción de fallos de red Gobierno Seguridad Cibernética (botnets, fraudes) La congestión del tráfico y re-enrutamiento Monitoreo Ambiental Monitoreo Antisocial través de medios sociales Salud La investigación del genoma La investigación del cáncer Pandemias detección temprana Monitoreo de la calidad del aire
  • 8. Casos en los cuales se utiliza Big Data  Parte de lo que hace Hadoop y otras tecnologías y enfoques Big Data es encontrar respuestas a preguntas que ni siquiera saben que preguntar.  Dar lugar a ideas que conducen a nuevas ideas de productos o ayudar a identificar formas de mejorar la eficiencia operativa.  Casos de uso ya identificadas para Big Data, tanto para los gigantes de internet como Google, Facebook y LinkedIn, y para la empresa más tradicional
  • 9. Casos en los cuales se utiliza Big Data Sentiment Analysis  Utilizado junto con Hadoop, herramientas avanzadas de análisis de texto analizan el texto no estructurado de las redes sociales y mensajes de redes sociales  Incluyendo los Tweets y mensajes de Facebook, para determinar la confianza del usuario en relación con determinadas empresas, marcas o productos.  El análisis puede centrarse en el sentimiento a nivel macro hasta el sentimiento usuario individual.
  • 10. Casos en los cuales se utiliza Big Data Modelado de riesgo  Las empresas financieras, bancos y otros utilizan Hadoop y Next Generation Data Warehouse para analizar grandes volúmenes de datos transaccionales para determinar el riesgo y la exposición de los activos financieros  Para preparar la posible "qué pasaría si" los escenarios basados ​​en el comportamiento del mercado simulado, y para puntuación de clientes potenciales por el riesgo.
  • 11. Casos en los cuales se utiliza Big Data Motor de recomendación  Los minoristas en línea utilizan Hadoop para igualar y recomendar a los usuarios entre sí o con los productos y servicios basados ​​en el análisis del perfil de usuario y los datos de comportamiento.  LinkedIn utiliza este enfoque para potenciar su función de "la gente puede saber", mientras que Amazon utiliza para sugerir productos a la venta a los consumidores en línea.
  • 12. Casos en los cuales se utiliza Big Data Detección de Fraude  Utilizar técnicas de Big Data para combinar el comportamiento del cliente, históricos y datos de transacciones para detectar la actividad fraudulenta.  Las compañías de tarjetas de crédito, por ejemplo, utilizan tecnologías de Big Data para identificar el comportamiento transaccional que indica una alta probabilidad de una tarjeta robada.
  • 13. Casos en los cuales se utiliza Big Data Análisis de la campaña de marketing  Los departamentos de marketing a través de industrias han utilizado durante mucho tiempo la tecnología para monitorear y determinar la efectividad de las campañas de marketing.  Big Data permite a los equipos de marketing para incorporar mayores volúmenes de datos cada vez más granulares, como los datos de click-stream y registros detallados de llamadas, para aumentar la precisión de los análisis.
  • 14. Casos en los cuales se utiliza Big Data Análisis Social Graph  Junto con Hadoop los datos de redes sociales se extraen para determinar qué clientes representan la mayor influencia sobre los demás dentro de las redes sociales.  Esto ayuda a determinar las empresas que son sus clientes "más importantes", que no siempre son los que compran la mayoría de los productos o de los que más gastan, pero los que tienden a influir en el comportamiento de compra de la mayoría de los demás.
  • 15. Casos en los cuales se utiliza Big Data Customer Experience Analytics  Empresas orientadas al consumidor utilizan Hadoop y tecnologías relacionadas con Big Data para integrar los datos de antes silos canales de interacción con clientes  Tales como centros de llamadas, chat en línea, Twitter, etc, para obtener una visión completa de la experiencia del cliente.
  • 16. Científico de datos  Ciencia de datos: un término utilizado indistintamente con inteligencia de negocio o análitica empresarial
  • 17. Qué es ciencia de datos?  Descubrir lo que nó sabemos de los datos  Obtener conocimiento de los datos, que permita hacer predicciones y tomar acciones  Crear soluciones basadas en datos que tienen impacto en el negocio  Relacionar los datos con el negocio  Crear confianza en la toma de decisiones que brindan valor para el negocio
  • 18. Científico de datos  Un científico de datos incorpora técnicas y teorías de muchos campos, incluyendo las matemáticas, la estadística, la ingeniería de datos, reconocimiento de patrones, aprendizaje avanzado , visualización, modelado de la incertidumbre, almacenamiento de datos y la computación de alto rendimiento con el objetivo de extraer el significado de datos.
  • 19. Quién es un científico de datos? Alguien mejor en las estadísticas que cualquier ingeniero de software, y alguien mejor en la ingeniería de software que cualquier estadístico
  • 20. Qué es un Data Scientist? Un científico de datos definitivamente tiene un mucho mayor comprensión de la informática y se espera que él desarrolle herramientas o que utilice algunas herramientas no estándar para las necesidades de productos o las necesidades de la empresa.
  • 21. Qué es un Data Scientist? Data Science London. 2013.
  • 22. 10 Cosas que hacen los científicos de datos  Modelar datos, modelar algoritmos  Entender las relaciones de los datos  Decirle a la máquina cómo aprender de los datos  Crear soluciones de datos que entregar conocimiento para tomar decisiones  Expresar los datos con conocimiento que es relevante para el negocio
  • 23. Data Scientist Toolkit  Java, R, Python… (bonus: Clojure, Haskell, Scala)  Hadoop, HDFS MapReduce… (bonus: Spark, Storm)  HBase, Pig Hive… (bonus: Shark, Impala, Cascalog)  ETL, Webscrapers,Flume, Sqoop… (bonus: Hume)  SQL, RDBMS, DW, OLAP…  Knime, Weka, RapidMiner…(bonus: SciPy, NumPy, scikit-learn, pandas)  D3.js, Gephi, ggplot2, Tableu, Flare, Shiny…  SPSS, Matlab, SAS  NoSQL, Mongo DB, Couchbase, Cassandra  MS-Excel: la herramienta más utilizada
  • 24. Almacenamiento adaptadores Corriente tratamient o Gateways Nube (APIs web) Field gateways Aplicaciones Búsqueda y consulta Análisis de datos (Excel) / Cliente pesado Web cuadros de mando Dispositivos Kafka / RabbitMQ / ActiveMQ Web y Social Dispositivos Sensore s
  • 25. Aplicaciones de datos intensivos Activity Queue Azure Storage Google Analytics Logs Azure Storage Email DBs SQL Azure x 16 Username DBs SQL Azure x 16 User Profiles SQL Azure x 400 Activity Table X 50 Partitions Azure Storage IIS Logs Azure Storage Data Analysis: Staging Virtual Machine Data Warehouse Reporting Services Activity Processors Worker Roles x 2 Cache Users and Friends Feed Games and Leader Boards Resources and References Distributed Cache x 32 Cache Tasks Worker Roles x 4 Back Office Web Roles x 2 Background Tasks DB Utility DB, Content DB, Taxonomy DB SQL Azure Web Application Web Roles x 180 Web Service/API Web Roles x 2 Moderation Service/Appliance CRISP/3rd Party
  • 26.
  • 27.
  • 28.
  • 29. Qué es Hadoop?  Hadoop es un proyecto de código abierto, supervisado por la Apache Software Foundation  Originalmente basado en documentos publicados por Google en 2003 y 2004  Hadoop es un ecosistema, no un solo producto  Hadoop trabaja en diversas organizaciones e incluye Facebook, Yahoo!, Twitter, Cloudera, Hortonworks 29
  • 30. Hadoop Timeline • Iniciado por Doug Nutch en Yahoo! a principios del 2006 • Hadoop 2.x, lanzado en el 2012, es la base para todas las distribuciones Hadoop actuales y estables • Apache Hadoop 2.0.xx  CDH4.*  HDP2.* 30
  • 31. ¿Qué es Hadoop? • Clusters de Hadoop • Varios servidores con un sistema de archivos compartido denominado HDFS • Las solicitudes de cliente son atendidos por el “Name Node” • Varios nodos de datos procesan los datos mediante Map/Reduce • Proyectos relacionados • Hive • HCatalog • Pig • Oozie • Mahout
  • 32. Hadoop - Inspiración 32 Google Equivalente de Hadoop GFS HDFS MapReduce Hadoop MapReduce Sawzall Hive, Pig BigTable HBase Chubby ZooKeeper Pregel Giraph Google obtuvo una patente para “map reduce – un sistema de procesamiento de datos de gran escala" en 2010, pero favorece a Apache Hadoop mediante la concesión de una licencia.
  • 33. Estrategia de datos tradicional ETL Tools DW / Marts BI Analytics comercial Informatica Teradata Microstrategy SAS Oracle Data Integrator Oracle OBIEE TIBCO Spotfire IBM Datastage DB2, Netezza Cognos SPSS Microsoft SSIS SQL server Microsoft SSRS EMC Greenplum Open source Talend mySQL Pentaho , Jaspersoft R, RapidMiner
  • 34. Estrategia con Hadoop 34 Hadoop puede complementar el ambiente DW existente así como reemplazar algunos de los componentes de una estrategia de datos tradicionales.
  • 35. Componentes de Hadoop • Almacenamiento • HDFS – Es un Sistema de archivos NO una DBMS • HBase - Almacenamiento columnar que sirve de baja latencia de lectura / escritura a petición • Extraer - Cargar • Fuente / Destino es RDBMS - Sqoop, hiho • Stream processing - Flume, Scribe, Chukwa, S4, Storm • Transformación • Map-reduce (Java u otro lenguaje), Pig, Hive, Oozie etc. • Talend e Informatica han construido productos para abstraer la complejidad de la map-reduce 35
  • 36. Componentes de Hadoop • Analytics • RHadoop, Mahout • BI – Todas las empresas actuales poseen conectores de Hadoop 36
  • 39. Pig Latin • Lenguaje orientado a flujo de datos • Idioma de alto nivel para el enrutamiento de datos, permite la fácil integración de Java para tareas complejas • Tipos de datos incluyen conjuntos, matrices asociativas, tuplas 39 • Herramientas de cliente • El Pig Interpreter convirte el pig-script a Java map- reduce y los envía mediante el JobTracker • No instala adicional necesario en el Hadoop Cluster • Desempeño de Pig ~ 1.4x Java MapReduce, pero necesitan menos líneas de código ~ 1/10th • Desarrollado por Yahoo!
  • 40. Hive • Aplicación de datawarehouse basado en SQL • Conjunto de características es similar a Pig pero se asimila a TSQL • Soporta SELECT, JOIN, GROUP BY, etc. • Utiliza la filosofía “Schema on Read” • Características para el análisis de grandes conjuntos de datos • Partition columns • Sampling • Buckets • Requiere la instalación de metastore en cluster de Hadoop • Desarrollado por Facebook 40
  • 41. HBase  Distribuido, versionado, orientada a la columnas basado en HDFS  Objetivo: para almacenar las tablas con miles de millones de filas y millones columnas  Proporciona una opción de "baja latencia" (OLTP) Lee y escribe junto con el soporte para el modelo de procesamiento por lotes de map-reduce  Cluster de HBase consiste en un único "maestro HBase" y varios "RegionServers“  Facebook utiliza HBase para impulsar su infraestructura de mensajería  Estadísticas - servicio de Chat soporta más 300 millones los usuarios que envían mensajes más 120 billones por mes  Valores NULL no se almacena por diseño y parece tabla típica del almacenaje 41 Row-key Column-family Column Timestamp Value 1 CF Name Ts1 Vijay 1 CF Address Ts1 Mumbai 1 CF Address Ts2 Goa
  • 42. Sqoop  RDBMS hacia Hadoop  Herramienta de línea de comandos para importar cualquier JDBC de base de datos hacia Hadoop  Y también exportar datos de Hadoop a cualquier base de datos  Genera trabajos de map-reduce para conectar a los registros de base de datos y lectura/escritura  DB conectores específicos aportados por los proveedores –  Oraoop for Oracle by Quest software  Teradata connector from Teradata  Netezza connector from IBM  Desarrollado por Cloudera  Oracle ha llegado con "Oracle Loader para Hadoop" y afirman que está optimizado para "Oracle Database 11g" 42
  • 43. Flume  Flume es un servicio distribuido, fiable y disponible para mover eficientemente grandes cantidades de datos a manera como se produce, casi en línea  Desarrollado en Cloudera 43
  • 44. Machine Learning • Apache Mahout • Biblioteca de aprendizaje máquina escalable la mayoría de los algoritmos implementados sobre Apache Hadoop utilizando map/reduce • Algoritmos soportados – • Recomendación minería - toma el comportamiento de los usuarios y encontrar artículos dijeron le gustaría usuario especificado. • Agrupamiento - toma por ejemplo, documentos de texto y grupos de ellos basados en temas relacionados con documento. • Clasificación- Aprende de los documentos existentes categorizados cómo documentos categoría específica y es capaces de asignar documentos sin etiqueta a la categoría adecuada. • Frequent item set mining - Toma un conjunto de elemento de grupos (e.g. términos en una sesión de consulta, contenido del carrito de compras) e identifica, qué elementos individuales típicamente aparece juntos. • RHadoop (Revolution Analytics) y RHIPE (Purdue University) permiten ejecutar programas R en Apache Hadoop 44
  • 45. Plataforma de Big Data Micrsooft
  • 46. Soluciones Big Data Microsoft  SQL Server Parallel Data Warehouse  Appliance para data warehouse corporativo  Procesamiento paralelo masivo (MPP), arquitectura de Shared- Noting  Windows Azure HDInsight  Implementación de Hadoop basada en la nube  Disponible como un servicio de Microsoft Azure  Polibase  Tecnología de integración de SQL Server Parallel Data Warehouse y HDInsight
  • 47. Integración con herramientas Microsoft Integración con las herramientas de Análisis de Microsoft APPLICATIONSDATASYSTEMS Aplicaciones Microsoft HORTONWORKS DATA PLATFORM For Windows DATASOURCES MOBILE DATA OLTP, POS SYSTEMS Fuentes tradicionales (RDBMS, OLTP, OLAP) Nuevas Fuentes (web logs, email, sensor data, social media)
  • 49. Hadoop y Kafka Centro de datos en directo Centro de datos fuera de línea HadoopHadoopDev Hadoop InterfazInterfazLos consumidoresre s en tiempo real KafkaKafkaKafka KafkaKafkaKafka HadoopHadoopPROD Hadoop
  • 50. ¿Apache Storm? 4 Fácil de programar Una plataforma de procesamiento en tiempo real distribuido Tolerante a fallos Se espera que que falle y esta preparado para recuperarse Rápido Velocidad de 1M + mensajes por segundo por nodo Escalable Miles de workers por grupo Seguro Entrega de mensajes garantizada Exactamente una vez Análisis de Streaming de datos
  • 52. Casos de uso de Storm 7 Entrada Operadores (Ejemplos) Lookup Salida Lenguaje De Programación Automoviles Conectados Event hubs Window based aggregation, Join stream/split stream HBase, ML DocumentDB C# hybrid, Java ETL Event Hubs Partitioning/ organize N/A WASB Java IoT Event Hubs Window based aggregation Hbase, ML DocumentDB, HBase Java Detección Fraude ServiceBus Queue Filter ML Hbase C# hybrid Análisis Sociales Twitter Groupby/trending topics N/A Realtime dashboard (BI) Trident Supervisión de la red Kafka Split (on success/ failure) ML SQL C# hybrid Búsqueda de Log Storage Queue/ Event Hub Parsing & index N/A Elastic Search Java Dispositivos Moviles Eventhub Count HBase SignalR C# hybrid
  • 53. iter. 1 iter. 2 . . . Entrada Intercambio de Datos en Spark Repartido memoria Entrada consulta 1 pregunta 2 consulta 3 . . . una vez tratamiento 10-100× más rápido que la red y el disco
  • 54. Qué es Azure Stream Analytics
  • 55.  La automatización de la automatización  Utilizar computadoras para programar computadoras  Escribir software es el cuello de botella  Deje que los datos hagan el trabajo! Qué es el aprendizaje autómático o Machine Learning
  • 56. Flujo en Azure Machine Learning
  • 57. Flujo en Azure Machine Learning
  • 58. Flujo en Azure Machine Learning
  • 59. Flujo en Azure Machine Learning
  • 60. Alto rendimiento y optimizado en el hardware Autenticación del usuario final con Active Directory Accesible para todo el mundo con las herramientas de Microsoft BI Administrado y monitoreado utilizando System Center 100-por ciento Apache Hadoop SQL Server Parallel Data warehouse Microsoft HDInsight Polibase APS listo para la empresa Hadoop con HDInsight Manejable, asegurado, y de alta disponibilidad Hadoop integrado dentro del aparato
  • 61. (HDFS) Bridge Resultado s Acceso directo y paralelo a HDFS Data Movement Service (DMS) of APS APS para permitir la comunicación directa entre HDFS datos nodos y nodos de computación PDW Los datos no relacional Aplicaciones Social Sensor y RFID Móvil aplicaciones Web aplicaciones Hadoop Los datos relacionales Basado esquema tradicional almacén de datos PDWPuente HDFS Enhanced PDW query engine La tabla externa Los datos externos Archivo externo Regular T-SQL
  • 65. SQOOP, HiveODBC, Templeton, CSV, etc Conectividad de BI
  • 66. Big Data Utilice Excel! 2 Servidores, 3 meses 110 GB Archivos Binarios SSIS SSIS SSIS SSIS extraer 1.2GB de texto 120MB gz Hadoop hacia PowerPivot 6MB
  • 67. PowerPivot Hoja de Excel de HoA Audit data
  • 68. Power View de HoA Audit Data
  • 69. Nombre de la demo #sqlsatBogota 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia5 |
  • 70. #sqlsatBogota 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia6 | Preguntas y Respuestas
  • 71. Capítulos Organizadores del SQL Saturday 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia7 |
  • 72. Patrocinadores del SQL Saturday 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia8 |
  • 73. Planea asistir al PASS Summit 2015? Comience a ahorrar hoy! • El más grande evento del mundo que reúne a profesionales de SQL Server y BI • Adquiera habilidades en SQL Server a un nivel superior al aprender de los mejores expertos del mundo de SQL Server, en más de 190 sesiones técnicas • Más de 5.000 registros, que representan a 2.000 empresas, de 52 países, listos para la red y aprender Ahorre $150 en este momento pregunta por el código de descuento 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia9 |
  • 74. Sea cual sea su pasión datos - hay un capítulo virtual para usted! 12/9/2015 | SQL Saturday #448 – Bogotá, Colombia10 |
  • 75. Septiembre 17 | 12:00 UTC Sesiones previas del PASS Summit 2015, obtenga 24 Horas de formación de SQL Server y BI de forma gratuita! Regístrese hoy: 24hoursofpass.com

Notes de l'éditeur

  1. Parte de lo que hace Hadoop y otras tecnologías y enfoques Big Data tan convincente es que permiten a las empresas a encontrar respuestas a preguntas que ni siquiera saben que preguntar.  Esto puede dar lugar a ideas que conducen a nuevas ideas de productos o ayudar a identificar formas de mejorar la eficiencia operativa.  Sin embargo, hay una serie de casos de uso ya identificadas para Big Data, tanto para los gigantes de internet como Google, Facebook y LinkedIn, y para la empresa más tradicional.
  2. http://wikibon.org/wiki/v/Big_Data:_Hadoop,_Business_Analytics_and_Beyond
  3. Give some background on – basically generating business reports Tracking data is crucial to measure user engagement – unique member visits per day, ad metrics CTR to ad publishers Also data analytics – new models for PYMK Collapse multple boxes into one. Show multiple Hadoop clusters If you track some new data, it will automatically reach Hadoop in a few minutes.