Introducción a Hadoop y sus herramientas. Presentación de las herramientas de integración que ofrece SQL Server Integration Services 2016 con Hadoop y HDInsight

1. ##SQLSatMadrid
Big Data con Hadoop en SQL
Server SSIS 2016
Ángel M. Rayo

2. ##SQLSatMadrid
¿Quién soy?
 Ángel M. Rayo
 twitter.com/oyara
 Technology Lead Expert en Netmind
 Más de 9.000 horas de experiencia formativa
 Microsoft Certified Trainer desde 2005
 MCDBA SQL 2000 – MCSA SQL 2014

3. ##SQLSatMadrid
Agenda
 Hadoop
 HDInsight
 SQL Server SSIS 2016
 Referencias

4. ##SQLSatMadrid
HADOOP
Big Data con Hadoop en SQL Server SSIS 2016

5. ##SQLSatMadrid
Hadoop
Procesado
distribuido
Grandes
conjuntos de
datos
Clústeres de
ordenadores
Modelos de
programación
sencillos
Apache™ Hadoop®

6. ##SQLSatMadrid
Hadoop
• 2003 – Google File System
• 2004 – MapReduce
• 2006 – Hadoop 0.1.0
• 2011 – Hadoop 1.0
• 2015 – Hadoop 1.7
• 25 de agosto de 2016 – Hadoop 2.7.3

7. ##SQLSatMadrid
Hadoop – Componentes
Hadoop
Common
Hadoop
Distributed
File System
(HDFS™)
Hadoop YARN
Hadoop
MapReduce
Apache™ Hadoop®

8. ##SQLSatMadrid
Hadoop – Otros componentes

9. ##SQLSatMadrid
Hadoop

10. ##SQLSatMadrid
HDINSIGHT
Big Data con Hadoop en SQL Server SSIS 2016

11. ##SQLSatMadrid
HDInsight
• Servicio Hadoop alojado en Microsoft Azure
• Gestión de clústeres
• Framework diseñado para:
• Gestión
• Análisis
• Reporting
• Utiliza la distribución Hortonworks Data Platform (HDP)

12. ##SQLSatMadrid
HDInsight

13. ##SQLSatMadrid
HDInsight – Uso
• Hadoop as a Service (HaaS)
• Crear soluciones y servicios Big Data
• Administrar y monitorizar clústeres Hadoop
• Analizar y generar estadísticas de:
• Disponibilidad
• Utilización

14. ##SQLSatMadrid
HDInsight – Creación

15. ##SQLSatMadrid
SQL SERVER SSIS 2016
Big Data con Hadoop en SQL Server SSIS 2016

16. ##SQLSatMadrid
SQL Server
• ¿Hace falta decir qué es? ;-)
• Sistema gestor de bases de datos relacionales Microsoft
• 1989 – SQL Server 1.0
• 1 de junio de 2016 – SQL Server 2016 (14.0)

17. ##SQLSatMadrid
SQL Server 2016 – Servicios y herramientas
Service
Broker
Replication
Services
Analysis
Services
Reporting
Services
Notification
Services
Visual
Studio
Integration
Services
SQL Server
Management
Studio
Full Text
Search
Service
Business
Intelligence
Dev Studio
SQLCMD

18. ##SQLSatMadrid
SQL Server 2016 SSIS
• Plataforma de integración datos y aplicaciones de flujos
de trabajo
• Herramienta Data Warehouse rápida y flexible
• ETL
• Extraction
• Transformation
• Loading

19. ##SQLSatMadrid
SQL Server 2016 SSIS
Data
Transformation
Services (DTS)
SQL Server
Integration
Services (SSIS)
Disponible desde SQL Server 6.5 a
SQL Server 2000
Disponible desde SQL Server 2005
.NET como base de ejecución
Control Flow
Data Flow
Event Handlers
Package Explorer

20. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Situación desde SQL Server 2016
• Se incluye Hadoop como fuente de datos
• SSIS 2016 se integra con soluciones Big Data
Situación hasta SQL Server 2014
• Podemos utilizar Hadoop mediante conexión ODBC
• Acceso a recursos con scripts PowerShell

21. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Gestor de conexiones
• WebHCat – API REST
Apache™ Hive
• WebHDFS – API
REST HDFS

22. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Tareas de flujo de control (Control Flow)
Hadoop File
System Task
Hadoop Hive
Task
Hadoop Pig Task

23. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop File
System Task
Funcionamiento
• Obtiene, copia o mueve ficheros
• Utiliza la API REST del clúster
• El acceso es directo al almacén HDFS

24. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop File
System Task

25. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop Hive
Task
Funcionamiento
• Envía consultas HiveQL
• Utiliza la API REST WebHCat (aka Templeton)
• Funcionamiento mediante sistema de colas

26. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop Hive
Task

27. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop Pig
Task
Funcionamiento
• Envía scripts Pig
• Pig Latin + API REST de WebHCat (aka Templeton)
• Funcionamiento mediante sistema de colas

28. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Hadoop Pig
Task

29. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Tareas de flujo de datos (Control Flow)
HDFS File
Source
HDFS File
Destination

30. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
HDFS File
Source

31. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
HDFS File
Destination

32. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Otros componentes
• Azure Feature Pack for Integration Services (SSIS)
• Componentes:
• Gestores de conexiones Azure
• Tareas
• Componentes de flujo de datos (Data Flow)
• Azure Blob Enumerator
• https://www.microsoft.com/en-us/download/details.aspx?id=49492

33. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Gestores de conexiones Azure
Azure Storage
Connection
Manager
Azure
Subscription
Connection
Manager

34. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Tareas
Azure
HDInsight Hive
Task
Azure
HDInsight Pig
Task
Azure
HDInsight
Create Cluster
Task
Azure
HDInsight
Delete Cluster
Task
Azure Blob
Upload Task
Azure Blob
Download
Task

35. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Componentes Data Flow
Azure Blob
Source
Azure Blob
Destionation

36. ##SQLSatMadrid
SQL Server 2016 SSIS + Hadoop
Azure Blob
Enumerator

37. ##SQLSatMadrid
Referencias
Hadoop
• http://hadoop.apache.org/
HDInsight
• https://azure.microsoft.com/es-es/services/hdinsight/
SQL Server 2016
• http://www.microsoft.com/es-es/server-cloud/products/sql-server/default.aspx

38. ##SQLSatMadrid
Gracias
¡GRACIAS!
@oyara
@netmindIT

39. ##SQLSatMadrid
BIG Thanks to SQLSatMadrid Sponsors

40. ##SQLSatMadrid
4 Sponsor Sessions at 11:40
Don’t miss them, they might be getting
distributing some awesome prizes!
 HPE
 SolidQ
 KABEL
 TSD Consulting
Also BIG Raffle prizes at the end of the
event provided by:
Plainconcepts, SolidQ, Kabel, TSD
Consulting, Pyramid Analytics & sqlpass.es