SlideShare une entreprise Scribd logo
1  sur  16
#GlobalAzureBH
PALESTRANTE
#GlobalAzureBH
Paulo Ricardo Santos –
Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI
Arquiteto de Dados
Rede social | @pauloricardovds
pauloricardodba@gmail.com
pauloricardovds
AGENDA
#GlobalAzureBH
Big Data?
Apache Spark e Arquitetura.
Apache Hive e Arquitetura.
Apache Ambari e Power BI.
HDInsight
Demo
Duvidas – http://sli.do | Z581
Acesso Laptop
Acesso
Smartphone
Big Data é o termo que descreve o imenso volume de dados –
estruturados e não estruturados – que impactam os negócios
no dia a dia. Mas o importante não é a quantidade de dados, e
sim o que as empresas fazem com os dados que realmente
importam.
Definição de Big Data
O que torna o Spark rápido?
Spark X MapReduce tradicional
Arquitetura do Apache Spark
*Resilient Distributed
Datasets (RDD):
Spark tem diversos componentes
Apache Hive?
HiveQL?
2- Apache Ambari
4- Power BI
1- Apache Hive
3- Azure Storage
O Azure HDInsight é um serviço de nuvem totalmente
gerenciamento que facilita e torna mais rápido e econômico
processar grandes quantias de dados. Use as estruturas de
software livre populares como Hadoop, Spark, Hive, LLAP, Kafka,
Storm, R e mais. O Azure HDInsight permite uma ampla gama
de cenários como ETL, Data Warehousing, Machine Learning,
IoT e mais.
Azure HDInsight?
O que você pode criar com o Azure HDInsight?
https://azure.microsoft.com/pt-br/services/hdinsight/
Demo!
Hands on
#GlobalAzureBH
Baixe os scripts e dataset neste link.
https://github.com/pauloricardovds/AzureBootCamp2018
OBRIGADO
#GlobalAzureBH
https://www.linkedin.com/in/pauloricardovds/
pauloricardovds
pauloricardodba@gmail.com

Contenu connexe

Tendances

Tendances (6)

Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
Intelligence, Discovery, Analytics e Data Science: Evolução, Desafios e Oport...
 
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
Cloud Computing - AWS - Semana Acadêmica Uniritter - Out/2017
 
Big data, e eu com isso?
Big data, e eu com isso?Big data, e eu com isso?
Big data, e eu com isso?
 
Power bi sinc 2014
Power bi sinc 2014Power bi sinc 2014
Power bi sinc 2014
 
Computação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de TrabalhoComputação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
Computação em Nuvem, Serviços Cognitivos e Mercado de Trabalho
 
Aula 2 Big Data
Aula 2 Big DataAula 2 Big Data
Aula 2 Big Data
 

Similaire à Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI

Power Tuning - Portfolio de BI
Power Tuning - Portfolio de BIPower Tuning - Portfolio de BI
Power Tuning - Portfolio de BI
Dirceu Resende
 

Similaire à Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI (20)

Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?Big Data: O que é? e por onde começar?
Big Data: O que é? e por onde começar?
 
Big Data Week São Paulo 2017
Big Data Week São Paulo 2017 Big Data Week São Paulo 2017
Big Data Week São Paulo 2017
 
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
Processamento de dados em tempo real com Azure IoT Hub, Stream Analytics e Po...
 
Evento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e AzureEvento Allen ES Office 365 e Azure
Evento Allen ES Office 365 e Azure
 
BigData
BigDataBigData
BigData
 
24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigData24HoP 2013 - Por Onde Começar no BigData
24HoP 2013 - Por Onde Começar no BigData
 
Big Data na Nuvem
Big Data na NuvemBig Data na Nuvem
Big Data na Nuvem
 
Whitepapper oportunidades-cloud-computing-para-empresas
Whitepapper oportunidades-cloud-computing-para-empresasWhitepapper oportunidades-cloud-computing-para-empresas
Whitepapper oportunidades-cloud-computing-para-empresas
 
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnósticaCase RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
Case RDStation: Construindo DataLakes com Apache Hadoop em cloud agnóstica
 
Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.Guia sobre análise de dados e aprendizado de máquina para CIO.
Guia sobre análise de dados e aprendizado de máquina para CIO.
 
Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05Evento Allen Office 365 e Azure-28-05
Evento Allen Office 365 e Azure-28-05
 
GABC 2018 Transformação Digital
GABC 2018 Transformação DigitalGABC 2018 Transformação Digital
GABC 2018 Transformação Digital
 
Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis   Eduardo Rocha - Criando produtos invisíveis
Eduardo Rocha - Criando produtos invisíveis
 
Power Tuning - Portfolio de BI
Power Tuning - Portfolio de BIPower Tuning - Portfolio de BI
Power Tuning - Portfolio de BI
 
Gestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricGestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data Fabric
 
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
Palestra "Datacenter ao alcance de todos com Cloud Computing", Andrea Rigoni,...
 
Guia de compras - Microsoft Azure
Guia de compras - Microsoft AzureGuia de compras - Microsoft Azure
Guia de compras - Microsoft Azure
 
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócioDigital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
Digital Transformation: Como a nuvem da AWS pode ajudar o seu negócio
 
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
Mini-Curso: Introdução à Big Data e Data Science - Aula 9 - Introdução ao Pow...
 
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoBig Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho
 

Plus de Paulo Ricardo Santos

Plus de Paulo Ricardo Santos (8)

Data Storytelling - Power BI
Data Storytelling - Power BIData Storytelling - Power BI
Data Storytelling - Power BI
 
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
ARQUITETURA LAMBDA EM BIG DATA E PROCESSAMENTO EM TEMPO REAL COM STREAM ANALY...
 
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no KibanaIntrodução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
Introdução ao Elastic Stack - Criando seu primeiro Dashboard no Kibana
 
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...¿Cómo influye el Internet de las cosas en nuestra vida?  Y como crear su prim...
¿Cómo influye el Internet de las cosas en nuestra vida? Y como crear su prim...
 
Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.Arquitetura e Processamento de Dados em Tempo Real.
Arquitetura e Processamento de Dados em Tempo Real.
 
Iot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria ConectadaIot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
Iot e Big Data na Indústria 4.0: O Futuro da Indústria Conectada
 
Monitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempoMonitorando ambiente de micro serviços em tempo
Monitorando ambiente de micro serviços em tempo
 
Iot e Big Data na Indústria 4.0
Iot e Big Data na Indústria 4.0Iot e Big Data na Indústria 4.0
Iot e Big Data na Indústria 4.0
 

Dernier

Dernier (9)

ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docxATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
 
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docxATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
 
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docxATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
 
Programação Orientada a Objetos - 4 Pilares.pdf
Programação Orientada a Objetos - 4 Pilares.pdfProgramação Orientada a Objetos - 4 Pilares.pdf
Programação Orientada a Objetos - 4 Pilares.pdf
 
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docxATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
 
Padrões de Projeto: Proxy e Command com exemplo
Padrões de Projeto: Proxy e Command com exemploPadrões de Projeto: Proxy e Command com exemplo
Padrões de Projeto: Proxy e Command com exemplo
 
Boas práticas de programação com Object Calisthenics
Boas práticas de programação com Object CalisthenicsBoas práticas de programação com Object Calisthenics
Boas práticas de programação com Object Calisthenics
 
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docxATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
 
Luís Kitota AWS Discovery Day Ka Solution.pdf
Luís Kitota AWS Discovery Day Ka Solution.pdfLuís Kitota AWS Discovery Day Ka Solution.pdf
Luís Kitota AWS Discovery Day Ka Solution.pdf
 

Desmistificando o Big Data com o Microsoft Azure HDInsight + PowerBI