SlideShare une entreprise Scribd logo
1  sur  36
Télécharger pour lire hors ligne
Big Data e Machine Learning
vida real, cases práticos e possível futuro
da área de dados
Pós Graduação em
Inteligência Artificial Aplicada
2
● Tech Lead em Engenharia de
Dados.
● AWS Community Builder.
● Pós-Graduado em Big Data e
Machine Learning pela Fasam.
● Bacharel em Sistemas de
Informação pelo IFG.
Cícero Moura
3
www.datatrain.com.br
4
dadosfera.ai
Áreas de Data
Science
Agenda
Big Data e IA
1 4
Carreiras na área de
dados
5 Cases
2
3 6
Arquiteturas
modernas
Tendência na área de
dados
5
Big Data e IA
6
Data Science
7
Ecossistema de Big Data
8
Buzzwords
9
Quem faz
acontecer?
10
Perfis na área de Dados
11
Engenheiro de Dados Cientista de Dados Engenheiro de Análise
Perfis na área de Dados
12
Engenheiro de
Machine Learning
Arquiteto de Dados Governança de dados
Como faz
acontecer?
13
Arquiteturas Modernas
14
Arquiteturas Modernas
15
Arquiteturas na Nuvem
16
Arquiteturas na Nuvem
17
Arquiteturas na Nuvem
18
E como
controlar
tudo isso?
19
Governança de Dados
20
Governança de Dados
21
Data Lineage Data Quality Data Security Data Catalog
Democratização de dados
22
Mas não se
esqueça!
23
Objetivo Principal
24
Tornar os dados em conhecimento e inteligência
dentro das organizações;
Alguns cases
25
Cases Práticos
26
Cases Práticos
27
● Análise de desempenho e alocação de docentes
Cases Práticos
28
● Predição para Design e Qualidade de tubos de petróleo
Cases Práticos
29
● Predição para casos de diabetes e suas complicações
E o que podemos
esperar?
30
Tendências
31
● Ferramentas No-Code ou Low-Code;
● Aumento de aplicação end-to-end com IA;
● Data as Service nas organizações;
● Modern Data Stack;
● Data Platforms.
Modern Data Stack
32
Reverse ETL
Metrics Layer
Data Mesh
Data Catalog 3.0
Data Team as
Product Team
Data
Observability
1
6
5
4
3
2
Data Platform
33
https://docs.dadosfera.ai/
Escalando equipes
34
● Equipe de dados se concentrar em entregar valor;
● Ter ambiente de Big Data reproduzivél em larga
escala;
● Oferecer ambiente de dados como Produto;
● Democratizar o acesso a dados.
Merchan - Blog
35
● cicerojmm.medium.com
Obrigado!
36
/in/cicero-moura
@cicerojmm
linktr.ee/cicerojmm

Contenu connexe

Similaire à Big Data, ML e casos práticos na área de dados

Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações FaBIana Ravanêda Vercezes
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeJohn Lemos Forman
 
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...tdc-globalcode
 
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2WSO2
 
Big Data Analytics - Data Engineer, Arquitetura, AWS e Mais
Big Data Analytics - Data Engineer, Arquitetura, AWS e MaisBig Data Analytics - Data Engineer, Arquitetura, AWS e Mais
Big Data Analytics - Data Engineer, Arquitetura, AWS e MaisCicero Joasyo Mateus de Moura
 
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...Felipe Mota
 
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchProcessamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchCicero Joasyo Mateus de Moura
 
10 tendências estratégicas para o mercado de tecnologia em 2015
10 tendências estratégicas para o mercado de tecnologia em 201510 tendências estratégicas para o mercado de tecnologia em 2015
10 tendências estratégicas para o mercado de tecnologia em 2015SpinEngenharia
 
Mercado e Tendências em Tecnologia da Informação
Mercado e Tendências em Tecnologia da InformaçãoMercado e Tendências em Tecnologia da Informação
Mercado e Tendências em Tecnologia da InformaçãoElvis Fusco
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2alexculpado
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesMarlesson Santana
 
Pilares da Computação para Internet das Coisas
Pilares da Computação para Internet das CoisasPilares da Computação para Internet das Coisas
Pilares da Computação para Internet das CoisasAndré Curvello
 
Internet das Coisas - Do Sensor à Nuvem, e Você?
Internet das Coisas - Do Sensor à Nuvem, e Você?Internet das Coisas - Do Sensor à Nuvem, e Você?
Internet das Coisas - Do Sensor à Nuvem, e Você?André Curvello
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieMarcos CAVALCANTI
 
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...Rio Info
 
Big data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíAllexandre Sampaio
 
Pilares do Crescimento no mercado de Tecnologia
Pilares do Crescimento  no mercado de Tecnologia Pilares do Crescimento  no mercado de Tecnologia
Pilares do Crescimento no mercado de Tecnologia Bruno Brasil
 
Data science com python - frameworks e melhores práticas
Data science com python - frameworks e melhores práticasData science com python - frameworks e melhores práticas
Data science com python - frameworks e melhores práticasMarlesson Santana
 

Similaire à Big Data, ML e casos práticos na área de dados (20)

Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Ciencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividadeCiencia de dados na pratica, com transparencia e produtividade
Ciencia de dados na pratica, com transparencia e produtividade
 
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...
TDC2018SP | Trilha Arquitetura Corporativa - EA + IA: como dar maturidade às ...
 
Internet de Todas as Coisas (IoE)
Internet de Todas as Coisas (IoE)Internet de Todas as Coisas (IoE)
Internet de Todas as Coisas (IoE)
 
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2
Detecção de Fraudes em Licitações Usando Batch Analytics com WSO2
 
Big Data Analytics - Data Engineer, Arquitetura, AWS e Mais
Big Data Analytics - Data Engineer, Arquitetura, AWS e MaisBig Data Analytics - Data Engineer, Arquitetura, AWS e Mais
Big Data Analytics - Data Engineer, Arquitetura, AWS e Mais
 
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...
Palestra - Os Trens da Internet das Coisas - Do Conceito Básico até sua Aplic...
 
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchProcessamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
 
10 tendências estratégicas para o mercado de tecnologia em 2015
10 tendências estratégicas para o mercado de tecnologia em 201510 tendências estratégicas para o mercado de tecnologia em 2015
10 tendências estratégicas para o mercado de tecnologia em 2015
 
Mercado e Tendências em Tecnologia da Informação
Mercado e Tendências em Tecnologia da InformaçãoMercado e Tendências em Tecnologia da Informação
Mercado e Tendências em Tecnologia da Informação
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisões
 
Pilares da Computação para Internet das Coisas
Pilares da Computação para Internet das CoisasPilares da Computação para Internet das Coisas
Pilares da Computação para Internet das Coisas
 
Internet das Coisas - Do Sensor à Nuvem, e Você?
Internet das Coisas - Do Sensor à Nuvem, e Você?Internet das Coisas - Do Sensor à Nuvem, e Você?
Internet das Coisas - Do Sensor à Nuvem, e Você?
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil Crie
 
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...
Rio Info 2015 - Painel Projetos Inovadores com IoT - Margarida afonso costa b...
 
Big data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aí
 
Pilares do Crescimento no mercado de Tecnologia
Pilares do Crescimento  no mercado de Tecnologia Pilares do Crescimento  no mercado de Tecnologia
Pilares do Crescimento no mercado de Tecnologia
 
Data science com python - frameworks e melhores práticas
Data science com python - frameworks e melhores práticasData science com python - frameworks e melhores práticas
Data science com python - frameworks e melhores práticas
 

Plus de Cicero Joasyo Mateus de Moura

Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Cicero Joasyo Mateus de Moura
 
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Cicero Joasyo Mateus de Moura
 
Re:cap do AWS re:Invet 2022 for Data Engineer and Analytics
Re:cap do AWS re:Invet 2022 for Data Engineer and AnalyticsRe:cap do AWS re:Invet 2022 for Data Engineer and Analytics
Re:cap do AWS re:Invet 2022 for Data Engineer and AnalyticsCicero Joasyo Mateus de Moura
 
JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais mode...
JoinCommunity 2022 -  Modern Data Stack - As tecnologias e práticas mais mode...JoinCommunity 2022 -  Modern Data Stack - As tecnologias e práticas mais mode...
JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais mode...Cicero Joasyo Mateus de Moura
 
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...Cicero Joasyo Mateus de Moura
 
TDC Connections 2022 - Segurança e Anonimização de Dados em Larga Escala com...
TDC Connections 2022 - Segurança e Anonimização de Dados  em Larga Escala com...TDC Connections 2022 - Segurança e Anonimização de Dados  em Larga Escala com...
TDC Connections 2022 - Segurança e Anonimização de Dados em Larga Escala com...Cicero Joasyo Mateus de Moura
 
CPBSB 2022 - Big Data e Machine Learning na Prática Construindo um Data Lake...
CPBSB 2022 - Big Data e  Machine Learning na Prática Construindo um Data Lake...CPBSB 2022 - Big Data e  Machine Learning na Prática Construindo um Data Lake...
CPBSB 2022 - Big Data e Machine Learning na Prática Construindo um Data Lake...Cicero Joasyo Mateus de Moura
 
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRStream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRCicero Joasyo Mateus de Moura
 
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Cicero Joasyo Mateus de Moura
 
Construindo sua Assistente Virtual Integrada a Dispositivos IoT com Python ...
Construindo sua  Assistente Virtual  Integrada a Dispositivos IoT com Python ...Construindo sua  Assistente Virtual  Integrada a Dispositivos IoT com Python ...
Construindo sua Assistente Virtual Integrada a Dispositivos IoT com Python ...Cicero Joasyo Mateus de Moura
 
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das Pessoas
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das PessoasIoT e TA: Soluções Com Potencial Para Melhorar a Vida das Pessoas
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das PessoasCicero Joasyo Mateus de Moura
 

Plus de Cicero Joasyo Mateus de Moura (14)

Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
 
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
Escalando a Qualidade de Dados com Great Expectations e Spark no Modern Data ...
 
Re:cap do AWS re:Invet 2022 for Data Engineer and Analytics
Re:cap do AWS re:Invet 2022 for Data Engineer and AnalyticsRe:cap do AWS re:Invet 2022 for Data Engineer and Analytics
Re:cap do AWS re:Invet 2022 for Data Engineer and Analytics
 
JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais mode...
JoinCommunity 2022 -  Modern Data Stack - As tecnologias e práticas mais mode...JoinCommunity 2022 -  Modern Data Stack - As tecnologias e práticas mais mode...
JoinCommunity 2022 - Modern Data Stack - As tecnologias e práticas mais mode...
 
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...
Modern Data Stack - As tecnologias e práticas mais modernas atualmente em Big...
 
TDC Connections 2022 - Segurança e Anonimização de Dados em Larga Escala com...
TDC Connections 2022 - Segurança e Anonimização de Dados  em Larga Escala com...TDC Connections 2022 - Segurança e Anonimização de Dados  em Larga Escala com...
TDC Connections 2022 - Segurança e Anonimização de Dados em Larga Escala com...
 
CPBSB 2022 - Big Data e Machine Learning na Prática Construindo um Data Lake...
CPBSB 2022 - Big Data e  Machine Learning na Prática Construindo um Data Lake...CPBSB 2022 - Big Data e  Machine Learning na Prática Construindo um Data Lake...
CPBSB 2022 - Big Data e Machine Learning na Prática Construindo um Data Lake...
 
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRStream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
 
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
 
Construindo sua Assistente Virtual Integrada a Dispositivos IoT com Python ...
Construindo sua  Assistente Virtual  Integrada a Dispositivos IoT com Python ...Construindo sua  Assistente Virtual  Integrada a Dispositivos IoT com Python ...
Construindo sua Assistente Virtual Integrada a Dispositivos IoT com Python ...
 
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das Pessoas
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das PessoasIoT e TA: Soluções Com Potencial Para Melhorar a Vida das Pessoas
IoT e TA: Soluções Com Potencial Para Melhorar a Vida das Pessoas
 
Joincommunity - Goiânia 2018
Joincommunity - Goiânia 2018Joincommunity - Goiânia 2018
Joincommunity - Goiânia 2018
 
IoT: construindo ideias com nodeMCU e MQTT
IoT: construindo ideias com nodeMCU e MQTTIoT: construindo ideias com nodeMCU e MQTT
IoT: construindo ideias com nodeMCU e MQTT
 
PHP: Como não programar em POG
PHP: Como não programar em POGPHP: Como não programar em POG
PHP: Como não programar em POG
 

Big Data, ML e casos práticos na área de dados