Palestra realizada na edição presencial da Campus Party Goiás 2 em 2022. Modern Data Stack é: Um conjunto flexível de tecnologias que ajudam as empresas a armazenar, gerenciar e aprender com seus dados de forma rápida e eficiente

1. 2 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
1 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at
efficitur tortor. Donec
congue odio bibendum
3 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
4 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
Modern Data Stack
As tecnologias e práticas mais modernas
atualmente em Big Data

2. 2 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
1 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at
efficitur tortor. Donec
congue odio bibendum
3 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
4 Ponto
Lorem ipsum dolor sit
amet, consec tetur
adipiscing elit. at efficitur
tortor. Donec congue odio
bibendum
➔ Tech Lead na Dadosfera;
➔ AWS Community Builder;
➔ Bacharel em Sistemas de Informação pelo IFG;
➔ Pós graduado em Big Data e Machine Learning
pela Fasam;
Cicero Moura
cicerojmm
/in/cicero-moura

3. Sobre o que vamos conversar?
◆ Big Data e Data Lake;
◆ Cenário atual em Big Data;
◆ O que Modern Data Stack? E porque
precisamos disso?
◆ Pilares do Modern Data Stack;
◆ Conceitos e Ferramentas;
◆ Dicas práticas da Área de Dados.
3

4. 4
O que é Big Data?

5. Big Data?
5

6. 6
Big Data Atualmente

7. 7
Desafios Atuais
➔ Aumento na demanda por Data Analytics e Data
Science;
➔ Complexidade em integrar cada vez mais fontes
de dados;
➔ Tempo curto para desenvolvimento dos produtos
de dados;
➔ Pouca mão de obra qualificada no mercado.

8. 8
Como podemos
solucioná-los?

9. 9
Modern Data Stack
“Um conjunto flexível de tecnologias que
ajudam as empresas a armazenar, gerenciar
e aprender com seus dados de forma rápida
e eficiente”.

10. 10
Modern Data Stack
O Modern Data Stack incorpora conceitos
como Data Mesh, Reverse ETL, Data Catalog
3.0, Product Teams e mais…

11. 11
Modern Data Stack
Será o MDS mais uma ?

12. 12
Modern Data Stack
Não é apenas uma Buzzword!
➔ Amadurecimento da área de Dados;
➔ Tecnologias mais sólidas;
➔ Conceitos e práticas onde é possível formar o
Modern Data Stack.

13. 13
Pilares

14. 14
Modern Data Stack
Pilares
Reverse ETL
Metrics
Layer
Data Mesh
Data
Catalog 3.0
Data Team
as Product
Team
Data
Observability

15. 15
Modern Data Stack
Data Mesh

16. 16
Modern Data Stack
Metrics Layer
Central Metric Layer

17. 17
Modern Data Stack
Data Catalog 3.0
Ambiente Colaborativo para Governança de Dados:
➔ Catalogação de metadados;
➔ Documentação dos dados (datasets);
➔ Gestão dos Data Assets;
➔ Pesquisa e democratização dos dados;

18. 18
Modern Data Stack
Data Observability
Logs Metrics Tracing

19. 19
Modern Data Stack
Product Teams
Equipes de Dados têm a tendência de passar a se
preocupar não apenas em entregar uma pipeline,
mas quão bem estão atendendo as necessidades
do negócio.

20. 20
Modern Data Stack
Product Teams
O foco principal não é mais discutir como os dados
serão armazenados e sim como serão utilizados
pelo negócio.

21. 21
Modern Data Stack
Reverse ETL
Os dados que foram agregados no ambiente de Big
Data devem possuir a capacidade de voltar para os
sistemas transacionais e agregar valor na operação
do dia a dia (ERP, CRM, Ops).

22. 22
Modern Data Stack
Reverse ETL

23. 23
Ferramentas e
Tecnologias

24. 24
Modern Data Stack
Overview
Modern Data Stack

25. 25
Modern Data Stack
Ferramentas
Ingestão de Dados Transformação

26. 26
Modern Data Stack
Ferramentas
Data Warehouse Orquestração

27. 27
Modern Data Stack
Ferramentas
Catalogação de Dados Visualização de Dados

28. 28
Dicas práticas

29. 29
Carreiras na Área de Dados
Engenheiro de Dados Cientista de Dados Engenheiro de Análise

30. 30
Carreiras na Área de Dados
Engenheiro de
Machine Learning
Arquiteto de Dados Governança de dados

31. 31
Data Platform

32. 32
Data Platform dadosfera.ai

33. 33
Like, share and comment cicerojmm.medium.com

34. Obrigado pela presença!