O documento apresenta uma palestra sobre arquitetura e processamento de dados em tempo real. A palestra discute a diferença entre data lake e data warehouse, introduz a arquitetura lambda proposta por Nathan Marz para big data e realiza uma demonstração.
2. SOBRE MIM
Paulo Ricardo Santos
Pós-Graduado Business intelligence
pauloricardodba@gmail.com
Linkedin: pauloricardovds
3. AGENDA
Data Lake x Data Warehouse
Arquitetura de Business Intelligence
Introdução ao Big Data
Arquitetura Big Data - Lambda
Demo
4. DEFINIÇÃO DE DATA LAKE
“If you think of a datamart as a store of bottled water –
cleansed and packaged and structured for easy consumption –
the data lake is a large body of water in a more natural state.
The contents of the data lake stream in from a source to fill the
lake, and various users of the lake can come to examine, dive
in, or take samples.”
Segundo Tamara Dull:
Um Data Lake é um repositório de armazenamento que contém uma
grande quantidade de dados brutos em seu formato nativo, incluindo
dados estruturados, semi-estruturados e não estruturados. A estrutura e
os requisitos de dados não são definidos até que os dados sejam
necessários.
7. NÃO CUSTA NADA LEMBRAR?
Big Data é o termo que descreve o imenso volume de dados –
estruturados e não estruturados – que impactam os negócios no dia
dia. Mas o importante não é a quantidade de dados, e sim o que as
empresas fazem com os dados que realmente importam.
