Descrição de Agile Analytics e um exemplo prático de Ciência de Dados, através de um Classificador binário em Árvore de Decisão

1. AGILE ANALYTICS
Uma abordagem de BI e Analytics Avançado
Guiada por Valor de Negócio
A n d r e s s a S i v o l e l l a

2. ESTA É A MARÍLIA…
2Gerente de Projetos

3. OUTUBRO DE 2015…
3

4. JANEIRO DE 2016
4

5. JULHO DE 2016
5

6. 6
ARQUITETURAS TRADICIONAIS DE BI & DW

7. 7
ARQUITETURAS TRADICIONAIS DE BI & DW
Extração ativa de
dados em lote

8. 8
ARQUITETURAS TRADICIONAIS DE BI & DW
Extração ativa de
dados em lote
Modelagem
de dados
corporativos

9. 9
ARQUITETURAS TRADICIONAIS DE BI & DW
Extração ativa de
dados em lote
Modelagem
de dados
corporativos
Lógica de ETL
complexa
Jobs ETL
de longa
duração

10. 10
Extração ativa de
dados em lote
Modelagem
de dados
corporativos
Lógica de ETL
complexa
Design emergente é de
difícil implementação
Jobs ETL
de longa
duração
ARQUITETURAS TRADICIONAIS DE BI & DW
Não
adequado à
dados não-
relacionais

11. 11
ARQUITETURAS TRADICIONAIS DE BI & DW
Extração ativa de
dados em lote
Modelagem
de dados
corporativos
Lógica de ETL
complexa
Não
adequado à
dados não-
relacionais
Design emergente é de
difícil implementação
Jobs ETL
de longa
duração
11
Relatórios e
Diagnósticos

12. MARÍLIA E A ARQUITETURA ATUAL
12
Você está demitido!

13. NOVA ABORDAGEM
13
VS

14. NÍVEIS DE MATURIDADE EM ANALYTICS
14
Valor
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise
Descritiva
Por que aconteceu?
Análise
Diagnóstica
O que vai acontecer?
Análise
Preditiva
O que fazer quando
acontecer?
Análise
Prescritiva

15. 15
NÍVEIS DE MATURIDADE EM ANALYTICSValor
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise
Descritiva
Por que aconteceu?
Análise
Diagnóstica
O que vai acontecer?
Análise
Preditiva
O que fazer quando
acontecer?
Análise
Prescritiva
BI
Tradicional
Analytics
Avançado

16. CENÁRIO ATUAL
16
✴ Volume, Velocidade e Variedade Analytics Avançado

17. CENÁRIO ATUAL
17
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação

18. CENÁRIO ATUAL
18
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise

19. CENÁRIO ATUAL
19
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios

20. CENÁRIO ATUAL
20
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios
✴ Ferramentas proprietárias
• Dificuldade para integração contínua

21. ANALYTICS AVANÇADO?
21
ARQUITETURA E ENGENHARIA
DE DADOS
Definição de estruturas e
modelos de dados, escolha e
implementação das tecnologias
adequadas
VISUALIZAÇÃO DE DADOS
Design colaborativo,
prototipação, testes e avaliação
de feedbacks para visualização
efetiva dos dados
CIÊNCIA DE DADOS
Criação de modelos que
permitam dar o passo de uma
abordagem descritiva para uma
preditiva.

22. É, NÃO É, FAZ, NÃO FAZ
22
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)

23. É, NÃO É, FAZ, NÃO FAZ
23
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais

24. É, NÃO É, FAZ, NÃO FAZ
24
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse

25. É, NÃO É, FAZ, NÃO FAZ
25
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards

26. É, NÃO É, FAZ, NÃO FAZ
26
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP

27. É, NÃO É, FAZ, NÃO FAZ
27
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)

28. É, NÃO É, FAZ, NÃO FAZ
28
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)
Suporta à ausência de dados Requer dados completos

29. É, NÃO É, FAZ, NÃO FAZ
29
Analytics Avançado BI Tradicional
Baseada em Ciência Estatística
Baseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem,
massivamente paralela, bancos de
dados não relacionais
Bancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e
experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas
proprietárias)
Ferramentas proprietárias (poucas
Open Source)
Suporta à ausência de dados Requer dados completos
Dados (des)estruturados Dados estruturados

30. PONTOS CHAVE
30
✴ Analytics Avançado não é BI ou geração de relatórios.
✴ Analytics é uma forma de alavancar dados e algoritmos de
modo a produzir soluções novas e inovadoras.
✴ Agile Analytics é modelada para reduzir custos

31. 31
Starwood buscava entender quais eventos
possuíam o maior impacto nas ações da
empresa e encontrou na ThoughtWorks a
parceira ideal para ajudar na identificação
desses eventos.
Os resultados foram:
- Melhoria na medição da
performance dos hotéis com o
desenvolvimento de um
índice de sazonalidade
ajustável
- Identificadas as tendências
potencialmente prejudiciais à
propriedade
- Principais indicadores econômicos
utilizados pela Starwood não eram
mais relevantes para prever a
performance futura do negócio

32. 32
Rackspace, em parceria com a ThoughtWorks, criou
uma plataforma de Cloud Analytics para que o Grupo
de Produtos pudesse extrair valor a partir dos dados de
seus clientes.
Os resultados foram:
- Compreensão de quais usuários aderem a um
plano pago, porque eles aderem e sob quais
circunstâncias.
- Geração contínua de insights possibilitando
novas estratégias de produto.

33. 33
Os resultados foram:
- Reimplementação do motor de
identificação de itens de
contrato para possibilitar
cenários mais complexos e
conjuntos de dados maiores
- Aumento do percentual de
registros identificados de 80%
para 95%
- Redução do tempo de
processamento de horas para
minutos
- App para visualização
substituiu o Excel
PREMIER
A Premier buscou a ThoughtWorks com a
necessidade de simplificar e melhorar a identificação
de itens de listas de compras para negociação de
contratos.

34. 34
Construção de um sistema de gerenciamento de anúncios
para que os usuários finais pudessem gerenciar campanhas
online com foco na otimização de performance.
Geração de recomendações ”inteligentes” com base em algoritmos de machine
learning treinados com dados históricos de mercado.
REACH LOCAL

35. GRANDE VAREJISTA NOS EUA
Migração da plataforma de dados utilizando
tecnologias de Big Data
PROBLEMA
• Os sistemas legados utilizados para armazenar e processar dados foram
considerados inadequados
• Os algoritmos de previsão de demanda precisavam ser implementados em um
ambiente de Big Data
SOLUÇÃO
• Os dados foram migrados para um cluster Hadoop
• Foram implementados workflows de dados totalmente automatizados para
preparação de dados, processamento e publicação
• Foram implementados algoritmos de forecasting utilizando Hive e R (no cluster)
• O treinamento de modelos e previsões foi paralelizado através de operações
MapReduce a partir do código em R

36. 36
TECNOLOGIAS

37. AGILE ANALYTICS
37

38. ESTRUTURA
38
CAMADA DE
INFORMAÇÃO
DADOS DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
38

39. ESTRUTURA
39
■ Foco nos objetivos de negócio
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO

40. 40
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
40

41. 41
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
■ Implementação em fatias
verticais, da extração de
dados às aplicações
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
41

42. 42
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
■ Implementação em fatias
verticais, da extração de dados
às aplicações
■ Ingestão incremental de
dados, com capacidade real
time
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
42

43. 43
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
■ Implementação em fatias
verticais, da extração de dados
às aplicações
■ Ingestão incremental de dados,
com capacidade real time
■ Estruturas de dados de cada
fatia adequadas à aplicação
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
43

44. 44
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
■ Implementação em fatias
verticais, da extração de dados
às aplicações
■ Ingestão incremental de dados,
com capacidade real time
■ Estruturas de dados de cada
fatia adequadas à aplicação
■ Lógica perto da aplicação
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
44

45. 45
ESTRUTURA
■ Foco nos objetivos de negócio
■ Engajamento constante dos
stakeholders
■ Implementação em fatias verticais,
da extração de dados às aplicações
■ Ingestão incremental de dados,
com capacidade real time
■ Estruturas de dados de cada fatia
adequadas à aplicação
■ Lógica perto da aplicação
■ Design emergente / “just enough
architecture”
CAMADA DE
INFORMAÇÃO
DADOS
DESESTRU-
TURADOS
CAMADA DE
APLICAÇÃO
45

46. NA PRÁTICA…
46
Por onde eu começo?

47. ALINHAMENTO VIA INCEPTION
47

48. ALINHAMENTO VIA INCEPTION
48
Riscos Valor de Negócio

49. QUAIS SÃO OS ELEMENTOS?
FACILITAÇÃO E ANÁLISE DE
NEGÓCIO
Facilitação de workshops,
identificação de cenários e
hipóteses, discussão de
premissas e soluções
ARQUITETURA E ENGENHARIA
DE DADOS
Definição de estruturas e
modelos de dados, escolha e
implementação das tecnologias
adequadas
DESENVOLVIMENTO
ÁGIL
Análise, desenvolvimento e
qualidade de software com
métodos ágeis
VISUALIZAÇÃO DE DADOS
Design colaborativo,
prototipação, testes e avaliação
de feedbacks para visualização
efetiva dos dados
CIÊNCIA DE DADOS
Criação de modelos que
permitam dar o passo de uma
abordagem descritiva para uma
preditiva.
NEGÓCIO E FONTES DE DADOS
Conhecimento do negócio e
fontes de dados
49

50. POR ONDE COMEÇAR?
50
CIÊNCIA DE DADOS
Criação de modelos que
permitam dar o passo de uma
abordagem descritiva para uma
preditiva.
OPEN SOURCE

51. CIÊNCIA DE DADOS
51

52. CIÊNCIA DE DADOS
52

53. O QUE É MACHINE LEARNING?
53

54. ABORDAGEM DE REGRAS
54
8
Abordagem de regras?
Cores?
Tipo de costura?
Tamanho?
...

55. ABORDAGEM DE ANALYTICS AVANÇADO
55
9
Abordagem de Machine Learning
Classificador
Treinado a partir de
conjunto conhecido
(supervisionado)
Atributos
(features)
Resposta
(label/target/output)

56. ABORDAGEM DE ANALYTICS AVANÇADO
56
10
Abordagem de Machine Learning
Classificador
Algoritmos encontram padrões
nas amostras conhecidas
Atributos
(features)
Resposta
(label/target/output)

57. ABORDAGEM DE ANALYTICS AVANÇADO
57
12
● árvore de decisão???
● rede neural
● regressão linear
● ensemble
● ...
Possíveis Classificadores
ClassificadorAtributos
(features)
Resposta
(label/target/output)

58. 58
Marília joga tênis

59. MARÍLIA JOGA TÊNIS?
59
15
João joga tênis?
Tempo
Umidade
Vento
...
Não joga
Joga
Árvore de Decisão

60. 60
# Dia Tempo Umidade Vento Joga?
1 Ensolarado Alta Fraco Não
2 Ensolarado Alta Fraco Não
3 Nublado Alta Fraco Sim
4 Chuvoso Alta Forte Sim
5 Chuvoso Normal Fraco Sim
6 Chuvoso Normal Forte Sim
7 Nublado Normal Forte Sim
8 Ensolarado Alta Fraco Não
9 Ensolarado Normal Fraco Sim
10 Chuvoso Normal Fraco Sim
11 Ensolarado Normal Forte Sim
12 Nublado Alta Forte Sim
13 Nublado Normal Fraco Sim
14 Chuvoso Alta Forte Não
2 semanas de
João joga tên
2 semanas
de
Janeiro

61. 61
17
Tempo
Ensolarado
Nublado
Chuvoso
Umidade Vento
Joga
Alta Normal
Joga
Forte Fraco
Não Joga JogaNão Joga
Árvore de Decisão

62. 62
# Dia Tempo Umidade Vento Joga?
1 Nublado Alta Fraco Sim
2 Ensolarado Alta Forte Não
3 Ensolarado Alta Fraco Não
4 Chuvoso Normal Fraco Sim
5 Chuvoso Alta Fraco Sim
6 Chuvoso Normal Forte Não
7 Nublado Alta Forte Sim
8 Chuvoso Alta Forte Não
9 Ensolarado Normal Fraco Sim
10 Chuvoso Alta Fraco Sim
11 Nublado Normal Fraco Não
12 Nublado Alta Forte Sim
13 Nublado Alta Fraco Sim
14 Ensolarado Alta Fraco Não
2 semanas d
João joga tên
2 semanas
de
Julho

63. 63
19
Árvore de Decisão
Tempo
Ensolarado
Nublado
Chuvoso
Umidade
NormalAlta
JogaNão Joga
Umidade
NormalAlta
Joga Não Joga
Vento
NormalFraco
Joga Não Joga

64. 64
20
Sub-conjuntos (im)puros
Tempo
Ensolarado
Nublado
Chuvoso
Umidade Vento
0 / 4
Profundidade = 2 Puro
3 / 2
Impuro
2 / 3
Impuro

65. 65
21
Sub-conjuntos (im)puros
Tempo
Ensolarado
Nublado
Chuvoso
Profundidade = 2
Joga
Não Joga Joga

66. TREINAMENTO SUPERVISIONADO
66
Treinamento Supervisionado
Conjunto de
amostras
rotulado

67. TREINAMENTO SUPERVISIONADO
67
23
Treinamento Supervisionado
100% de amostras
70%
Treino Teste
30%

68. COMO COMPARAR DESEMPENHO?
68
Como comparar desempenho?
Palpite do Classificador
ClassificaçãoReal
Joga
Joga
Não Joga
NãoJoga
Verdadeiro
Positivo (TP)
Verdadeiro
Negativo (TN)
False
Negativo (FN)
False
Positivo (FP)
Matriz de Confusão

69. COMO COMPARAR DESEMPENHO?
69
25
Como comparar desempenho?
Palpite do Classificador
ClassificaçãoReal
Joga
Joga
Não Joga
NãoJoga
Verdadeiro
Positivo (TP)
Verdadeiro
Negativo (TN)
False
Negativo (FN)
False
Positivo (FP)
Precisão =
TP
TP + FP
Recall =
TP
TP + FN
Acurácia =
TP + TN
Total
F1 Score = 2 .
Precisão . Recall
Precisão + Recall

70. 70
Código, mostre-me código!

71. EVOLUÇÃO: MODELOS ENSEMBLE
71
Em qual atleta eu posso
apostar na final do
US Open?

72. OPINIÃO 1
72
Opinião 1
29
No passado, ele teve êxito em 68% de
seus palpites
Conhece bem o esporte
… mas tendencioso
Não é imparcial

73. OPINIÃO 2
73
Opinião 2
30
Acompanha apostas há 10 anos
Estuda atletas individualmente
Excelência em apostas esportivas
No passado, ela teve êxito em 73% de
seus palpites
Ⓡ

74. OPINIÃO 3
74
Opinião 3
31
Mais afinidade com atletas mulheres
Desconhece atletas novos
Não vem acompanhando o esporte
No passado, ela teve êxito em 70% de
seus palpites

75. OPINIÃO 4
75
Opinião 4
32
...
No passado, ela teve êxito em 62% de
seus palpites

76. COMBINAÇÃO DOS PALPITES
76
Combinação das Avaliações
= 1 - (68% x 73% x 70% x 62%)
= 79% de acurácia
Guga Empresa Sharapova Galvão
Correlacionados
Acurácia
33
Ⓡ

77. MODELO ENSEMBLE
77
Modelos Ensemble
Classificador 1
Classificador 2
Classificador 3
Classificador 4
Classificador N
Hipótese
Coletiva
Classificador Ensemble
34
H1
H2
H3
H4
HN

78. MODELO ENSEMBLE
78
Modelos Ensemble
Guga
Galvão
Blabous
Sharapova
Hipótese
Coletiva
Classificador Ensemble
Voto
Majoritário
35

79. CLASSIFICADORES
79
Classificadores
Árvore de Decisão 1
Árvore de Decisão 2
Árvore de Decisão 3
Árvore de Decisão 4
Árvore de Decisão N
Algoritmos da mesma natureza
SVM
Árvore de Decisão
Rede Neural
Deep Learner
Regressor Linear
Diversidade de Algoritmos
36

80. CLASSIFICADORES
80
PositivoNegativo
Hipótese Coletiva
Classificadores
Árvore de Decisão 1
Árvore de Decisão 2
Árvore de Decisão 3
Árvore de Decisão 4
Árvore de Decisão N
+1
+1
-1
-1
-1
SVM
Árvore de Decisão
Rede Neural
Deep Learner
Regressor Linear
+2
-1
+3
-1
-1
37

81. CLASSIFICADORES
81
38
Hipótese Coletiva: -1 Hipótese Coletiva: +2
Árvore de Decisão 1
Árvore de Decisão 2
Árvore de Decisão 3
Árvore de Decisão 4
Árvore de Decisão N
+1
+1
-1
-1
-1
SVM
Árvore de Decisão
Rede Neural
Deep Learner
Regressor Linear
+2
-1
+3
-1
-1
Classificadores

82. AGILE ANALYTICS
82
Árvore de Decisão

83. AGILE ANALYTICS
83
Árvore de Decisão
Regressão Linear

84. AGILE ANALYTICS
84
Árvore de Decisão
Regressão Linear
Rede Neural

85. AGILE ANALYTICS
85
Árvore de Decisão
Regressão Linear
Rede Neural
Modelo Ensemble

86. ABORDAGEM
86

87. ABORDAGEM
87

88. 88
METODOLOGIAS

89. CANVAS
89

90. ESTÓRIAS DE USUÁRIOS
90
Como um <papel>
Eu quero <objetivo>
Para então <valor>

91. PAREAMENTO
91

92. TIMES AUTO-GERENCIÁVEIS
92

93. OUTRAS PRÁTICAS
93
✴ Stand-ups
✴ Showcases
✴ Atividades de Team Building
✴ Retrospectivas Semanais

94. RADAR TÉCNICO
94

95. @asivolella
asivolella@thoughtworks.com
Andressa Sivolella