Migrando para BI com STTM
•
0 j'aime•452 vues
Samba Tech Analytics: Arquiteturas e tecnologias por trás da análise de vídeos online em larga escala A Samba Tech é uma startup fundada em 2004 e atualmente líder na América Latina em gestão e distribuição profissional de vídeos online. Atualmente suporta um tráfego anual de 15PB, garantindo a entrega e análise de mais de 400 milhões de video views/mês. Os vídeos entregues pela Samba Tech atingem 1 a cada 10 usuários únicos no Brasil e geram cerca de 2 Bilhões de requisições mensais. Será tema desta palestra os desafios e soluções adotadas na construção de uma ferramenta para análise dos dados de consumo dos vídeos administrados através da plataforma da empresa. Com um grande volume de requisições, a solução exigiu uma arquitetura de alto desempenho, confiável e elástica para gerar informações precisas para tomada de decisões estratégicas dos clientes. Lídio Ramalho CTO da Samba Tech. Chief Technology Officer da Samba Tech, é bacharel em Ciência da Computação pela UFMG, especializado em Cloud Computing, Redes de computadores e arquitetura de sistemas. É arquiteto de software e líder da equipe de WebOperations da empresa.
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (19)
En vedette
En vedette (8)
Similaire à Migrando para BI com STTM
Similaire à Migrando para BI com STTM (20)
Migrando para BI com STTM
- 2. Agenda • Intro • Migrando de relatório para uma solução de BI • Under the Hood • Lições aprendidas
- 6. No Início - Report Fornecerinformaçõesdeuso Estatísticasedadosgerais
- 7. • Número de Visualizações • Número de Visualizações Completas • Retenção por quartil • Tráfego • Número de Uploads, etc… No Início - Report
- 8. No Início - Report +Dados
- 9. ! • Problema: Custo Elevado • Apresentava bom desempenho • Problema: Instabilidade, interações entre aplicações • Aplicações com perfis muito diferentes convivendo num mesmo cluster. • Crescimento expressivo no volume de dados e requisições • Problema: crescimento acelerado da base, administração do banco. No Início - Então decidimos coletar mais dados - Java, Python e Mysql V1
- 12. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. Murray Gell-Mann “ “http://drtomcrick.com/2011/04/26/feynman-problem-solving-algorithm/
- 13. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. 2. Think very hard. Murray Gell-Mann “ “
- 14. FEYNMANPROBLEM-SOLVINGALGORITHM 1. Write down the problem. 2. Think very hard. 3. Write down the answer Murray Gell-Mann “ “
- 18. Manter foco na Inovação Flexível e Escalonável SLA Alto Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 19. A visualização dos dados deve ser clara e objetiva. Objetivos Design agrega valor!
- 21. Analytics detalhes de consumo da media VI DEO
- 22. Em alta EM ALTA
- 24. Samba facts Dados de volume do analytics
- 25. Small Sharp Tools Filosofia Unix
- 26. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline - STTM SambatechTrackingModel COLETOR APIPROCESSADOR
- 27. STTM - Solução DynamoAmazon SQS S3 Data and Logs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 28. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline - STTM INFORMAR COLETOR
- 29. Coleta de dados - STTM GET sttm.gif http://sttm.sambatech.com.br/collector/ __sttm.gif? sttms=12de2304-74f2-80f0-8b8b-909ec4 c4f158&sttmu=123a232saa111kkkk3&stt mm=p07,r07,p08,r08,p09,r09,p10,r10&stt mw=pid:310/cat:5219/ mid:b1e9b34ce8f6d8e73d5793a8038796 7d&sttmk=ae810ebc7f0654c4fadc50935 adcf5ec&&sttmsg=org:www.mydomain.co m.br&sttmm=play COLETOR Response 35 Bytes
- 30. COLETOR - Objetivos • Rápido • Simples e Escalável • Confiável e Consistente
- 31. COLETOR
- 34. COLETOR COLETOR HTTPIN Logger MsgBuilder Amazon SQS S3 Data and Logs Glacier
- 35. COLETOR Amazon SQS S3 Data and Logs Glacier COLETOR HTTPIN Logger MsgBuilder GIF
- 36. COLETOR
- 37. Comunicação Amazon SQS • Assincronia e Controle de fluxo • Sem perdas de mensagens • Log de mensagens não processadas. • Escalável sob demanda • Alto SLA • Gerenciado • Custo relativamente Baixo • Não suporta AMQP
- 38. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline INFORMARPROCESSARCOLETAR PROCESSADOR
- 41. Porque Dynamo • Baixa Latência • Alta performance • Gerenciado • Escalável • Alto SLA • Multi A/Z • Hot Keys Problem Dynamo
- 43. Agregador Amazon SQS AGREGADOR Builder MsgAgreg Auto scaling Group Instances APP Srv Agregation
- 44. Hot Keys Problem Dynamo AGREGADOR Builder MsgAgreg Registro Writes 0 27.5 55 82.5 110 Time 1 2 3 4 5 6 WriteCapacity
- 46. Hot Keys Problem Writes 0 27.5 55 82.5 110 Time 1 2 3 4 5 6 WriteCapacity Dynamo AGREGADOR Builder MsgAgreg SplitKeys
- 50. ! • Escalável • Controle de Custos • Managed • Hadoop como serviço • Map Reduce Engine • Bom gerenciamento de capacidade • Integração com S3 e Dynamo EMR Data Processing Porque EMR
- 54. 1. Run job 2. Find Bottoleneck 3. Optimize Sumarizador Dynamo EMR Data Processing Sumarizador x/diaNetwork
- 56. Conhecer bem o problema e os dados é essencial. Otimizações locais são eficientes!
- 57. COLETAR Data Pipeline PROCESSAR INFORMAR Data Pipeline INFORMARINFORMARCOLETAR API
- 60. RECAP DynamoAmazon SQS S3 Data and Logs Glacier COLETOR API PROCESSADOR AGREGADOR SUMARIZADOR HTTPIN HTTPOUT EMR Data Processing
- 61. Lições aprendidas As aplicações são focadas, pequenas e conectadas por uma fila ou datastore. O output de uma é input para a outra.
- 62. Custo 0 0.25 0.5 0.75 1 Latência (H) 0 1 3 6 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 63. Custo 0 0.25 0.5 0.75 1 Latência(H) 0 1 3 6 12 24 100% 57% 46% 40% 38% 37% Latência vs Custo Custo estimado Por Requisição LatênciavsCusto
- 64. Manter foco na Inovação Flexível e Escalonável SLA Alto Pagar de acordo com o uso Baixo custo de administração de infra Objetivos
- 65. • Soluções gerenciadas ajudam a manter o foco no problema, mas podem trazer limitações inesperadas. • Arquitetura flexíveis ajudam a responder rapidamente a limitações. ! ! ! COn clu são