O documento discute a arquitetura e desafios de uma plataforma de vídeos na Web. Apresenta métricas de desempenho de um evento com mais de 500 mil usuários simultâneos e discute componentes como CDN, player e ingestão para entrega escalável de vídeos.

1. A plataforma de
vídeos da
globo.com

2. Analisando apenas
um evento de
2018

3. > 500K
Usuários simultâneos
(live)

4. POP SP
POP RJ
*intervalo

5. 422K
req/s
*só na cdn live de vídeos

7. 84.2
Gbps
*pico de uma máquina

9. 99.3%
cache hit

10. ????

11. > 1TB / dia

12. > 1PB / dia

13. 1Bi min
assistidos por mês
(vod)

14. Usuário
consumidor
Usuário
produtor
datastore
Player CDN Ingest
Plataforma de vídeos

15. datastore
Player IngestCDN

16. CDN :: principais componentes

17. CDN :: o quê?
player
CDN
GET /video1.mp4

18. CDN :: load balancing
player
CDN
?
Least conn
Round robin
Hash IP
...

19. CDN :: distribuição por região
SP
RJ

20. ISPx
ISPy
ISPk
SPBGP announcement
186.192.81.0/24
ISPx ISPy
ISPk
RJ
186.192.81.2
BGP announcement
186.192.81.0/24
PoP
PoP

21. CDN :: transbordo para CDN de terceiros
SP
RJ
3rd party
CDN A
3rd party
CDN B

22. CDN :: distribuição por audiência
1k
videos.globo.com
v0.videos.globo.com
v1.videos.globo.com
v2.videos.globo.com10k
1m

24. CDN :: caching
front-end back-end
1.mp4
1.mp4
1.mp4

25. CDN :: estratégia para aumentar o hit
1k
videos.globo.com
v0.videos.globo.com
v1.videos.globo.com
v2.videos.globo.com10k
1m

26. CDN :: caching multi levels
https://
1st Browser
2nd RAM
3rd SSD
4th HDD

27. CDN :: caching priorizado
+ vistos
- vistos

28. CDN :: IO bounded
NODE

29. CDN :: caching escalar IO
NODE

30. CDN :: caching escalar IO
proxy_cache_path /mnt/disk1/cache keys_zone=disk1:100m ...;
proxy_cache_path /mnt/disk2/cache keys_zone=disk2:100m ...;
proxy_cache_path /mnt/disk3/cache keys_zone=disk3:100m ...;
split_clients $request_uri $cache {
33% disk1;
33% disk2;
* disk3;
}

32. CDN :: seja stateless
stateful stateless
1x
Caminho crítico

34. FE BE DS
CDN :: identificar serviços mínimos
*serviços importantes mas auxiliares

35. CDN :: melhorias constantes
Hardware (NIC, CPU …)
Kernel (Network, IO…)
Application (nginx, lua…)

36. CDN :: não compre antes de testar
TRY BEFORE YOU BUY

37. CDN :: roteia X % para o nó em teste

38. CDN :: métricas base
latência
503, 403...
taxa de
erros
bandausuários

40. CDN :: monitorar e aletar

41. datastore
CDN IngestPlayer

42. Player :: principais componentes

43. Player :: plugins

44. Player :: plugins

45. Player :: clappr

46. Player :: fluxo
API's
CDN
ads
analytics

47. datastore
Player CDN Ingest

48. Ingest / encoding :: principais componentes

49. Ingest / encoding
upload
packager
encoding
segmenter
security
metadata
Ingest / encoding :: desafios

50. Ingest / encodingIngest / encoding :: macro visão
Entrada
Fila
Saída
Data store
CDN
Encoder

51. Ingest / encodingIngest / encoding :: sanitização de entrada
Regras:
Codec
Resolução
Aspecto
Bitrate
Frame rate
...

52. Ingest / encodingIngest / encoding :: múltiplas saídas
1080p 720p 648p 504p 360p 144p
1080p 720p 648p 504p 360p 144p
1080p 720p 648p 504p 360p 144p
0-5s
5-10s
10-15s

53. 1 video
N resoluções
x M formatos
x K segmentos de X segundos
x Y dispositivos

55. Obrigado,
Perguntas?
Github @leandromoreira