Most Developers live in Wonderland, a place where resources are unlimited, failures don't happen and where we take naps inside giant mushrooms. The reality is different. Bottlenecks, failures, latency... take the red pill and come down the rabbit hole with us. What the common bottlenecks are, how to detect them, the usual optimizations, and a full-scale use-case based on Jawg Maps (part 2). This talk was given at the Modern DevOps meetup in Paris, in November 2017

1. © Copyright 2017 resourcepool 1
Performance Tuning
Kill the Bottleneck
Loïc Ortola

2. © Copyright 2017 resourcepool 2
Loïc Ortola
CTO @ jawg
Loïc Ortola @LoicOrtola
loic@jawg.io
DevOps– Archi – Dev Fullstack
Java – Node.js – Angular/React – Android – IoT

3. © Copyright 2017 resourcepool 3
Wonderland
Les mensonges de l’IT

4. © Copyright 2017 resourcepool 4
Unlimited Resources
no bottleneck, no hardware failure, no latency

5. © Copyright 2017 resourcepool 5
Scalability is assumed
All technologies are easily scalable
Languages & platforms do not matter

6. © Copyright 2017 resourcepool 6
And it’s for free

7. © Copyright 2017 resourcepool 7

8. © Copyright 2017 resourcepool 8
Welcome to
Wonderland

9. © Copyright 2017 resourcepool 9
Limited Resources
One or more bottlenecks, multiple hardware failures, latency

10. © Copyright 2017 resourcepool 10
Quels sont les différents bottlenecks usuels?

11. © Copyright 2017 resourcepool 11
Bottlenecks and time-units
• CPU
• cycle horloge ~ 0.3 ns
• Mémoire
• cycle horloge * CAS latency ~ 15 ns
• ~20 gbps throughput
• Network:
• latency ~ 10 ms
• ~100 mbps throughput

12. © Copyright 2017 resourcepool 12
Bottlenecks and time-units
• NVME:
• R/W d’un bloc ~ 5 us
• ~ 300k IOPS
• ~ 10 gbps throughput
• SSD:
• R/W d’un bloc ~ 100 us
• ~ 50k IOPS
• ~ 5 gbps throughput
• HDD:
• R/W d’un bloc ~ 10 ms
• ~ 150 IOPS
• ~ 400 mbps throughput

13. © Copyright 2017 resourcepool 13
“Mais non, t’inquiète, ca marchera”
Failures & Latency

14. © Copyright 2017 resourcepool 14
Failures

15. © Copyright 2017 resourcepool 15
Latency
• Touche tous les niveaux d’une infrastructure
• Dépend de nombreux facteurs
• Peut souvent entrainer des erreurs en cascade

16. © Copyright 2017 resourcepool 16
Scalability is non-trivial
V vs H scaling, clustering, sharding

17. © Copyright 2017 resourcepool 17
Lois Universelles du scaling
• La scalabilité verticale est toujours utile à considérer
• Ajouter un noeud a toujours un cout
• New point of failure
• Adds management costs
• Adds app & architecture complexity

18. © Copyright 2017 resourcepool 18
Technologies
• Relational Databases & ACID
• Clustering enabled technologies
• Sessions, Websockets & technologies connectées

19. © Copyright 2017 resourcepool 19
Comprendre les règles
Pour mieux les contourner

20. © Copyright 2017 resourcepool 20
Le chemin complet

21. © Copyright 2017 resourcepool 21
Le chemin complet
• DNS
• Socket binding, read, app connector
• Business Logic
• DB
• Business Logic
• Socket write
• Close

22. © Copyright 2017 resourcepool 22
Load-testing
Make the invisible visible

23. © Copyright 2017 resourcepool 23
Les bottlenecks potentiels
• Trop de charge sur la DB è IO / CPU / RAM
• Stratégie d’écriture des Logs
• Bande passante
• Développement applicatif
• Dimensionnement pool de connexions
• Dimensionnement worker-pool
• Dimensionnement heap / JVM
• Garbage collection
• Conf Kernel

24. © Copyright 2017 resourcepool 24
Mo-ni-to-ring

25. © Copyright 2017 resourcepool 25
Système
htop : CPU / RAM
iostat / iotop : I/O
netstat: Sockets / connections

26. © Copyright 2017 resourcepool 26
Applicatif
VisualVM: Threads / Heap / CPU / GC

27. © Copyright 2017 resourcepool 27
DB
• Logger les requêtes lentes
• Monitorer les temps d’exécution
slow_query_log=1
slow_query_log_file=/var/log/mysql/mysql-slow.log

28. © Copyright 2017 resourcepool 28
Les injecteurs
• Percentiles des temps de réponse
• Connections concurrentes
• Utilisateurs concurrents

29. © Copyright 2017 resourcepool 29
Les optimisations

30. © Copyright 2017 resourcepool 30
La Conf!
• Optimiser les tailles de pools
• Configurer sa JVM (GC, Heap-size, triggers, etc…)
• Configurer ses logs (async-flush)
• Fine-tuner sa DB
• Fine-tuner son OS

31. © Copyright 2017 resourcepool 31
La DB
• Optimiser les requêtes
• Indexer différemment
• Sharder / Clusteriser / Changer de DB?

32. © Copyright 2017 resourcepool 32
L’application
• Résoudre les bugs
• Limiter la création d’objets (buffers ou object-pools)
• Limiter la copie
• Utiliser du cache mémoire
• Optimiser l’utilisation des threads
• Devenir non-bloquant au possible
• Changer de technologie ?

33. © Copyright 2017 resourcepool 33
L’architecture
• Scaler intelligemment
• Répartir la charge
• Sharder / clusteriser
• Ajouter des niveaux de cache
• Répartir sur des régions + Anycast DNS

34. © Copyright 2017 resourcepool 34
Test-case : Jawg Maps