Více info o zátěžovém testování na: www.smartmeter.io Prezentace obsahuje uvedení do problematiky performance testování a tuningu výkonu (nejen) webových aplikací včetně praktické ukázky provedení performance testu. Nastavení očekávání a předpokladů pro provedení a vyhodnocení performance testů. Životní cyklus a praktické zkušenosti s performance testy prováděnými v rámci týmu, projektu nebo jako služba na dálku. Tipy a triky z performance testů webových aplikací – investigace a interpretace výsledků testů. Organizace v oblasti performance testingu. Přednášeno v rámci ITvečera 11.4.2016 na FIT ČVUT

1. by Jan Verner, Zbyněk Hraše, Pavel Lukeš
11/04/2016 FIT ČVUT
PERFORMANCE TESTING
v agilním provedení
#1 Proč děláme SmartMeter.io
#2 Základy performance testingu
#3 Živá ukázka
#4 2 příběhy performance testingu
#5 Agilita a Performance testing
#6 Budoucnost

2. „S performance testy začněte tam, kde vám
architekt systému říká, že je všechno bez
problému“
—Pavel Lukeš, SmartMeter.io

3. Proč jsme přesvědčení, že se vyplatí
investovat do opakovaných performance
testů – pravidelně.
Proč by to mělo zajímat i vás?

4. #1
Úvodní slovo Pavel Lukeš
Performance architect
& Product owner
pavel.lukes@etnetera.cz

5. Co budeme
potřebovat ?
Developervs.Tester

6. Nevíte s jakým
nástrojem a jak ?
No co, používá to
skoro každý
Developervs.Tester

7. Nemáte testera?
Vždyť já si
poradím
Developervs.Tester

8. Chytání duchů
není měření
Teď už mi nic
neunikne
Developervs.Tester

9. Pojďme na to
profesionálně
Tak jdeme
na to
Jen do toho, mám
to poladěný
Developervs.Tester

10. Hledání slabého
místa
Snad už to
mám!
Sláva! Tak to
jdeme
vyzkoušet
Developervs.Tester

11. Stále to není ono
Developervs.Tester
Kde by to tak
mohlo být? To je doba!

12. Bezradnost
a beznaděj
Nevim, nevim.
Prostě nevim!
Ten to nedá
Developervs.Tester

13. Negativní dopad
na vztah
Test neměří
dobře!
Neumíš
programovat!
Developervs.Tester

14. Pojďme na to
jinak
Jen pomyslíš a test
se ti spustí sám
Geniální!
Developervs.Tester

15. Chce to
experimentovat
Jo aha!
Tohle taky
předělám!
Vyzkoušíme,
uvidíme
Developervs.Tester

16. Pozitivní výsledek
Rychlejší web
neexistuje!
Máme to pod
kontrolou
Developervs.Tester

17. #2
Základy
Performance
Testingu Jan Verner
Performance architect
& tech. leader
jan.verner@etnetera.cz

18. Úvod do performance testingu
Chování systému pod zátěží
Identifikace kritických míst
Výchozí bod pro opakované testy
Performance tuning
Ověření výkonnostních kritérií
Simulace reálných uživatelů

19. Otázka #1
Znáte nějaké metriky vhodné pro zátěžové
testy?
Správná odpověď = 1 bod.
(lze získat více bodů)

20. Otázka #1
Znáte nějaké metriky vhodné pro zátěžové
testy?
• rychlost odezvy
• průchodnost (throughput)
• spolehlivost
• latence
• škálovatelnost
• kapacita

21. Core Activities of Performance Testing
Identify the Test Environment
Identify Performance Acceptance Criteria
Plan and Design Tests
Configure the Test Environment
Implement the Test Design
Execute the Test
Analyze Results, Report, and Retest

22. Otázka #2
Proč dělat zátěžové testy?
Správná odpověď = 1 bod
(lze získat více bodů)

23. Otázka #2
Proč dělat zátěžové testy?
• Optimalizace a ladění výkonu systému
• Snížení nákladů na provoz
• Sledování dopadu změny v systému na
jeho výkonnost,
• Příprava na marketingovou kampaň
• Průběžné vyhodnocování kondice
systému

24. Typy zátěžových testů
Výkonnostní test (Performance test)
Test hraniční zátěže (Load/Stress test)
Test odolnosti (Soak test)
Test selhání (Failover test)
Test objemu dat (Volume test)

25. Otázka #3
Jaký typ testů sedí na následující popis?
• Doba běhu: 24 hodin
• Míra zátěže: produkční
• Zapnutý profiling
Správná odpověď = 1 bod

26. Otázka #3
Jaký typ testů sedí na následující popis?
SOAK Test

27. Testovací software
Základní princip (úroveň
protokolu)
Cloud / On premise
Architektura
distribuovaného
systému

28. Otázka #4
K čemu slouží Data server?
Správná odpověď = 1 bod

29. Otázka #4
K čemu slouží Data server?
K distribuci testovacích dat na generátory
zátěže.

30. #3
Živá ukázka testu

31. #4 – příběh 1
High performance
testing pro
Fortuna a.s. Zdeněk Kalina
QA Team Leader
& Polyglot Programmer
zdenek.kalina@etnetera.cz

32. Aplikace pro
sportovní
online sázení
Fortuna a.s.
Denně 100k – 300k
unikátních uživatelů
Webová vrstva
REST API
AMF protocol
Databáze

33. Podmínky pro
spuštění testů
Testy až s 10k VU
10k uživatelských účtů
Testovací prostředí
Srovnání s produkcí
Ověření před testem
Testy na produkci
Fortuna a.s.

34. Monitoring,
Výstup,
Vyhodnocení
Fortuna a.s.
Kibana
Java Mission Control
Report SmartMeteru

35. Metodika
vývoje
Fortuna a.s.
Neustálý vývoj
Agile
Scrum
Sprint 2 týdny
Release 1x za týden
Testy před releasem
1x měsíčně na
produkci

36. #4 – příběh 2
University of Law
London Jan Verner
Performance architect
& tech. leader
jan.verner@etnetera.cz

37. Představení
projektu
University of Law
Univerzita v Londýně
24 hod. úkoly pro studenty
Problémy
Nárazová zátěž před koncem
deadlinu
Přetížení EZProxy

38. Zajímavosti
University of Law
Kombinace Cloud (90 %) &
On premise (10 %)
Cloud - pronajaté servery v
UK

39. Problémy
University of Law
Nejasně definované cíle
projektu
Komunikační problémy
English Confcalls
Český a zahraniční partner -> 4
strany
Propojení Cloudu & On
premise (firewall)
Víkendové testy

40. #5
Agilita
a performance
testing
#6
Next steps
& roadmap of
SmartMeter.io
Zbyněk Hraše
Business owner
& leader divize produkty
zbynek.hrase@etnetera.cz

41. Prostředí, kde se pohybujeme

42. Kam v QA patří performance testing?
F (functionality) – funkčnost
U (usability) – vhodnost k použití
R (reliability) – spolehlivost
P (performance) – výkon
S (supportability) – schopnost být udržována

43. + Test enviroment ready 1st
+ Test data ready
+ Test plan ready
+ Automation scripts ready
+ Mocks & Stubs ready
+ Time slots ready
+ Architecture understanding
+ Infrastructure understanding
Jak začínáme s performance testy
Ready to GO

44. + Agents ready
+ Monitors ready
+ Logs ready
+ Dev-Ops ready
+ Cooperation 3rd parties ready
Ready
to
Report
Co je třeba k vyhodnocení

45. Performance tuning nikdy nekončí

46. Jaký bude další vývoj?

47. Jaký bude další vývoj ?
Tréninkové centrum
Integrace APM nástrojů > více než Dynatrace
Web UI > On-premise aplikace
(Recorder, Runner, Editor = 2.0)
Web UI > Cloud services
CI support + pokročilejší integrace

48. Nezapomeňte
přednášku ohodnotit:
Jsme připraveni na Vaše dotazy.
Zbyněk Hraše
Product Manager
Pavel.lukes@smartmeter.io
@SmartMeterIO
#SmartMeterIO
Pavel Lukeš
Performance architect
Jan Verner
Product tech leader
Děkujeme za
pozornost!
bit.ly/performance-itvecer
Jan.verner@smartmeter.io
Zbynek.hrase@smartmeter.io