Morning talk about Microservices, CQRS, Event Soursing and SAGA patterns

1. Microservices
CQRS & SAGAS

2. Co se dnes dozvíte
◇Základní princip Microservices
◇Jak na transakce v distribuovaném systému
◇Vytváření složitějších pohledů na data

3. Ahoj!
Jindřich Kubát
Vedoucí vývoje v Mall.cz
jindrich.kubat@outlook.com
@techitouch
https://www.linkedin.com/in/jindrich-kubat/

4. Proč
microservices
?
1

5. “

6. “

7. “

8. “
“Chaos v uzavřeném systému nelze zmenšit,
může pouze zůstat stejný, nebo se
zvětšovat”
Software entropy

9. Zmírnění chaosu
◇Pravidelná údržba
◇Refaktorizace
◇Teorie rozbitých oken

10. Filozofie
Microservice
2

11. Architektura aplikace
 Rozhodnutí daná na začátku vývoje,
jenž je následně velmi drahé změnit
 MS je jedním z mnoha stylů
 Even driven
 Monolithic
 Service oriented

12. MS vs Monolithic architecture
Monolithic Architecture Microservice Architecture

13. Monolithic architecture
Výhody
 Vývoj
 Nasazování
 Škálování v ranné fázi
 Testování
Nevýhody
 Refactoring
 Kompilace / Pomalé
IDE
 Continuous Deployme
nt
 Škálování v pozdější
fázi

14. Microservice Architecture
Výhody
 Jednoduché na
pohopení
 Škálování
 Možnost použít různé
technologie
 High availability
 Continuous Deployment
Nevýhody
 Vývoj v distribuovaném
systému
 Komunikace mezi
teamy
 Testování
 Debugging
 Vývoj projektu

15. “
Produktivita vs Složitost
systému

16. “
“Žádná neexistuje”
Definice Microservices
MS splňují většinu uvedených vzorů
 Izolované prostředí
 Pokryté testy
 Automatizovaně nasazované
 Automatizovaná infrastruktura
 Plně zdokumentované
 REST / SOAP API
 Řeší izolovaný problém z business prostředí

17. Transakce v
distribuovaném
systému
2

18. ACID transakce
◇Zajištění konzistence dat v relační databázi
◇Velmi běžné a snadné v monolitické
architektuře
◇Mohou významně zhoršovat dostupnost
systému

19. “
Mějme objednávku a dárkový certifiktát.
Platí, že nelze platit neplatným certifikátem,
zároveň je nutné certifikát zneplatnit
společně se založením objednávky

20. Řešení v
monolotické
architekruře

21. SQL
BEGIN;
SELECT …. FROM certs WHERE token = :token;
INSERT INTO purchase ….;
UPDATE certs SET valid = 0 WHERE token =
:token;

22. Microservic
e
architektura

23. Bad Solution – 2PC
Výhody:
◇ Umožňuje datovou
integritu
Nevýhody:
◇ Výrazné dopady na
dostupnost
systému
◇ SPOF
◇ Vyžaduje úložiště s
transakcemi

24. SAGAS
Sekvence lokálních transakcí, které jsou
vykonané samostatně a izolovaně

25. Kompenzační
transakce

26. Kompenzační
transakce
◇Pro co nejvyšší odolnost systému je nutné implementovat
jako idempotentní
◇Není nutné vždy revertovat původní stav, lze reagovat
libovolným způsobem

27. Řízení událostí
Již existující služba
◇ Jednotlivé služby jsou
úzce provázané
◇ Porušení doménové
odpovědnosti
◇ SAGA je rozprostřena
mezi spoustu služeb
SAGA process manager
◇ Nová služba pro
sjednocení volání
service na jedno místo
◇ Neobsahuje žádnou
business logiku
◇ SPOF!

28. Předávání událostí
1. Přímé volání API Endpointu
2. Pomocí událostí
Pro události se často používá Event
Soursing

29. Event Soursing
3

30. “
“Jak uložit a číst změny v systému”

31. Tradiční způsob
◇Při každé události se přepíše původní hodnota
◇Stav systému je dán aktuální hodnotou
Nevýhody
◇ Změny jsou uloženy v logách ( pokud vůbec )
◇ Nutná infrastruktura ( úložiště ) a třídy, které se o data
starají
◇ Změna pohledu na data je platná od bodu implementace

32. Event Soursing
◇Využívá event systém jako primární úložiště
změn
◇Zapisují se pouze změny ( přidávání zpráv )
◇Aktuální stav systému je dán přehráním všech
zpráv
Výhody
Systém lze kdykoliv replikovat pouhým přehráním
zpráv
Není nutné dodatečné úložiště
Změna pohledu na data umožnuje mít všechny
data od počátku

33. Události ve skladu
ID Amount
100 10
200 20
100 -5
100 10
200 -3

34. Příklady použití
◇Bankovní účet
◇Účetnictví
◇Zdravotní dokumentace
◇SAGAS & CQRS ;)

35. Uložení událostí
◇Kamkoliv, kde mohu segregovat události
• Apache Kafka
• Databáze
• NoSQL úložiště
• Úložiště -> Paměť

36. SAGA process
manager
3

38. Event Soursing &
SAGA
◇Celý běh událostí je kompletně zaznamenán
◇Události lze kdykoliv přehrát znovu
◇Komunikace je asynchronní
◇Události lze replikovat a reagovat v jiných částech
systému
◇Lze snadno vkládat nové události ( odeslání emailu, apod.
)

39. Zobrazení v UI
 Po dokončení celé SAGY
Odpověď může trvat delší dobu
Nemusí se v UI nic měnit
 Ihned po založení objednávky
Okamžitá odpověď
Nutná změna UI / API

40. Řešení problémů
◇Změna business stavu některých objektů – “Pending”
◇Process Manager – SPOF
◇Kompenzační transakce vždy idempoetentní
◇Výrazně vyšší komplexita
◇Monitoring procesu

41. CQRS
4

42. Command & Query
Responsibility
Segregation
Jak zobrazit všechny objednávky, kde byl použitý slevový kupón v
hodnotě >= 2000Kč za rok 2017

43. SQL
SELECT p.purchase_id, c.amount
FROM purchase p
JOIN ucerts c ON p. purchase = c.purchase_id
WHERE c.amount >= :amount
AND c.time BETWEEN :t1 AND :t2

44. Řešení v
monolotické
architekruře

45. Možnosti
◇Multiget API
Nikdy nelze pokrýt všechny možné scénáře
Výrazné dopady na performance, dostupnost
◇ CQRS
Flexibilní vzor pro další scénáře
Rozdělení zátěže, výrazně lepší performance
- Denormalizace dat, Redundance dat

46. CQRS základní
princip

47. Výhody CQRS
◇Oddělení zátěže mezi Zápisem a Čtením
◇Oddělení různých potřeb pro čtení ( komplexní
dotazy ) a zápis ( validace, pravidla )
◇Možnost používat různé technologie pro čtení /
zápis

48. Synchronizace dat
◇Není nezbytně nutné používat zcela jiné úložiště, nicméně
se to částo děje kvůli lepší dostupnosti a možnosti
škálování.
◇Jak fungují transakce v relační databázi?
◇Je nutné mít velmi odolnou metodu na synchronizaci dat
mezi úložišti, podle účelu ( Exact copy vs Materialized View
)

49. CQRS a Event
Soursing
◇Velmi často se oba přístupy kombinují dohromady
◇Jako jediné úložiště a zdroj pravdy je využit
stream událostí
◇Na druhé straně je 1 – n úložišť pro čtení dat, kde
se realizují různé pohledy

51. Díky!
Otázky?
Doporučená literatura
 http://microservices.io
 https://martinfowler.com/articles/microservices.ht
ml
 https://www.nginx.com/resources/library/designing
-deploying-microservices/
 https://craft-conf.com
 http://microxchg.io