Skatteetaten har kjørt en proof-of-concept (PoC) for å vurdere grid-plattform som en del av det framtidige målbildet. Formålet er primært forbedret endringsevne og vesentlig reduserte forvaltningskostnader; sekundært massiv parallellprosessering. Denne sesjonen tar for seg grid-plattformens sentrale egenskaper og hvilke problemstillinger en grid-applikasjon må håndtere, med eksempler og erfaringer fra PoCen. Spesielt ser vi på hvordan programmeringsmodellen og plattformen tilbyr ekstrem enkelhet og ypperlig testbarhet. Samtidig må man være særlig oppmerksom på områder som aggregat-design, serialisering, versjonering og robusthet. Vi viser også hvordan man kan oppnå lineær skalerbarhet med parallellisert, minnebasert prosessering, inkludert en demo av realistisk skatteberegning fra PoCen. Relaterte ressurser: o http://vimeo.com/49367410 o http://www.slideshare.net/tormodv/enkelhet-testbarhet-og-skalerbarhet-med-grid-bakgrunn

1. ENKELHET, TESTBARHET OG
SKALERBARHET MED GRID
Proof of Concept
Skatteetaten
JavaZone 2012
Tormod Varhaugvik og Trond Arve Wasskog
12.09.2012

2. Målsetning

3. Skatteetatens arkitekturavdeling
ønsket å gjennomføre Proof of
Concept på ny plattform for
liknings- og skatteprosessene

4. Overordnet målsetting var å senke
forvaltningskostnadene, øke
endringsevnen og bygge systemer
som i større grad vil svare på
fremtidige utfordringer.

5. Primært bevise hypotesen om at
innsamling, fastsetting og skatt- og
avgifts-beregning kan bygges
vesentlig enklere og gi et enklere
vedlikehold.

6. Sekundært bevise hypotesen om at
systemene kan bygges for massiv
parallell-prosessering til en lavere
kostnad.

7. Tilnærming

8. Testbarhet

9. Enkelhet

10. Vedlikeholdbarhet

11. Driftbarhet

12. Grid 101

13. Node 1 Node 2 Node 3
A B C D E F

14. Node 1 Node 2 Node 3
A D E C B F

15. Node 1 Node 2 Node 3
A D E C B F

16. Node 1 Node 2 Node 3
A D E C B F
1
1 1
1. Kjør distribuert jobb

17. Node 1 Node 2 Node 3
A D E C B F
2
2 2
1. Kjør distribuert jobb
2. Aggreger del-resultat

18. Node 1 Node 2 Node 3
A D E C B F
B C A F D E

19. Node 1 Node 2 Node 3
A D E C B F
B C A F D E

20. Node 2 Node 3
E C B F
A F D E
B D C A

21. Node 1 Node 2 Node 3
A D E C B F

22. Skatteberegning
PoC

23. Prosesserings- Prosesserings- Prosesserings- Prosesserings-
Prosessering modul modul modul modul
Grid
(distribuert cache)
Lagring
XML XML XML
Dokumentdatabase Dokumentdatabase Dokumentdatabase

24. Server
Legge (komprimert)
Grid-node Java-objekter i griden
Beregnet skatt ”Beregn skatt”
Generere java-objeker
Skattegrunnlag ”Generer SG”
Parse XML-filer
Saldo- ogFodselsnr
rente- Part
”Last S/R”
meldinger
08017212345 Person {Navn=”Per”, Partner=”...”, BarnAv=”..”}
Dekomprimere
31124698765 Person {Navn=”Arne”, Partner=”...”, BarnAv=”..”}
Lønns- og24046934567
trekk- zip-arkiv
”Last LTO’er”
Person {Navn=”Anne”, Partner=”...”, BarnAv=”..”}
oppgaver
16098745678 Person {Navn=”Lise”, Partner=”...”, BarnAv=”..”}
Lese zip-arkiver
Parter ”Last parter” fra disk
Skattefamilie ”Last skattefamilie”

25. Server Server
Grid-node Grid-node
Saldo- og rente Saldo- og rente
”Last S/R”
meldinger meldinger
Lønns- og trekk Lønns- og trekk
”Last LTO’er”
oppgaver oppgaver
Parter
Parter Parter ”Last parter”
Skattefamilie Skattefamilie ”Last skattefamilie”

26. Server Server
Grid-node Grid-node
Saldo- og rente
meldinger
Lønns- og trekk
oppgaver
Parter
Skattefamilie Skattefamilie

27. Server Server
Grid-node Grid-node
Beregnet skatt Beregnet skatt
Skattegrunnlag Skattegrunnlag
Saldo- og rente Saldo- og rente
meldinger meldinger
Lønns- og trekk Lønns- og trekk
oppgaver oppgaver
Parter Parter
Skattefamilie Skattefamilie

28. Enkelhet

29. Domene
Spring Batch JPA EJB CDI JTA JSF
Spring Java EE
Java SE
Oracle RDBMS

30. Domene
Grid
Java SE

31. Plain Old Java Objects

32. Map<UUID,Oppgave>

33. MultiTask task =
new MultiTask(myCallable, members);
ExecutorService executorService =
Hazelcast.getExecutorService();
executorService.execute(task);
Collection results = task.get();

34. Utviklingsarkitektur

35. Enkelhet

36. Sølvkule?

37. Aggregatdesign

38. <<aggregate root>> <<value object>>
Leveranse LeveranseId
<<aggregate root>>
Oppgave <<entity>>
Part
<<value object>> <<value object>>
Avvik PartId

39. Serialisering

40. Source: https://github.com/eishay/jvm-serializers

42. Idempotens

43. JobbInfo
Leveranse Oppgave
Status = READY
FAILED
RUNNING
UUID=3xh340b3 ID=17127123908
0..* Status = READY
... SUCCESS
... ...
Behandle Persistent lager
Leveranse
Jobb
0 100 000 200 000 300 000 400 000
0 5s 10s 15s 20s

44. Asynkronitet

45. 1400
1200
1000
Oppgaver
800
600 Write-through
Write-behind
400
200
0
1 2 3 4
Tid

46. Konsistens

48. DEMO

49. Resultater

50. Kjørende løsning for forhåndsutfylt
selvangivelse og skatteberegning
basert på reelle grunnlagsdata

51. Implementasjon som dekker
skatteregler for 70% av Norges
befolkning

52. RESULTAT PSA-GENERERING
antall/min
500,000
435,143
450,000
400,000
350,000
287,678
300,000
250,000
200,000
150,000 123,646
100,000
50,000
0
1 2 3
Antall noder

53. Hva betyr det når
vi har …?

54. 5 100 000
selvangivelser,
skatteberegninger og
skattekort ...

55. ...og
80 000 000
grunnlagsdata og
underskjermaer

56. Jo, vi trenger …

57. 370 GB RAM
120 GB RAM netto
+ redundans og indekser

58. =
12 servere
á 32 GB RAM

59. Men da kan vi til
gjengjeld ...

60. ... lage selvangivelser
for hele landets befolkning på...

61. 3 minutter

62. ... og gjøre
skatteberegning
for alle sammen på...

63. 1,5 minutter

64. ... med en årlig
infrastrukturkostnad på
1 400 000,-

65. SPØRSMÅL OG SVAR