Découvrez Spring Batch, sa simplicité, les concepts de bases ainsi que les notions avancées. Tout tout tout, vous saurez tout sur Spring Batch! Intervenant : Olivier Bazoud @obazoud

1. Interface21 UG
Spring Batch
Mercredi 20 Novembre 2013
Olivier Bazoud

2. Intervenant
Olivier Bazoud @obazoud
Senior developer Kyriba
Spring-* / JEE, NoSQL, Node.js
Scala bientôt ;)
Co-auteur de “Spring Batch in Action”

3. Sommaire
➢ C’est quoi un batch ?
➢ Problèmes récurrents
➢ Notions de bases
➢ Notions avancées
➢ Conclusion

4. C’est quoi un batch ?
Répétition de traitements sur des données
➔ Sur des grands volumes

5. C’est quoi un batch ?
… sans intervention d’un utilisateur humain
➔ pas d’interface homme-machine

6. C’est quoi un batch ?
batch ≠ scheduler

7. C’est quoi un batch ?
Exemples:
• Import flat / XML dans une base de données
– Nouveaux clients
– Flux financier…
• Mise à jour de données
– référentiel
• …

8. Problèmes récurrents
• Fiabilité

9. Problèmes récurrents
• Maintenabilité

10. Problèmes récurrents
• Réinvention de la roue… carrée

11. Spring Batch
Notions de base

12. Spring Batch propose…
•
•
•
•
•
•
Un cadre
Un vocabulaire (domain language)
Traitement par lots
Flow, Reprise sur erreur, …
Spring dans ses batchs
…
Parallélisme
Scaling
Partitionnement
Spring Batch Admin
Monitoring

13. Spring Batch
“Spring Batch is a lightweight,
comprehensive batch framework
designed to enable the development of
robust batch applications vital for the
daily operations of enterprise systems.”

14. Infrastructure

15. Application
Insérer des départements et des villes
dans une base de données à partir de
fichier XML

16. Spécifications
3.
Unzip du fichier (départements + villes)
Charger des départements dans la base
Charger des villes dans la base
➢
Lancer la web application
1.
2.

17. Flow
Dézipper le fichier zip
Insert des départements
Insert des villes

18. Job
●
●
Validation des paramètres du “job”
Composé d’une ou plusieurs étapes
○
●
●
pas forcément linéaire
Liste un ensemble de Listeners
Peut hériter d’un autre job

19. Flow
Dézipper le fichier zip
Ajouter des départements
Ajouter des villes

20. Step
●
●
Etape dans le processus du batch
“Separation of Concerns”
○
●
Distinction entre l’enchainement des étapes
et leur éxécution
Liste un ensemble de Listeners

21. Step

22. Flow
Dézipper le fichier zip
Ajouter des départements
Ajouter des villes
Lancer une commande système unzip

23. Tasklet
●
Permet d’éxecuter une tâche
○
○
Appel à une commande système
Appel un webservice

24. Tasklet

25. Flow
Dézipper le fichier zip
Ajouter des départements
Lire un département
(xml)
Processer
Ecrire des départements
Ajouter des villes

26. ItemReader
●
●
➢
Lire un flux de données
Résistant aux gros volumes
Lire une base, un fichier XML, ...

27. ItemProcessor
●
●
Transforme, valide et/ou filtre la donnée
Emplacement des rêgles métiers

28. ItemWriter
●
➢
➢
➢
Ecrire un lot de données
Ecriture par lot
Ecrire dans une base de données
Ecrire un fichier XML, CSV, ...

29. Reader/Processor/Writer

30. Flow
Dézipper le fichier zip
Lire une ville
(xml)
Ajouter des départements
Processer
Ajouter des villes
Ecrire des villes

31. Chunk
Lire, Transformer et Ecrire
➢
➢
➢
Ecriture par lot
Limiter la consommation mémoire
Optimiser l’écriture

32. Chunk
Taille du lot = commit interval = 2

33. Chunk

34. Chunk

35. Tests
● Coder un batch en TDD
○ POJO every where (Procesor)
● Tests d'intégration facilités
○ @RunWith
○ Step, Job

36. Tests

37. Listeners

38. Listeners
★
★
★
★
★
★
JobExecutionListener
StepListener
Item{Read,Process,Write}Listener
StepExecutionListener
SkipListener, RetryListener
...

39. Spring Batch 2.2
Juin 2013
Java Config
Support de Spring Data
Non-identifying Job Parameters
AMQP support

40. Forces et faiblesses
✔ Batchs complexes mieux maintenables
✔ Productivité
✔ Tests
✔ Ticket d'entrée
✔ Ne convient pas à tous les batchs

41. Retour d’expérience
• Avec « Spring Batch »
– Moins de code produit
– Plus de tests unitaires & intégrations
– Spring Batch s'occupe de la montée en charge
• Gain par rapport à un batch « legacy »
– XML 100Mo + SQL; Gain : de 60 mn à 8mn
– 10 fichiers 4Mo + SQL; Gain : de 10mn à 1mn30s
– ~20 fois rapide qu’un batch en … PHP ;)

42. JSR-352 « javax.batch »
Ressemble beaucoup à
Spring Batch

43. Spring Batch
Allons plus loin

44. Un batch plus robuste
reprise sur erreurs

45. Reprise sur erreur
●
Sauter les erreurs non bloquantes (skip)
○
●
Recommencer un traitement (retry)
○
●
survivre à quelques données invalides
survivre à une indisponibilité temporaire
Redémarrer un batch (restart)
○
on est en mesure de le relancer

46. Skip
0001;ABC;DEF;
0002;ABC;DEF;
000zxjgxdjghjsdfkud
0004;ABC;DEF;
• Au-delà du « skip-limit », failed
• Personnaliser le « skip »
• SkipListener pour écouter

47. Retry

48. Retry
●
●
Relancer une opération si indisponibilité
Au-delà du « retry-limit », failed (défaut)
○
●
RetryPolicy
○
●
Personnaliser le « retry »
Stratégie entre 2 « retry »: BackoffPolicy
RetryListener pour écouter

49. Restart

50. Restart
• Spring batch stocke des méta data

51. Restart
• Indique si le job est « restartable » ou pas
• Indique le nombre max de « restart »
• Reader/Writer doivent être « restartable »

52. Reprise sur erreur
• Ecarter des items défectueux (skip)
• Recommencer une step s’il y a une erreur
temporaire (retry)
• Redémarrer un job (restart)

53. Gestion du flow

54. Gestion du flow
Dézipper le fichier zip
*
Ajouter des départements
*
Ajouter des villes
failed
Alertes

55. Gestion du flow

56. Gestion du flow
• Status
– Etat du job/step en cours/après d’exécution
• Créer et utiliser ses propres « status »
• Gérer le flow
– StepExecutionListener
– JobDecider

57. Scaling

58. Scaling

59. Scaling
– Multi-threaded Step (single process)
• Une Step est multi threaded
– Parallel Steps (single process)
• Les Steps sont exécutées en parallèle
– Remote Chunking of Step (multi process)
• Distribution des chunks par slave
– Partitioning a Step (single or multi process)
• Partage les données à travers les slaves

60. Scaling “Partitioning”
• Répartir les données suivant une clé de
partition ⇒ « Partitionner »
• Traiter les données ⇒ « PartitionHandler »

61. Horizontal Scaling
• RabbitMQ: Message-Oriented Middleware
– Découpler le producteur des consommateurs
• Batch Orienté Tâche ou Worker

62. Horizontal Scaling
AMQP
Spring Integration
Exchange
Queue
Batch
AMQP
Spring Integration
pulling
Worker
Batch
Worker
Batch
Worker
Batch
Spring Batch
Spring Batch
Spring Batch

63. Monitoring
• Graphite http://graphite.wikidot.com

64. Monitoring
• Collectd
– http://collectd.org
– démon qui recueille périodiquement des
statistiques de performance du système
• JMXTrans
– https://github.com/jmxtrans/jmxtrans
– Interroge les données JMX de la JVM et les
envoyer dans Graphite

65. Monitoring
• Metrics
– http://metrics.codahale.com/
– Connaitre l’intérieur de votre application
– Gauges, Counters, Meters, Histogram, Timers
• Extension pour Spring Batch
– https://github.com/obazoud/metrics-spring-batch
– Disponible sur Maven Central

66. Monitoring
Mode push au lieu de pull

67. Monitoring

68. Spring Batch Admin

69. Spring Batch Admin
• Console Web pour Spring Batch
–
–
–
–
–
« Standalone » ou « Embedded »
API Rest
Uploader une configuration, un fichier à traiter
« Customisable »
Informations sur les jobs, steps, …

70. Spring Batch Admin

71. Conclusion
Les notions de bases
❏ Job, Step
❏ Reader, Processor, Writer
Les notions avancées
❏ Robustesse, Scaling, Monitoring
#NoXML

72. Questions

73. Crédits
Slides http://www.slideshare.net/obazoud/presentations
Auteurs (des éditions précédentes)
○
○
Olivier Bazoud
Julien Jakubowski