Télécharger en tant que PDF, PPTX
Téléchargé parOlivier BAZOUD
WS User Group - Spring Batch - Xebia
Le document présente Spring Batch, un cadre léger pour le développement d'applications de traitement par lots, soulignant ses fonctionnalités de fiabilité, de maintenabilité et de performance face à des volumes de données importants. Il décrit les concepts de base tels que les jobs, steps, readers, processors et writers, ainsi que des fonctionnalités avancées comme la reprise sur erreur et le scalabilité. En conclusion, Spring Batch est un outil précieux pour la gestion efficace des processus de traitement de données dans les systèmes d'entreprise.
WS User Group - Spring Batch - Xebia
- 1. Interface21 UG Spring Batch Mercredi20 Novembre 2013 Olivier Bazoud
- 2. Intervenant Olivier Bazoud @obazoud Seniordeveloper Kyriba Spring-* / JEE, NoSQL, Node.js Scala bientôt ;) Co-auteur de “Spring Batch in Action”
- 3. Sommaire ➢ C’est quoiun batch ? ➢ Problèmes récurrents ➢ Notions de bases ➢ Notions avancées ➢ Conclusion
- 4. C’est quoi unbatch ? Répétition de traitements sur des données ➔ Sur des grands volumes
- 5. C’est quoi unbatch ? … sans intervention d’un utilisateur humain ➔ pas d’interface homme-machine
- 6. C’est quoi unbatch ? batch ≠ scheduler
- 7. C’est quoi unbatch ? Exemples: • Import flat / XML dans une base de données – Nouveaux clients – Flux financier… • Mise à jour de données – référentiel • …
- 8.
- 9.
- 10. Problèmes récurrents • Réinventionde la roue… carrée
- 11.
- 12. Spring Batch propose… • • • • • • Uncadre Un vocabulaire (domain language) Traitement par lots Flow, Reprise sur erreur, … Spring dans ses batchs … Parallélisme Scaling Partitionnement Spring Batch Admin Monitoring
- 13. Spring Batch “Spring Batchis a lightweight, comprehensive batch framework designed to enable the development of robust batch applications vital for the daily operations of enterprise systems.”
- 14.
- 15. Application Insérer des départementset des villes dans une base de données à partir de fichier XML
- 16. Spécifications 3. Unzip du fichier(départements + villes) Charger des départements dans la base Charger des villes dans la base ➢ Lancer la web application 1. 2.
- 17. Flow Dézipper le fichierzip Insert des départements Insert des villes
- 18. Job ● ● Validation des paramètresdu “job” Composé d’une ou plusieurs étapes ○ ● ● pas forcément linéaire Liste un ensemble de Listeners Peut hériter d’un autre job
- 19. Flow Dézipper le fichierzip Ajouter des départements Ajouter des villes
- 20. Step ● ● Etape dans leprocessus du batch “Separation of Concerns” ○ ● Distinction entre l’enchainement des étapes et leur éxécution Liste un ensemble de Listeners
- 21.
- 22. Flow Dézipper le fichierzip Ajouter des départements Ajouter des villes Lancer une commande système unzip
- 23. Tasklet ● Permet d’éxecuter unetâche ○ ○ Appel à une commande système Appel un webservice
- 24.
- 25. Flow Dézipper le fichierzip Ajouter des départements Lire un département (xml) Processer Ecrire des départements Ajouter des villes
- 26. ItemReader ● ● ➢ Lire un fluxde données Résistant aux gros volumes Lire une base, un fichier XML, ...
- 27. ItemProcessor ● ● Transforme, valide et/oufiltre la donnée Emplacement des rêgles métiers
- 28. ItemWriter ● ➢ ➢ ➢ Ecrire un lotde données Ecriture par lot Ecrire dans une base de données Ecrire un fichier XML, CSV, ...
- 29.
- 30. Flow Dézipper le fichierzip Lire une ville (xml) Ajouter des départements Processer Ajouter des villes Ecrire des villes
- 31. Chunk Lire, Transformer etEcrire ➢ ➢ ➢ Ecriture par lot Limiter la consommation mémoire Optimiser l’écriture
- 32. Chunk Taille du lot= commit interval = 2
- 33.
- 34.
- 35. Tests ● Coder unbatch en TDD ○ POJO every where (Procesor) ● Tests d'intégration facilités ○ @RunWith ○ Step, Job
- 36.
- 37.
- 38.
- 39. Spring Batch 2.2 Juin2013 Java Config Support de Spring Data Non-identifying Job Parameters AMQP support
- 40. Forces et faiblesses ✔Batchs complexes mieux maintenables ✔ Productivité ✔ Tests ✔ Ticket d'entrée ✔ Ne convient pas à tous les batchs
- 41. Retour d’expérience • Avec« Spring Batch » – Moins de code produit – Plus de tests unitaires & intégrations – Spring Batch s'occupe de la montée en charge • Gain par rapport à un batch « legacy » – XML 100Mo + SQL; Gain : de 60 mn à 8mn – 10 fichiers 4Mo + SQL; Gain : de 10mn à 1mn30s – ~20 fois rapide qu’un batch en … PHP ;)
- 42. JSR-352 « javax.batch» Ressemble beaucoup à Spring Batch
- 43.
- 44. Un batch plusrobuste reprise sur erreurs
- 45. Reprise sur erreur ● Sauterles erreurs non bloquantes (skip) ○ ● Recommencer un traitement (retry) ○ ● survivre à quelques données invalides survivre à une indisponibilité temporaire Redémarrer un batch (restart) ○ on est en mesure de le relancer
- 46. Skip 0001;ABC;DEF; 0002;ABC;DEF; 000zxjgxdjghjsdfkud 0004;ABC;DEF; • Au-delà du« skip-limit », failed • Personnaliser le « skip » • SkipListener pour écouter
- 47.
- 48. Retry ● ● Relancer une opérationsi indisponibilité Au-delà du « retry-limit », failed (défaut) ○ ● RetryPolicy ○ ● Personnaliser le « retry » Stratégie entre 2 « retry »: BackoffPolicy RetryListener pour écouter
- 49.
- 50. Restart • Spring batchstocke des méta data
- 51. Restart • Indique sile job est « restartable » ou pas • Indique le nombre max de « restart » • Reader/Writer doivent être « restartable »
- 52. Reprise sur erreur •Ecarter des items défectueux (skip) • Recommencer une step s’il y a une erreur temporaire (retry) • Redémarrer un job (restart)
- 53.
- 54. Gestion du flow Dézipperle fichier zip * Ajouter des départements * Ajouter des villes failed Alertes
- 55.
- 56. Gestion du flow •Status – Etat du job/step en cours/après d’exécution • Créer et utiliser ses propres « status » • Gérer le flow – StepExecutionListener – JobDecider
- 57.
- 58.
- 59. Scaling – Multi-threaded Step(single process) • Une Step est multi threaded – Parallel Steps (single process) • Les Steps sont exécutées en parallèle – Remote Chunking of Step (multi process) • Distribution des chunks par slave – Partitioning a Step (single or multi process) • Partage les données à travers les slaves
- 60. Scaling “Partitioning” • Répartirles données suivant une clé de partition ⇒ « Partitionner » • Traiter les données ⇒ « PartitionHandler »
- 61. Horizontal Scaling • RabbitMQ:Message-Oriented Middleware – Découpler le producteur des consommateurs • Batch Orienté Tâche ou Worker
- 62. Horizontal Scaling AMQP Spring Integration Exchange Queue Batch AMQP SpringIntegration pulling Worker Batch Worker Batch Worker Batch Spring Batch Spring Batch Spring Batch
- 63.
- 64. Monitoring • Collectd – http://collectd.org –démon qui recueille périodiquement des statistiques de performance du système • JMXTrans – https://github.com/jmxtrans/jmxtrans – Interroge les données JMX de la JVM et les envoyer dans Graphite
- 65. Monitoring • Metrics – http://metrics.codahale.com/ –Connaitre l’intérieur de votre application – Gauges, Counters, Meters, Histogram, Timers • Extension pour Spring Batch – https://github.com/obazoud/metrics-spring-batch – Disponible sur Maven Central
- 66. Monitoring Mode push aulieu de pull
- 67.
- 68.
- 69. Spring Batch Admin •Console Web pour Spring Batch – – – – – « Standalone » ou « Embedded » API Rest Uploader une configuration, un fichier à traiter « Customisable » Informations sur les jobs, steps, …
- 70.
- 71. Conclusion Les notions debases ❏ Job, Step ❏ Reader, Processor, Writer Les notions avancées ❏ Robustesse, Scaling, Monitoring #NoXML
- 72.
- 73. Crédits Slides http://www.slideshare.net/obazoud/presentations Auteurs (deséditions précédentes) ○ ○ Olivier Bazoud Julien Jakubowski