SlideShare une entreprise Scribd logo
1  sur  33
Télécharger pour lire hors ligne
Saturne : la maîtrise des échanges de données massifs
par l’open sourceParis Open Source Summit 2017
Saturne : la maîtrise des
échanges de données
massifs par l’open source
Paris Open Source Summit 2017
Olivier.Rosec@cnav.fr
Romain.Guider@obeo.fr
 Saturne : l'origine
 La rencontre
 Les normes d’échange du domaine social et fiscal
 Leurs urbanisations typiques
 Sortir d’un existant touffu… … grâce à une vision claire.
 Saturne : la vision
 Modéliser des normes d’échange
 Éviter les développements
 Un référentiel unique
 Généricité et génération de code
 Saturne : la réalisation
 Illustrations
 Les briques et l’analyse de la valeur
 Industrialiser
 Ressources, REX, bilan
Feuille de route
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Saturne : la maîtrise des
échanges de données
massifs par l’open source
Paris Open Source Summit 2017
La rencontre d’un opérateur
public avec un acteur du libre
 N4DS (norme pour la dématérialisation des déclarations de
données sociales).
 Mise en production 2012.
Les normes d’échange du
domaine social et fiscal
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
 N4DS (norme pour la dématérialisation des déclarations de
données sociales).
 Mise en production 2012.
 DSN (déclaration sociale nominative) :
 Remplace une dizaine de déclarations
 1 million d’établissements, 15 millions de salariés
Les normes d’échange du
domaine social et fiscal
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
 N4DS (norme pour la dématérialisation des déclarations de
données sociales).
 Mise en production 2012.
 DSN (déclaration sociale nominative) :
 Remplace une dizaine de déclarations
 1 million d’établissements, 15 millions de salariés
 RGCU (répertoire de gestion des carrières unique) :
 BDD géante des périodes d’activité professionnelle de tous les assurés
sociaux de France.
 Texte de 2010. Mise en production en 2019.
 700 millions d’éléments par an entrants et sortants
Les normes d’échange du
domaine social et fiscal
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Les urbanisations typiques du
domaine social et fiscal
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Net-Dadsu Plateforme
CnavHTTP
SMTP
WS
Filtrage / éclatement par
sous-groupes vers retraite
complémentaire et
prévoyance sous forme de
Dadsu IRC et Dadsu
prévoyance
Livraison Dadsu
TDS tirées des
Dadsu complètes
par Web service
Filtrage /
éclatement par
rubriques vers
partenaires TDS
sous forme hors
norme
WS
Dépôt manuel HTTP
ou envoi PJ SMTP par
déclarants sur net-
Dadsu
Dépôt direct B2B par déclarants
sur plateforme Cnav (WS ?) –
possible seulement si Dadsu
TDS
Liaisons WS entre net-
Dadsu et plateforme Cnav
pour consultation des
bilans par déclarant
IRC IP
FNMF
FFSA
SRE
CNR
ACL Irca
ntec
DGfi
p
Cnam
OVD
Cnam
AT
CN
FPT
RAEP
CRP
NPA
C
CPRP
SNCF
Cavi
mac
net-entreprises guichetMSA
dépôtRG dépôtRA
gestionpourOPS de
base etadministrations
Cnam Pôle Emploi
Dares
concentrateur
retraite
complémentaire
IRC1 IRCn
concentrateur
prévoyance
FNMF
M 1 Mn
concentrateur
prévoyance FFSA
A 1 A n
concentrateur
prévoyance Ctip
IP 1 IPn
Les projets d’échange vont de la collecte chez des
déclarants parfois très nombreux (près de deux millions
d’employeurs) au filtrage et éclatement de jeux de
données multi-métiers, pour des dizaines d’organismes
destinataires.
 Spécification du format d’échange par
tous les partenaires : union des besoins
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Sortir d’un existant touffu…
… grâce à une vision claire.
 Spécification du format d’échange par
tous les partenaires : union des besoins
 Qui confieront à la MOE de chaque point de
dépôt la validation des données collectées
 Qui confieront à la MOE de leur SI métier la
(re-)validation des données collectées
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Sortir d’un existant touffu…
… grâce à une vision claire.
Contrat d’interface sur
 Un format technique
 XML, CSV, etc.
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
définir des normes d’échange
Contrat d’interface sur
 Un format technique
 XML, CSV, etc.
 Un format logique
 Structure de messages, blocs de
données, rubriques
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
définir des normes d’échange
Contrat d’interface sur
 Un format technique
 XML, CSV, etc.
 Un format logique
 Structure de messages, blocs de
données, rubriques
 Des règles de cohérence
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
définir des normes d’échange
Contrat d’interface sur
 Un format technique
 XML, CSV, etc.
 Un format logique
 Structure de messages, blocs de
données, rubriques
 Des règles de cohérence
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
définir des normes d’échange
 Référentiel unique pour les livrables
 Documentaires
 Binaires (moteurs de validation)
 Moteur et règles
 Domain Specific Language
 Mixer généricité et génération de code
 Socle open source
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
éviter les développements
La vision :
un référentiel unique
Référentiel unique pour
les livrables
• Documentaires
Outil de gestion
de Norme
Documentation
de la norme
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
un référentiel unique
Outil de gestion
de Norme
Documentation
de la norme
Base de
connaissances
Référentiel unique pour
les livrables
• Documentaires
• Binaires
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
généricité + génération de code
Outil de gestion
de Norme
Documentation
de la norme
Base de
connaissances
Librairie
Saturne
Briques
génériques
Brique de contrôle
Outil graphique d’autocontrôle
API pour fabriquer ses propres outils
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
généricité + génération de code
Outil de gestion
de Norme
Documentation
de la norme
Base de
connaissance
Librairie
Saturne
Briques
génériques
Brique de contrôle
Outil graphique d’autocontrôle
API pour fabriquer ses propres outils
Contenu
métier
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
La vision :
généricité + génération de code
Outil de gestion
de Norme
Documentation
de la norme
Base de
connaissance
Librairie
Saturne
Briques
génériques
Brique de contrôle
Outil graphique d’autocontrôle
API pour fabriquer ses propres outils
Contenu
métier
Contenu
technique
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Illustrations
• Exemple de contrôle
• Exemple d’arbo
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Si le Statut du salarié est de
type ‘cadre dirigeant’ (=’03’),
cette rubrique ne peut prendre
que la valeur ’01’ (cadre).
(S21.G00.40.002 = '03') =>
($rub = '01')
S21.G00.40.003/CCH-11
Outils de la DSN :
socle open source
Eclipse
Eclipse Modeling
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Socle open source
(dev communauté)
Eclipse
Eclipse Modeling
Librairie Saturne
Socle open source
(dev communauté)
Saturne (dev Obeo)
Norme (dev
CNAV/Pôle norme)
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Outils de la DSN :
librairie générique Saturne
Eclipse
Eclipse Modeling
Librairie Saturne NEODeS
Socle open source
(dev communauté)
Saturne (dev Obeo)
Norme (dev
CNAV/Pôle norme)
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Outils de la DSN :
composition avec la norme
Eclipse
Eclipse Modeling
Librairie Saturne NEODeS
Brique de
Contrôle
DSN Val
Norme (dev
CNAV/Pôle norme)
Outils générés
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Outils de la DSN :
génération des outils
Socle open source
(dev communauté)
Saturne (dev Obeo)
Industrialiser
Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Industrialiser
Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Industrialiser
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Industrialiser
Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Et l’open source dans tout ça?
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Ressources et
productivité
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Compétences (technologies utilisées) côté
développement et exploitation
 Un spécialiste Jenkins, Maven, Tycho, Git…
pour l’intégration continue (mutualisé sur
d’autres projets)
 Un auditeur averti en matière de release
engineering (mutualisé sur d’autres projets)
 Des développeurs Java familiers d’EMF
Ressources (environnement, nombre de
personnes et profils, pour installer, maintenir,
etc.),
 Serveur d’intégration continue
 Un environnement pérenne d’homologation
des builds (tests, performance, parallélisme).
Support,
 Par TMA, de toute l’infrastructure
Maintenance et évolution
 Feuille de route guidée par les besoins des
projets et le suivi de l’évolution du socle
technique
 Charge MOE normes
 5 jours pour une itération de
modélisation norme
 10 jours pour le DSL des contrôles
sémantiques
 10 jours pour une livraison complète
 40 jours pour la couverture de tests
initiale d’une norme
Compétences (technologies utilisées) côté
développement et exploitation
 Des développeurs Java intéressés par le
fonctionnel (et familiers d’EMF grâce au
coaching de la TMA)
Ressources (environnement, nombre de
personnes et profils, pour installer, maintenir,
etc.),
 Une à deux personnes par norme / an (pour
tous les livrables, toutes les branches et
versions)
 Rechercher la polyvalence
 Documenter en temps réel (wiki)
Le retour d’expérience
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
Arbre de modélisation
Impossible de construire un moteur de validation efficace quand les blocs de données
occupent des places différentes dans l’arbre des instances. Les modèles de messages
sont donc construits par restriction sur un message couvrant ;
Gestion de la mémoire
Pour décharger les données inutiles il faut définir la portée (scope en termes de
données) d’une règle en remontant au contexte le plus haut ;
Le moteur de transformation peut employer un mécanisme de déchargement
mémoire « agressif » car l’absence de validation sémantique ne rend pas nécessaire de
mémoriser les données comme pour exécuter les contrôles dans le cas du moteur de
validation ;
Généricité
Le chemin est étroit entre s’adapter à une nouvelle norme et tordre le méta-modèle.
Mais en 2017 on peut considérer que la combinaison d’un socle éprouvé et des
mécanismes d’extension possibles fait de Saturne une suite polyvalente et robuste.
Il y a aussi des progrès à faire en termes de conception de normes d’échange.
Bilan
Les plus Les moins
Indépendance de chacun Duplication d’efforts
Écarts d’interprétation
Modularité par addition Redondance sémantique
Pas de conflits sur les
spécifications
Implémentations
infidèles
Réingéniérie de service
limitée à la façade web
Applis en silos,
technologies figées
Les plus Les moins
Partage des entités, des
services et des coûts
Pilotage fort au lieu du
consensus mou
Modularité par service Unicité des objets
Service unifié rendu à
l’usager
La modélisation et de la
conception doivent être
claires et robustes.
Couvrir 80% des besoins Difficile d’atteindre 100%
des besoins.
Approche classique Approche Saturne
• Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017
33
Merci de votre attention
Saturne : la maîtrise des échanges de données massifs par l’open source
Paris Open Source Summit 2017

Contenu connexe

Similaire à Paris Open Source Summit 2017 - Saturne : La maîtrise des échanges de données massifs par l'open source

Smartday 2017 - Importance des API dans l'Open Data
Smartday 2017 - Importance des API dans l'Open DataSmartday 2017 - Importance des API dans l'Open Data
Smartday 2017 - Importance des API dans l'Open DataJulien Chable
 
Coworking et espaces de travail
Coworking et espaces de travailCoworking et espaces de travail
Coworking et espaces de travailPierre BOURDAIS
 
LAWS - Crée un site dynamique en serverless c'est possible
LAWS - Crée un site dynamique en serverless c'est possibleLAWS - Crée un site dynamique en serverless c'est possible
LAWS - Crée un site dynamique en serverless c'est possibleRobin Mizreh
 
Meito workshop api - 6 fev 2012 - compilation.
Meito   workshop api - 6 fev 2012 - compilation.Meito   workshop api - 6 fev 2012 - compilation.
Meito workshop api - 6 fev 2012 - compilation.Yann Dieulangard
 
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...Marc Dutoo
 
Collaboration entre industriels dans le domaine du transport
Collaboration entre industriels dans le domaine du transportCollaboration entre industriels dans le domaine du transport
Collaboration entre industriels dans le domaine du transportXavier Raffin
 
AGMQ 2011 : Les données libres et le territoire
AGMQ 2011 : Les données libres et le territoireAGMQ 2011 : Les données libres et le territoire
AGMQ 2011 : Les données libres et le territoirenoucher
 
Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss
 
Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss
 
Observatoire #socialmedia des territoires
Observatoire #socialmedia des territoiresObservatoire #socialmedia des territoires
Observatoire #socialmedia des territoiresFranck Confino
 
Verteego Data Suite : support du lancement
Verteego Data Suite : support du lancementVerteego Data Suite : support du lancement
Verteego Data Suite : support du lancementJeremy Fain
 
L'intranet : état des lieux d'un outil en transformation
L'intranet : état des lieux d'un outil en transformationL'intranet : état des lieux d'un outil en transformation
L'intranet : état des lieux d'un outil en transformationCap'Com
 
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...Ametys
 
Moteurs de recherche et web sémantique
Moteurs de recherche et web sémantiqueMoteurs de recherche et web sémantique
Moteurs de recherche et web sémantiqueAntidot
 
Meetup DSI Digitale 18 Avril 2017
Meetup DSI Digitale 18 Avril 2017Meetup DSI Digitale 18 Avril 2017
Meetup DSI Digitale 18 Avril 2017Eric Baussand
 
D6 - Les nouveautés SPFx - Olivier Carpentier
D6 - Les nouveautés SPFx - Olivier CarpentierD6 - Les nouveautés SPFx - Olivier Carpentier
D6 - Les nouveautés SPFx - Olivier CarpentierSPS Paris
 
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017Olivier Carpentier
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...FactoVia
 
Datalift, une plateforme Linked Data, Retour d'expériences
Datalift, une plateforme Linked Data, Retour d'expériencesDatalift, une plateforme Linked Data, Retour d'expériences
Datalift, une plateforme Linked Data, Retour d'expériencesSemWebPro
 

Similaire à Paris Open Source Summit 2017 - Saturne : La maîtrise des échanges de données massifs par l'open source (20)

Smartday 2017 - Importance des API dans l'Open Data
Smartday 2017 - Importance des API dans l'Open DataSmartday 2017 - Importance des API dans l'Open Data
Smartday 2017 - Importance des API dans l'Open Data
 
Coworking et espaces de travail
Coworking et espaces de travailCoworking et espaces de travail
Coworking et espaces de travail
 
LAWS - Crée un site dynamique en serverless c'est possible
LAWS - Crée un site dynamique en serverless c'est possibleLAWS - Crée un site dynamique en serverless c'est possible
LAWS - Crée un site dynamique en serverless c'est possible
 
Meito workshop api - 6 fev 2012 - compilation.
Meito   workshop api - 6 fev 2012 - compilation.Meito   workshop api - 6 fev 2012 - compilation.
Meito workshop api - 6 fev 2012 - compilation.
 
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...
Ouvrir son SI avec la trilogie Portail, SOA, BPM (Solutions Linux 2010 - cycl...
 
Collaboration entre industriels dans le domaine du transport
Collaboration entre industriels dans le domaine du transportCollaboration entre industriels dans le domaine du transport
Collaboration entre industriels dans le domaine du transport
 
AGMQ 2011 : Les données libres et le territoire
AGMQ 2011 : Les données libres et le territoireAGMQ 2011 : Les données libres et le territoire
AGMQ 2011 : Les données libres et le territoire
 
Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4
 
Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4Khaled Ben Driss 28 Fev 2007 V1.0.4
Khaled Ben Driss 28 Fev 2007 V1.0.4
 
Observatoire #socialmedia des territoires
Observatoire #socialmedia des territoiresObservatoire #socialmedia des territoires
Observatoire #socialmedia des territoires
 
Verteego Data Suite : support du lancement
Verteego Data Suite : support du lancementVerteego Data Suite : support du lancement
Verteego Data Suite : support du lancement
 
L'intranet : état des lieux d'un outil en transformation
L'intranet : état des lieux d'un outil en transformationL'intranet : état des lieux d'un outil en transformation
L'intranet : état des lieux d'un outil en transformation
 
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...
Refonte intranet du Conseil Général de la Drôme avec le CMS open source Amety...
 
Moteurs de recherche et web sémantique
Moteurs de recherche et web sémantiqueMoteurs de recherche et web sémantique
Moteurs de recherche et web sémantique
 
Meetup DSI Digitale 18 Avril 2017
Meetup DSI Digitale 18 Avril 2017Meetup DSI Digitale 18 Avril 2017
Meetup DSI Digitale 18 Avril 2017
 
D6 - Les nouveautés SPFx - Olivier Carpentier
D6 - Les nouveautés SPFx - Olivier CarpentierD6 - Les nouveautés SPFx - Olivier Carpentier
D6 - Les nouveautés SPFx - Olivier Carpentier
 
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017
SPSParis - Nouveautés du SharePoint Framework #SPFx - Oct 2017
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
 
Datalift, une plateforme Linked Data, Retour d'expériences
Datalift, une plateforme Linked Data, Retour d'expériencesDatalift, une plateforme Linked Data, Retour d'expériences
Datalift, une plateforme Linked Data, Retour d'expériences
 
Données liées : Succès, leçons et prochaines étapes
Données liées : Succès, leçons et prochaines étapesDonnées liées : Succès, leçons et prochaines étapes
Données liées : Succès, leçons et prochaines étapes
 

Plus de Obeo

Digitally assisted design for safety analysis
Digitally assisted design for safety analysisDigitally assisted design for safety analysis
Digitally assisted design for safety analysisObeo
 
INCOSE IS 2023 | You deserve more than the best in class MBSE tool
INCOSE IS 2023 | You deserve more than the best in class MBSE toolINCOSE IS 2023 | You deserve more than the best in class MBSE tool
INCOSE IS 2023 | You deserve more than the best in class MBSE toolObeo
 
Tailoring Arcadia Framework in Thales UK
Tailoring Arcadia Framework in Thales UKTailoring Arcadia Framework in Thales UK
Tailoring Arcadia Framework in Thales UKObeo
 
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...Obeo
 
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...Obeo
 
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...Obeo
 
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first steps
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first stepsCapellaDays2022 | Thales | Stairway to heaven: Climbing the very first steps
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first stepsObeo
 
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...Obeo
 
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella use
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella useCapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella use
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella useObeo
 
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...Obeo
 
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...Obeo
 
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...Obeo
 
Gestion applicative des données, un REX du Ministère de l'Éducation Nationale
Gestion applicative des données, un REX du Ministère de l'Éducation NationaleGestion applicative des données, un REX du Ministère de l'Éducation Nationale
Gestion applicative des données, un REX du Ministère de l'Éducation NationaleObeo
 
Simulation with Python and MATLAB® in Capella
Simulation with Python and MATLAB® in CapellaSimulation with Python and MATLAB® in Capella
Simulation with Python and MATLAB® in CapellaObeo
 
From Model-based to Model and Simulation-based Systems Architectures
From Model-based to Model and Simulation-based Systems ArchitecturesFrom Model-based to Model and Simulation-based Systems Architectures
From Model-based to Model and Simulation-based Systems ArchitecturesObeo
 
Connecting Textual Requirements with Capella Models
Connecting Textual Requirements with Capella Models Connecting Textual Requirements with Capella Models
Connecting Textual Requirements with Capella Models Obeo
 
Sirius Web Advanced : Customize and Extend the Platform
Sirius Web Advanced : Customize and Extend the PlatformSirius Web Advanced : Customize and Extend the Platform
Sirius Web Advanced : Customize and Extend the PlatformObeo
 
Sirius Web 101 : Create a Modeler With No Code
Sirius Web 101 : Create a Modeler With No CodeSirius Web 101 : Create a Modeler With No Code
Sirius Web 101 : Create a Modeler With No CodeObeo
 
Sirius Project, Now and In the Future
Sirius Project, Now and In the FutureSirius Project, Now and In the Future
Sirius Project, Now and In the FutureObeo
 
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...Obeo
 

Plus de Obeo (20)

Digitally assisted design for safety analysis
Digitally assisted design for safety analysisDigitally assisted design for safety analysis
Digitally assisted design for safety analysis
 
INCOSE IS 2023 | You deserve more than the best in class MBSE tool
INCOSE IS 2023 | You deserve more than the best in class MBSE toolINCOSE IS 2023 | You deserve more than the best in class MBSE tool
INCOSE IS 2023 | You deserve more than the best in class MBSE tool
 
Tailoring Arcadia Framework in Thales UK
Tailoring Arcadia Framework in Thales UKTailoring Arcadia Framework in Thales UK
Tailoring Arcadia Framework in Thales UK
 
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...
CapellaDays2022 | Saratech | Interface Control Document Generation and Linkag...
 
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...
CapellaDays2022 | Politecnico di Milano | Interplanetary Space Mission as a r...
 
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...
CapellaDays2022 | NavalGroup | Closing the gap between traditional engineerin...
 
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first steps
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first stepsCapellaDays2022 | Thales | Stairway to heaven: Climbing the very first steps
CapellaDays2022 | Thales | Stairway to heaven: Climbing the very first steps
 
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...
CapellaDays2022 | COMAC - PGM | How We Use Capella for Collaborative Design i...
 
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella use
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella useCapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella use
CapellaDays2022 | CILAS - ArianeGroup | CILAS feedback about Capella use
 
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...
CapellaDays2022 | ThermoFisher - ESI TNO | A method for quantitative evaluati...
 
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...
CapellaDays2022 | Thales DMS | A global engineering process based on MBSE to ...
 
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...
CapellaDays2022 | SIEMENS | Expand MBSE into Model-based Production Engineeri...
 
Gestion applicative des données, un REX du Ministère de l'Éducation Nationale
Gestion applicative des données, un REX du Ministère de l'Éducation NationaleGestion applicative des données, un REX du Ministère de l'Éducation Nationale
Gestion applicative des données, un REX du Ministère de l'Éducation Nationale
 
Simulation with Python and MATLAB® in Capella
Simulation with Python and MATLAB® in CapellaSimulation with Python and MATLAB® in Capella
Simulation with Python and MATLAB® in Capella
 
From Model-based to Model and Simulation-based Systems Architectures
From Model-based to Model and Simulation-based Systems ArchitecturesFrom Model-based to Model and Simulation-based Systems Architectures
From Model-based to Model and Simulation-based Systems Architectures
 
Connecting Textual Requirements with Capella Models
Connecting Textual Requirements with Capella Models Connecting Textual Requirements with Capella Models
Connecting Textual Requirements with Capella Models
 
Sirius Web Advanced : Customize and Extend the Platform
Sirius Web Advanced : Customize and Extend the PlatformSirius Web Advanced : Customize and Extend the Platform
Sirius Web Advanced : Customize and Extend the Platform
 
Sirius Web 101 : Create a Modeler With No Code
Sirius Web 101 : Create a Modeler With No CodeSirius Web 101 : Create a Modeler With No Code
Sirius Web 101 : Create a Modeler With No Code
 
Sirius Project, Now and In the Future
Sirius Project, Now and In the FutureSirius Project, Now and In the Future
Sirius Project, Now and In the Future
 
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...
Visualizing, Analyzing and Optimizing Automotive Architecture Models using Si...
 

Paris Open Source Summit 2017 - Saturne : La maîtrise des échanges de données massifs par l'open source

  • 1. Saturne : la maîtrise des échanges de données massifs par l’open sourceParis Open Source Summit 2017 Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Olivier.Rosec@cnav.fr Romain.Guider@obeo.fr
  • 2.  Saturne : l'origine  La rencontre  Les normes d’échange du domaine social et fiscal  Leurs urbanisations typiques  Sortir d’un existant touffu… … grâce à une vision claire.  Saturne : la vision  Modéliser des normes d’échange  Éviter les développements  Un référentiel unique  Généricité et génération de code  Saturne : la réalisation  Illustrations  Les briques et l’analyse de la valeur  Industrialiser  Ressources, REX, bilan Feuille de route Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 3. Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La rencontre d’un opérateur public avec un acteur du libre
  • 4.  N4DS (norme pour la dématérialisation des déclarations de données sociales).  Mise en production 2012. Les normes d’échange du domaine social et fiscal Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 5.  N4DS (norme pour la dématérialisation des déclarations de données sociales).  Mise en production 2012.  DSN (déclaration sociale nominative) :  Remplace une dizaine de déclarations  1 million d’établissements, 15 millions de salariés Les normes d’échange du domaine social et fiscal Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 6.  N4DS (norme pour la dématérialisation des déclarations de données sociales).  Mise en production 2012.  DSN (déclaration sociale nominative) :  Remplace une dizaine de déclarations  1 million d’établissements, 15 millions de salariés  RGCU (répertoire de gestion des carrières unique) :  BDD géante des périodes d’activité professionnelle de tous les assurés sociaux de France.  Texte de 2010. Mise en production en 2019.  700 millions d’éléments par an entrants et sortants Les normes d’échange du domaine social et fiscal Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 7. Les urbanisations typiques du domaine social et fiscal Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Net-Dadsu Plateforme CnavHTTP SMTP WS Filtrage / éclatement par sous-groupes vers retraite complémentaire et prévoyance sous forme de Dadsu IRC et Dadsu prévoyance Livraison Dadsu TDS tirées des Dadsu complètes par Web service Filtrage / éclatement par rubriques vers partenaires TDS sous forme hors norme WS Dépôt manuel HTTP ou envoi PJ SMTP par déclarants sur net- Dadsu Dépôt direct B2B par déclarants sur plateforme Cnav (WS ?) – possible seulement si Dadsu TDS Liaisons WS entre net- Dadsu et plateforme Cnav pour consultation des bilans par déclarant IRC IP FNMF FFSA SRE CNR ACL Irca ntec DGfi p Cnam OVD Cnam AT CN FPT RAEP CRP NPA C CPRP SNCF Cavi mac net-entreprises guichetMSA dépôtRG dépôtRA gestionpourOPS de base etadministrations Cnam Pôle Emploi Dares concentrateur retraite complémentaire IRC1 IRCn concentrateur prévoyance FNMF M 1 Mn concentrateur prévoyance FFSA A 1 A n concentrateur prévoyance Ctip IP 1 IPn Les projets d’échange vont de la collecte chez des déclarants parfois très nombreux (près de deux millions d’employeurs) au filtrage et éclatement de jeux de données multi-métiers, pour des dizaines d’organismes destinataires.
  • 8.  Spécification du format d’échange par tous les partenaires : union des besoins Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Sortir d’un existant touffu… … grâce à une vision claire.
  • 9.  Spécification du format d’échange par tous les partenaires : union des besoins  Qui confieront à la MOE de chaque point de dépôt la validation des données collectées  Qui confieront à la MOE de leur SI métier la (re-)validation des données collectées Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Sortir d’un existant touffu… … grâce à une vision claire.
  • 10. Contrat d’interface sur  Un format technique  XML, CSV, etc. Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La vision : définir des normes d’échange
  • 11. Contrat d’interface sur  Un format technique  XML, CSV, etc.  Un format logique  Structure de messages, blocs de données, rubriques Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La vision : définir des normes d’échange
  • 12. Contrat d’interface sur  Un format technique  XML, CSV, etc.  Un format logique  Structure de messages, blocs de données, rubriques  Des règles de cohérence Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La vision : définir des normes d’échange
  • 13. Contrat d’interface sur  Un format technique  XML, CSV, etc.  Un format logique  Structure de messages, blocs de données, rubriques  Des règles de cohérence Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La vision : définir des normes d’échange
  • 14.  Référentiel unique pour les livrables  Documentaires  Binaires (moteurs de validation)  Moteur et règles  Domain Specific Language  Mixer généricité et génération de code  Socle open source Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 La vision : éviter les développements
  • 15. La vision : un référentiel unique Référentiel unique pour les livrables • Documentaires Outil de gestion de Norme Documentation de la norme • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 16. La vision : un référentiel unique Outil de gestion de Norme Documentation de la norme Base de connaissances Référentiel unique pour les livrables • Documentaires • Binaires • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 17. La vision : généricité + génération de code Outil de gestion de Norme Documentation de la norme Base de connaissances Librairie Saturne Briques génériques Brique de contrôle Outil graphique d’autocontrôle API pour fabriquer ses propres outils • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 18. La vision : généricité + génération de code Outil de gestion de Norme Documentation de la norme Base de connaissance Librairie Saturne Briques génériques Brique de contrôle Outil graphique d’autocontrôle API pour fabriquer ses propres outils Contenu métier • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 19. La vision : généricité + génération de code Outil de gestion de Norme Documentation de la norme Base de connaissance Librairie Saturne Briques génériques Brique de contrôle Outil graphique d’autocontrôle API pour fabriquer ses propres outils Contenu métier Contenu technique • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 20. Illustrations • Exemple de contrôle • Exemple d’arbo • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Si le Statut du salarié est de type ‘cadre dirigeant’ (=’03’), cette rubrique ne peut prendre que la valeur ’01’ (cadre). (S21.G00.40.002 = '03') => ($rub = '01') S21.G00.40.003/CCH-11
  • 21. Outils de la DSN : socle open source Eclipse Eclipse Modeling Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Socle open source (dev communauté)
  • 22. Eclipse Eclipse Modeling Librairie Saturne Socle open source (dev communauté) Saturne (dev Obeo) Norme (dev CNAV/Pôle norme) Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Outils de la DSN : librairie générique Saturne
  • 23. Eclipse Eclipse Modeling Librairie Saturne NEODeS Socle open source (dev communauté) Saturne (dev Obeo) Norme (dev CNAV/Pôle norme) Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Outils de la DSN : composition avec la norme
  • 24. Eclipse Eclipse Modeling Librairie Saturne NEODeS Brique de Contrôle DSN Val Norme (dev CNAV/Pôle norme) Outils générés Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Outils de la DSN : génération des outils Socle open source (dev communauté) Saturne (dev Obeo)
  • 25. Industrialiser Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 26. Industrialiser Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 27. Industrialiser Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 28. Industrialiser Paris Open Source Summit 2017Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 29. Et l’open source dans tout ça? Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 30. Ressources et productivité Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Compétences (technologies utilisées) côté développement et exploitation  Un spécialiste Jenkins, Maven, Tycho, Git… pour l’intégration continue (mutualisé sur d’autres projets)  Un auditeur averti en matière de release engineering (mutualisé sur d’autres projets)  Des développeurs Java familiers d’EMF Ressources (environnement, nombre de personnes et profils, pour installer, maintenir, etc.),  Serveur d’intégration continue  Un environnement pérenne d’homologation des builds (tests, performance, parallélisme). Support,  Par TMA, de toute l’infrastructure Maintenance et évolution  Feuille de route guidée par les besoins des projets et le suivi de l’évolution du socle technique  Charge MOE normes  5 jours pour une itération de modélisation norme  10 jours pour le DSL des contrôles sémantiques  10 jours pour une livraison complète  40 jours pour la couverture de tests initiale d’une norme Compétences (technologies utilisées) côté développement et exploitation  Des développeurs Java intéressés par le fonctionnel (et familiers d’EMF grâce au coaching de la TMA) Ressources (environnement, nombre de personnes et profils, pour installer, maintenir, etc.),  Une à deux personnes par norme / an (pour tous les livrables, toutes les branches et versions)  Rechercher la polyvalence  Documenter en temps réel (wiki)
  • 31. Le retour d’expérience Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017 Arbre de modélisation Impossible de construire un moteur de validation efficace quand les blocs de données occupent des places différentes dans l’arbre des instances. Les modèles de messages sont donc construits par restriction sur un message couvrant ; Gestion de la mémoire Pour décharger les données inutiles il faut définir la portée (scope en termes de données) d’une règle en remontant au contexte le plus haut ; Le moteur de transformation peut employer un mécanisme de déchargement mémoire « agressif » car l’absence de validation sémantique ne rend pas nécessaire de mémoriser les données comme pour exécuter les contrôles dans le cas du moteur de validation ; Généricité Le chemin est étroit entre s’adapter à une nouvelle norme et tordre le méta-modèle. Mais en 2017 on peut considérer que la combinaison d’un socle éprouvé et des mécanismes d’extension possibles fait de Saturne une suite polyvalente et robuste. Il y a aussi des progrès à faire en termes de conception de normes d’échange.
  • 32. Bilan Les plus Les moins Indépendance de chacun Duplication d’efforts Écarts d’interprétation Modularité par addition Redondance sémantique Pas de conflits sur les spécifications Implémentations infidèles Réingéniérie de service limitée à la façade web Applis en silos, technologies figées Les plus Les moins Partage des entités, des services et des coûts Pilotage fort au lieu du consensus mou Modularité par service Unicité des objets Service unifié rendu à l’usager La modélisation et de la conception doivent être claires et robustes. Couvrir 80% des besoins Difficile d’atteindre 100% des besoins. Approche classique Approche Saturne • Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017
  • 33. 33 Merci de votre attention Saturne : la maîtrise des échanges de données massifs par l’open source Paris Open Source Summit 2017