Restitution de l'atelier i.a et droit lors du Village de la legaltech des 6 et 7 décembre 2017.
Pour plus d'informations : http://openlaw.fr/travaux/communs-numeriques/ia-droit-datasets-dapprentissage
Vous êtes responsable MOA ou MOE et vous vous interrogez sur les possibilités du Machine Learning ?
Vous avez déjà rapidement entendu parler de classification supervisée, de prédiction, de recommandation … mais vous n’en comprenez pas réellement les tenants et les aboutissants ?
Cette présentation est faite pour vous!
Vous trouverez :
- une définition concise
- les grands principes du ML
- les problématiques auxquelles répond le ML
- les étapes à suivre
- les prémices d’un projet
- les indicateurs à prendre en compte lors du choix de l’algorithme à utiliser
Aujourd’hui, tous les métiers sont concernés par le Machine Learning, alors n’ayez pas peur de vous lancer! C’est à vous!
Si vous avez des questions, les commentaires sont les bienvenus.
Vous êtes responsable MOA ou MOE et vous vous interrogez sur les possibilités du Machine Learning ?
Vous avez déjà rapidement entendu parler de classification supervisée, de prédiction, de recommandation … mais vous n’en comprenez pas réellement les tenants et les aboutissants ?
Cette présentation est faite pour vous!
Vous trouverez :
- une définition concise
- les grands principes du ML
- les problématiques auxquelles répond le ML
- les étapes à suivre
- les prémices d’un projet
- les indicateurs à prendre en compte lors du choix de l’algorithme à utiliser
Aujourd’hui, tous les métiers sont concernés par le Machine Learning, alors n’ayez pas peur de vous lancer! C’est à vous!
Si vous avez des questions, les commentaires sont les bienvenus.
Rédigé en Mars 2013
Comment automatiser les tests ?
Les différents types de tests automatisés : TU, BDD/TDD, GUI, TDC, Test de vie …
Méthodes d’automatisation
Capture/replay
Projet de développement
Techniques d’automatisation
Data driven
Keyword driven
DSTL
Composants technique pour l’automatisation
Oracle
Bouchon
Techniques de comparaison
Reporting
Dans cette session, vous apprendrez:
Les différences entre modéliser pour MongoDB versus une base de données relationnelle.
Une méthodologie pour modéliser pour MongoDB qui est adaptable aux projets simples, agiles ou plus complexes.
Quelques patrons de conception (design patterns) courants dans le développement d'applications avec MongoDB, dans le but de maximiser la performance.
Si la baisse de la productivité est effective dans toutes les économies développées... elle est particulièrement marquée en France. Au niveau national, cet essoufflement touche tous les secteurs, et plus particulièrement celui de l’industrie, usuellement caractérisé par des gains de productivité élevés. Depuis la crise Covid, le secteur industriel contribue pour 35 % environ à cette perte, alors qu’il ne représente que 9,3 % de la valeur ajoutée nationale brute en 2023. Dans ce contexte, est-il possible de mener une politique de réindustrialisation du pays sans y associer un objectif de hausse des gains de productivité ?Non rappelle ce Cube. Au contraire, ces deux objectifs, jusqu’alors indépendants l’un de l’autre, sont désormais deux défis à relever conjointement. En analysant les différents explications à la baisse de celle-ci observée en France et dans les autres économies développées, ce Cube suggère que l’augmenter en parallèle d’une politique de réindustrialisation sous-entend une réallocation des facteurs de production vers les entreprises industrielles à fort potentiel. Elle suppose également une une meilleure affectation des ressources.
Contenu connexe
Similaire à i.a et droit - données d'apprentissage - village de la legaltech
Rédigé en Mars 2013
Comment automatiser les tests ?
Les différents types de tests automatisés : TU, BDD/TDD, GUI, TDC, Test de vie …
Méthodes d’automatisation
Capture/replay
Projet de développement
Techniques d’automatisation
Data driven
Keyword driven
DSTL
Composants technique pour l’automatisation
Oracle
Bouchon
Techniques de comparaison
Reporting
Dans cette session, vous apprendrez:
Les différences entre modéliser pour MongoDB versus une base de données relationnelle.
Une méthodologie pour modéliser pour MongoDB qui est adaptable aux projets simples, agiles ou plus complexes.
Quelques patrons de conception (design patterns) courants dans le développement d'applications avec MongoDB, dans le but de maximiser la performance.
Si la baisse de la productivité est effective dans toutes les économies développées... elle est particulièrement marquée en France. Au niveau national, cet essoufflement touche tous les secteurs, et plus particulièrement celui de l’industrie, usuellement caractérisé par des gains de productivité élevés. Depuis la crise Covid, le secteur industriel contribue pour 35 % environ à cette perte, alors qu’il ne représente que 9,3 % de la valeur ajoutée nationale brute en 2023. Dans ce contexte, est-il possible de mener une politique de réindustrialisation du pays sans y associer un objectif de hausse des gains de productivité ?Non rappelle ce Cube. Au contraire, ces deux objectifs, jusqu’alors indépendants l’un de l’autre, sont désormais deux défis à relever conjointement. En analysant les différents explications à la baisse de celle-ci observée en France et dans les autres économies développées, ce Cube suggère que l’augmenter en parallèle d’une politique de réindustrialisation sous-entend une réallocation des facteurs de production vers les entreprises industrielles à fort potentiel. Elle suppose également une une meilleure affectation des ressources.
3. Au départ…
● Outils de justice “prédictive”
procèdent par extraction : extraction
de montants, de concepts…
● Ambiguités dans les documents
● Pas de solution par des systèmes
de règles
Conséquence : manque de fiabilité de
ces outils
6. Au départ…
Difficulté de désambiguisation : outils de ML fonctionnent à la phrase ou
au paragraphe -> ici, le contexte est exactement le même si on se
cantonne à la phrase ou au paragraphe – besoin de “zoner” les
documents
7. Le zonage des décisions de justice
Identification des zones d’une
décision de justice :
• référence de la décision attaquée
• présentation des parties, avocats
ou magistrats
• exposé des faits et de la
procédure
• exposé des prétentions des
parties
• argumentation du juge
• exposé de la règle de droit
applicable
• solution..
9. Le programme IA & droit - données d’apprentissage
Objectif : au travers de ce cas
d’usage, mener un cycle exploratoire
sur la consitution de données
d’apprentissage :
documenter une méthodologie
identifier les points d’accroche
identifier les outils et
compétences nécessaires
-> Apprendre par l’expérimentation –
le motto d’Open Law*, être un do tank
plutôt qu’un think tank !
11. Planning du projet
Définition du besoin - avril 2017
Plan d’annotation - mai-juin 2017
Mise en place : de l’outil - premiers tests -
rédaction des guidelines - mai-juin 2017
Annotation - juin à novembre 2017
Évaluation - septembre à novembre 2017
Exploitation du dataset - novembre 2017 et +
Restitution et livraison des données -
décembre 2017
13. Quelques chiffres
62 lots attribués
35 annotateurs
1 lots = 10 docs uniques + 2 docs communs avec un autre lot
407 documents annotés et exploitables
• suppression des annotations trop divergentes ou documents partiellement annotés
• suppression des documents non pertinents (ordonnances de procédure -> suppression
des documents courts)
• [suppression (random) des doublons de l’interagreement]
37 244 paragraphes annotés
24 761 paragraphes annotés et de qualité
• en ne prenant que les sous-catégories (sans les catégories macro)
• en supprimant les types n/a
• en supprimant les lignes ne contenant que de la ponctuation
• en supprimant les lignes avec forte présomption d’erreur d’annotation (divergence type
macro / type)
14. Evaluation des annotations - Interagreement
• 60 docs comparés
• 7 337 lignes annotations identiques
• 1 124 annotations différentes
Taux acceptable sur un dataset plus gros – ici
nécessité de pouvoir faire des corrections
Contraintes du projet empêchaient de faire se
rencontrer et discuter les annotateurs entre eux
Solution : supervision centralisée de la qualité du
dataset et évaluation manuelle
15. Evaluation des annotations – Evaluation manuelle
Retrait des documents « mal » annotés : +/- 50
documents
• Documents annotés seulement en partie
• Absence d’utilisation des sous-catégories du plan :
partie Motifs notamment
• Erreurs de compréhension du plan d’annotation
Correction d’une partie des annotations : erreurs
fréquentes et faciles à corriger
Remarque :
• Annotation toujours incorrecte sans supervision au
départ (crowdsourcing impossible – plan d’annotation
trop complexe, annotateurs bénévoles, absence de
lecture des guidelines)
• Mais avec seulement 1 échange de mails (envoi d’un
document annoté et discussion sur ce document), très
bons résultats
16. Evaluation du dataset - Représentativité
Géographique : très forte présence des décisions corses (mais vrai aussi dans
Légifrance)
Matérielle : tous contentieux présents, même du pénal (qui ne devrait pas être
présent sur Légifrance)
Types de décisions
Surprise : énorme présence d’ordonnances de procédure dans Légifrance (>20%
des décisions)
Or ces décisions :
• Ne sont pas harmonisées en rédaction
• Ne rentrent donc pas dans les catégories du plan d’annotation
• Et n’ont aucun intérêt sur le fond
Donc essentiellement du bruit pour notre dataset : suppression de ces décisions
18. Premiers tests de classification – analyse par catégorie
Remarque : pour un descriptif métier du contenu de chaque catégorie, se
reporter au guide de prise en main disponible ici :
https://github.com/pommedeterresautee/iaetdroit
Catégories macro :
• Entête
• Exposé du litige
• Motifs
• Dispositif
19. Analyse par catégorie – sous-catégories
Catégories à utiliser en l’état :
• References_decision_attaquee
• Entete_composition_de_la_cour
• Moyens_et_pretentions_appelant
• Moyens_et_pretentions_intime
• Motif-demandes_accessoires
• Dispositif-demandes_accessoires
• Entete_avocat
• Entete_appelant
• Entete_intimé
Remarque : il pourra être éventuellement intéressant de regrouper ces trois
dernières catégories pour un meilleur résultats (problèmes d’absence de sauts de
lignes dans les données qui rendent souvent difficile la distinction)
20. Analyse par catégorie – sous-catégories
Catégories à regrouper pour un meilleur résultat ou pour des visions transverses
des fichiers (déjà proposé dans le csv fourni) :
• Faits_et_procedure / Faits / Procedure -> une catégorie unique Faits_et_procedure
• Motif-1 / Motif-1_faits / Motif-1_texte / Motif-1_pretentions_appelant / Motif-
1_pretentions_intime -> une catégorie unique Motif-1
• Motif-2 / Motif-2_faits / Motif-2_texte / Motif-2_pretentions_appelant / Motif-
2_pretentions_intime -> une catégorie unique Motif-2
• Motif-3 / Motif-3_faits / Motif-3_texte / Motif-3_pretentions_appelant / Motif-
3_pretentions_intime -> une catégorie unique Motif-3
21. Analyse par catégorie – sous-catégories
Catégories à regrouper pour un meilleur résultat ou pour des visions transverses
des fichiers (déjà proposé dans le csv fourni) – suite :
• Motif-1 / Motif-2 / Motif-3 -> une catégorie unique Motif-juge
• Motif-1_faits / Motif-2_faits / Motif-3_faits -> une catégorie unique Motif-faits
• Motif-1_texte / Motif-2_texte / Motif-3_texte -> une catégorie unique Motif-
regle_de_droit
• Motif-1_pretentions_appelant / Motif-2_pretentions_appelant / Motif-
3_pretentions_appelant -> une catégorie unique Motif-pretentions_appelant
• Motif-1_pretentions_intime / Motif-2_pretentions_intime / Motif-3_pretentions_intime
-> une catégorie unique Motif-pretentions_intime
22. Analyse par catégorie – sous-catégories
Catégories à ignorer (pas assez d’annotations / résultats incohérents) :
• Moyens_et_pretentions_des_parties (déjà supprimé dans le csv fourni)
• Dispositif 1
• Dispositif 2
• Dispositif 3
24. Usages attendus… en attendant plus !
- Affichage du plan des décisions
- Moteur de faits
- Chaînage des décisions
- Extraction de montants
- Rapprochement de décisions sur la
base de la règle de droit
- Tri des pourvois pour attribution aux
chambres de la Cour de cassation
- Evaluation de la rédaction des
décisions…
Autres données juridiques : contrats,
conventions collectives, appels d’offres...
25. Hackathon Village de la legaltech
Regrouper les décisions ayant le
même fondement juridique
Améliorer la lisibilité des décisions
de justice
Créer des études d’impact pour le
législateur
Intégrer un processus de zonage
en amont – lors de la rédaction de
la décision
28. Enjeux méthodologiques
Maître-mot : adaptation du dataset au projet et de la méthodologie aux
contraintes imposées
un projet prévoyant une tâche longue et pénible et nécessitant un haut
niveau d’expertise sur un outil difficile à manipuler sera voué à l’échec,
car il sera impossible de trouver les utilisateurs ultra-experts,
disponibles et motivés pour la tâche (même en les payant)
En fonction du projet envisagé et de ses contraintes, il faudra donc
trouver le meilleur équilibre entre :
- le niveau de complexité du plan d’annotation ;
- le niveau d’expertise et la disponibilité des annotateurs ;
- la qualité de l’outil d’annotation ;
- la possibilité d’automatiser une partie des annotations.
A noter : on pourra subdiviser le projet en plusieurs sous-tâches de
complexités différentes.
29. Enjeux éthiques – les erreurs à ne pas commettre
Evaluation des annotations :
• en droit français, pas de volumes suffisant pour lisser les
biais induits par les erreurs d’annotation
Mécanisme de contrôle : générer un dialogue entre les
annotateurs est la meilleure méthode
30. Enjeux éthiques – les erreurs à ne pas commettre
Evaluation du dataset : s’assurer de la représentativité
du dataset
• Temporelle (éviter les erreurs liées à des
modifications de comportement des données dans le
temps)
• Géographique
• Matérielle
Mécanismes de contrôle : s’assurer au début du
projet de notre bonne connaissance des données à
enrichir pour pouvoir effectuer un contrôle statistique
31. Enjeux éthiques – les erreurs à ne pas commettre
Evaluation des données brutes : s’assurer de l’existence de
données brutes pertinentes pour mener le projet souhaité :
• Absence de trous dans les données
• Capacité d’alignement des données (si plusieurs jeux)
• Stabilité des données (notamment dans le temps)
Mécanismes de contrôle : métier
32. Table ronde – échanges croisés avec le domaine
de la recherche et celui de la santé
33. Claude Kirchner
Président du Comité opérationnel d'évaluation des risques légaux et
éthiques, INRIA
Depuis 2008, Inria dispose d’une instance dédiée à l’accompagnement des acteurs
de la recherche dans l’évaluation des enjeux légaux et éthiques auxquels ils ont
confrontés. Au cas par cas, le Coerle oriente la direction d’Inria et les équipes de
recherche grâce à un comité de 9 experts, chargés de résoudre les problématiques
éthiques de l’institut.
34. Olivier de Fresnoye
Co-coordinateur du Programme Epidemium
Epidemium est un programme de recherche scientifique participatif et ouvert dédié
à la compréhension du cancer grâce aux Big data qui se concrétisera sous la forme
d’un Challenge4Cancer (C4C). Il s'agit d'identifier les grands enjeux et les
opportunités des big data appliqués à l’onco-épidémiologie et de rassembler un
volume inédit de jeux de données ouverts – open data - et hétérogènes. Un appel à
projets innovants est maintenant lancé sur la base des données, des méthodologies
et des outils mis à la disposition des participants, tout en garantissant le respect des
règles éthiques et juridiques, sensibles et complexes dans ce contexte.