Recours à l’IA :
comment
anticiper le futur
cadre juridique ?

Introduction
Proposition de règlement sur l’IA (« AI Act ») de la Commission européenne –
21 avril 2021
→ CONSEIL DE L’UE : Orientation générale – 6 décembre 2022
→ PARLEMENT EUROPÉEN : discussions en cours
Contexte :
Avantages économiques et
sociétaux considérables dans tous
les secteurs de l'industrie et des
activités sociales
→ Résultats bénéfiques pour la
société et l'environnement
→ Avantages concurrentiels clés
Nouveaux risques/conséquences
négatives pour les individus et la
société
Nécessité de créer un cadre juridique pour une IA digne de confiance

Plan de la présentation
1. Comment identifier le type de contraintes applicables à
mon entreprise ?
2. Quelles sont les principales obligations du fournisseur de
solution IA ?
3. Quelles sont les principales obligations de l’utilisateur
d’une solution IA ?
4. Comment anticiper le Règlement IA dans mes contrats et
partenariats ?

Notre fil conducteur (1)
1. Logiciel de présélection
des candidats dans le
cadre d’une procédure
de recrutement

Notre fil conducteur (2)
2. Chatbot

1. Comment identifier le type de
contraintes applicables à mon
entreprise ?

Définition d’un « système d’IA » (art. 3(1))
qui est développé au moyen
d’une ou plusieurs des
techniques et approches
énumérées à l’annexe I:
❑ approches d’apprentissage
automatique (machine learning)
❑ approches fondées sur la logique
et les connaissances (ex. système
expert – consid. 6ter)
❑ approches statistiques, estimation
bayésienne, méthodes de
recherche et d’optimisation
[CONSEIL: point inclus dans les
approches d’apprentissage
automatique (consid. 6bis)]
qui peut, pour un ensemble
donné d’objectifs définis par
l’homme, générer des
résultats (output) tels que:
❑ des contenus
❑ des prédictions
❑ des recommandations
❑ des décisions influençant les
environnements avec lesquels
il interagit
Logiciel [CONSEIL: système]
ET

Systèmes d’IA à usage général (art. 3(1b), 4a – 4c)
= un système d’IA qui – indépendamment de la manière dont il est mis sur le marché ou
mis en service, y compris sous la forme d’un logiciel open source – est destiné par le
fournisseur à exécuter des fonctions d’application générale telles que:
❑ reconnaissance d’images et reconnaissance vocale
❑ génération d’enregistrements audio et vidéo
❑ détection de formes
❑ réponse à des questions
❑ traduction
→ Peut être utilisé dans une pluralité de contextes et être intégré dans une pluralité
d’autres systèmes d’IA.
>< destination spécifique = l’utilisation à laquelle un système d’IA est destiné par le
fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, telles que
précisées dans les informations communiquées par le fournisseur dans la notice
d’utilisation, les indications publicitaires ou de vente, ainsi que dans la documentation
technique (art. 3(12))
CONSEIL

Exclusions (art. 2)
Activités hors du champ d’application du droit de l’Union, en particulier les
domaines suivants :
❑ militaire
❑ défense
❑ sécurité nationale
Recherche et développement scientifiques
Activité de recherche et développement concernant les systèmes d’IA
CONSEIL

Classification des systèmes d’IA
Risque
inacceptable
Haut risque
Risque faible
Risque minimal
Approche fondée sur le risque
• Recours à des techniques subliminales allant
au-dessous du seuil de conscience d’une
personne pour altérer substantiellement son
comportement
• Exploitation des vulnérabilités d’un groupe
spécifique de personnes dues à leur âge, à un
handicap physique ou mental [CONSEIL: + dues
à leur situation sociale ou économique]
• Notation sociale par les autorités publiques
[CONSEIL: + par des acteurs privés]
• Systèmes d’identification biométrique à
distance en temps réel dans des espaces
accessibles au public à des fins répressives
[plusieurs exceptions]
• Systèmes interagissant avec des
humains (ex. chatbots)
• Systèmes de reconnaissance des
émotions
• Systèmes de catégorisation
biométrique
• Systèmes générant ou manipulant
du contenu (deep fakes)
Categorie résiduelle (ex.
filtres anti-spam, jeux
vidéos basés sur l’IA)

Systèmes d’IA à haut risque (art. 6)
PROPOSITION DE RÈGLEMENT CONSEIL
(Composants de sécurité de) produits devant faire l'objet d'une évaluation de la
conformité par un tiers conformément aux actes législatifs UE de l'annexe II (ex.
directives sur les dispositifs médicaux, sur les machines, sur la réception et la
surveillance du marché des véhicules à moteur et de leurs remorques).
Systèmes d'IA relevant d’un des domaines suivants (annexe III) :
❑ Identification biométrique à distance en temps réel et a posteriori
❑ Gestion et exploitation d'infrastructures critiques (trafic routier,
approvisionnement en eau, gaz, chauffage et électricité, infrastructures
numériques critiques)
❑ Education et formation professionnelle (ex. évaluation des étudiants dans les
établissements d'enseignement et de formation professionnelle et évaluation
des participants aux épreuves couramment requises pour intégrer les
établissements d'enseignement, évaluation des acquis d'apprentissage)
❑ Emploi, gestion de la main-d’œuvre et accès à l’emploi indépendant (ex.
recrutement ou sélection)
❑ Accès et droit aux services privés essentiels, aux services publics et aux
prestation sociales (ex. évaluation de la solvabilité, évaluation du risque
individuel et tarification de l'assurance-vie et de l'assurance-maladie, sauf pour
les PME)
❑ Autorités répressives (ex. évaluation du risque de commission d’une infraction
ou de récidive, profilage, polygraphes, détection des deep fakes, analyse de la
criminalité)
❑ Gestion de la migration, de l’asile et des contrôles aux frontières (ex.
évaluation des risques en matière de sécurité, d'immigration, de santé, etc.,
vérification de l'authenticité des documents de voyage)
❑ Administration de la justice et processus démocratiques (assistance d'une
autorité judiciaire dans la recherche et l'interprétation des faits et du droit et
dans l'application du droit à un ensemble concret de faits)
EXCEPTION :
❑ le résultat (output) généré par le
système d’IA est purement
accessoire par rapport à l'action
ou à la décision à prendre* ; et
❑ ce résultat (output) n'est dès lors
pas susceptible d'entraîner un
risque significatif pour la santé, la
sécurité ou les droits
fondamentaux.
→ *Actes d'exécution de la
Commission (E.V. + 1 an)

Acteurs concernés
Fournisseur
Mandataire
Importateur
Utilisateur
Distributeur
Fabricant de
produits
développe ou fait développer un système d’IA en
vue de le mettre sur le marché ou de le mettre en
service sous son propre nom ou sa propre marque
utilise sous sa propre autorité un système d’IA
EXCEPTION : dans le cadre d’une activité
personnelle à caractère non professionnel
CONSEIL : si utilisateur = personne physique utilisant
le système d’IA dans le cadre d’une activité
purement personnelle et non professionnelle → seul
l’article 52 s’applique (systèmes d’IA à faible risque)
fabricant au sens d’un des actes législatifs de
l’Union énumérés à l’annexe II
Possible requalification en
fournisseur

Application à notre fil conducteur (1)
1. Logiciel de présélection
des candidats dans le
cadre d’une procédure
de recrutement
Système d’IA à
haut risque
(annexe III)
Utilisateur
Fournisseur

Application à notre fil conducteur (2)
2. Chatbot
Fournisseur
Système d’IA à
faible risque
(système
interagissant
avec des
humains)
Utilisateur

2. Quelles sont les principales
obligations du fournisseur de solution
IA ?

Obligations des fournisseurs (art. 16)
Mise en conformité avec les exigences des systèmes IA
CONSEIL : Indication des coordonnées
Système de gestion de la qualité (art. 17)
Documentation technique (CONSEIL : Conservation
des documents (art. 18)
Procédure d’évaluation de la conformité(art. 19 & 43)
Obligations d’enregistrement (art. 51)
Déclaration et Marquage de conformité CE (art. 48 &
49)
Désignation d’un mandataire (si applicable) (art. 25)
Système IA mis sur le marché
ou en service
Assurer la tenue des journaux générés
automatiquement par le système d’IA (art. 20)
Mesures correctives en cas de non-conformité
+ devoir d’information des autres acteurs et les
autorités nationales compétentes (art. 21 & 22)
Coopération avec les autorités nationales
compétentes (art. 23)
Surveillance après la commercialisation + plan
de surveillance(art. 61)
Notification des incidents graves et des
dysfonctionnements (art. 62)
Mise sur
le marché
Avant Après

Procédure d’évaluation de la conformité (art. 43)
= évaluation du système de gestion de la qualité et de la documentation
technique
Dépend du type du système d’IA à haut risque et de l’application des normes
harmonisées ou des spécifications techniques, la procédure d’évaluation de
la conformité est :
❑ Fondée sur le contrôle interne (Annexe VI); ou
❑ Avec l’intervention d’un organisme notifié (Annexe VII)
Déclaration UE de conformité établie par le fournisseur (art. 48)
En cas de modification substantielle : nouvelle procédure de conformité
(Suppression par le Conseil)

Obligations de transparence pour les systèmes d’IA
à faible risque (art. 52)
❑ Obligation de veiller à ce que les systèmes d’IA destinés à interagir
avec des personnes physiques soient conçus et développer afin
d’informer ces personnes qu’elles interagissent avec un système d’IA
(exception pour les systèmes utilisés dans un contexte pénal)

Exceptions à ces obligations
Les sytèmes d’IA à haut risque qui sont liés aux produits couverts par les
actes législatifs d'harmonisation de l'Union énumérés à l'annexe II,
section B, seuls les dispositions suivantes s’y appliquent :
❑ Article 53 (Bacs à sable réglementaires de l’IA); et
❑ Article 84 (Evaluation et réexamen de l’IA Act)

Obligations des fournisseurs en cas d’IA à usage
général (art. 4 ter)
❑ CONSEIL : Indication des coordonnées
❑ Application des mêmes exigences que celles du Chapitre 2. Toutefois, elles peuvent être adaptées par des
actes d’exécution de la Commission (prenant en considération leurs caractéristiques, la faisabilité technique,
les spécificités de la chaine de la valeur de l’IA et les évolutions du marché et des technologies)(Art. 4ter)
(N.B.: E.V. + 18 mois)
❑ Tenue de la documentation technique ( art.11)
❑ Procédure d’évaluation de la conformité (art. 43)
❑ Obligation d’enregistrement (art. 51)
❑ Mesures correctives en cas de non-conformité (art. 21)
❑ Déclaration et Marquage de conformité CE (art. 48 & 49)
❑ Coopération avec les autorités nationales compétentes (art. 23)
❑ Désignation d’un mandataire (si applicable) (art. 25)
❑ Obligation de veiller à ce que les systèmes d’IA destinés à interagir avec des personnes physiques soient
conçus et développer afin d’informer ces personnes qu’elles interagissent avec un système d’IA (art. 52)
(exception à des fins pénales)
❑ Surveillance après la commercialisation + plan de surveillance(art. 61)
❑ Obligation de coopération entre fournisseurs
Conseil

Exceptions à l’article 4ter
Les obligations énoncées à cet article ne s’appliquent pas si le
fournisseur a expressément exclu toutes les utilisations à haut
risque dans la notice d’utilisation ou les informations
accompagnant le système d’IA à usage général. (art. 4
quarter)

3. Quelles sont les principales
obligations de l’utilisateur d’une
solution IA ?

Obligations des utilisateurs (art. 29)
❑ Utilisation des systèmes d’IA
conformément aux notices
d’utilisation
❑ Pertinence des données d’entrées
❑ Surveillance du fonctionnement
du système d’IA sur la base de la
notice d’utilisation
• Si risque/incident grave→
obligation d’informer le fournisseur/
distributeur et
suspension/interruption de
l’utilisation du système IA
❑ Assurer la tenue des journaux
générés par le système d’IA
❑ Utilisation des informations de la
notice d’utilisation (art.13) pour
procéder à une analyse d’impact
(si applicable )
❑ Le contrôle humain est confié à
des personnes physiques
❑ Si l’utilisateur = autorités publiques
ou organismes publics (exception:
immigration) → obligation
d’enregistrement (art. 51)
❑ Coopération avec les autorités
nationales compétentes
Obligations non applicables en cas
d’utilisation du système d’IA dans le
cadre d’une activité personnelle/non
professionnelle
CONSEIL

Obligations de transparence pour les systèmes d’IA
à faible risque (art. 52)
❑ Système de reconnaissance biométrique: obligation
d’informer du fonctionnement du système les personnes
physiques qui sont exposées ;
❑ Système de reconnaissance des émotions: obligation
d’informer du fonctionnement du système les personnes
physiques qui y sont exposées
❑ Système d’IA qui génère ou manipule des images ou des
contenus audios ou vidéo présentant une ressemblance
avec des personnes, des objets,…doivent préciser que ces
contenus ont été générés ou manipulés artificiellement

Possible requalification
Possible requalification (pour systèmes
d’IA à haut risque) si :
❑mise sur le marché/en service sous son
propre nom/marque
❑modification de la destination
❑modification substantielle
❑CONSEIL : modification de la destination
d’un système d’IA qui devient ainsi à
haut risque alors qu’il ne l’était pas
❑Mis sur le marché/en service d’un
système d’IA à usage général en tant
que système d’IA à haut risque
Mandataire
Fabricants
de produits
Utilisateur
Fournisseur

4. Comment anticiper le Règlement IA
dans mes contrats et partenariats ?

En tant que fournisseur

En tant qu’utilisateur

Sanctions (art. 71)
Sanctions déterminées par les Etats membres
Amendes administratives
Les États membres peuvent décider si et dans quelle mesure des amendes
administratives peuvent être imposées aux autorités et organismes publics.
Non-respect de
l'interdiction des systèmes
d’IA à risque inacceptable
(art. 5) ou des exigences en
matière de qualité et de
gouvernance des données
(art. 10)
Non-respect de toute
exigence ou obligation du
Règlement
Fourniture d’informations
inexactes, incomplètes ou
trompeuses aux organismes
notifiés et aux autorités
nationales compétentes en
réponse à une demande
≤ 30 000 000 €
ou, pour une entreprise, ≤ 6
% [PME : 3%] du chiffre
d'affaires annuel mondial
total réalisé au cours de
l'exercice précédent
(le montant le plus élevé
étant retenu)
≤ 20 000 000 €
ou, pour une entreprise, ≤ 4
% [PME : 2%] du chiffre
d'affaires annuel mondial
total réalisé au cours de
l'exercice précédent
(le montant le plus élevé
étant retenu)
≤ 10 000 000 €
ou, pour une entreprise, ≤ 2
% [PME : 1%] du chiffre
d'affaires annuel mondial
total réalisé au cours de
l'exercice précédent
(le montant le plus élevé
étant retenu)

Merci pour votre
attention !
Des questions ?
Nos prochaines formations
earlegal :
→ 21 avril : Difficultés
financières d’un sous-
traitant, quelles
précautions?
→ 2 juin : Comment tirer
parti des règlements
DSA/DMA ?