Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ?

LE COMPTOIR OCTO - EVENT EN REMOTE
OCTO.COM
THERE
IS
A
BETTER
WAY
Green AI, comment éviter que votre
potion magique d’IA ne se
transforme en poison ?
Jeudi 16/11/2023
à 9h15

2
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Vos speakers
Eric Biernat
Partner, Green AI expert
+33 6 26 09 23 32
eric.biernat@octo.com
Reynald Rivière
Senior mgr Data & IA, green AI expert
+33 7 72 50 65 31
reynald.riviere@octo.com

3
There
is
a
better
way
Le passage du
test de Turing a
demandé
beaucoup de
sacrifices

4
There
is
a
better
way
Le premier point de rencontre : l’inspiration

5
There
is
a
better
way
Le second point de rencontre : le résultat
Done In progress

6
There
is
a
better
way
Entre les 2 : un focus exclusif sur la performance
En 1998, Tom Mitchell lance involontairement toute une génération de datascientist dans une course
sans limite : celle de la recherche de performance

7
There
is
a
better
way
Réconcilier performance et son coût ?
L’article suggère que le coût d’une AI croit
linéairement avec ces 3 grandeurs :
● Le coût de processing d’une seule
observation ou exemple (E)
● La taille du dataset (D)
● Le nombre d’expérimentations,
notamment pour optimiser les
hyperparamètres du modèle (H)

8
Réconcilier performance et son coût ?
Random Access Memory
D
H
350M E
Deeper
Bigger
Longer
1.5 Mds
3 Mds 40 Mds
?
45 T
175 Mds

9
The linear
feedback
problem
The weight
transport
problem
The
derivative
transport
problem
The spiking
problem
The timing
problem
The target
problem

10
There
is
a
better
way
« If you want your
trillion parameter neural
net to only consume a
few watts, mortal
computation may be
the only option »

11
There
is
a
better
way
L’analogique, nouveau graal de l’IA efficiente ?
a = b + c
⇔
i = i1
+ i2
a = b * c
⇔
U = R * I

12
There
is
a
better
way
Pourquoi et comment
éco-concevoir vos IA
avec Green AI ?

13
There
is
a
better
way
GREEN AI
Utiliser l'IA comme
levier pour moins consommer
AI 4 GREEN
Réduire l'impact
de l'IA qui est une
source de pollution
Tel le phármakon
d’Homère, l’IA peut être
à la fois une potion et
un poison !

14
There
is
a
better
way
Quelques constats sur les pratiques d’IA
Une IA peut émettre 50% de CO2
de plus pour améliorer sa
performance de 0,3 pts.
Nous fournissons beaucoup métriques sur nos AI mais AUCUNE
sur nos émissions Carbone, la consommation d’énergie, etc.
Environ 90% de la consommation d’énergie d’un modèle se fait
en inférence en production *
Le modèle GPT-3 d’OpenAI générerait une empreinte carbone
lors de son entraînement de 85 tonnes de CO2.
* : Amazon Web Services, ** https://www.theregister.com/2020/11/04/gpt3_carbon_footprint_estimate/

15
15
There
is
a
better
way
Eco-modélisation
ILLUSTRATIO
N
Le choix du modèle et de la
performance algorithmique
Hyper Parameter Optimization
Réduction de dimension
Early-Stopping, Learning rate decay
Model compression
Warm start, Transfer learning
Mesure de l’empreinte CO2
Choix de la région cloud
Versioning
Training
&
Evaluation
Data
pipeline Monitoring
Deployment
Testing

16
Les résultats atteints par l’IA - souvent remarquables ! -
justiﬁent-ils les moyens mis en œuvre ?
Arbres de décisions,
gradient boosting, …
Régression linéaire
Réseau de neurones
Application standard
Santé
Safety
critical
Sécurité
Efficience
opérationnel
Marketing
A+
x
1
0
3
-
1
0
4

17
Un équilibre à trouver
Energy
Performance
Temps de réponse
en inference
Diviser jusque par 2
jusqu’à 2 points de
perte

18
There
is
a
better
way
Pourquoi les entreprises s'intéressent-elles au GREEN AI ?
Réglementation Planète
Coûts Image
Ma
contribution
CAPEX-OPEX
Externe et
Interne
Incitations
Contraintes
Court
Terme
Long
Terme

19
There
is
a
better
way
Formation,
acculturation
Plateforme
Green AI Audit
formation, acculturation
pour définir ce qu’est le Green AI, et décliner l’
éco-conception sur l’artefact numérique
énergivore qu’est l’Intelligence Artificielle
L’Audit
Prendre en compte vos OKR, définir une vision claire
avec un bilan contextualisé à votre plate forme AI,
vos pratiques et votre organisation
La plateforme
Identifier les chantiers et outils nécessaires à la
mise en oeuvre d’une démarche et une Green AI
Comment réussir sa transformation Green AI ?

20
There
is
a
better
way
Le hardware

21
There
is
a
better
way
Cerveau humain : le graal ?
10^4
fois moins de capacité de calcul que notre cerveau pour une conso
x 11 ! … pour une narrow intelligence!
À quoi sont dûs de tels écarts ?
La consommation de notre cerveau est de 25 watts pour 10^16
opérations/s
Celle d’une carte GPU performante est de 300 watts pour ~10^12
opérations/s.
Un peu d’humilité…

22
There
is
a
better
way
On a fait avec qu’on avait : des transistors et l’architecture de Von
Neumann
chip
ALU
PE ALU
ALU
PE = Process engine, ALU = Arithmetic Logic Units
On-chip
DRAM
Buffer
Off-chip
DRAM

23
There
is
a
better
way
Du bit … au Qubit en passant par le neurone artiﬁciel ?
> 1971 > 2008
2017
micro processeur Intel 4004
Architecture de von Neuhmann
GPU Nvidia Edge 3D
NV1 By ST
TPU (Google)
puce neuromorphique*
> 1995
informatique quantique
2000 > 2015
R&D
*TrueNorth d’IBM

24
There
is
a
better
way
03
Questions & Réponses
03

26
There
is
a
better
way
Les Actus OCT
Comptoir. Formation.
Publication. Recrutement.
Culture Hacking
Les dessous d'un
changement systémique,
pas-à-pas
Lien dans le chat ou sur octo.com
catégorie”Ressources”
Restez branchés !
Retrouvez les replays
des Comptoirs sur
Youtube dans la
playlist “Le Comptoir
OCTO”
Retrouvez les
compte-rendus des
Comptoir sur le blog
OCTO Talks
Pour aller plus loin,
découvrez notre
formation
Green AI :
l’intelligence
artiﬁcielle
responsable
Rdv sur octo.academy
Vous vous sentez
l’âme d’un(e)
Octo ?
Rejoignez-nous !
Rdv sur rejoins.octo.com
ou envoyez un mail
à candidature@octo.com

27
There
is
a
better
way

28
There
is
a
better
way
une conservation avec
ChatGPT = 50 cl

Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ?

Recommandé

Recommandé

Contenu connexe

Similaire à Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ?

Similaire à Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ? (20)

Plus de OCTO Technology

Plus de OCTO Technology (20)

Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’IA ne se transforme en poison ?