Analyse des effets sociétaux des technologies d'IA génératives.

1. IA BIEN QUI IA LE DERNIER**
Une question de génération(s)
Apéro’chercheur n°2
Mars 2024.
Meilleure BU de la galaxie connue.
1
** Merveilleux titre trouvé par Sandrine Lorans.

2. Qui suis-je ?
2
Enseignant-chercheur
Auteur
Blogueur
[ Thématiques recherche & enseignement : culture(s) numérique(s) / plateformes réseaux & médias sociaux / Usages et ingénierie sociale et politique des algorithmes ]

3. Le pitch (spoiler alert)
• Les IA génératives sont des révolutions techniques
et technologiques EXTRACTIVISTES**
• Qui masquent des problématiques sociales (travail
invisible, droits d'auteurs, modération)
• Qui ont un coût caché énorme (économique,
écologique)
• Qui modifient des équilibres
• glissement de technicité pour certains métiers (y compris
dit artistiques ou intellectuels)
• Dynamiques fortes de désintermédiation
(réintermédiations à venir)
3
** L'extractivisme consiste à extraire, directement dans le milieu naturel et sans retour vers lui, des ressources naturelles qui ne se renouvellent pas ou peu, lentement, difficilement ou coûteusement
IA génératives

4. De quoi parle-t-on exactement ?
IA ? IA génératives ? Midjourney ? ChatGPT ? Générateurs de textes ? Assistants conversationnels ?
• Je propose « artefacts génératifs ».
• « Artefact » parce que c’est fabriqué par l’Homme.
• « Génératif » parce que la puissance de ces outils réside dans l’ampleur, le volume, et la variété des générations
possibles.
• Dans la lignée de (relativement) vieilles « technologies de l’artefact » (2008) :
« technologies qui rendent possible, pour l’amateur, la création de représentations
volontairement altérées et artificielles de la réalité dans une recherche (…) de la
vraisemblance. »
• Très anciennes à l’échelle du numérique (2008) : Photoshop Naked Contest, fausses vidéos (étoile noire au
dessus de San Francisco : https://www.youtube.com/watch?v=AfqDVP_0O0c), outils pour vieillir
artificiellement n’importe quelle photo, etc.
• Très anciennes aussi à l’échelle des industries culturelles (de la contrefaçon et des faussaires à Meliès et aux
effets spéciaux) Dès l’invention de la photo, invention de la retouche photographique au pinceau et « la
dissimulation de la retouche est aussi ancienne que sa pratique » (André Gunthert)
https://journals.openedition.org/etudesphotographiques/1004
4

5. 2008
5

6. 6
Jason Michael Allen. Théâtre d'opéra spatial.
1er prix du concours des beaux-arts de la Colorado State Fair.
5 septembre 2022
Image créée avec Midjourney Midjourney, à partir d’un prompt
Des airs d’intelligence encyclopédique
2022

7. 7
Jason Allen a écrit des centaines de prompts extrêmement détaillés tant au plan du style que du type de scène.
Estime à 80 heures de travail le temps nécessaire pour parvenir à un prompt satisfaisant.
Il explique ensuite avoir exécuté ce prompt entre 600 et 900 fois.
Puis a sélectionné 3 images dans l’ensemble des générations produites.
Les avoir téléchargées et retravaillées sur Photoshop.
Au final en a soumis une à ce concours.
Des airs d’intelligence encyclopédique de WTF ??
2022

8. 8
Excelle dans la simulation d’expertise
Excelle dans la dissimulation d’expertise
2022

9. It’s a kind of magic ?
• Arthur C. Clarke. « Toute technologie suffisamment avancée est
indiscernable de la magie. »
• Mais si c’est de la magie c’est qu’il y a :
• un truc.
• une volonté de tromper.
• L’idée de faire spectacle.
9

10. It’s a kind of magic ?
• Arthur C. Clarke. « Toute technologie suffisamment avancée est
indiscernable de la magie. »
• Mais si c’est de la magie c’est qu’il y a :
• un truc.
• une volonté de tromper.
• L’idée de faire spectacle.
10

11. It’s a kind of magic ?
• Arthur C. Clarke. « Toute technologie suffisamment avancée est
indiscernable de la magie. »
• Mais si c’est de la magie c’est qu’il y a :
• un truc.
• une volonté de tromper.
• L’idée de faire spectacle.
11

12. Qu’est-ce qui change fondamentalement aujourd’hui ?
• Massification
• ChatGPT : 1,5 milliards de requêtes par jour
• Google : 8,5 milliards
• Multimodalité
• text to image
• text to video
• Image to video
• Etc.
• Dissémination dans le champ social
• Politique
• Publicité
• Éducation
• industries culturelles
• Dissociation entre :
• coût d’accès (quasi gratuit)
• coût cognitif (quasi nul)
• coûts de production / maintenance (exponentiels)
12

13. • Massification
• ChatGPT : 1,5 milliards de requêtes par jour
• Google : 8,5 milliards
• Multimodalité
• text to image
• text to video
• Image to video
• Etc.
• Dissémination dans le champ social
• Politique
• Publicité
• Éducation
• industries culturelles
• Dissociation entre :
• coût d’accès (quasi gratuit)
• coût cognitif (quasi nul)
• coûts de production / maintenance (exponentiels)
• Fusion de 2 horizons technologiques longtemps fantasmés : robotique et IA conversationnelle.
Qu’est-ce qui change fondamentalement aujourd’hui ?
13
https://www.youtube.com/watch?v=Sq1QZB5baNw

14. Quel est LE grand enjeu de ces technologies ?
• Réclament d’urgence la construction de nouvelles heuristiques** de la preuve (enjeu documentaire)
• Comment documente-t-on ce qui se produit entre une requête ou un prompt et les générations produites ?
• Capacités de rétro-ingénieries documentaires (partir des générations pour remonter au prompt et à son intention ainsi qu’à ses limites)
• Le problème n’est pas de savoir si les technologies produisent du faux ou altèrent notre perception de la réalité. Toutes les technologies et les
arts l’ont toujours fait
• Le problème c’est de savoir si nous avons toujours des outils cognitifs (capacité de comprendre) et politiques (capacité de juger) pour le
mesurer, l’analyser, le documenter, le circonscrire, l’encadrer.
14
** Qui procède par approches successives en éliminant progressivement les alternatives et en ne conservant qu'une gamme restreinte de solutions tendant vers celle qui est optimale
** Hypothèse heuristique : Hypothèse adoptée provisoirement comme idée directrice indépendamment de sa vérité absolue
• Le contrôle (au sens cybernétique) = qui gouverne, qui tient le gouvernail de ces technos ?

15. Quel est LE grand enjeu de ces technologies ?
• Ces deux photos sont fausses et générées avec des IA.
• Documenter la preuve qu’elles le sont (fausses) va reposer sur qui ? Médias ? OpenAI ? Nous ?
• Nous avons davantage un problème d’écosystème informationnel (chaînes d’opinion, médias sociaux, etc.) qu’un problème de « nouvelle »
technologie.
15
• Se rappeler Hannah Arendt : « Quand tout le monde vous ment en permanence, le résultat n'est pas que vous croyez ces mensonges, mais que plus
personne ne croit plus rien. Un peuple qui ne peut plus rien croire ne peut se faire une opinion. Il est privé non seulement de sa capacité d'agir mais
aussi de sa capacité de penser et de juger. Et, avec un tel peuple, vous pouvez faire ce qu'il vous plaît. »

16. Quel est LE grand enjeu de ces technologies ?
• Laisser (temporairement) la philosophie et la morale de côté.
• Il ne s’agit pas de prouver que « c’est vrai » ou que « c’est faux » mais de montrer et de rendre visible le fait que dans la
construction de ce qui sera interprété comme une « réalité » (donc du vrai), la question de la vérité ou du mensonge ne sont la
plupart du temps jamais convoquées.
• Produire du faux n’est pas nécessairement mentir.
• Remettre du politique et du droit.
• Il ne faut pas avoir de jugement moral sur des technologies
• Il faut une évaluation politique de leur rôle dans la société
• Il faut engager la responsabilité morale de ceux qui les développent et les commercialisent et de celles et ceux qui les utilisent
dans le champ social (que ce soit pour faire de la publicité ou de la politique)
16

17. Puisqu’on est à l’apéro … un peu de propos de comptoir.
17

18. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA va nous remplacer (feignasse hypothèse)
18

19. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA va nous remplacer (feignasse hypothèse)
19
• Non. Mais elle va modifier (désintermédiation / réintermédiation) des équilibres dans des
processus industriels, manuels, mais aussi créatifs, intellectuels.
• L’IA (générative ou non) ne va pas supprimer le travail mais créer davantage de travailleurs
pauvres (cf plus loin travaux de Casilli et al.)

20. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA va se retourner contre nous et nous tuer (Terminator hypothèse)
20

21. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA va se retourner contre nous et nous tuer (Terminator hypothèse)
21
• Non. On a des armes autonomes. Elles ne le sont qu’à proportion de la manière dont on choisit de les programmer. Elles n’ont
ni volonté ni intention de tuer.
• Ce qui ne veut pas dire qu’il faut abaisser notre seuil de vigilance (exemple des Captchas qui entraînaient des drones dans le
cadre de programmes militaires – Cf Google et projet Maven : https://affordance.framasoft.org/2018/03/im-a-digital-worker-
killing-an-arab/)

22. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA c’est gratuit (et c’est même pas nous le produit) (Harpagon Hypothèse)
22

23. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• L’IA c’est gratuit (et c’est même pas nous le produit) (Harpagon Hypothèse)
23
• Non.
• Le Modèle économique évolue déjà (gratuit limité)
• Les coûts (de production, de maintenance, de consommation – électrique notamment) sont colossaux. Les entreprises vont
bientôt devoir se payer.

24. https://affordance.framasoft.org/2023/08/guerre-eau-et-des-donnees/
24

25. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• Il n’y aura plus que des Fake News / Deep Fakes (Méliès Hypothèse)
25

26. Puisqu’on est à l’apéro … un peu de propos de comptoir.
• Il n’y aura plus que des Fake News / Deep Fakes (Méliès Hypothèse)
26
• Il y en a toujours eu. D’ailleurs ceci n’est pas une pipe.
• (Magritte. La trahison des images)

27. Quelques rappels importants.
27

28. ChatGPT est [con comme] un lave-linge
28
• Une IA se préoccupe autant de produire du vrai ou du faux qu’un lave-linge se préoccupe de produire de la propreté.
• Les lave-linge ne se préoccupent pas de morale. Ils ne sont pas concernés par l’enjeu de produire du propre. Ils ne se révoltent pas si vous mettez des cailloux à la place du linge ou
de l’huile de vidange à la place de la lessive.
• Par contre les fabricants de lave-linge (ou de lessive) peuvent avoir une idée morale de la propreté. Idée elle-même guidée par le progrès social, médical, technologique et les enjeux
économiques et financiers … Et ils ont une responsabilité dans ce que cette machine fait à votre linge.
• Et NOUS avons une idée construite et évolutive de la propreté, en partie façonnée par les progrès technologiques, en partie façonnée par le marketing (« plus blanc que blanc »)

29. ChatGPT est [con comme] un lave-linge (épisode II)
29
• La question de la complexité de l’ingénierie de ces systèmes d’IA ne doit jamais empêcher de poser des questions simples à celles et ceux qui les possèdent
ou les déploient. Et d’exiger qu’ils y répondent clairement.
• « Que faites-vous pour garantir qu’il ne nous / se trompe pas ? »
• « Sur quelles données repose-t-il ? De quand date leur mise à jour ? Avez-vous rémunéré leurs créateurs.trices ? »
• « Qui est le propriétaire de ces données générées ? »

30. Se méfier du marketing technologique
• On devrait tou.te.s avoir des frigos qui parlent depuis plus de 20 ans.
• On devrait tou.te.s avoir des voitures volantes depuis plus de 10 ans.
• On devrait tou.te.s avoir des voitures autonomes depuis plus de 10 ans.
• La singularité (cette théorie où les ordinateurs devaient devenir plus intelligents que les humains) était annoncée pour 2020, puis 2030, avant d’être dernièrement repoussée à 2050.
• Elon Musk annonce des colonies martiennes pour 2030. Hahaha.
• Mark Zuckerberg nous voyait tou.te.s dans le métavers dès cette année.
30

31. Prendre la sémantique à revers.
Les mots ont un sens. Il ont aussi des contresens.
• L’être humain augmenté (prothèses) est d’abord un être humain diminué (amputé, handicapé, empêché)
• La réalité augmentée est d’abord une réalité diminuée, une réalité sans réel.
• L’intelligence artificielle est d’abord une bêtise absolue d’artefacts (programmes et algorithmes).
• Les « assistants intelligents » (de Siri à Alexa jusqu’à ChatGPT et au-delà) sont d’abord des idiots utiles, le
révélateur de nos désistements.
• Ils ne nous assistent pas intelligemment, ils dirigent bêtement nos indécisions ou nos manques de temps / d’énergie /
d’envie.
• Avec un énorme problème de biais de disponibilité et de biais de conformité (nous renvoient, nous « assistent » vers du
même, vers de l’identique, vers de l’immédiatement disponible)
• Le langage naturel est un dialogue artificiel. ChatGPT (et les autres) ne répondent pas en langage « naturel » :
• Critériologie contrôlée (fine-tuning) : Utilité / Honnêteté / Innocuité (Zhao, Wayne Xin,
et al. A Survey of Large Language Models. arXiv, 31 mars 2023. arXiv.org, https://doi.org/10.48550/arXiv.2303.18223)
• Imaginez une société dans laquelle toute forme de langage ou d’échange conversationnel serait « supervisé » par ces 3
règles. C’est totalement angoissant. Ce serait certes une société sans « clash », mais aussi une société sans « art ».
• Pas de langage « naturel ». Même chez l’être humain. La capacité langagière n’est pas le langage. Nécessite observation /
imitation et pensée.
31

32. 32

33. Problemos I
l’extractivisme (et la pollution)
• Premier problème est celui du modèle
économique (et écologique) de ces IA
33

34. Problemos II
Violence du travail dissimulé
• Second problème est celui des conditions de travail et du travail de toutes celles
et ceux qu’elles invisibilisent (Digital Labor)
• Open AI sous-traite l'apprentissage de son outil à des travailleurs kényans payés
moins de 2 dollars de l'heure et soumis à des contenus choquants.
• la précédente version de ChatGPT, GPT-3, était "encline à laisser échapper des
remarques violentes, sexistes et racistes". Il fallait donc créer un système de
sécurité automatisé et l'intégrer à ChatGPT.
• « Alimenter l'IA d'exemples signalés de discours haineux et de violences
sexuelles, afin qu'elle sache détecter ces formes de toxicité une fois lâchée dans
la nature. »
• OpenAI a fait appel à Sama, une entreprise qui a son siège à San Francisco mais
qui emploie des travailleurs au Kenya pour intervenir sur des extraits de textes
reçus, décrivant automutilations, incestes ou contenus pédopornographiques,
et ainsi apprendre à l'IA à les repérer. Les salariés doivent lire des textes,
majoritairement trouvés en ligne par OpenAI, et les classer selon leur type
(racisme, violence, etc.) pour "éduquer" ChatGPT. Les employés chargés de
trier ces contenus sont payés "entre 1,32 et 2 dollars de l'heure, environ,
suivant l'ancienneté et le rendement", écrit Time Magazine. »
34

35. Problemos III
Transparence des corpus.
• Troisième problème est celui des corpus. Sur quoi
ces IA sont-elles entraînées ? Qui possède ces
corpus ? Sont-ils « sincères » ? Qui peut les vérifier
? Et de quel(s) droit(s) [d’auteur] ?
35

36. 36

37. 37

38. 38

39. 39

40. Problemos IV
Capacitation.
• Quatrième problème est celui de la capacitation : qu’est-ce que ces IA génératives nous permettent de faire mieux (ou plus vite, ou plus
vite et mieux) qui n’implique pas nécessairement – à court ou moyen terme - d’oublier comment faire (sans IA) ?
• On parle souvent, pour ces IA, d’apprentissage par renforcement : c’est à force de reprendre toujours les mêmes chemins, les mêmes questions, qu’elles vont renforcer la
cohérence (interne) de leur vision du monde. Mais les renforcements de ces IA peuvent être des affaiblissements de nos propres chemins cognitifs. En nous aidant à faire ou en
faisant à notre place, elles nous font parfois oublier le « comment » ou le « pourquoi » le faire.
• Chaque fois qu’une technologie intellectuelle apparaît et/ou que son objet est de manipuler des connaissances, se pose la question de savoir si elle ne nous rend pas stupides
(2008 : Nicholas Carr : Is Google Making Us Stupid ? https://www.theatlantic.com/magazine/archive/2008/07/is-google-making-us-stupid/306868/)
• La question technologie s’arbitre entre le gain et la perte. Serres : quand l’Homo Erectus se relève la main perd sa fonction de portage, la
bouche perd sa fonction de préhension, mais la main et la bouche deviennent des universels, elles peuvent tout faire.
• Un marteau ne plante pas des clous à notre place. Simondon explique « qu'un objet technologique est produit lorsqu'il est
détachable ». Ces IA ne nous apparaissent pas comme « détachables ». Elles ne le sont pas entièrement. D’autant que le marketing fait
tout pour les rendre « intégrées », c’est-à-dire apparemment non-détachables, donc difficilement observables à bonne distance, difficiles
à analyser.
• On « prend » une chaise, un marteau, un vélo … Le numérique est une technologie sans « prise », qui facilité des formes d’emprise.
• On ne « parle pas » à une chaise, à un marteau, à un vélo. Mais on parle à Google, Alexa, Siri et maintenant Gemini, ChatGPT,
Midjourney, et on leur parlerait en langage « naturel ».
40

41. 41

42. Problemos V
La question des biais. Racisme.
42
https://www.bloomberg.com/graphics/2023-generative-ai-bias/

43. 43
https://www.bloomberg.com/graphics/2023-generative-ai-bias/
Problemos V
La question des biais. Sexisme.

44. 44
Problemos V
La question des biais. Wokisme ;-)

45. 45
Problemos V
La question des biais. Conformité. Stéréotypies / Perroquets stochastiques.

46. 46
Problemos V
La question des biais. Conformité. Stéréotypies / Perroquets stochastiques.

47. Conclusion
• « L’IA n’est ni intelligente ni artificielle. Elle n’est qu’une industrie du calcul
intensive et extractive qui sert les intérêts dominants. Une technologie de pouvoir
qui à la fois reflète et produit les relations sociales et la compréhension du monde.
(…) Les modèles permettant de comprendre et de tenir les systèmes responsables
ont longtemps reposé sur des idéaux de transparence… (…) Dans le cas de l’IA, il
n’y a pas de boîte noire unique à ouvrir, pas de secret à révéler, mais une
multitude de systèmes de pouvoir entrelacés. La transparence totale est donc un
objectif impossible à atteindre. Nous parviendrons à mieux comprendre le rôle de
l’IA dans le monde en nous intéressant à ses architectures matérielles, à ses
environnements contextuels et aux politiques qui la façonnent, et en retraçant la
manière dont ils sont reliés. »
• Kate Crawford in “Atlas de l’Intelligence Artificielle”
47

48. BONUS TRACKS
48

49. 49

50. 50

51. 51

52. Rappels
• Hannah Harendt – « Le progrès et la catastrophe sont l’avers et
le revers d’une même médaille »
52

53. Technologies => Technoloquies (techniques qui
parlent et à qui l’on parle)
• On sait qu’elles mentent. On sait qu’on sait qu’elles mentent. On sait qu’elles ne savent pas qu’elles mentent
puisque mentir est à la fois une opération procédurale (qui peut être programmée) mais aussi morale.
• A lire sur : https://affordance.framasoft.org/2024/03/des-technologies-aux-technoloquies-arty-fit-sienne-une-telle-
engeance/
53

54. No problemo ?
Si mais pas ceux que l’on croit.
• Sur la technologie elle-même.
• 3 entrées pour mesurer l’impact d’une technologie : Niveau / Vitesse / Accélération.
• Niveau = niveau d’usage. A quel point est-elle prégnante et disponible dans une société
donnée ?
• combien de personnes l’utilisent réellement ?
• Combien de ces personnes sont capables d’en avoir une utilisation éclairée ?
• Combien de ces personnes sont en volonté / capacité d’en faire des usages détournés / toxiques ?
• Vitesse = comment évolue :
• Le niveau d’usage de ces technos et la manière dont il se répand.
• Les enjeux de « capacitation » de ces technos (ce qu’elles nous rendent capable de faire) et
d’incapacitation (ce qu’elles empêchent d’autres de faire)
• Accélération = qu’est-ce qui va déclencher des phases significatives d’accélération
(disruption / Schumpeter)
• Dans les usages
• Dans les technos (exemple : transformers dans les LLM, avant cela algo Pagerank de Google, etc.)
54