Le document traite des défis liés à la lutte contre la haine sur Internet, mettant en lumière les complexities de réglementations, algorithmes et décisions humaines face à des discours haineux. Il souligne les évolutions historiques de la législation dans le cyberespace et les implications morales et techniques de la modération de contenus. Enfin, il pose des questions sur la liberté d'expression et la responsabilité des plateformes face à ces enjeux.

1. Ertzscheid Olivier.
Maître de conférences. Sciences de l’information.
Université de Nantes. IUT de La Roche sur Yon.
1
www.affordance.info
Diaporama disponible en ligne : www.slideshare.net/olivier
Nantes. 24 Mars 2017
Comment lutter contre la
haine sur internet ?

2. C’est quoi « la haine » ?
Comment caractériser les discours de haine ?

3. Discours de la haine ?
OUI C’est compliqué
C’est compliqué
3

4. Qui décide ?
De diffuser ou de bloquer
cette vidéo ? Floutée ou non floutée ?
Droit à l’information ou propagande ?
Qu’il s’agit de tweets antisémites
ou d’humour ?
Qu’il s’agit de blasphème
ou de droit à la caricature ?
4

5. Qui décide ??
La justice ?
Mais laquelle ? Française ? Européenne ?
Saoudienne ?
Israëlienne ? Palestinienne ? …
Nous ?
Mais nous sommes capables du meilleurs,
comme du pire …
Un algorithme ?
Sur quels critères ? Avec quel risque
d’erreur ?
Une multinationale ?
Mais sur quels critères ? De quel(s)
droit(s) ? A quelle échelle ? 5

6. PETIT RETOUR EN ARRIÈRE
6
POUR COMPRENDRE D’OÙ VIENT CE PROBLÈME
D’INDÉCISION …

7. Il y a 20 ans
« Vos lois ne
s’appliquent
pas ici »
• 1996. John Perry Barlow rédige la « déclaration d’indépendance du cyberespace. »
• « Nous sommes en train de créer un monde où tous peuvent entrer sans privilège et sans être
victimes de préjugés découlant de la race, du pouvoir économique, de la force militaire ou de la
naissance.
• Nous sommes en train de créer un monde où n’importe qui, n’importe où, peut exprimer ses
croyances, aussi singulières qu’elles soient, sans peur d’être réduit au silence ou à la
conformité.
• Vos concepts légaux de propriété, d’expression, d’identité, de mouvement, de contexte, ne
s’appliquent pas à nous. Ils sont basés sur la matière, et il n’y a pas ici de matière. »
7

8. Il y a 15 ans
« Code is Law »
• 2000. Lawrence Lessig publie l’article « Code is Law. »
• « Des gens choisissent la manière dont le code effectue tout cela. Des gens
écrivent ce code. Dès lors le choix n'est pas de savoir si les gens pourront
choisir la manière de réguler le cyberespace. D'autres gens - les codeurs -
le feront. Le seul choix est de savoir si nous jouerons collectivement un
rôle dans leurs choix - et si nous pourrons alors déterminer la manière
dont ces valeurs se régulent - ou si nous autoriserons collectivement ces
codeurs à décider de ces valeurs à notre place. »
8

9. Il y a presque 2 ans.
« Nous sommes
au-dessus des
lois ? »
• 9 Janvier 2015.
• 2 jours après les attentats, Mark Zuckerberg écrit sur son mur
« Nous suivons les lois de chaque pays, mais nous ne laissons
jamais un pays ou un groupe de gens dicter ce que les gens
peuvent partager à travers le monde. »
9

10. Je résume
1996.
« Il n’y a pas de lois ici »
2000.
« le code c’est la loi »
9 Janvier 2015.
« certaines plateformes sont
au-dessus de certaines lois. »
10

11. Pourquoi est-ce si compliqué ??!
11

12. Parce que trois niveaux de décisions et
de légitimation s’entremêlent.
Et que l’un des trois l’emporte sur tous
les autres.
• LA LOI ET LE PRINCIPE DE TERRITORIALITÉ
– plateformes extra ou supra-nationales dans les usages
– multi-nationales pour le business et leur modèle de régie publicitaire
– Hyper-locales et hyper-territorialisées (dans les paradis fiscaux) pour les impôts.
• LES RÈGLEMENTS (CGU)
– Nul n’est censé les lire mais tout le monde est considéré comme les ayant accepté.
– Contrat social. À côté de la loi. Règlement intérieur qui prend le pas sur la loi. (slip de bain)
• LE CODE
– Invisible.
– Illisible.
– Pouvoir judiciaire (tranche en cas de conflit, laisse ou ne laisse pas passer telle ou telle vidéo)
– Pouvoir exécutif : « édicte les réglements – CGU – et dispose de l’administration et de la force armée (police du
copyright)
– Pouvoir législatif : aux ingénieurs qui composent le code, donc les lois (ce qui est possible ou non) et contrôle de
l’exécutif. 12

13. Donc, concrètement, pour
lutter contre la haine sur
internet …

14. CTRL - SUPPR
• Effacer / supprimer
– Des vidéos
– Des tweets
– Des comptes
• Fév 2015 – Fév. 2016) Twitter a « suspendu » plus de 360 000
profils dont 235 000 pour « propagande terroriste » **
• Mais : quels critères ? C’est qui « Twitter » ? De manière
préventive ou réactive ? Avec quelles limites / implications
sur la liberté d’expression ?
• Et techniquement … on fait comment ?
*http://www.lemonde.fr/pixels/article/2016/08/18/twitter-affirme-avoir-supprime-235-000-comptes-de-propagande-
terroriste-en-six-mois_4984673_4408996.html

15. Créer la base de donnée des vidéos « interdites »
• Décembre 2016 : création d’une base de donnée commune à Twitter, Facebook, Microsoft et
Google (YouTube).
• S’engagent à supprimer contenus dépeignant « des actes violents, encourageant l’action violente,
soutenant une organisation terroriste ou ses actes, ou encourageant des personnes à rejoindre ces
groupes » *
• Objectif (prioritaire) : bloquer vidéos d’ISIS et assimilés mais surtout tarir le flux, les possibilités de
duplication sur d’autres plateformes.
• Comment ? En leur attribuant une « empreinte numérique unique » (fonction de hachage –
« hash » - en cryptographie)**
• Mais ne marche que pour vidéos … déjà visionnées.
• Question : qui maintient et exploite cette base de données de contenus terroristes (et le nom des
comptes et des personnes associées), pour en faire quoi, pour la remettre à qui, sous quelles
conditions ? ***
* http://www.lemonde.fr/pixels/article/2016/05/23/propagande-terroriste-microsoft-durcit-sa-politique-de-moderation_4924418_4408996.html
** http://europe.newsweek.com/youtube-facebook-scrubbing-extremist-content-474550?rm=eu
*** https://motherboard.vice.com/en_us/article/social-media-terror-scanning-database

16. Déverser de la haine ou documenter des formes de violence ?
• La violence est parfois nécessaire et utile pour documenter l’atrocité ou
l’illégalité de certains faits
• Que fait-on des vidéos « live* » de
– #Bataclan, Violence policières #Dallas #Théo, Attaque de #Mossoul, Evacuation de
#jungle de #Calais
• Doivent-elles toutes être traitées de la même manière ?
• Nœud Gordien : bloquer les vidéos, violentes ou choquantes VERSUS risque
de censure de preuves publiques qui se diffusent à très grande vitesse **
* http://affordance.typepad.com/mon_weblog/2016/10/born-to-be-en-live-le-monde-en-direct.html
** http://www.lemonde.fr/ameriques/article/2016/07/08/avec-la-fusillade-de-dallas-facebook-se-confronte-a-la-gestion-des-videos-diffusees-en-direct_4966609_3222.html

17. Couvrir ce contenu haineux que je ne saurais voir
• Consensus moral mondial sur pédopornographie
• Consensus financier mondial sur Copyright / droit d’auteur
• Consensus pudibond américain sur les tétons et la nudité
• mais pour le reste …
• « Extrémisme » : seuil difficile à caractériser en droit.
– Le Hamas est-il une organisation terroriste ? Pas pour tout le monde. A-t-il le droit d’avoir
une page Facebook (indépendamment du contenu qui y circule) ?**
– Rappel : Le parti Nazi américain est « légal » aux USA. Et il est beaucoup plus suivi (dans le
monde) et plus actif que tous les comptes de toutes les mouvances islamistes ***
• Et puis il y a le reste, tout le reste. Homophobie, harcèlement …
** http://www.numerama.com/politique/181744-accuse-de-laisser-faire-le-hamas-facebook-attaque-en-justice-aux-usa.html
*** http://www.lemonde.fr/pixels/article/2016/09/05/les-neonazis-plus-actifs-que-l-etat-islamique-sur-twitter-selon-une-etude-americaine_4992917_4408996.html

18. Trouver la formule mathématique de la haine
• Identifier des catégories protégées (minorités) grâce au ciblage comportemental,
aux Big Data).
• Identifier des expressions (ingénierie linguistique) relevant de l’agression, de la
stigmatisation, de l’insulte etc.
• Résultat : « catégorie protégée + attaque = discours haineux ». Simple.
• Mais concrètement, c’est compliqué …
• « femmes irlandaises » appartient aux catégories protégées « nationalité » et « sexe
» = « femmes irlandaises » sont donc protégées
• Mais catégorie « adolescent » n’est pas protégée. Donc « ado. Irlandais » pas
protégés.
• Il est donc interdit d’écrire que « les femmes irlandaises sont stupides » mais
possible de dire du mal des adolescents irlandais.
• les membres d’un groupe religieux sont protégés mais pas la religion. Idem pour les
habitants (protégés) mais pas les pays. Donc on peut d’attaquer l’islam ou le
christianisme, mais pas les musulmans ou les chrétiens.
• Les musulmans sont protégés mais pas les migrants (catégorie « semi-protégée »).
Du coup certains messages haineux envers les migrants se trouvent de fait
autorisés : il est « acceptable » d’écrire que « les migrants sont sales », mais pas que
ce sont « des saletés ».
Chez Facebook
http://www.lemonde.fr/pixels/article/2016/12/21/facebook-des-documents-internes-devoilent-les-details-de-sa-politique-de-moderation_5052397_4408996.html

19. Si les algorithmes ne fonctionnent pas …
Essayons les humains.

20. En amont : embaucher des modérateurs.
• Boulots redoutablement éprouvants. Dureté psychologique extrême **.
– Visionnage continu de vidéos immondes (tortures animales, décapitation, accidents corporels sanglants, pédopornographie, etc.)
– Essentiellement délocalisés aux Philippines (100 000 personnes ?), en Europe de l’Est.
– Étudiants, travailleurs pauvres. Touchent entre 300 et 500 dollars par mois.
– Font le boulot pour lequel les algorithmes n’ont pas encore assez de discernement.
• La tentation du pot de confiture.
– Impact déterminant sur opinions / émotions.
– Facebook oblige ses employés à suivre des cours de « neutralité politique ». ***
– Comme il avait déjà dû rappeler à l’ordre des employés racistes sur #BlackLiveMatters ****
• Plateformes intermédiaires de microtravail *****
– Zhubajie 15millions de travailleurs, Upwork 12 millions, CrowdSource 8 millions qui exploitent travailleurs du clic.
** http://www.lemonde.fr/pixels/article/2016/07/14/les-moderateurs-petites-mains-invisibles-du-web-morbide_4969327_4408996.html et surtout
https://www.wired.com/2014/10/content-moderation : enquête remarquable avec notamment le témoignage de cette jeune femme venant de "modérer" une vidéo sur
laquelle on voit un homme essayer d'introduire sa tête dans le vagin d'une jeune fille visiblement mineure hurlant de douleur et de rage.
*** https://www.lesechos.fr/25/06/2016/lesechos.fr/0211063332320_facebook-va-obliger-ses-employes-a-suivre-un-cours-de-neutralite-politique.htm
**** http://www.huffingtonpost.fr/2016/02/26/zuckerberg-black-lives-matter_n_9324644.html
***** Antonio Casilli http://www.casilli.fr/2017/03/22/le-micro-travail-des-corvees-peu-gratifiantes-et-mal-remunerees-01net-22-mars-2017/,

21. En aval : compter sur ses utilisateurs.
• Signalement par utilisateurs mais
– 10 000 « Quality raters » chez Google. PAS employés. #DigitalLabor
http://www.numerama.com/tech/241282-lutte-contre-la-desinformation-les-algorithmes-de-google-sont-desorm
– Programme YouTube Heroes (https://support.google.com/youtube/answer/7124236?hl=en) :
http://www.lemonde.fr/pixels/article/2016/09/21/moderation-youtube-encourage-les-internautes-a-lui-preter-m
• Mais :
– pb des lobbys – religieux notamment, logiques d’influence
– Doxxing : syndrome du justicier
https://www.vice.com/fr/article/ce-hackeur-canadien-divulgue-les-infos-personnelles-des-racistes-d-internet
• Signalement en dehors des plateformes, directement aux services
de l’état : https://www.internet-signalement.gouv.fr

22.  soit on automatise (seuil de signalement dépassé = blocage
ou suppression, temporaire ou définitif)
 soit on renvoie vers modérateurs « salariés »
Et une fois signalé ?

23. Proposer des
contre-mesures
• « contre-discours » (en lien avec états et associations).
– A l’initiative des états (nécessite recours aux plateformes pour positionnement
efficace)
– A l’initiative des plateformes
http://www.numerama.com/politique/175806-cet-ete-google-france-mettra-des-yout
• Logiques de déradicalisation.
• Déréférencer les contenus. Pose quand même la question de la liberté
d’expression et de confier pouvoir de police à des sociétés privées et à leurs
algorithmes.

24. Jouer sur l’intelligence artificielle et la
« prédictibilité »
• Lutter contre la haine ce n’est pas juste les discours (de
haine) mais aussi éviter les passages à l’acte.
• Police prédictive s’appuie sur la statistique
• Tentatives de modéliser activité annonciatrice d’une
attaque.
http://science.sciencemag.org/content/352/6292/1459.full
• « Les djihadistes sont bien plus actifs en ligne avant de
passer à l'acte, démontre une étude scientifique. Cette
activité peut être modélisée. Mais prédire une attaque
terroriste par les données reste encore très difficile. »
https://www.letemps.ch/monde/2016/06/20/un-algorithme-pre

25. Contre-attaquer
• Collaborer avec les Etats (gros problème de surveillance de masse)
– Déc. 2016 : le FBI pourra connaître en temps réel, grâce à l’accord passé avec l’entreprise
Dataminr, l’intégralité des tweets publiés sur Twitter. Soit près de 500 millions de publications
par jour, un chiffre en constante augmentation.
http://www.numerama.com/politique/208722-le-fbi-pourra-desormais-surveiller-les-500-millions-de-
• Les états à la manœuvre
• http://www.lemonde.fr/pixels/article/2016/05/03/comment-les-etats-unis-ont-intensifie
• Envoyer la police
• « Soixante suspects ont fait l’objet de perquisitions et 40 procédures judiciaires
ont été ouvertes dans cette opération qui visait notamment les membres d’un
groupe néonazi Facebook. »
• http://www.lemonde.fr/pixels/article/2016/07/13/allemagne-vaste-operation-
policiere-contre-des-auteurs-de-messages-haineux-en-
ligne_4968882_4408996.html

26. Business de la haine ?
• Capitalisme linguistique (F. Kaplan) pose – au moins - 2 questions :
– Qui est prêt à payer pour acheter des mots de haine ?
– Combien cela rapporte (et à qui) ?
• http://hightech.bfmtv.com/epoque/twitter-a-massivement-diffuse-un-tweet-
sponsorise-ouvertement-raciste-1087846.html
• http://www.zdnet.fr/actualites/google-accuse-d-associer-des-pubs-a-des-contenus-
offensants-39850258.htm

27. ATTENTION CEPENDANT A NE PAS VOIR
QUE LE CÔTÉ OBSCUR DE LA FORCE …
IL Y A BIEN SÛR DES DISCOURS DE HAINE QU’IL FAUT
COMBATTRE MAIS …

28. Pourquoi Déteste-t-on davantage les gens quand
nous sommes sûrs qu’ils ne nous entendent ou ne
nous voient pas ou ne peuvent pas nous attraper ?
Lutter contre la haine sur internet ?

29. PARCE QUE LA COMMUNICATION « EN LIGNE » NE
REPOSE PAS SUR LES MÊMES REPÈRES / HABITUS
QUE LA COMMUNICATION « HORS-LIGNE »
« sur internet » = « dans l’habitacle »
Sentiment de toute puissance.
Dimension pulsionnelle
Rapport différent à l’espace et au temps …
… et aux autres

30. • Pourquoi les perçoit-on (parfois) comme majoritaires ou omniprésents ?
• Parce que toutes les voix ne se valent pas. « On est tous égaux a priori, mais la différence se creuse
ensuite dans la mesure de nos actes, entre ceux qui agissent et ceux qui n’agissent pas. Internet
donne une prime incroyable à ceux qui font. Et du coup, il peut y avoir une tyrannie des agissants. »
D. Cardon. http://www.culturemobile.net/visions/dominique-cardon-democratie-internet
• Parce qu’il existe une illusion de la majorité : « individuellement on observe un comportement chez
la plupart de ses amis alors que ce comportement est très rare dans l’ensemble du réseau. »
https://www.technologyreview.com/s/538866/the-social-network-illusion-that-tricks-your-mind/
30
Les discours de haine sont extrêmement minoritaires

31. 31
Effet « petit pois » : on se focalise sur des phénomènes
relevant quantitativement de l’exception, de l’infinitésimal.
Attentats Charlie Hebdo : moins de 1% de #jesuiskouachi (poussé à 99% par le FN)
mais tous les médias ne parlent que de ça. Version numérique du « On ne parle
jamais des trains qui arrivent à l’heure. »
http://www.arretsurimages.net/chroniques/2015-01-22/-JeSuisKouachi-le-hashtag-
sulfureux-peut-dire-merci-au-FN-id7399
#jenesuispascharlie : http://www.20minutes.fr/societe/1512771-20150108-attaque-
charlie-hebdo-comment-reseaux-sociaux-gerent-messages-haineux
Effet Streisand : supprimer « publiquement » un contenu c’est lui donner de
l’audience. Supprimer un contenu c’est accélérer sa republication (et l’audience
qu’aura cette republication)
Effet miroir : on les interprète à l’inverse de ce qu’ils signifient.
Non seulement les « #JeNeSuisPasCharlie » furent minoritaires en nombre mais l’essentiel
de leurs reprises visaient à dénoncer l’usage de ce hashtag pour promouvoir le
#JeSuisCharlie

32. 32
• Effet cigogne (confondre corrélation
et causalité)
• « sur internet il y a des terroristes / antisémites /
pédophiles et les appels à la haine sont plus visibles donc ils
doivent être plus nombreux.
• Conclusion : Internet incite à la haine. Ben non.
+ + =

33. Comment lutter contre la haine sur internet ?
• En luttant contre la haine AILLEURS QUE SUR INTERNET
• Discours de haine dans les autres médias (affaire JP Pernaud,
« Unes » de Valeurs actuelles) http://www.csa.fr/Espace-
juridique/Decisions-du-CSA/Propos-de-Jean-Pierre-Pernaut-
sur-les-migrants-dans-le-Journal-de-13-heures-intervention-
aupres-de-TF1
• Internet (le web) n’en sont que le prolongement.
• On ne lutte pas contre la haine « sur Internet » mais « dans
Facebook », « dans Twitter », etc.
• Par l’éducation. Prévenir plutôt que guérir. Par les mots. (cf
« l’Holocauste a-t-il vraiment existé ? »
http://affordance.typepad.com//mon_weblog/2016/12/googl
e-google-pourquoi-mas-tu-abandonne.html )

34. Principes de démocratie
• Ce sont, in fine et de facto les plateformes, leurs CEO et leurs
algorithmes qui décident :
1. Décident de publier telle ou telle vidéo,
2. Décident de laisser passer tel ou tel #hashtag,
3. Algorithmes ont un pouvoir de police et de justice permanent et pour l’essentiel
parfaitement opaque.
• Or ces 3 points relèvent d’une éditorialisation « classique »
• On ne peut pas demander aux plateformes :
– de « modérer » les millions de contenus publiés chaque minute.
– D’appliquer une « territorialité du droit » sur tous les sujets
• DONC IL FAUT OUVRIR ET METTRE EN DÉLIBÉRÉ LA PARTIE DU
CODE QUI RELÈVE DE CETTE ÉDITORIALISATION
• Stiegler « la démocratie est d’abord un exercice de rendu public. »
• Ne pas tout attendre du politique ni des plateformes
– « Internet joue en effet un rôle majeur dans l’émancipation, dans l’auto-
organisation de la société civile, sans que ses acteurs aient nécessairement à se
préoccuper du centre de la société que seraient l’exécutif et la démocratie
représentative… » D. Cardon
34

35. MERCI 
QUESTIONS ?
S.A.V. : affordance.info
Support téléchargeable : slideshare.net/olivier