Webinar EEIE #09 : Investigations sur Twitter

Investigations
sur Twitter
Introduction aux méthodes et outils légers
EEIE } Webinar #09
19 novembre 2020 } Serge Courrier
Respectons les auteurs !

Sommaire
◼ Préparer son navigateur
◼ Rechercher
◼ Outils tiers (simples) en ligne
◼ Boîtes à outils
◼ Analyse de graphes
◼ Scripts Python
◼ Logiciels (payants)
◼ Outils de veille
◼ Annexes
►Autres solutions payantes
►Requérir un accès à l’API Twitter
►Pour en savoir plus…
►Autres outils intéressants
►Quelques outils recalés
►Surplus…
EEIE ►► Webinar 2020 ►► Investigations sur Twitter ►► 19 novembre 2020 ►► CC BY-NC-ND 2.0 FR ►► 2

Préparer son navigateur
3EEIE ►► Webinar 2020 ►► Investigations sur Twitter ►► 19 novembre 2020 ►► CC BY-NC-ND 2.0 FR ►►

Préparer son navigateur
Chrome & Co
◼ Gestionnaire d’extensions
►Nooboss
◼ Préserver les onglets et les
fenêtres de son navigateur entre
deux sessions
►Tab Session Manager
◼ Scroller automatiquement une
page
►Simple Autoscroll
◼ Sauvegarder proprement une page
Web au format numérique
►Save Page WE (se placer en bas de la
page) ou SingleFile
Firefox
◼ Préserver les onglets et les
fenêtres de son navigateur entre
deux sessions
►Tab Session Manager
◼ Sauvegarder vers la WayBack
Machine ou accéder à une page
archivée
►Wayback Machine
◼ Scroller automatiquement une
page
►FoxScroller
◼ Sauvegarder proprement une page
Web au format numérique
►Save Page WE (se placer en bas de la
page) ou SingleFile

Rechercher

Travailler son lexique avec soin
(non ce n’est pas si évident !)

Soigner le lexique
7
gilets jaunes à Toulouse
Le questionnement est simple ?
Et pourtant…
EEIE ►► Webinar 2020 ►► Investigations sur Twitter ►► 19 novembre 2020 ►► CC BY-NC-ND 2.0 FR ►►

Champs lexicaux dans Twitter
Notion 1 : gilets jaunes Notion 2 : Toulouse
"gilet jaune" Toulouse
"gilets jaunes" Toulousain
#giletjaune Toulousains
#giletsjaunes Toulousaine
#gj Toulousaines
Capitole
"ville rose"

Requête résultante
9
"gilet jaune OR "gilets jaunes" OR #giletjaune OR
#giletsjaunes OR #gj toulouse OR toulousain OR toulousains
OR toulousaine OR toulousaines OR capitole OR "ville rose"
-weed –cocaine -cannabis

En résumé
1. Se mettre à la place des personnes qui rédigent les tweets
2. Lister le lexique qu’ils peuvent utiliser pour décrire ce qui
vous intéresse (et y revenir à plusieurs reprises pour
l’enrichir)
3. Ne pas oublier le féminin et le pluriel des mots, le jargon,
les sigles…
4. Ne pas oublier que les groupes nominaux sont concaténés
lorsqu’ils se retrouvent intégrés dans des hashtags
5. Être à l’affut de l’évolution des hashtags

Maîtriser la syntaxe de recherche
avancée
…et ses subtilités !

Comptes et listes
12
◼ @compte : citant ce compte
◼ from:secou : émis par @secou
◼ from:secou OR from:crid : produits par @secou ou @crid
◼ -from:secou : sauf les tweets émis par @secou
◼ to:secou : destinés à @secou
◼ filter:verified : comptes vérifiés (calicot bleu)
◼ filter:news : comptes de médias, de journalistes identifiés,
ou pointant vers de sites Web de médias
◼ -filter:news : utile pour faire émerger des tweets
« grand public »
◼ -filter:news –filter:verified
◼ list:908341978005458944 : tweets émis par des membres
de la liste (le numéro de la liste apparait dans l’URL de la
liste)
◼ filter:follows : comptes auxquels vous êtes abonné.e

Nature du tweet
13
◼ filter:replies : réponse
◼ filter:nativeretweets : retweets
◼ filter:quote : dans le commentaire d’un tweet
◼ quoted_tweet_id:1138631847783608321 : commentaires
d’un tweet dont l’ID est 1138631847783608321
(l’ID d’un tweet apparaît dans l’URL du tweet, une fois
isolé)
◼ quoted_user_id:11348282 : commentaires de tweets émis
par un compte dont l’ID est 11348282 (voir plus loin pour
savoir comment identifier l’ID d’un compte)

Opérateurs orientés médias
14
◼ filter:images : fichiers images
◼ card_name:animated_gif : gif animés
◼ filter:videos : fichiers vidéos (dont partages YouTube…)
◼ filter:native_video : fichiers vidéos
(sans partages YouTube…)
◼ filter:vine : vidéos publiés via l’app Vine (abandonnée en
octobre 2016 (mais les archives sont toujours accessible)
◼ filter:periscope OR card_domain:pscp.tv OR
url:twitter.com/i/broadcasts/ : videos tournées en direct
et archivées

Opérateurs temporels
15
◼ until:2019-06-23 : jusqu’à
◼ since:2018-05-12 : depuis
◼ since:2018-05-12 until:2019-06-23 : entre deux dates
◼ Mais aussi…

Opérateurs temporels
16
◼ À la seconde près ?
◼ Vraiment ?
◼ until_time:1569483022 : jusqu’au 26 septembre 2019
à 07:30:22
◼ since_time:1569470400 : jusqu’au 26 septembre 2019
à 07:30:22

Recherche sur Twitter en précisant une heure
17
lubrizol until_time:1569470400
Heure Unix (UTC)
Epoch Converter
Requête finale :
lubrizol filter:native_video
until_time:1569470400
exclude:retweets
(classée avec l’onglet
« Récent)
Attention à s’adapter au
fuseau horaire du lieu
L’opposé de until_time: ?
since_time:
Merci à Giovanni Nazzaro pour la piste !

Localisation
18
◼ ATTENTION : La plupart des tweets ne sont plus géolocalisés !
La recherche s’effectue surtout sur les localisations
des comptes (dans la biographie)… ce qui limite de beaucoup
son intérêt !
◼ near:paris
◼ near:paris within:15km
◼ near:florida
◼ near:lebanon
◼ geocode:37.7764685,-122.4172004,10km : 10 km autour de
San Francisco

Engagement
19
◼ min_retweets:25
◼ min_faves:30
◼ min_replies:100
◼ -min_retweets:25
◼ -min_faves:30
◼ -min_replies:100

Autres opérateurs intéressants
20
◼ lang:fr OR lang:en : 47 langues disponibles ►
◼ url:cia.gov : même si l’URL twittée a été raccourcie
(bit.ly, buff.ly, ift.tt…)
◼ url:data : un élément dans l’URL
◼ filter:links : trouver des tweets pointant vers des URL
◼ 📢 : emojis et émoticons
◼ ‫ن‬ : recherche par caractères
(dans le tweet ou le nom de l’utilisateur)

Pour en savoir plus…
◼ L’énorme recueil d’Igor Brigadir (surGitHub) : Advanced Search on Twitter

Travailler sur les URL

Travailler sur les URL
23
◼ Les éléments à ajouter à l’URL d’un compte
◼ media : https://twitter.com/realdonaldtrump/media
◼ likes : https://twitter.com/realdonaldtrump/likes

Outils tiers (simples) en ligne
Si votre OPSEC n’est pas trop stricte !

Trouver le Twitter ID

Find Twitter ID
◼ Trouve l’identifiant
d’un compte (utile
dans certains
services)
►Find Twitter ID
►TweetrID
►GetTwitterID
◼ Pour connaître le
compte derrière un
user_id :
https://twitter.com/
intent/user?user_id
=2622731

3 stratégies de sourcing
à ne pas négliger
(parmi tant d’autres)

Stratégies de sourcing
◼ Followerwonk (Search Bios)
►Compte les plus populaires
contenant des mots
particuliers dans leur bio
►Version gratuite :
• 50 recherches par jour
• 100 réponses par page
• Pas d’export des résultats
◼ Parcourir les abonnements
d’un compte
◼ Chercher et parcourir des
listes
►site:twitter.com/*/lists/*
intitle:privacy
28
Possible recherche par
pays ou ville (si indiqué
dans le profil)
Classement par défaut :
nombre d’abonnés
décroissant.
Par « Social Authority » :
algo maison, proche de
Klout.
Usage de « | » à la place de l’opérateur booléen
« OR » et du « - » à la place du « NOT »

Analyser un compte

Twitonomy : une vision d’ensemble
◼ Twitonomy (analyse
statistique d’un
compte, gratuit,
nécessite la
connexion à son
compte)
►[+++] Heures et
jours d’utilisation
►[+++] Outils de
publications utilisés
►[+++] Hashtags les
plus utilisés
►[+++] Comptes les
plus retweetés, les
plus mentionnés, les
plus commentés
30
Profile
A lire : détail de la version payante (19$/mois)

SparkScore de SparkToro
◼ SparkScore : évaluation
transparente de la « réputation »
d’un compte

Allegedly
◼ Allegedly : détecte les différents outils utilisés par un compte pour
tweeter et leur utilisation dans le temps (pendant les 15 derniers jours)

Spoonbill : changements dans les bios
◼ Spoonbill : suivre
l’évolution de la bio des
comptes que l’on suit et
consulter l’historique de
modification de la bio de
n’importe quel compte.
33
Par mail quotidien : tous les changements dans les bios
des personnes que vous suivez
En ligne : l’historique des changements
de bio de n’importe quel compte
https://spoonbill.io/twitter/data/OSINTtechniques/

Détecter les abonnés douteux ?
Robots ? Sock puppets ?

SparkScore : Fake Followers Audit
◼ SparkToro Fake Followers Audit
►Attention : l’analyse porte sur des
caractéristiques qui ne sont pas
nécessairement des marqueurs de faux
abonnés !

Botometer
◼ Botometer (détection de
robots)
►Attention : l’analyse porte
sur des caractéristiques qui
ne sont pas nécessairement
des marqueurs de faux
abonnés !

BotSlayer
◼ BotSlayer [Beta]
(Indiana University) :
outil (à héberger)
de détection de
robots
◼ Tutoriel
◼ BotSlayer-CE sur
GitHub
37
Hoaxy
BotSlayer

Indices lors d’une analyse directe d’un compte
◼ Photo de profil
►Image de stock ?
►Image générée par IA ?
◼ Nom d’utilisateur
►Plein de numéros ?
◼ Fréquence de publication
►Surhumaine ?
◼ Timing de publication
►Pas de pause pour le sommeil ?
◼ Abonnements/abonnés
►Beaucoup d’abonnements, très peu
d’abonnés ?
◼ Contenus répétitifs
►Une seule thématique
►Publié à l’identique par d’autres
comptes
A lire : If you follow me, I’ll OSINT you (Matthias Wilson, a.k.a. @mwosint, 2020),
West Papua: New Online Influence Operation Attempts to Sway Independence
Debate (Benjamin Strick, a.k.a. @BenDoBrown, 2020)

Lister et comparer des abonnés,
abonnements, tweets

TweepDiff
◼ TweepDiff
►Abonnés ou abonnements en
commun entre plusieurs comptes
• Exemple : faire émerger des
sources d’informations communes
à plusieurs acteurs d’un même
secteur.
• Exemple : faire émerger les
abonnés communs aux comptes
appartenant à une même
communauté
►Pas d’export

All my Tweets
◼ All My Tweets : pour un
compte quelconque
affichage rapide, sur une
seule page de (au choix) :
►ses tweets (les 3200
derniers)
►son fil d’actualité (les 800
derniers)
►ses « likes »
►ses abonnés
►ses abonnements

Twiangulate
◼ Twiangulate Search (nécessite
l’identification via son compte)
◼ Travaille sur deux comptes et fournit
►les abonnement communs
►les abonnés communs
►les 100 abonnés communs dont la portée
des tweets est la plus grande
◼ Sur un compte
►Les abonnés à un compte contenant
le/les mêmes mots dans leur bio

doesfollow
◼ Doesfollow : est-ce que tel compte est abonné à tel compte ? (nécessite la
connexion de son compte au service)

First Follower
◼ First Follower :
fournit le premier
abonné à un compte
(qui ne se soit pas
désabonné)

Mesurer les tendances

SMAT (Social Media Analysis Tool)
◼ SMAT : conçu par la
fondation Mozilla
►Recherche sur Twitter,
mais aussi sur Reddit,
4chan, 8kun)
►Borne temporelle large
(plusieurs années)
►Export CSV
►Très fréquemment
surchargé
◼ Fonctions
►Timeline : évolution de
l’usage d’un mot dans un
tweet pendant une
période de temps
►Hashtag : hashtags
associés à un hashtag sur
une période de temps
►Link Counter : liens
associés à un mot
►Activity : affiche les
comptes ayant le plus
utilisé ce mot sur une
période donnée
46
Exemple : holdup, RealDonalTrump (inbound graph) | Explications

Trends24
◼ Trends24 : accès aux tendances mondiales, par pays et grandes villes

TrendsMap
◼ TrendsMap (freemium) : tendances (hashtags, compte, mots) sur une carte
(7 jours)

Se pencher sur les hashtags

Hashtagify
◼ Hashtagify (freemium)
►Version gratuite
• Index de popularité d’un hashtag
• Hashtags associés
• Pays d’utilisation
• Evolution sur 8 semaines
• Comptes les plus influents
• Langues les plus utilisées
• Nombre de requêtes limité

onemilliontweetmap
◼ #onemilliontweetmap : localisation mondiale de tweets sur 24 heures contenant un mot
ou hashtag particulier (temps réel ou lors d’une période particulière). Possibilité de
comparaison entre deux tweets. Vision très partielle au vu de résultats obtenus en
novembre 2020 sur #biden #trump et #holdup.

Evaluer la diffusion d’une URL

CrowdTangle
◼ La plateforme CrowdTangle (Facebook) est connue pour sa capacité à analyser
les publications Facebook, mais propose également l’extension CrowdTangle
Link Checker pour Chrome qui fournit des statistiques de partage d’une URL
sur Twitter. Nécessite une identification sur un compte Facebook. L’export
des données au format CSV ne concerne que les interactions sur Facebook.

Prendre en charge images et vidéos

Télécharger le format original d’une photo
◼ Dans cet exemple…
►clic sur la photo
►Clic droit > « Ouvrir
l’image dans un nouvel
onglet » (Chrome) ou
« Afficher l’image »
(Firefox)
►Clic droit > Enregistrer
l’image sous
►Changer « .jfif » en
« .jpg »

DownAlbum
◼ DownAlbum
►Extension Chrome
permettant de récupérer
les images (et les vignettes
des vidéos) publiées par un
compte.
►Sauvegarde simple par
« Ctrl+S » en choisissant le
format « Page Web
complète ».
►Limite : ne prend que la
page affichée dans le
navigateur donc peut
nécessiter l’emploi d’une
extension de scroll
automatique.
►L’export « Photos URL », au
format texte, permet
(après nettoyage) d’obtenir
adresses et dates de
publication des images et
vidéos
►Attention, si l’image est
supprimée du compte, le
lien ne fonctionne plus,
mais identifie tout de
même le compte.

DownloadTwitterVideo
◼ Attention : aucune
métadonnée d’horodatage
ni de géolocalisation.
◼ FBDown
►extension Chrome
permettant de télécharger
une vidéo particulière.
Sinon, pour Firefox et
autres, coller l’adresse de
la vidéo sur le site
fbdown.net
◼ Video Downloader
Ultimate (Chrome)
◼ Video DownloadHelper
►Chrome, Firefox
◼ DownloadTwitterVideo
►Télécharge la vidéo en
fournissant l’URL du tweet.

Métamoteur de recherche inversée
◼ Search By Image (extension pour
Firefox, Chrome/Brave et Opera)
►Interroge ou pointe vers 21 moteurs
de recherche inversée.
►Il est possible d’ordonnancer
et d’activer/désactiver les moteurs.

Autres outils recherche inversée
◼ Moteurs
►Google Images
►Tineye
►Yandex Images (ru)
►Baidu Image Search (cn)
◼ Extensions pour navigateurs
►[+++] NooBox
• Extension pour Chrome/Brave
• Affiche sur une seule page les réponses de
Google Images, Yandex, Bing, Baidu,
Tineye, IQBD, SauceNao
• Impossible de désactiver certains moteurs
(Baidu, par exemple)
►[+++] InVid Verification Plugin
►RevEye Reverse Image Search
• Extension pour Chrome/Brave et Firefox
• Interroge Google, Bing, Yandex et TinEye
►Fast Image Research
• Extension pour Chrome/Brave
• Interroge Tineye et Google Image
(à préciser dans les options)

Moteurs de recherche inversés sur mobiles
◼ iPhone
►Reverse Image Search App
◼ Android
►Search by Image
Interroge Google Images,
Tineye, Yandex, Bing et Baidu
60
Interroge Google Images, Tineye
et Yandex

Retrouver des tweets effacés

Tweets effacés
◼ Politwoops : tweets
supprimés par des
personnalités politiques
dans le monde entier et
pays par pays !
►Afficher les tweets
supprimés dans certains pays
(beaucoup de filtres une fois
que l’on a cliqué sur « View
all deleted tweets » en bas
de la page)
►Recevoir un mail si des
tweets supprimés
contiennent un mot
particulier (dans le monde
entier, dans un pays
particulier, par une personne
particulière)
◼ Fallait pas supprimer
►Compte français, non limité
aux politiques.

Trouver des tweets effacés
◼ WayBack Machine
►https://web.archive.org/web/*/twitte
r.com/{nom d’utilisateur}
►https://web.archive.org/web/*/twitte
r.com/{nom d’utilisateur}/likes
◼ Le cache Google (ou simplement le
texte du tweet sous le lien)
►site:twitter.com/{nom
d’utilisateur}/status/*
► {requête} site:twitter.com/*/status/*
Essai avec des personnes aynt publié
récemment "deleted all my
tweets" filter:verified
◼ Etudier les réponses ou les tweets
adressés à la personne pour en
comprendre le sens, voir trouver
une copies d’écran

Premier tweet

Premier tweet
◼ First Tweet (basé sur le projet de
labnol ci-dessous) fournit le
premier tweet contenant un mot.
►Souvent surchargé
◼ Who Tweeted it First
►Lent et pas toujours efficace

Extraction

Twlets
◼ Twlets (extension Chrome) :
export Excel des derniers tweets,
retweets et réponses d’un compte
Twitter (payant, 1000 crédits
disponibles au début).
◼ Récupération max de 3200 tweets.
◼ Pour chaque tweet est indiqué
►La date de création du tweet
►Le texte du tweet (sans l’éventuel lien
inclus)
►Son ID
►Le lien pointant vers le tweet
►Les liens pointant vers les médias
associés
►Le nombre de fois où il a été « liké »
• (jusqu’à 15 000)
►Le nombre de fois où il a été retweeté
et le nom du compte à partir duquel
un tweet à été retweeté
• (jusqu'à 3200).
67
Après installation de
l’extension, clic droit sur
l’icône puis « option » pour la
configurer.

Visualiser les discussions

Treeverse
◼ Treeverse : graphe de discussions (sans export possible) : Firefox, Chrome
69
Test : exemple de tweet à analyser

Boîtes à outils

TweetBeaver
◼ TweetBeaver (demande une connexion avec votre compte Twitter).
Présentation à l’écran ou téléchargement au format CSV.
71
200 derniers tweets
200 derniers tweets
3 200 derniers tweets 3 200 derniers tweets
90 000 comptes 5 000 comptes10 000 comptes 10 000 comptes
5 000 comptes 3 200 derniers tweets

Analyse de graphes

Hoaxy (1/2) : requêtes
◼ Hoaxy (bêta)
récupère les
résultats d’une
requête sur les 7
derniers jours pour
un maximum de
1000 comptes.
◼ Plus les ronds sont
grands plus le
compte a été
retweeté.
◼ Les points rouges
représentent les
comptes qui sont
certainement des
robots (évalué par
Botometer).
◼ L’export CSV ne
contient pas les
textes des tweets.

Hoaxy (2/2) : articles
◼ Hoaxy (bêta) permet aussi de
visualiser la diffusion des seuls
articles collectés par Hoaxy
(affirmations et fact-checks).
◼ Les points rouges
représentent les comptes qui
sont certainement des robots
(évalué par Botometer).
◼ Plus les ronds sont grands plus
le compte a été retweeté.

NodeXL
Modèle Excel pour Windows
(voir le tutoriel associé)

NodeXL (1/8)
◼ NodeXL est un
modèle Excel
(compatible
Windows à partir
d’Excel 2010).
◼ Il ajoute un onglet
à Excel.
◼ Il est capable
d’interroger le
moteur de
recherche de
Twitter ou le
réseau
d’utilisateurs.
◼ Vous devrez
connecter votre
compte Twitter à
NodeXL pour qu’il
puisse interroger
Twitter.
◼ Voir le support
dédié pour plus de
détails.

NodeXL (2/8)

NodeXL (3/8)

NodeXL (4/8)

NodeXL (5/8)

NodeXL (6/8)

NodeXL (7/8)

NodeXL (8/8)

Gephi et l’extension
Twitter Streaming Importer
Logiciel multiplateforme
(voir le tutoriel associé)

Gephi et l’extension Twitter Streaming Importer
◼ Gephi est un logiciel d’analyse et
de visualisation de réseaux
multiplateforme.
◼ Son extension Twitter Streaming
Importer nécessite d’avoir un
compte Twitter et d’obtenir des
clés d’API Twitter.
◼ Il permet de…
►collecter des tweets en temps réel, sur
le sujet que vous aurez choisi
►extraire les connexions entre les
utilisateurs mentionnés dans ces
tweets
►visualiser ces connexions dans Gephi,
ou juste exporter tous les tweets vers
Excel.

Scripts Python
Un grand merci à Marc Rénier et « Pangar-Ban » pour leurs éclairages…

Bien préparer son environnement
(sous Windows)

Bien préparer son environnement (sous Windows)
◼ Environnement logiciel
►Python (logiciel à installer)
►Pipenv à installer par la ligne de
commande :
• pip install --user pipenv
►Git (à installer) : pour télécharger des
dépôts GitHub
►Microsoft Visual C++ (MSVC) : a
télécharger pour faire fonctionner
certains programmes
►PyCharm : à installer pour disposer d’un
environnement d’exécution et de
programmation plus intuitif
►Bien vérifier (ou faire en sorte) que les
applications soient présentes dans le
PATH de Windows (trouvables
directement lorsque l’on tape leur nom
après avoir frappé la touche du
clavier).
◼ Organisation (suggestion)
►Créer un dossier dédié à recevoir vos
scripts à la racine de votre dossier
« utilisateur », par exemple
88
C:Users{user}ScriptsPython
PyCharm

Quelques commandes utiles
(à partir de l’invite de commande : + cmd sous Windows)

◼ pipenv install nom_du_script
►Après s’être placé dans le dossier
contenant le script
►Place le script dans un
environnement virtuel
◼ pipenv run nom_du_script –h
►Fournit l’aide du programme
◼ pipenv run nom_du-script
nom_de_la_commande…
►Une fois placé dans le dossier ad
hoc, lance un programme en pipenv
et exécute commande et arguments
◼ Ctrl+C : interruption de
l’exécution d’un script
◼ git pull : mise à jour du
programme (une fois placé dans
son dossier)
Quelques commandes utiles
◼ + cmd : lance l’interface en
ligne de commande
◼ cd : pour accéder à un dossier
►cd ScriptsPythontwint
◼ cd .. : remonte dans
l’arborescence d’un dossier
◼ dir : liste le contenu d’un dossier
◼ Touche « tab » : autocomplétion
d’un nom de dossier par exemple
◼ git clone url_du_depôt_github
►Après s’être placé dans le dossier qui
contient tous vos scripts
►Récupère le code
90
A lire : What is Command Line Interface (CLI)? (W3Schools)

Twint
Un couteau suisse pour scraper Twitter (quand il marche !)

Twint
◼ Twint (dépôt Github +
wiki) est un programme
qui ne repose pas sur
l’API Twitter.
►Très riche possibilités
d’interrogation (en ligne de
commande)
• Recherche : –s
• Utilisateurs : -u
►Possibilité d’exporter les
résultats très riches
►Nombreux
dysfonctionnement actuels
sur des requêtes complexes
►Pour accéder à des
rapports très visuels, il faut
installer et configurer
ElasticSearch et Kibana
◼ Toujours bien lire les recommandations
d’installation
◼ Une fois placé dans le dossier contenant vos
scripts)
►git clone https://github.com/twintproject/twint
◼ Création de l’environnement pipenv une
fois placé dans le dossier « twint »
►pipenv install
Dans d’autres cas, il faudra…
pipenv install requirements.txt
voire installer les packages un par un…
pipenv install nom_du-package
◼ Aide
►pipenv run twint -h

Exemple : followers
◼ Une fois dans le dossier « twint »
◼ Stocke dans le dossier « twint » un
fichier « secou-following.csv »
contenant tous les noms de compte
auxquels est abonné @secou
93
pipenv run twint -u secou --following -o secou-following.csv

◼ Wiki Officiel (dont Basic usage et
Storing objects in an Elasticsearch
instance)
◼ Articles/tutoriels
►Mine Twitter for Targeted Information
with Twint (Null Byte, 2019)
►Twint – an OSINT Tool for Collection on
Twitter at Scale (2019)
►How to use Twint as an OSINT tool
(Privacy Globe, 2019)
►OSINT'ing at Scale (video, 2020)
◼ Utilisation avancée
►Analyzing Tweets with NLP in minutes
with Spark, Optimus and Twint
(Towards Data Science, 2019)
►Twint: Loading tweets into Kafka and
Neo4j (2019)
◼ Retex
►Using OSINT to help build the OSINT
community on Twitter (2018)

TwitWork
Le graphe temps-réel

TwitWork : le graphe temps réel
◼ TwitWork (développé
par @atmon3r,
nécessite d’installer
NodeJS et de disposer
de clés pour l’API
Twitter)
►Permet de construire en
temps réel un graphe des
interactions autour d’un
mot ou groupe nominal,
un hashtag, un nom
d’utilisateur, mais pas, a
priori, une requête
quelconque.
►La sortie, uniquement en
jpg, est de faible
résolution et ne permet
pas de visualiser de
grands graphes
clairement.
►Une fois installé, lancer
avec « npm start »
►Exemples
• @gdarmanin
• #holdup
@gdarmanin

Tafferugli

Tafferugli
◼ Tafferugli v. 0.2 (développé par s0dust,
nécessite des clés API pour Twitter).
► Il sert à filtrer, collecter et analyser les
tweets.
► Il est pensé pour faciliter l'analyse de certains
phénomènes liés aux opérations de
propagande, comme le comportement
coordonné et l'affichage automatisé.
► Les conseils d’installation visent les
environnements Ubuntu/Debian et le
conteneur Docker.
► Nécessite l’installation de graph-tool,
indisponible sur Windows, sauf sous le moteur
de virtualisation Docker.
En savoir plus : Documentation, Démo

Logiciels (payants)

Maltego

Maltego
◼ Maltego : logiciel très utilisé
en OSINT et criminalistique.
►Existe en version gratuite limitée :
Maltego CE (choix à effectuer
après installation)
►Dispose de ses fonctions propres
mais accepte de nombreux plugins
(transforms) gratuits ou payants.
►On définit des entités auxquelles
on applique des traitements
(transforms), ou on lance des
« machines » qui automatisent des
processus.
►Pour fonctionner avec Twitter, des
clés API Twitter sont nécessaires.
►La version CE ne peut gérer que 12
entités
►License annuelle version Pro :
1000 ou 2000 $ par utilisateur.
Renouvellement : 500 à 1000 $.
101
Pour en savoir plus : Documentation, Maltego training video for absolute beginners (2015), les vidéos de Maltego Essentials (2020)

Maltego > Twitter Monitor
102
Source : Use Maltego to Monitor Twitter for Disinformation Campaigns (Null-Byte, 2018)
Choix de la « machine »
Twitter Monitor

103
Apparition des résultats
Saisie de la requête

104
Améliorer la visualisation

105
En zoomant, les détails apparaissent
Se repérer
dans l’espace

Maltego + Social Links
◼ SocialLinks est un package
de 700 transforms pour
Maltego principalement
dédiées à l’enquête sur les
réseaux et médias
sociaux : Facebook,
Linkedin, Instagram,
Skype, Telegram, Twitter,
VKontakte, WikiLeaks,
YouTube, etc. Il s’immisce
également dans le darkweb
◼ License : 290$/mois,
2750$/an
◼ Existe également en
version gratuite limitée :
SocialLinks CE (225
transforms et 45 entités)
◼ Liste des Transforms de
SocialLinks
106
Pour en savoir plus : Ressources (webinars, tutoriels), chaine YouTube

Visibrain

Visibrain
◼ Visibrain : plateforme
d’analyse et de
surveillance des
réseaux/médias
sociaux (surtout
Twitter) très orientée
e-réputation,
communication de
crise, influenceurs,
tendances.
◼ Veille temps réel
◼ Export Gephy
◼ Alertes sur des
événements
particuliers (hausse de
volume de tweets
utilisant des mots
particuliers.
108
Pour en savoir plus : Documentation, Guides
Crédit : Visibrain

Le blog Cartorezo (Guillaume Sylvestre) : retours
d’expérience d’analyses de réseaux avec Visibrain+Gephi
109
Blog Cartorezo (Guillaume Sylvestre)

Outils de veille

TweetDeck (Twitter) : le champion du temps réel
◼ TweetDeck est un
service en ligne gratuit
appartenant à Twitter
et capable d’afficher
en temps réel le fil
d’actualité, requêtes,
listes, etc., sous forme
de colonnes

Inoreader : lecteur de fil RSS compatible avec Twitter
◼ Inoreader est un lecteur
de fil RSS en ligne qui
permet, dans sa version
Pro (50€/an), de suivre
jusqu’à 30 flux Twitter :
► comptes Twitter (pas
intéressant parce que vite
saturé par la limite de 30)
► recherches Twitter (aussi
complexes soient-elles)
► listes Twitter
◼ Il est possible ensuite de
filtrer les tweets
◼ Tous les tweets sont
archivés
◼ Il est possible (moyennant
finance) de relever la
limite des 30 flux.
112
URL d’une requête Twitter
Fil RSS de la requête
Tweets

Feedly : lecteur de fil RSS compatible avec Twitter
◼ Feedly est un lecteur de
fil RSS en ligne qui
permet, dans ses
versions Pro+ (144$/an)
et Business (246$/an) :
► comptes Twitter
► recherches Twitter (aussi
complexes soient-elles)
► listes Twitter
◼ Les requêtes sont gérées
directement dans Feedly
(contrairement à
Inoreader)
◼ Permet de lire l’article
lié au tweet directement
dans l’interface
◼ Permet de valoriser ou
d’exclure certains mots
dans les tweets ou les
article liés
◼ Feedly a une limite de
5000 articles par jour de
chaque source Twitter.

Tweet Archiver : extension Google Sheets (1/2)
◼ Tweet Archiver est une extension
pour Google Sheets
►Une seule règle d’extraction dans la
version gratuite, raffraîchie toutes les
heures
►Pour l’installer allez dans une feuille
Google Sheets vierge > Modules
Complémentaires > Télécharger des
modules complémentaires > chercher
« Tweet Archiver » > Installer
►Regardez le tutoriel
►A la première utilisation, l’extension
vous demande d’accéder à votre compte
Twitter
►Accéder à la fonction « Create rule »
(vous pouvez élaborer des requêtes
complexes dans la sone « Advanced
Rules »)
►Create Search Rule
►A partir de là, la requête reprendra
toutes les heures (mais il est possible de
la rafraichir anuellement)
►Version payante à 4,95 €/mois pour 10
requêtes ou 7,95$/mois pour 25
requêtes raffraîchies toutes les 15
minutes

Tweet Archiver : extension Google Sheets (2/2)
115
La feuille finale contient de nombreuses
informations pour chaque tweet.
Export possible au format Excel, CSV…

FeedBro
◼ FeedBro est un lecteur
de fil RSS gratuit sous
forme d’extension pour
navigateur (Firefox ou
Chrome).
◼ Il est capable de
s’abonner à n’importe
quelle entité sur
Twitter affichée à
l’écran :
►compte
►résultat de recherche
►liste

Nitter
◼ Nitter : service en
ligne générant un fil
RSS relayant les
tweets d’un compte
donné.
►Saisissez le nom
d’utilisateur (sans
« @ ») et lancez la
recherche
►Localisez le compte
dans la liste et cliquez
dessus
►Le fil RSS se trouve en
haut et à droite de la
page
117
Fil RSS

RSS Bridge : le couteau suisse qui se penche sur Twitter
◼ RSS Bridge : solution à
héberger accumulant
des « bridges », dont
un pour Twitter, qui
permet de récupérer
sous forme de fil RSS
(en fait Atom) :
► les tweets contenant
un mot, une expression
ou un hashtag
► les tweets d’un
utilisateur particulier
► les tweets d’une liste

Ouf ! C’est fini !
(en fait il en reste encore… mais c’est annexe)

Autres solutions payantes

Autres solutions payantes
◼ Echosec
►Recherche et surveillance
temps réel par mots clés et
localisation de publications
Twitter, Instagram,
Foursquare, Flickr,
Wikipédia, Reddit,
VKontakte…
◼ TweetReach
►Expose la diffusion de
tweets et l’engagement
◼ Tweet Archivist
►Surveillance et archivage de
tweets.

Requérir un accès à l’API
Twitter

Obtenir un accès officiel à l’API de Twitter (1/3)
◼ Get access to the Twitter API
123
Processus gratuit, si vos
besoins sont modestes, un
peu long puisqu’il vous faut
expliquer en longueur ce que
vous voulez tirer de l’API. Au
final vous obtenez les clés de
votre accès à l’API de Twitter

Quelques ressources Web
◼ https://www.mindmeister.com/fr/88482291/twitter-tools-directory
◼ https://www.labnol.org/internet/twitter-guide-do-everything-with-
twitter/4916/
◼ https://buffer.com/library/free-twitter-tools/
◼ https://docs.google.com/spreadsheets/d/18rtqh8EG2q1xBo2cLNyhIDuK9jrP
GwYr9DI2UncoqJQ/edit#gid=1700243466

Autres outils intéressants

Chorus Project
◼ Chorus Project
►Utilise l’API Twitter (compte développeur
à créer sur https://dev.twitter.com)
►Chorus-TCD (TweetCatcher Desktop),
gratuit sur demande
• Scraping de recherches
►Chorus-TCW (TweetCatcher Web) : usage
réservé aux universitaires
►Chorus-TV (TweetVis) : usage réservé aux
universitaires
• Timeline Explorer
• Cluster Explorer
129
Chorus-TCD
Chorus-TCW, Chorus-TV

Tweepy
◼ Tweepy est une librairie
permettant d’interagir
avec Twitter aussi bien
pour poster que pour
récupérer des
informations.
►Nécessite des clés pour
accéder à l’API Twitter
►Nécessite de coder toutes
ses propres programmes
en Python, appelant la
librairie
◼ Doc :
http://docs.tweepy.org/
en/latest/

TwiiterSearch2Gephi
◼ TwitterSearch2Gephi est une
application Windows CLI qui vous
permet de collecter des données
sur les réseaux sociaux et de les
convertir en un ensemble de
données CSV pouvant être utilisé
avec Gephi.
◼ Votre ordinateur doit être équipé
de .NET
◼ Actuellement, il prend en charge
►Twitter
►Reddit
►Youtube
►Domaines WWWn URL
◼ Le dossier doit se trouver à la
racine du disque C:

Quelques outils « recalés »

BotSight
◼ BotSight (Norton) est
une extension pour
navigateur qui
entend détecter les
robots Twitter à
partir d’un vingtaine
de critères.
►Inadapté à l’actuelle
interface de Twitter :
seuls les comptes cités
dans un tweet sont
détectés (pas le
compte émetteur)
►L’évaluation (ici de
Michael Lomüller) est
fantaisiste.
133
A lire : Introducing BotSight: A New Tool to Detect Bots on Twitter in Real-Time (NortonLifeLock, 2020)

SocioViz
◼ SocioViz
►Recherche
ponctuelle (gratuit)
ou récurrente
(payant)
►Résultats :
• Utilisateurs les plus
actifs sur une
recherche
• Réseau de mots
• Réseau
d’utilisateurs (liens
par mentions ou
retweets, grosseur
du point en fonction
des citations ou
retweets)
• Réseau d’emoji
• Réseau de hashtags
(reliés si co-
présence)
►Limites de la
version gratuite
• 100 tweets pour
chaque requêtes
• 1 semaine de
profondeur
• Top 10 des hashtags
►Export possible
134
A lire : Tutoriel | Tutoriel avancé | Tarifs

Export Comments
◼ Export Comments… exporte les
commentaires d’un tweet
►Export Excel très propre
►Mais limité à 100 dans a version gratuite
►Les versions payantes sont chères !

Sleeping Time
◼ Sleeping Time analyse les 1000 derniers tweets et détermine les heures de
sommeil de son/sa propriétaire à partir des plages où il/elle tweete le
moins. Nécessite une connexion à votre compte. Ne détecte pas le fuseau
horaire !

SocialBearing
◼ SocialBearing : puissantes analyses de comptes, mais version gratuite très
limitée et version payante plus que chères !

Tinfoleak
◼ Tinfoleak (script Python nécessitant des clés pour l’API Twitter)
►Incompatible avec Python 3)
►Pas mise à jour depuis le 04/09/2018

Twitter Audit
◼ Twitter Audit : analyse la possibilité qu’un
compte soit faux ou de mauvaises qualité.
◼ Aucune précision sur les algorithmes
utilisés !

Surplus

◼ https://developer.twitter.com/en/docs/tutorials/filtering-tweets-by-
location
◼ https://developer.twitter.com/en/docs/twitter-api/v1/data-
dictionary/overview/geo-objects
◼ https://help.twitter.com/fr/safety-and-security/tweet-location-settings

Intérêts des API « Premium »
et « Entreprises »

◼ https://developer.twitter.com/en/docs/twitter-
api/v1/tweets/search/guides/premium-operators
◼ https://developer.twitter.com/en/docs/twitter-api/v1/tweets/filter-
realtime/overview/powertrack-api

Prix
◼ https://developer.twitter.com/en/pricing/search-30day

Serge Courrier
◼ Formateur (depuis 1996)
► Intervenant à l’École Européenne d’Intelligence
Économique (EEIE) depuis sa création, il y enseigne
les outils et méthodologies de veille, les réseaux et
médias sociaux, la visualisation de données,
l’OSINT/SOCMINT/OSINT, etc.
► Il intervient également à l’association des
professionnels de l’information (ADBS), à l’Institut
national de l’audiovisuel (INA), à l’Ecole des
bibliothécaires et documentalistes (EBD, assure
également la formation des rédactions et
documentalistes de France Télévisions, etc.
◼ Consultant (depuis 2005)
► Il intervient auprès d’entreprises et d’organismes
publics, pour développer leurs outils et stratégies de
recherche et de veille, ainsi que leurs usages
avancés d’Internet et notamment du Web 2.0.
◼ Ex-Journaliste spécialisé
► Il a traité entre 1990 et 2014 de sujets liés à
Internet et à l’Intelligence économique pour des
magazines spécialisés et grand public. A
précédemment occupé les postes de rédacteur en
chef adjoint de Génie Industriel, Science et Vie
Micro (SVM) et Micro Hebdo.
◼ Créée en 2005, l’Ecole européenne
d’intelligence économique (EEIE) est la
seule école habilitée en France à remettre
le titre d’État de « Consultant(e) en
Intelligence Économique », enregistré au
Répertoire National des Certifications
Professionnelles (RNCP).
◼ L’école est située à Versailles.
◼ Retrouvez nos Webinars en Replay sur
notre site : www.eeie.fr/webinars/

Webinar EEIE #09 : Investigations sur Twitter

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Webinar EEIE #09 : Investigations sur Twitter

Similaire à Webinar EEIE #09 : Investigations sur Twitter (7)

Plus de Groupe EEIE

Plus de Groupe EEIE (9)

Webinar EEIE #09 : Investigations sur Twitter