Détecter les bots
(Et s’en débarrasser…)

Kevin Lion - http://www.inmediaveritas.com
Qu’est-ce qu’un bot ?
● “Robot” parcourant le Web
● Plusieurs buts :
○ Indexer/Scraper le web (GoogleBot)
○ Attaque distri...
Détecter un scraper
● But du bot : récupérer du contenu de
façon plus ou moins légale
● Méthode du bot : parcourir toutes ...
Se débarrasser d’un scraper
●
●
●
●

Pas d’UA ? Ou UA étrange ?
Il ne charge pas l’image “test_bot.png” ?
JS non activé ? ...
Détecter un DDoS
● But du bot : faire tomber un site via un
DDoS (Distributed Denial-of-Service)
● Méthode du bot : charge...
Se débarrasser d’un DDoS
● Luter contre le pic de trafic :
○ Redirection vers un trou noir
○ Mettre en place un CDN
● Lute...
Détecter un spammer
● But du bot : publier des messages sur
votre site/forum/blog
● Méthode du bot : remplit les formulair...
Se débarrasser d’un spammer
● Mettre en place un CAPTCHA intelligent
○ Qui ne puisse pas être envoyé sur les
decaptcher (d...
Autres solutions diverses
● Comportement du bot :
○ 0 seconde par page
○ Pas de referrer
○ 1 connexion par jour depuis 30 ...
Questions ?
kevin.lion@inmediaveritas.com
http://www.inmediaveritas.com
@inmediaveritas
Prochain SlideShare
Chargement dans…5
×

Detecter les bots

3 903 vues

Publié le

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
3 903
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2 211
Actions
Partages
0
Téléchargements
12
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Detecter les bots

  1. 1. Détecter les bots (Et s’en débarrasser…) Kevin Lion - http://www.inmediaveritas.com
  2. 2. Qu’est-ce qu’un bot ? ● “Robot” parcourant le Web ● Plusieurs buts : ○ Indexer/Scraper le web (GoogleBot) ○ Attaque distribuée (Botnet) ○ Spammer (Spambot) ○ Autres (Site de rencontre, triche, etc.)
  3. 3. Détecter un scraper ● But du bot : récupérer du contenu de façon plus ou moins légale ● Méthode du bot : parcourir toutes les pages du site web ● Repérer un bot : ○ Headers (UA, Accept-Language) ○ Charge les fichiers externes ? ○ Navigateur (JS ? Lang ? Screen ?) ○ Comportement ?
  4. 4. Se débarrasser d’un scraper ● ● ● ● Pas d’UA ? Ou UA étrange ? Il ne charge pas l’image “test_bot.png” ? JS non activé ? Langue non française ? Il parcourt plus de 10 pages par minutes ? Il charge les pages dans un ordre étrange ? -> Vous le bannissez (iptables, coté serveur, trou noir, etc.)
  5. 5. Détecter un DDoS ● But du bot : faire tomber un site via un DDoS (Distributed Denial-of-Service) ● Méthode du bot : charger une page lourde de très nombreuses fois ● Repérer un bot : ○ La même IP charge la même page plusieurs fois ○ Les IPs sont russes ou chinoises ○ Les connections restent ouvertes
  6. 6. Se débarrasser d’un DDoS ● Luter contre le pic de trafic : ○ Redirection vers un trou noir ○ Mettre en place un CDN ● Luter contre la charge serveur : ○ Vérifier son code (!) ○ Installer et configurer Iptables ○ Limiter les connections SYN et UDP
  7. 7. Détecter un spammer ● But du bot : publier des messages sur votre site/forum/blog ● Méthode du bot : remplit les formulaires de publication et les soumets ● Repérer un bot : ○ Les messages contiennent des urls et des mots clés étranges ○ Il n’a pas de referrer
  8. 8. Se débarrasser d’un spammer ● Mettre en place un CAPTCHA intelligent ○ Qui ne puisse pas être envoyé sur les decaptcher (deathbycaptcha.com) ○ En français, afin que les boites offshores ne puisse pas le décoder ● Mettre tous ces liens en nofollow ● Utiliser un service externe qui filtre pour vous (Akismet, Mollom, Defensio)
  9. 9. Autres solutions diverses ● Comportement du bot : ○ 0 seconde par page ○ Pas de referrer ○ 1 connexion par jour depuis 30 jours.. ● Vérifier l’IP (get_hostname) ● Vérifier tous les points par subnet ● Project HoneyPot
  10. 10. Questions ?
  11. 11. kevin.lion@inmediaveritas.com http://www.inmediaveritas.com @inmediaveritas

×