Une mini conférence à propos des bons et mauvais robots qui peuplent le web. Transcript: http://francois.hodierne.net/2015/bons-robots-mauvais-robots/

1. Bons Robots, Mauvais Robots
Un Intense Trafic
Paris Web 2015

2. François
Hodierne
Berlin

3. Tout agent qui utilise le protocole HTTP
d’une manière plus ou moins automatisée.
Robots ?

4. Bons
Robots
Un intense traffic !
Bons
Robots

5. • Indexation: Google,Yahoo, Bing, Baidu
• Analyse de lien: Facebook,Twitter
• Monitoring: Pingdom, Netcraft
• RSS: Feedly, Superfeedr
• Hors Ligne: Pocket, Readability

6. Mauvais
Robots

7. • Spam : commentaires, wiki, forum
• Attaque de Force Brute
• Piratage : failles de sécurité
• Scrapping : vol de contenu
• Fraude à la publicité

8. Robots
Bizarres

9. • Identité générique
Absente, Librairies HTTP par défaut
• Indexeurs fous
• Scripts bogués
• Robots oubliés

10. Combien ?

11. 63 à 80 %
du trafic HTTP généré
par les robots
Source:
https://www.incapsula.com/blog/bot-traffic-report-2014.html

12. Bons
Robots
Un intense traffic !
Bons
Robots

13. • Robots.txt: Allow, Disallow, Crawl Interval
• <meta name="robots" content="noindex"/>
• <a rel="nofollow">
• Sitemaps
• Formulaire de Contact / Addresse Email

14. Mauvais
Robots

15. Mauvais Robots
Centre de
Commandement
Site Cible
Librairie
HTTP
Navigateur
Fantôme
Proxys
Botnet

16. APIs pour les IPs
• XBL (Spamhaus)
https://www.spamhaus.org/xbl/
• http:BL (Honey Pot Project)
https://www.projecthoneypot.org/httpbl.php
• TorDNSEL (Réseau Tor)
https://www.torproject.org/projects/tordnsel.html

17. En têtes HTTP
• User-Agent
• Accept
• Accept-Language
• Accept-Encoding
• Accept-Charset
• From

18. 91.200.12.56 - - [02/Oct/
2015:10:15:00 +0200] "GET / HTTP/1.1"
200 1437 "-" "Mozilla/5.0
(compatible; Googlebot/2.1; +http://
www.google.com/bot.html)"
66.249.64.25 - - [02/Oct/
2015:10:15:00 +0200] "GET / HTTP/1.1"
200 1437 "-" "Mozilla/5.0
(compatible; Googlebot/2.1; +http://
www.google.com/bot.html)"

19. Hostname crawl-66-249-64-25.googlebot.com
DNSBL Http:BL: Search Engine
User-Agent
Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Accept */*
Accept-Encoding gzip,deflate
From googlebot(at)googlebot.com
Connection Keep-alive
Protocol HTTP/1.1

20. Hostname li423-22.members.linode.com
DNSBL Tor, CBL, Http:BL: Spam
User-Agent
Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)
Accept */*
Accept-Encoding gzip, deflate
From none
Connection keep-alive
Protocol HTTP/1.1

21. 212.83.164.41 - - [02/Oct/
2015:10:25:00 +0200] "GET / HTTP/1.0"
200 1437 "-" "Mozilla/5.0 (Windows NT
6.1; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/
39.0.2171.95 Safari/537.36"
73.194.118.61 - - [02/Oct/
2015:10:25:00 +0200] "GET / HTTP/1.1"
200 1437 "-" "Mozilla/5.0 (Windows NT
6.1; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/
45.0.2454.85 Safari/537.36"

22. Hostname c-73-194-118-61.hsd1.nj.comcast.net
DNSBL /
User-Agent
Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/45.0.2454.85 Safari/537.36
Accept
text/html,application/xhtml+xml,application/xml;q=0.9,
image/webp,*/*;q=0.8
Accept-Encoding gzip, deflate, sdch
Accept-Language en-US,en;q=0.8
Connection keep-alive
Protocol HTTP/1.1

23. Hostname 212-83-164-41.rev.poneytelecom.eu
DNSBL Http:BL: Spam
User-Agent
Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/39.0.2171.95 Safari/537.36
Accept
text/html, application/xml;q=0.9, application/xhtml+xml, image/png,
image/webp, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Encoding gzip, deflate
Accept-Language en
Connection Keep-Alive
Protocol HTTP/1.0

24. • Surveiller
Access Logs, Logstash/Kibana/Elasticsearch
• Protéger
Web Application Firewall, Security Plugins
• Freiner
Global et particulier: post, authentification
• Bloquer
Délicat …

25. • Intense trafic qui pèse sur les :
• performances
• coûts
• statistiques
• sécurité
• A ne pas négliger …
Mot de la fin

26. Les Robots sont parmi nous.
Ne les oubliez pas.

27. Merci !
email : francois@hodierne.net
twitter : @znarf
François Hodierne