1.
UTILISER UN CRAWLER POUR LE SEO
Philippe YONNET
Agence Search Foresight – My Media

2.
Search Foresight
Foresight : définition
• “an act or the power of foreseeing” : prescience
• “provident care” : prudence et prévoyance
• “an act of looking forward” : prospective

3.
Philippe YONNET – Directeur de Search
Foresight
•
Philippe YONNET, 46 ans, a aujourd’hui dix années d’expérience
en référencement naturel.
•
Il a conseillé plus d’une centaine de sites, dont un grand nombre
de sites à forte audience (Pages Jaunes, Rue du
Commerce, Pixmania, Dailymotion, AuFeminin, LeGuide, Twenga,
Allociné, Ebay, Nokia, Fnac, SFR, Facebook, La Redoute…)
•
Il a été notamment Directeur métier puis Directeur Général Adjoint
d’Aposition-Isobar de 2007 à 2010. Il est ensuite revenu chez
l'annonceur, pour travailler à Londres et New-York pendant deux
ans, en tant que Directeur SEO International de Vivastreet, puis en
tant que Directeur SEO International et Directeur Merchandising du
comparateur de prix Twenga.
•
Philippe YONNET est le président fondateur de l’association SEO
Camp, qui regroupe les professionnels du référencement des pays
francophones.
– Il est un contributeur régulier de la lettre professionnelle
d’Abondance, et a contribué à plusieurs chapitres du livre
« réussir son référencement » chez Eyrolles
– Il a fondé le principal évènement sur le référencement en
France, les SEO Camp’us
– Il a créé la certification CESEO, qui valide les connaissances
des experts en SEO

4.
C’est quoi un crawler ?
• Deux modes : aspirateur / spider
– Aspirateur : on lui fournit une liste d’urls, que le robot
« aspire » (télécharge) pour alimenter une base de
données
– Spider : on fournit une url de départ au robot, qui analyse
le contenu de la page web, trouve les liens à
l’intérieur, les stocke dans une file d’attente. Puis il
télécharge les nouvelles urls trouvées, trouve d’autres
liens à l’intérieur et ainsi de suite…
• On appelle le processus suivi par le spider le « crawl », et on
appelle aussi les spiders des « crawlers »

5.
URLs crawled
and parsed
Unseen Web
Seed
pages
URLs frontier
Web
5

6.
LES USAGES CLASSIQUES

7.
La détection des liens brisés
• Détection des pages 404

8.
La détection des redirections
• Détection des erreurs 30x
• Objectif : diminuer le volume de 301
• Eliminer les 302

9.
Détection des erreurs
• Détection des erreurs avec Botify

10.
UTILISATION AVANCÉE

11.
Tester les performances du site
• Le temps de téléchargement du code a
une influence sur l’exploration de Google

12.
Tester les performances du site
• Google webmaster tools
ne fournit que des temps
« moyens »
• Un crawler permettra de
comprendre quelles sont
les « scripts » lents et
d’identifier les causes de
ralentissement

13.
Détection des duplicate title et descr
• Exemple avec Screaming Frog

14.
Vérification des plans de taggage

15.
Vérification du duplicate
• Ex avec Botify

16.
Vérification de l’efficacité
de la mise en cache
• Extraction de patterns :
– timestamp de génération de la page vs horodatage du
téléchargement de la page
– Test de requêtes conditionnelles (If modified since et
renvoi de codes 304)
– Etc.

17.
Analyse de la profondeur
• Profondeur : nb de clics nécessaires pour atteindre une
page en cliquant sur des liens
– Exemple ci-dessous : Botify

18.
Pourquoi mesurer la profondeur ?
Plus une url est profonde, moins elle reçoit de linkjuice
Plus une url est profonde, moins elle a de Pagerank, moins elle est crawlée
140000
120000
100000
80000
nb urls crawlables non
crawlées
nb urls crawlées
60000
40000
20000
0
Prof Prof Prof Prof Prof Prof Prof Prof Prof
0
1
2
3
4
5
6
7
8

19.
Le rythme de crawl sur Google est
fonction du PR (et d’autres facteurs)

20.
Les prérequis pour le crawler
• Respect du robots.txt
• Gestion du nofollow sur les liens
• Gestion du nofollow dans les balises
meta
• Gestion du x-robots-tag dans les en-têtes
http://
• Gestion des canonical comme des
redirections

21.
Analyse des link rel=canonical

22.
Analyse des liens sortants
• Ex : botify

23.
Diagnostic complet
• Ex avec Botify (tableau de bord)

24.
L’analyse combinée crawl+logs
• Urls crawlables => données par votre crawler
• Urls crawlées par Googlebot => découvertes
dans les logs serveur (User Agent : googlebot)
Votre version
Version vue par Googlebot
Home
Home
Cat 2
Cat 3
P1
P1
P1
P2
P2
P2
P3
P3
Cat 1
Cat 2
P1
Cat 1
P1
P2
P1bis
P3
P2
P2bis
P3
P4
P4
Cat2bis
Cat 3
Des urls en moins
Des urls en +

25.
Principe de l’analyse des deux versions
Urls crawlées
par
Google, non
présentes sur le
site :
URLS
parasites, à
bloquer dans
le robots.txt
Urls présentes
sur le site, non
explorées par
Google :
identifier la
cause
Urls OK
présentes
et
crawlées

26.
L’analyse du maillage interne
• Objectif : mesurer les ratios
– Nb de liens entrants vs liens sortants
– Nb de liens sortants internes vs externes
• Indegree = nombre de liens entrants
• La hiérarchie des indegrees doit être
conforme à l’importance des pages

27.
EXEMPLES DE CRAWLERS UTILES

28.
Xenu Link Sleuth
• http://home.snafu.de/tilman/xenulink.html

29.
Link Examiner
•
http://www.analogx.com/contents/download/Network/lnkexam/Freewa
re.htm

30.
Siteliner
• http://www.siteliner.com

31.
Screaming Frog
• http://www.screamingfrog.co.uk/seo-spider/

32.
Lucène (java)
• https://lucene.apache.org/

33.
Nutch (java)
• https://nutch.apache.org/

34.
Scrapy (python)
• http://scrapy.org/

35.
80legs
• http://80legs.com/

36.
Deepcrawl
• http://deepcrawl.co.uk/

37.
Botify
• https://fr.botify.com/

38.
DES QUESTIONS ?

39.
Merci !
• Me contacter :
Philippe YONNET
Directeur Général de l’agence Search Foresight
Groupe My Media
55 rue Anatole France – 92300 LEVALLOIS PERRET
Philippe.yonnet@search-foresight.com
Tél : 01 74 18 29 40
Président de l’association SEO Camp
24 avenue Ledru-Rollin 75012 PARIS
Philippe.yonnet@seo-camp.org
http://www.seo-camp.org