Nous allons parler de l’analyse de logs et de ses possibilités pour diriger le crawl de Google, mais surtout les impacts qu’on observe ensuite sur le crawl des robots. Par exemple, est-ce que Google tient vraiment compte des balises meta robots ? Quel est le pourcentage de réussite par rapport à un blocage dans robots.txt ? L’idée est de faire l’analyse sur plusieurs sites afin de pouvoir corréler ces résultats et parvenir à un résultat le plus fiable possible.

1. #seocamp 1
ANALYSE DE LOGS,
INTERVENTION SEO ET
INTERPRETATION
PAR GOOGLE
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

2. #seocamp 2
Julie Chodorge
Consultante SEO OnSite Korleon’Biz
- Gestion d’un portefeuille de clients sur diverses thématiques
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

3. #seocamp 3
Analyse de logs,
Oui mais ?
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

4. #seocamp 4
Comprendre comment est crawlé et interprété le site
Identifier les facteurs bloquants :
• Codes réponse
• Pages SEO orphelines
• Hits sur des pages générées par thème/extensions
Analyser la répartition des dépenses du budget de crawl
Analyse des hits de Googlebot
Comment se déroule
l’analyse de logs ?
1
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

5. #seocamp 5
Corriger les facteurs bloquants identifiés lors de l’analyse de logs
Mettre en place au fur et à mesure les corrections pour optimiser
le crawl
Attribuer le budget de crawl aux pages travaillées pour le SEO
> Maximiser ainsi leur indexation et donc leur référencement
Intervention SEO
Comment se déroule
l’analyse de logs ?
2
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

6. #seocamp 6
Mais après, que se passe-t-il ? Quelles optimisations sont vraiment
impactantes pour le crawl ?
Comment GoogleBot interprète les consignes données par le SEO,
et surtout sont-elles bien respectées ?
Retour sur les différentes manières d’influencer le crawl et les
impacts réels sur le budget de crawl
Interprétation par Google
Comment se déroule
l’analyse de logs ?
3
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

7. #seocamp 7
Mise en place de l’expérience
Analyse de logs menée sur 6 mois sur 12 sites :
▪ Blogs, sites vitrines et institutionnels, sites e-commerce…
▪ Taille moyenne : 16.700 URLs/site – de 300 à 80.000 URLs/site
En tout, panel de 202.404 URLs et 7.063.530 hits
(GoogleBot exclusivement, mobile et desktop)
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

8. #seocamp 8
Oncrawl
Crawler SEO et Analyseur de logs
Payant : à partir de 199€/mois
https://fr.oncrawl.com/
Outils Utilisés
SEOLyzer
Crawler SEO et Analyseur de logs
Gratuit
https://seolyzer.io/fr/
Screaming Frog &
Log File Analyzer
Crawleur SEO et Analyseur de logs
Payant : £149.00/an + £99/an
https://www.screamingfrog.co.uk/
SEO Tools for Excel
Crawleur SEO
Payant : à partir de 99€
https://seotoolsforexcel.com/
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

9. #seocamp 9
Analyse
de logs
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

10. #seocamp 10
Quelles données influencent le crawl d’un site ?
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
Contenu :
▪ Nombre de mots
Technique :
▪ Temps de chargement
Structure :
▪ Niveau de profondeur
▪ Liens internes
Netlinking :
▪ Liens externes
Référencement naturel :
▪ Mots-clés top 10

11. #seocamp 11
Analyse des hits par nombre de mots
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus de hits sur les pages comprenant
entre 2000 et 3500 mots
▪ Plus de trafic sur les pages comprenant
entre 500 et 3000 mots
> Privilégiez les contenus de plus de 500
mots

12. #seocamp 12
Analyse des hits par temps de chargement
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus de hits sur les pages se chargeant
entre 1 et 3 secondes
▪ Plus de trafic sur les pages se chargeant
en 1 seconde
> Soignez le temps de chargement,
encore plus pour les positions que pour
le crawl

13. #seocamp 13
Analyse des hits par profondeur
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus les pages sont profondes, moins
elles sont hitées
▪ Plus de trafic sur les pages ayant une
profondeur de 1 à 2
> Attention à la profondeur des pages,
en général ne mettez pas vos pages SEO
à plus de 3 clics de la home

14. #seocamp 14
Analyse des hits par liens internes
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus les pages ont de liens internes, plus
elles sont hitées
▪ Plus de trafic sur les pages ayant entre
1 et 100 liens internes et plus de 400
liens internes
> Maillez bien vos pages SEO

15. #seocamp 15
Analyse des hits par liens externes
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus de hits sur les pages ayant plus de
60 liens externes
> Une réelle stratégie de netlinking doit
être mise en place pour vos pages SEO

16. #seocamp 16
Analyse des hits par mots-clés top 10
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
▪ Plus de hits sur les pages ayant plus de
20 mots-clés dans le top 10
▪ Plus de trafic sur les pages ayant plus
de 50 mots-clés dans le top 10
> Un bon référencement naturel
permettra plus de crawl de votre site
par Googlebot

17. #seocamp 17
Comment optimiser le crawl de son site ?
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
Dans un but d’optimiser le crawl de ses pages SEO :
▪ Le contenu doit faire plus de 500 mots
▪ La page doit se charger en 1 seconde
▪ Ne pas avoir trop de niveau de profondeur
▪ Avoir un maximum de liens internes
▪ Elaborer une stratégie de netlinking (plus de 60 backlinks)
> Ceci est un cercle vertueux : plus vous optimiserez votre référencement naturel,
plus votre site obtiendra de budget de crawl

18. #seocamp 18
Analyse
du comportement de GoogleBot
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

19. #seocamp 19
Changement et
suppression d’URLs
• Redirections 301 et 302
• Erreurs 404 et 410
Quels méthodes pour influencer le crawl ?
Blocage d’indexation
• Balisage Meta Robot Noindex
• X-robots-tag Noindex
• Balises canonical
Blocage de crawl
• Fichier robots.txt
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

20. #seocamp 20
Codes réponse en 300 et 400
Changement et
suppression d’URLs
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

21. #seocamp 21
Redirections 301
En cas de modification d’une URL, une redirection définitive en 301
permet de notifier le changement aux robots des moteurs de recherche.
▪ 5 hits par redirection 301
▪ Hitées plus de 6 mois après leur mise en place
Redirections 301 : 5 fois moins hitées que 200
indexables
> Impact sur la durée, à utiliser avec modération
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
37,3%
DES PAGES TOTALES
5,3%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

22. #seocamp 22
Redirections 301
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

23. #seocamp 23
Redirections 302
En cas de modification momentanée d’une URL, une redirection
temporaire en 302 ou 307 permet de notifier le changement aux robots.
▪ 21 hits par redirection 302
Redirections 302 : 4 fois plus hitées que 301
Redirections 302 : presque autant hitées que 200
indexables
> Importance de bien les contrôler
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
1,4%
DES PAGES TOTALES
0,8%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

24. #seocamp 24
Redirections 302
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

25. #seocamp 25
Erreurs 404
En cas de modification ou suppresion d’une URL, si aucune redirection
n’est mise en place, l’URL va répondre en erreur 404.
▪ 21 hits par erreur 404
Erreurs 404 autant hitées que 302
Erreurs 404 presque autant hitées que 200
indexables
> Veiller à ne pas avoir de 404, aucune utilité en
SEO
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
4,0%
DES PAGES TOTALES
2,4%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

26. #seocamp 26
Erreurs 404
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
> Traiter les erreurs 404
> Ne pas conserver de liens internes et externes vers des 404

27. #seocamp 27
Erreurs 410
En cas de suppression definitive d’une URL, la mettre en 410 permet de
s’assurer de sa bonne suppression aux yeux de Google.
▪ 3 hits par erreur 410
Erreurs 410 : 6 fois moins hitées que 404
Erreurs 410 : 1,5 fois moins hitées que 301
> Moins dépensières en budget de crawl que
redirection 301
> A préférer en cas de nombre important d’URLs
avec peu d’historique SEO
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
0,7%
DES PAGES TOTALES
0,1%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

28. #seocamp 28
Erreurs 500
Les erreurs 500 sont des erreurs serveur. Elles sont générées
quand il y a un souci du côté du serveur (chargement, temps de
réponse…).
Retour d’expérience :
▪ Cas d’un client avec un très grand nombre
d’erreurs 500 dans la Search Console
▪ Temps de réponse serveur trop important
A l’aide de la Search Console :
▪ Limitation du crawl à 2 secondes
▪ Possible aussi via le robots.txt
> Impact visible et immédiat sur les positions
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

29. #seocamp 29
Balises Meta Robot et Canonical
Blocage d’indexation
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

30. #seocamp 30
Meta Robot Noindex
En cas de volonté de ne pas indexer une page, la balise meta robot réglée
sur “noindex” permet d’en empêcher l’indexation.
▪ 3 hits par URL en noindex dans Meta Robot
Pages en noindex ne bloquent pas le crawl
Pas de vocation à être indexées
> Pas d’intérêt d’y dépenser du budget de crawl
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
0,6%
DES PAGES TOTALES
1,6%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

31. #seocamp 31
Meta Robot Noindex
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

32. #seocamp 32
X-robots-tag Noindex
En cas de volonté de ne pas indexer une page, l’instruction X-robots-tag
réglée sur “noindex” permet d’en empêcher l’indexation.
▪ 7 hits par URL en noindex dans X-robots-tag
X-robots-tag noindex : 2,5 fois plus hitées que
noindex dans balise meta robot
> Préférer la balise Meta Robot pour limiter le
crawl sur ces pages
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
0,8%
DES PAGES TOTALES
5,8%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

33. #seocamp 33
Balises Canonical
Si des pages sont très proches, la balise canonical permet d’éviter le
contenu dupliqué et préciser la page principale à indexer.
▪ 340 hits par URL canonisée
Pages canonisées : 14 fois plus hitées que les
pages en 200 indexables
> ATTENTION AU BUDGET DE CRAWL !
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
6,0%
DES PAGES TOTALES
57,9%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

34. #seocamp 34
Balises Canonical
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
> Concerne les URLs canonisées avec des liens
> Limiter le maillage vers les URLs canonisées

35. #seocamp 35
Fichier Robots.txt
Blocage de crawl
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

36. #seocamp 36
Fichier Robots.txt
Le fichier robots.txt permet de bloquer l’accès à certaines pages aux
robots des moteurs de recherche.
▪ 2 hits par page bloquée dans robots.txt
En théorie, il ne devrait y avoir aucun hit sur les
pages bloquées dans le robots.txt
> Instructions de crawl pas toujours respectées
> Demeure cependant la méthode la moins
gourmande en budget de crawl
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
1,9%
DES PAGES TOTALES
3,3%
DES HITS TOTAUX
* 24 hits par page en 200 indexable

37. #seocamp 37
Fichier Robots.txt
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
> Ne pas avoir de liens vers des pages bloquées dans le robots.txt

38. #seocamp 38
Astuce
Fichier Robots.txt
Astuce pour que les robots respectent dadvantage le fichier robots.txt
En plus de s’adresser à tous les User-agent
• User-agent: *
Rajouter User-agent correspondant à GoogleBot :
• User-agent: Googlebot
• User-agent: Googlebot-image
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

39. #seocamp 39
Analyse de la répartition
du budget de crawl
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

40. #seocamp 40
Répartition du budget de Crawl
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
Méthode utilisée Moyenne hits/URL
Robots.txt 1,7
Meta Robot Noindex 2,9
Erreur 410 3,4
Redirection 301 5,0
X-robots-tag Noindex 7,4
Redirection 302 20,3
Erreur 404 21,2
200 Indexable 24,2
Canonical 339,7

41. #seocamp 41
Comment économiser du Budget de Crawl ?
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
Dans un but d’économiser du budget de crawl :
▪ Noindex dans balise Meta Robot plutôt que dans X-robots-tag
▪ Erreur 410 plutôt que redirection 301
▪ Maîtriser les redirection 302 et erreurs 404 qui consomment autant que les pages en 200
▪ Attention aux pages canonisées ! A n’utiliser que comme “rustine” (canonical auto-référente)
▪ Supprimer/Modifier les liens internes et externes des URLs non indexables
(à pondérer en fonction de la taille du site, de sa typologie, de son historique et de sa stratégie SEO)

42. #seocamp 42
Pourquoi économiser du Budget de Crawl ?
Exemple concret 1 : site e-commerce de 80.000 pages
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

43. #seocamp 43
Pourquoi économiser du Budget de Crawl ?
Exemple concret 2 : blog de 45.000 pages
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

44. #seocamp 44
Merci de votre attention
Vous avez des questions ?
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz

45. #seocamp 45
Question Mug
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz
Quelle est la balise la plus gourmande
en budget de crawl ?

46. #seocamp 46
MERCI AUX SPONSORS
Julie Chodorge @Jchodorge | Korleon’Biz @korleonbiz