1.
Les bienfaits de la désindexation
Olivier Andrieu

2.
#seocamp 2
Olivier Andrieu (Abondance)
olivier@abondance.com
Bonjour :)

3.
#seocamp 3
Olivier Andrieu
• Basé à Heiligenstein (67140)
• Premiers pas sur Internet en 1993
• Création de la société Abondance en 1996
• Audit, conseil, accompagnement, formations
autour du référencement naturel (SEO)
© Grifil.com
Guides PDF
254 pages 666 pages
230 pages

4.
#seocamp 4
Ma démarche
Faire du SEO « propre » et pérenne
en dehors de toute technique « black hat »
(oui, c’est possible… ;-) )

5.
#seocamp 5
Les bienfaits d
e
la désindexation !

6.
#seocamp 6
Fonctionnement du Crawl
et de l'Indexation

7.
#seocamp 7
Googlebot,
le robot de Google

8.
#seocamp 8
Googlebot
1
Envoi du contenu (HTML, images, JS, CSS...) à Google, puis Indexation (ou pas)
https://www.seo-camp.org/

9.
#seocamp 9
2
Crawl :
Suivi des liens

10.
#seocamp 10
Index Google =
Copie locale du Web
130 000 milliards de pages !
20 milliards de sites web
crawlés chaque jour !

11.
#seocamp 11
Budget crawl : ressources (temps) réservées par
Google(bot) à l'exploration de votre site

12.
#seocamp 12
Objectif : Googlebot doit consacrer son Budget
Crawl pour votre site à l'exploration des pages
intéressantes en SEO

13.
#seocamp 13
Cela améliorera également la
note de « Trust » globale de
votre site !

14.
#seocamp 14
Les outils

15.
#seocamp
Un outil de crawl : Screaming Frog, Oncrawl, Botify, Ranking Metrics, Seolyzer...

16.
#seocamp
La Search Console,
rapports Couvertur
e
et Paramètres

17.
#seocamp
Et une bonne connaissance
de son CMS...

18.
#seocamp 18
Quelles pages ne pas
prendre en compte ?

19.
#seocamp 19
Ne pas présenter aux robots :
• Toutes les pages présentes en grand nombre sur le site et
ne présentant pas d'intérêt SEO pour l'internaute
• Formulaires nombreux
• Pages avec très peu de texte
• Pages de résultats du moteur interne
• Facettes (e-commerce)
• Tunnel de vente
• Contenu dupliqué
• Contenu obsolète
• Bugs
• Etc.

20.
#seocamp 20
1. On fait un crawl du sit
e
2. On fait le tri parmi les résultats

21.
#seocamp 21
Comment indiquer aux robots les
pages à ne pas prendre en compte ?

22.
#seocamp 22
1. Fichier robots.txt
https://www.seo-camp.org/robots.txt
User-agent:
*
Allow: /*.js
$
Allow: /*.css
$
Disallow: /wp-admin
/
Allow: /wp-admin/admin-ajax.php
Disallow: /*/fee
d
Disallow: /*/comment
s
Disallow: /*.php
$
Disallow: /*.inc
$
Disallow: /*.g
z
Disallow: /*.cg
i
Disallow: /*/am
p
Disallow: *?post_type
*
Disallow: *?eventDisplay
*
Disallow: *?shortcode
*
Disallow: *?eventDate
*
User-agent: Mediapartners-Googl
e
Disallow
:
User-agent: SemrushBo
t
Disallow:
/
User-agent: AhrefsBot
Disallow:
/

23.
#seocamp 23
Le fichier robots.txt interdit le crawl
mais potentiellement pas l'indexation

24.
#seocamp 24
2. Balise meta robots "noindex"
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">

25.
#seocamp 25
2b. X-Robots-Tag "noindex"
HTTP/1.1 200 O
K
Date: Tue, 25 May 2021 21:42:43 GM
T
(…)
X-Robots-Tag: noindex
(…)
Pour les PDF et formats autres que HTML

26.
#seocamp 26
La balise meta robots "noindex" interdit
l'indexation mais pas le crawl

27.
#seocamp 27
3. Balise "canonical"
<link rel="canonical" href="URL-A.html">
B est dupliquée de A

28.
#seocamp 28
Directives et Indications
Le robots.txt et la balise meta robots "noindex" sont des Directives
La balise "canonical" est un "hint" (Indication)

29.
#seocamp 29
Différences
Crawl Indexation
robots.txt
Balise "noindex"
Balise "canonical"

30.
#seocamp 30
Qu'est-ce qu'un bon (ou un mauvais)
Budget Crawl ?

31.
#seocamp 31
Pages Crawlables Renvoient un code 200
Autorisées au crawl (robots.txt)

32.
#seocamp 32
Pages Crawlables Renvoient un code 200
Autorisées au crawl (robots.txt)
Pages Crawlées Pages crawlables visitées par
Googlebot

33.
#seocamp 33
Pages Crawlables Renvoient un code 200
Autorisées au crawl (robots.txt)
Pages Crawlées Pages crawlables visitées par
Googlebot
Pages Indexables Pages crawlées, sans "noindex",
non canonicalisées

34.
#seocamp 34
Pages Crawlables Renvoient un code 200
Autorisées au crawl (robots.txt)
Pages Crawlées Pages crawlables visitées par
Googlebot
Pages Indexables Pages crawlées, sans "noindex",
non canonicalisées
Pages Indexées Pages indexables acceptées par
Google (« Valides »)

35.
#seocamp 35
QUESTION N°1
:
Est-ce que le nombre de pages
crawlables est proche du
nombre de pages indexables ?
(peu de noindex et de canonicalisées,
bon budget crawl)
= en théorie, tout devrait bien se passer...

36.
#seocamp 36
Mauvais budget crawl

37.
#seocamp 37
Bon budget crawl

38.
#seocamp 38
QUESTION N°2
:
Est-ce que le nombre de pages
indexables est proche du
nombre de pages indexées ?
(Search Console > Couverture > Valides)
= en pratique, tout s'est bien passé...

39.
#seocamp 39
Morale de l'histoire
Oui, il faut présenter aux robots les pages
intéressantes et pas les autres.
Mais il faut privilégier le robots.txt
lorsque c'est possible.

40.
#seocamp 40
Mais ce n'est pas tout...

41.
#seocamp 41
Mettre en "nofollow" les liens internes vers les pages
inintéressantes pour le SEO et souvent répétées dans le site

42.
#seocamp 42
Attention aux 404 et 301
Search Console > Paramètres > Statistiques sur l'exploration

43.
#seocamp 43
Attention aux 404 et 301
Search Console > Paramètres > Statistiques sur l'exploration

44.
#seocamp 44
Gestion des 404
Avant tout dans l'arborescence :
objectif zéro 404 lors du crawl

45.
#seocamp 45
Gestion des 404

46.
#seocamp 46
Gestion des 404

47.
#seocamp 47
Gestion des 301
Si possible, proposer le moins de 301 possible
dans l'arborescence (lors du crawl)
Ce qui ne signifie pas qu’il faut
supprimer les 301 !

48.
#seocamp 48
Gestion des 301

49.
#seocamp 49
Gestion des 301
Si redirection :
url-A.html > url-B.html
Indiquer plutôt
url-B.html
dans l'arborescence

50.
#seocamp 50
Attention aux ressources (JS, CSS, autres...)
Search Console > Paramètres > Statistiques sur l'exploration

51.
#seocamp 51
Gestion des 304
304 = « Not modified » (non modifié depuis la dernière requête)
Redirection vers la version
de la ressource en cache

52.
#seocamp 52
Excellent
budget crawl
Indexables
Noindex
Canonicalisées
410/404 301

53.
#seocamp 53
Pour conclure…
La gestion du budget crawl est surtout
importante pour les « gros » sites.
Un bon crawl est toujours la
première étape d’un bon référencement…
Mais c'est aussi plus complexe
à gérer dans ce cas...

54.
#seocamp 54
Merci !!!

55.
#seocamp
MERCI AUX SPONSORS
55