Désindexation

Indexation et désindexation

SEO Campus
14 mars 2013
Olivier Andrieu
(Abondance)

olivier@abondance.com
http://www.abondance.com/

Présentation

Olivier Andrieu

Basé à Heiligenstein (67140)

- Premiers pas sur Internet en 1993

- Création de la société Abondance en 1996

- Audit, conseil, accompagnement, formations, etc.
autour du référencement naturel (SEO)


1. Pourquoi désindexer ?

2. Que désindexer ?

3. Comment désindexer ?

4. Suivre une désindexation

Les slides seront en ligne demain

Pourquoi désindexer ?
- Pour fournir aux internautes uniquement des pages
de bonne qualité

- Pour améliorer le taux de rebond sur son site

- Pour améliorer le "pogo sticking" de Google

- Désindexer = parfois "ne pas encore indexer"

- Pour des raisons de confidentialité

- Pour "bétonner" la non-indexation d'un intranet
ou d'une zone accessible aux abonnés/clients…

- Pour éviter d'indexer des fichiers inutiles (CSS, JS, cgi-bin, etc.)

- Pour obliger l'internaute à venir sur votre site
chercher un document

- Pour être en conformité avec les "guidelines" de Google
(pages de résultats du moteur interne)

- Pour des problèmes de droits

- Pour faciliter le travail de crawl de Google

- Pour cause de diffamation ou demande à finalité juridique

- Pour interdire l'accès à des robots "exotiques”

- Pour éviter les foudres de Panda


Les risques de la désindexation

- Moins de pages indexées = perte de confiance
de la part de Google ?

- Moins de trafic de Longue Traîne ?

- Montrer aux autres les "zones d'ombre"
du site

- La perte de transmission de PR
(augmentation des "dangling pages")

Pourquoi s'embêter à désindexer ?
- On n'a pas l'habitude :-)

- Une pratique récente

- Pourquoi faire le boulot de Google à sa place ?

Que désindexer ?

- Les pages en "duplicate content" ?

- Les pages obsolètes ?

- Les pages avec peu de contenu textuel

- Les pages peu intéressantes (formulaires)

- Les images (copyright ?)

- Les versions de test d'un site web

- Les pages de résultats de votre moteur interne

- Des pages diffamantes

Globalement, les pages qui n'apportent pas une réponse satisfaisante aux
internautes si on les trouve dans les SERP, notamment si elles sont présentes en
grande quantité sur votre site…

- Rappel : Google demande que vous ne désindexiez pas les JS et CSS
(http://www.abondance.com/actualites/20120326-11319-matt-cutts-laissez-googlebot-
crawler-vos-css-et-javascript.html).


Que désindexer ?

- Les pages en "duplicate content" ?

Exemples :

- Mêmes produits dans des couleurs différentes
- Même article dans des rubriques différentes
- Article repris depuis une source originale
- DUST (Duplicate URL, Same Text)

A priori, préférer la balise canonical
qui transfère les backlinks des pages dupliquées
vers les canoniques.

La désindexation peut être obligatoire
si la source le demande (mais c'est dommage
pour tout le monde, la canonical est préférable)

Problématique des contenus disponibles sous différents formats (Doc, PDF, etc.)


Que désindexer ?

- Les pages obsolètes ?

A traiter au cas par cas…

Leur Contenu est-il vraiment
totalement inintéressant ?
Dans ce cas, ne vaut-il pas mieux
envisager une 301 vers une
page plus intéressante ?


Que désindexer ?

- Les pages de faible qualité

Oui, ça semble logique…

- Formulaires
- Pages avec très peu de texte
- Pages ne répondant pas potentiellement
aux questions des internautes

Mais désindexer uniquement
si leur volume est important

Faites preuve de bon sens…


Comment désindexer ?

- Fichier robots.txt
(interdit le crawl)

- Balise meta "robots"
(interdit l'indexation)

- Directive X-Robots-Tag

- Google Webmaster Tools



(interdit le crawl) User-agent: Googlebot
Disallow:

http://www.votresite.com/robots.txt User-agent: *
Disallow: /
User-agent:*
Seul Googlebot est autorisé
Disallow: /images/
Disallow: /fichiers

User-Agent: *
User-agent: * Disallow: /repertoire/chemin/page.html
Disallow: Disallow: /repertoire/chemin/page2.html
Opérations portes ouvertes
Disallow: /repertoire/chemin/page3.html
Désindexation d'URL précises

User-agent: *
Disallow: /
User-Agent: *
Fermé à double tour Disallow: /repertoire/chemin/page

Comment autoriser /repertoire/chemin/page2 au crawl ?



(interdit le crawl)

- Les robots de Google >

- Liste des autres robots :
http://www.robotstxt.org/db.html

Source : http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=1061943



(interdit le crawl)

- Eviter les jokers (*, $, etc.) qui ne sont compatibles qu'avec Google et Bing
Disallow: /*price=
Disallow: /*{{config path=$
Disallow: /*.flv$

- Idem pour "Allow:"

- Ne pas insérer de lignes blanches
après le User-agent:

QuickTime™ and a
Graphics decompressor
are needed to see this picture.



(interdit le crawl)

- Le bloc le plus spécifique sera pris en compte :

User-agent: *
Disallow:
User-agent: Bingbot
Disallow: /

Attention aux directives contradictoires !



(interdit le crawl)

- Testez vos robots.txt :

* Google Webmaster Tools
(Etat de santé > URL bloquées)

* Outils dédiés :
http://tool.motoricerca.info/robots-checker.phtml


(interdit le crawl)

- Les pages sont connues de Google,
les URL sont donc indexées
mais pas explorées
(mais un titre explicite
est parfois indiqué par Google)



(interdit le crawl)

- L'URL est indexée, pas le contenu.

- Mais elle est "présente" dans les SERP !

- Que se passe-t-il si le contenu était
indexé avant la mise en place du robots.txt ?
> Délai avant remise à jour des données

- Le fichier robots.txt d'un site n'est pas lu par Google à chaque visite.
Il faut le créer bien avant la mise en ligne des contenus "interdits"



(interdit le crawl)

- Attention si vous recevez ce type de message :

- Conclusion : le robots.txt est une solution plutôt à déconseiller



- Balise meta robots

<meta name="robots" content="noindex,follow">
<meta name="robots" content="noindex,nofollow">

<meta name="googlebot" content="noindex,follow">

- Fonctionne pour les pages web

- Ne fonctionne pas pour les autres formats (PDF, Word, PPT, images, etc.)

- Bien penser à ne pas mettre les URL dans le fichier robots.txt




- Dans l'en-tête HTTP

- Convient pour tous les formats de documents.

- Bien penser à ne pas mettre les URL dans le fichier robots.txt

- Peut être intéressant pour ne pas indexer les pages https déjà disponibles en http
(http://www.yapasdequoi.com/apache/2983-len-tete-x-robot-tag-ou-comment-vite-desindexer-des-
pages.html)

- Plus d'infos : https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag




Quelques exemples :

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex HTTP/1.1 200 OK
(…) Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
HTTP/1.1 200 OK X-Robots-Tag: otherbot: noindex, nofollow
Date: Tue, 25 May 2010 21:42:43 GMT (…)
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2013 15:00:00 PST
(…)




Source : https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag




Exemple PHP :

header("X-Robots-Tag: noindex", true);

header("X-Robots-Tag: noindex, nofollow", true);

Exemple via le .htaccess :

<FilesMatch ".doc$">
Header set X-Robots-Tag "noindex, noarchive"
</Files>

<FilesMatch ".(doc|pdf)$">
Header set X-Robots-Tag "noindex, noarchive"
</Files>




Le contenu supprimé à l'aide de cet outil est exclu de l'index Google pour une période minimale de 90
jours. Au cours de cette période, vous pouvez à tout moment utiliser l'outil de demande de
suppression d'URL pour réintégrer votre contenu.
Voir : https://support.google.com/webmasters/bin/answer.py?hl=fr&answer=59819




"Gardez à l'esprit que cet outil supprime toutes les versions d'une page (http/https et www/non
www), même la version principale."
Autre cas ici :
http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=1269119


Comment suivre une désindexation ?
- Requête "site:"

- Google Webmaster Tools : Etat de santé > Etat de l'indexation

- Eventuellement, créer un Sitemap spécial
"Désindexation" et le suivre dans les GWT


Quelques infos supplémentaires

- Google n'a pas de limite de nombre de pages
crawlées / indexées par site.

- Vous ne pouvez pas désindexer les
sites de vos concurrents :-)

- Si vous demandez à Google de désindexer un contenu pour cause de diffamation
ou autre motif, le seul moyen d'arriver à vos fins est de faire un procès…

- Mais vous pouvez faire une demande Digital Millennium Copyright Act (DMCA) (
http://www.google.fr/intl/fr/dmca.html) en cas de violation des droits d’auteur


Conclusion

- La désindexation, une pratique nouvelle
mais parfois utile et nécessaire

- Séparer le bon grain de l’ivraie sur son site

- Ne donner à manger à Goole que
ce qu’il peut bien digérer

- Préférer la balise meta “robots”
et la directive X-Robots-Tag


Quelques liens :

Protocole robots.txt et standards associés :
http://www.robotstxt.org/

Page de référence de Google sur les balises meta robots et x-robots-tag :
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

Pages de référence de Google sur le fichier robots.txt et les extensions du standard propres à
ce moteur :

http://googlewebmastercentral.blogspot.fr/2008/06/improving-on-robots-exclusion-
protocol.html

http://support.google.com/webmasters/bin/answer.py?
hl=fr&answer=156449&from=40367&r d=1

https://developers.google.com/webmasters/control-crawl-index/docs/faq


MERCI !!
Merci à Philippe Yonnet et David Degrelle

pour la relecture et les suggestions :))


CONTENT IS KING, LINK IS HIS QUEEN,
OPTIMIZED CONTENT IS EMPEROR !!!

Le référencement sert à donner une
bonne visibilité à un contenu de qualité !

Support proposé par Olivier Andrieu
olivier@abondance.com

Désindexation

Contenu connexe

Tendances

En vedette

Similaire à Désindexation

Plus de Olivier Andrieu

Désindexation