fonctionnement des moteurs de recherche, moteur d'indexation. Plus en détail les robots d'indexation : les spiders

1. Les moteurs de recherche
• Aperçu général
• Les différentes technologie
• Et plus en détail : les spiders

2. Comment fonctionne un moteur
de recherche ?
•La collecte d’information
•L’indexation des données collectées
•Classement des résultats en fonction de
leurs pertinences
•Affichage des résultats les uns en-dessous
des autres

3. Fonctionnement

4. Technologie utilisée
Donnée valable pour 2009

5. La collecte d’information
avec les spiders
Les spiders qu’est ce que c’est ?
• Les spiders (bots) sont des programmes de navigation
visitant en permanence les pages web et leurs liens en
vue d’indexer leurs contenus.
• Il détecte les liens des pages est les visites 24h/24h.

7. Les différents bots
• Les bots les plus connu : Googlebot de Google, Yahoo! Slurp de
Yahoo!, MSNBot de Microsoft Bing, Exabot d’Exalead.
• https://support.google.com/webmasters/answer/182072?hl=fr

8. Les spiders ou crawler
Qu’est ce qui font ?
• Contrôles des différentes versions enregistrer dans les
bases de données du spider.
• Avant la visite était mensuel, maintenant les bots visites
des sites plusieurs fois par jour.

9. Les spiders
Politique de sélection
• Une étude de 2009 a montré que seulement 40% à 70% du web est
indexé.
• 1999 : Un moteur de recherche indexe pas plus de 16% du web.

10. Le web profond ou le deep web
• Le web profond : les robots sont incapables de trouver les
pages qui n’ont aucun lien qui pointe vers eux.
• Google a développé les Sitemaps et mod_oai pour
permettre la découverte des ces ressources.
• TOR :
http://fr.wikipedia.org/wiki/Tor_%28r%C3%A9seau%29

11. Ce qu’il ne faut pas faire
• Il faut éviter d’indexer les pages avec des données
confidentiel.
• Le fichier robot.txt est le plus utilisé.

12. À ne pas confondre
• Indexation et positionnement sont deux choses bien
différentes.
• Pour un bon positionnement privilégier des mots à faible
concurrence.

13. Pour conclure
• Les robots ne sont pas là, directement pour le
référencement.

14. Source
• Olivier Andrieu - Reussir son referencement
web
• le journal du net
• wikipedia
• roxors