SlideShare une entreprise Scribd logo
1  sur  39
UTILISER UN CRAWLER POUR LE SEO
Philippe YONNET
Agence Search Foresight – My Media
Search Foresight
Foresight : définition
• “an act or the power of foreseeing” : prescience
• “provident care” : prudence et prévoyance
• “an act of looking forward” : prospective
Philippe YONNET – Directeur de Search
Foresight
• Philippe YONNET, 46 ans, a aujourd’hui dix années d’expérience
en référencement naturel.
• Il a conseillé plus d’une centaine de sites, dont un grand nombre
de sites à forte audience (Pages Jaunes, Rue du
Commerce, Pixmania, Dailymotion, AuFeminin, LeGuide, Twenga,
Allociné, Ebay, Nokia, Fnac, SFR, Facebook, La Redoute…)
• Il a été notamment Directeur métier puis Directeur Général Adjoint
d’Aposition-Isobar de 2007 à 2010. Il est ensuite revenu chez
l'annonceur, pour travailler à Londres et New-York pendant deux
ans, en tant que Directeur SEO International de Vivastreet, puis en
tant que Directeur SEO International et Directeur Merchandising du
comparateur de prix Twenga.
• Philippe YONNET est le président fondateur de l’association SEO
Camp, qui regroupe les professionnels du référencement des pays
francophones.
– Il est un contributeur régulier de la lettre professionnelle
d’Abondance, et a contribué à plusieurs chapitres du livre
« réussir son référencement » chez Eyrolles
– Il a fondé le principal évènement sur le référencement en
France, les SEO Camp’us
– Il a créé la certification CESEO, qui valide les connaissances
des experts en SEO
C’est quoi un crawler ?
• Deux modes : aspirateur / spider
– Aspirateur : on lui fournit une liste d’urls, que le robot
« aspire » (télécharge) pour alimenter une base de
données
– Spider : on fournit une url de départ au robot, qui analyse
le contenu de la page web, trouve les liens à
l’intérieur, les stocke dans une file d’attente. Puis il
télécharge les nouvelles urls trouvées, trouve d’autres
liens à l’intérieur et ainsi de suite…
• On appelle le processus suivi par le spider le « crawl », et on
appelle aussi les spiders des « crawlers »
5
Web
URLs crawled
and parsed
URLs frontier
Unseen Web
Seed
pages
LES USAGES CLASSIQUES
La détection des liens brisés
• Détection des pages 404
La détection des redirections
• Détection des erreurs 30x
• Objectif : diminuer le volume de 301
• Eliminer les 302
Détection des erreurs
• Détection des erreurs avec Botify
UTILISATION AVANCÉE
Tester les performances du site
• Le temps de téléchargement du code a
une influence sur l’exploration de Google
Tester les performances du site
• Google webmaster tools
ne fournit que des temps
« moyens »
• Un crawler permettra de
comprendre quelles sont
les « scripts » lents et
d’identifier les causes de
ralentissement
Détection des duplicate title et descr
• Exemple avec Screaming Frog
Vérification des plans de taggage
Vérification du duplicate
• Ex avec Botify
Vérification de l’efficacité
de la mise en cache
• Extraction de patterns :
– timestamp de génération de la page vs horodatage du
téléchargement de la page
– Test de requêtes conditionnelles (If modified since et
renvoi de codes 304)
– Etc.
Analyse de la profondeur
• Profondeur : nb de clics nécessaires pour atteindre une
page en cliquant sur des liens
– Exemple ci-dessous : Botify
Pourquoi mesurer la profondeur ?
0
20000
40000
60000
80000
100000
120000
140000
Prof
0
Prof
1
Prof
2
Prof
3
Prof
4
Prof
5
Prof
6
Prof
7
Prof
8
nb urls crawlables non
crawlées
nb urls crawlées
Plus une url est profonde, moins elle reçoit de linkjuice
Plus une url est profonde, moins elle a de Pagerank, moins elle est crawlée
Le rythme de crawl sur Google est
fonction du PR (et d’autres facteurs)
Les prérequis pour le crawler
• Respect du robots.txt
• Gestion du nofollow sur les liens
• Gestion du nofollow dans les balises
meta
• Gestion du x-robots-tag dans les en-têtes
http://
• Gestion des canonical comme des
redirections
Analyse des link rel=canonical
Analyse des liens sortants
• Ex : botify
Diagnostic complet
• Ex avec Botify (tableau de bord)
L’analyse combinée crawl+logs
• Urls crawlables => données par votre crawler
• Urls crawlées par Googlebot => découvertes
dans les logs serveur (User Agent : googlebot)
Home
Cat 1
P1
P2
P3
Cat 2
P1
P2
P3
P4
Cat 3
P1
P2
Votre version
Home
Cat 1
P1
P2
P3
Cat 2
P1
P1bis
P2
P2bis
P3
P4
Cat2bis Cat 3
Version vue par Googlebot
Des urls en moins
Des urls en +
Principe de l’analyse des deux versions
Urls crawlées
par
Google, non
présentes sur le
site :
URLS
parasites, à
bloquer dans
le robots.txt
Urls présentes
sur le site, non
explorées par
Google :
identifier la
cause
Urls OK
présentes
et
crawlées
L’analyse du maillage interne
• Objectif : mesurer les ratios
– Nb de liens entrants vs liens sortants
– Nb de liens sortants internes vs externes
• Indegree = nombre de liens entrants
• La hiérarchie des indegrees doit être
conforme à l’importance des pages
EXEMPLES DE CRAWLERS UTILES
Xenu Link Sleuth
• http://home.snafu.de/tilman/xenulink.html
Link Examiner
• http://www.analogx.com/contents/download/Network/lnkexam/Freewa
re.htm
Siteliner
• http://www.siteliner.com
Screaming Frog
• http://www.screamingfrog.co.uk/seo-spider/
Lucène (java)
• https://lucene.apache.org/
Nutch (java)
• https://nutch.apache.org/
Scrapy (python)
• http://scrapy.org/
80legs
• http://80legs.com/
Deepcrawl
• http://deepcrawl.co.uk/
Botify
• https://fr.botify.com/
DES QUESTIONS ?
Merci !
• Me contacter :
Philippe YONNET
Directeur Général de l’agence Search Foresight
Groupe My Media
55 rue Anatole France – 92300 LEVALLOIS PERRET
Philippe.yonnet@search-foresight.com
Tél : 01 74 18 29 40
Président de l’association SEO Camp
24 avenue Ledru-Rollin 75012 PARIS
Philippe.yonnet@seo-camp.org
http://www.seo-camp.org

Contenu connexe

Tendances

Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017Olivier Andrieu
 
Optimiser son maillage interne pour booster son SEO
Optimiser son maillage interne pour booster son SEOOptimiser son maillage interne pour booster son SEO
Optimiser son maillage interne pour booster son SEOGrégory Florin
 
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team Web
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team WebComprendre le Référencement Naturel et améliorer sa visibilité - La Team Web
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team WebLa Team Web
 
Tendances SEO 2015
Tendances SEO 2015Tendances SEO 2015
Tendances SEO 2015Intuiti
 
Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013Pierre Ammeloot
 
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...Olivier Andrieu
 
Seo Campus Olivier Andrieu
Seo Campus Olivier AndrieuSeo Campus Olivier Andrieu
Seo Campus Olivier Andrieuguest1c98a4
 
Position 0 seocampus 2017 (Featured Snippets)
Position 0 seocampus 2017 (Featured Snippets)Position 0 seocampus 2017 (Featured Snippets)
Position 0 seocampus 2017 (Featured Snippets)DOUCET Raphael
 
SEO : comment obtenir des liens puissants grâce à un contenu décalé
SEO : comment obtenir des liens puissants grâce à un contenu décaléSEO : comment obtenir des liens puissants grâce à un contenu décalé
SEO : comment obtenir des liens puissants grâce à un contenu décaléLaurent Peyrat
 
Guide pratique du référencement - La méthode bee coz
Guide pratique du référencement - La méthode bee cozGuide pratique du référencement - La méthode bee coz
Guide pratique du référencement - La méthode bee cozEdwin Stephenson
 
SEO: Faut il migrer vos sites en https ?
SEO: Faut il migrer vos sites en https ?SEO: Faut il migrer vos sites en https ?
SEO: Faut il migrer vos sites en https ?Camille Thomas
 
Réussir sa refonte de site sans perdre son référencement naturel
Réussir sa refonte de site sans perdre son référencement naturelRéussir sa refonte de site sans perdre son référencement naturel
Réussir sa refonte de site sans perdre son référencement naturelCamille Thomas
 
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?Woptimo
 
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?Reputation VIP
 
Etude de la position 0 (Featured Snippet) sur Google
Etude de la position 0 (Featured Snippet) sur GoogleEtude de la position 0 (Featured Snippet) sur Google
Etude de la position 0 (Featured Snippet) sur GoogleiProspect France
 
ASO - Le Nouvel Eldorado ?
ASO - Le Nouvel Eldorado ? ASO - Le Nouvel Eldorado ?
ASO - Le Nouvel Eldorado ? Thomas LEONETTI
 
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...Peak Ace
 
Le content Marketing : chainon manquant entre SXO et SEO - Digimood
Le content Marketing : chainon manquant entre SXO et SEO - DigimoodLe content Marketing : chainon manquant entre SXO et SEO - Digimood
Le content Marketing : chainon manquant entre SXO et SEO - DigimoodDigimood - Agence SEO / SEA
 

Tendances (20)

Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
 
Optimiser son maillage interne pour booster son SEO
Optimiser son maillage interne pour booster son SEOOptimiser son maillage interne pour booster son SEO
Optimiser son maillage interne pour booster son SEO
 
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team Web
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team WebComprendre le Référencement Naturel et améliorer sa visibilité - La Team Web
Comprendre le Référencement Naturel et améliorer sa visibilité - La Team Web
 
Tendances SEO 2015
Tendances SEO 2015Tendances SEO 2015
Tendances SEO 2015
 
Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013
 
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...
1&1, e-Monsite, Jimdo, Wix, … Les platesformes clés-en-main permettent-elles ...
 
Seo Campus Olivier Andrieu
Seo Campus Olivier AndrieuSeo Campus Olivier Andrieu
Seo Campus Olivier Andrieu
 
Position 0 seocampus 2017 (Featured Snippets)
Position 0 seocampus 2017 (Featured Snippets)Position 0 seocampus 2017 (Featured Snippets)
Position 0 seocampus 2017 (Featured Snippets)
 
SEO : comment obtenir des liens puissants grâce à un contenu décalé
SEO : comment obtenir des liens puissants grâce à un contenu décaléSEO : comment obtenir des liens puissants grâce à un contenu décalé
SEO : comment obtenir des liens puissants grâce à un contenu décalé
 
Guide pratique du référencement - La méthode bee coz
Guide pratique du référencement - La méthode bee cozGuide pratique du référencement - La méthode bee coz
Guide pratique du référencement - La méthode bee coz
 
SEO: Faut il migrer vos sites en https ?
SEO: Faut il migrer vos sites en https ?SEO: Faut il migrer vos sites en https ?
SEO: Faut il migrer vos sites en https ?
 
Réussir sa refonte de site sans perdre son référencement naturel
Réussir sa refonte de site sans perdre son référencement naturelRéussir sa refonte de site sans perdre son référencement naturel
Réussir sa refonte de site sans perdre son référencement naturel
 
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?
Pénalités Google : Google Penguin, Google Panda : quelle stratégie de Google?
 
Le PageRank est mort, vive le TrustRank !
Le PageRank est mort, vive le TrustRank !Le PageRank est mort, vive le TrustRank !
Le PageRank est mort, vive le TrustRank !
 
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?
Netlinking - Quelles stratégies gagnantes ont utilisées ces SEO ?
 
Etude de la position 0 (Featured Snippet) sur Google
Etude de la position 0 (Featured Snippet) sur GoogleEtude de la position 0 (Featured Snippet) sur Google
Etude de la position 0 (Featured Snippet) sur Google
 
ASO - Le Nouvel Eldorado ?
ASO - Le Nouvel Eldorado ? ASO - Le Nouvel Eldorado ?
ASO - Le Nouvel Eldorado ?
 
Du référencement naturel (SEO) au référencement Social (SMO)
Du référencement naturel (SEO) au référencement Social (SMO)Du référencement naturel (SEO) au référencement Social (SMO)
Du référencement naturel (SEO) au référencement Social (SMO)
 
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...
Comment renforcer son profil de backlinks durablement et efficacement ? - Pet...
 
Le content Marketing : chainon manquant entre SXO et SEO - Digimood
Le content Marketing : chainon manquant entre SXO et SEO - DigimoodLe content Marketing : chainon manquant entre SXO et SEO - Digimood
Le content Marketing : chainon manquant entre SXO et SEO - Digimood
 

Similaire à Tuni'SEO 2014 : Utiliser un crawler pour optimiser son site pour le SEO

Utiliser un crawler pour le seo
Utiliser un crawler pour le seoUtiliser un crawler pour le seo
Utiliser un crawler pour le seoPhilippe YONNET
 
Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015Philippe YONNET
 
Analyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & BotifyAnalyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & BotifyPhilippe YONNET
 
Being Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEOBeing Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEODigimood - Agence SEO / SEA
 
La recherche sur Internet: devenez un super chercheur
La recherche sur Internet: devenez un super chercheurLa recherche sur Internet: devenez un super chercheur
La recherche sur Internet: devenez un super chercheurElium
 
Cours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausanneCours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausannePierre Ammeloot
 
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...Marc Akoley
 
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Julien Ferras
 
Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...SEO Camp Association
 
3 piliers du SEO pour son blog
3 piliers du SEO pour son blog3 piliers du SEO pour son blog
3 piliers du SEO pour son blogFélix Piv'
 
Maîtriser les bases du Référencement Naturel (SEO) " Première partie"
Maîtriser les bases du Référencement  Naturel (SEO) " Première partie"Maîtriser les bases du Référencement  Naturel (SEO) " Première partie"
Maîtriser les bases du Référencement Naturel (SEO) " Première partie"Olivier kra kouassi
 
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRINaguib TOIHIRI
 
Les bonnes pratiques SEO expliquées aux Community Managers
Les bonnes pratiques SEO expliquées aux Community ManagersLes bonnes pratiques SEO expliquées aux Community Managers
Les bonnes pratiques SEO expliquées aux Community ManagersVincent Bouvier
 
Workshop/referencement naturel
Workshop/referencement naturelWorkshop/referencement naturel
Workshop/referencement naturelJean-Louis Kalala
 
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-Arvier
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-ArvierLe SEO expliqué aux développeurs - Jean-Baptiste Marchand-Arvier
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-ArvierLa Cuisine du Web
 
Webschool du Jura - Le référencement par Absolute Création
Webschool du Jura - Le référencement par Absolute CréationWebschool du Jura - Le référencement par Absolute Création
Webschool du Jura - Le référencement par Absolute Créationmariejura
 
Donnez de l’amour à votre site pour améliorer votre référencement naturel
Donnez de l’amour à votre site pour améliorer votre référencement naturelDonnez de l’amour à votre site pour améliorer votre référencement naturel
Donnez de l’amour à votre site pour améliorer votre référencement naturelOpen-linking
 

Similaire à Tuni'SEO 2014 : Utiliser un crawler pour optimiser son site pour le SEO (20)

Utiliser un crawler pour le seo
Utiliser un crawler pour le seoUtiliser un crawler pour le seo
Utiliser un crawler pour le seo
 
Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015
 
Analyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & BotifyAnalyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & Botify
 
Being Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEOBeing Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEO
 
La recherche sur Internet: devenez un super chercheur
La recherche sur Internet: devenez un super chercheurLa recherche sur Internet: devenez un super chercheur
La recherche sur Internet: devenez un super chercheur
 
Cours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausanneCours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom Lausanne
 
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
 
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
 
Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...
 
3 piliers du SEO pour son blog
3 piliers du SEO pour son blog3 piliers du SEO pour son blog
3 piliers du SEO pour son blog
 
Referencement moteur de-recherche
Referencement moteur de-rechercheReferencement moteur de-recherche
Referencement moteur de-recherche
 
Maîtriser les bases du Référencement Naturel (SEO) " Première partie"
Maîtriser les bases du Référencement  Naturel (SEO) " Première partie"Maîtriser les bases du Référencement  Naturel (SEO) " Première partie"
Maîtriser les bases du Référencement Naturel (SEO) " Première partie"
 
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI
5 conseils pour optimiser la visibilité de votre site par Naguib TOIHIRI
 
Les bonnes pratiques SEO expliquées aux Community Managers
Les bonnes pratiques SEO expliquées aux Community ManagersLes bonnes pratiques SEO expliquées aux Community Managers
Les bonnes pratiques SEO expliquées aux Community Managers
 
Le SEO expliqué aux Community managers
Le SEO expliqué aux Community managersLe SEO expliqué aux Community managers
Le SEO expliqué aux Community managers
 
Workshop/referencement naturel
Workshop/referencement naturelWorkshop/referencement naturel
Workshop/referencement naturel
 
Outils et KPI utiles à la Migration SEO
Outils et KPI utiles à la Migration SEOOutils et KPI utiles à la Migration SEO
Outils et KPI utiles à la Migration SEO
 
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-Arvier
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-ArvierLe SEO expliqué aux développeurs - Jean-Baptiste Marchand-Arvier
Le SEO expliqué aux développeurs - Jean-Baptiste Marchand-Arvier
 
Webschool du Jura - Le référencement par Absolute Création
Webschool du Jura - Le référencement par Absolute CréationWebschool du Jura - Le référencement par Absolute Création
Webschool du Jura - Le référencement par Absolute Création
 
Donnez de l’amour à votre site pour améliorer votre référencement naturel
Donnez de l’amour à votre site pour améliorer votre référencement naturelDonnez de l’amour à votre site pour améliorer votre référencement naturel
Donnez de l’amour à votre site pour améliorer votre référencement naturel
 

Plus de Tuni' SEO

Zeynel El Glaoui, Digital Strategist chez Mindshare,
Zeynel El Glaoui, Digital Strategist chez Mindshare, Zeynel El Glaoui, Digital Strategist chez Mindshare,
Zeynel El Glaoui, Digital Strategist chez Mindshare, Tuni' SEO
 
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...Tuni' SEO
 
Google Adwords- Fondateur de Mind Fruits
Google Adwords- Fondateur de Mind FruitsGoogle Adwords- Fondateur de Mind Fruits
Google Adwords- Fondateur de Mind FruitsTuni' SEO
 
Gestion de crise Christophe Lamandé – Expert en communication sensible
Gestion de crise Christophe Lamandé – Expert en communication sensibleGestion de crise Christophe Lamandé – Expert en communication sensible
Gestion de crise Christophe Lamandé – Expert en communication sensibleTuni' SEO
 
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...Tuni' SEO
 
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home Serve
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home ServeTransformation digitale - Arnaud Le Roux – Chief Digital Officer Home Serve
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home ServeTuni' SEO
 
Convertir et mieux vendre grâce au maillage interne - Slim Azzabi
Convertir et mieux vendre grâce au maillage interne - Slim AzzabiConvertir et mieux vendre grâce au maillage interne - Slim Azzabi
Convertir et mieux vendre grâce au maillage interne - Slim AzzabiTuni' SEO
 

Plus de Tuni' SEO (7)

Zeynel El Glaoui, Digital Strategist chez Mindshare,
Zeynel El Glaoui, Digital Strategist chez Mindshare, Zeynel El Glaoui, Digital Strategist chez Mindshare,
Zeynel El Glaoui, Digital Strategist chez Mindshare,
 
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...
Stratégie de communication par le contenu - Thomas Salvejio – Head of digital...
 
Google Adwords- Fondateur de Mind Fruits
Google Adwords- Fondateur de Mind FruitsGoogle Adwords- Fondateur de Mind Fruits
Google Adwords- Fondateur de Mind Fruits
 
Gestion de crise Christophe Lamandé – Expert en communication sensible
Gestion de crise Christophe Lamandé – Expert en communication sensibleGestion de crise Christophe Lamandé – Expert en communication sensible
Gestion de crise Christophe Lamandé – Expert en communication sensible
 
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...
Le digital marketing, entre mythes et réalités - Bahia Nar – Consultante soci...
 
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home Serve
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home ServeTransformation digitale - Arnaud Le Roux – Chief Digital Officer Home Serve
Transformation digitale - Arnaud Le Roux – Chief Digital Officer Home Serve
 
Convertir et mieux vendre grâce au maillage interne - Slim Azzabi
Convertir et mieux vendre grâce au maillage interne - Slim AzzabiConvertir et mieux vendre grâce au maillage interne - Slim Azzabi
Convertir et mieux vendre grâce au maillage interne - Slim Azzabi
 

Tuni'SEO 2014 : Utiliser un crawler pour optimiser son site pour le SEO

  • 1. UTILISER UN CRAWLER POUR LE SEO Philippe YONNET Agence Search Foresight – My Media
  • 2. Search Foresight Foresight : définition • “an act or the power of foreseeing” : prescience • “provident care” : prudence et prévoyance • “an act of looking forward” : prospective
  • 3. Philippe YONNET – Directeur de Search Foresight • Philippe YONNET, 46 ans, a aujourd’hui dix années d’expérience en référencement naturel. • Il a conseillé plus d’une centaine de sites, dont un grand nombre de sites à forte audience (Pages Jaunes, Rue du Commerce, Pixmania, Dailymotion, AuFeminin, LeGuide, Twenga, Allociné, Ebay, Nokia, Fnac, SFR, Facebook, La Redoute…) • Il a été notamment Directeur métier puis Directeur Général Adjoint d’Aposition-Isobar de 2007 à 2010. Il est ensuite revenu chez l'annonceur, pour travailler à Londres et New-York pendant deux ans, en tant que Directeur SEO International de Vivastreet, puis en tant que Directeur SEO International et Directeur Merchandising du comparateur de prix Twenga. • Philippe YONNET est le président fondateur de l’association SEO Camp, qui regroupe les professionnels du référencement des pays francophones. – Il est un contributeur régulier de la lettre professionnelle d’Abondance, et a contribué à plusieurs chapitres du livre « réussir son référencement » chez Eyrolles – Il a fondé le principal évènement sur le référencement en France, les SEO Camp’us – Il a créé la certification CESEO, qui valide les connaissances des experts en SEO
  • 4. C’est quoi un crawler ? • Deux modes : aspirateur / spider – Aspirateur : on lui fournit une liste d’urls, que le robot « aspire » (télécharge) pour alimenter une base de données – Spider : on fournit une url de départ au robot, qui analyse le contenu de la page web, trouve les liens à l’intérieur, les stocke dans une file d’attente. Puis il télécharge les nouvelles urls trouvées, trouve d’autres liens à l’intérieur et ainsi de suite… • On appelle le processus suivi par le spider le « crawl », et on appelle aussi les spiders des « crawlers »
  • 5. 5 Web URLs crawled and parsed URLs frontier Unseen Web Seed pages
  • 7. La détection des liens brisés • Détection des pages 404
  • 8. La détection des redirections • Détection des erreurs 30x • Objectif : diminuer le volume de 301 • Eliminer les 302
  • 9. Détection des erreurs • Détection des erreurs avec Botify
  • 11. Tester les performances du site • Le temps de téléchargement du code a une influence sur l’exploration de Google
  • 12. Tester les performances du site • Google webmaster tools ne fournit que des temps « moyens » • Un crawler permettra de comprendre quelles sont les « scripts » lents et d’identifier les causes de ralentissement
  • 13. Détection des duplicate title et descr • Exemple avec Screaming Frog
  • 16. Vérification de l’efficacité de la mise en cache • Extraction de patterns : – timestamp de génération de la page vs horodatage du téléchargement de la page – Test de requêtes conditionnelles (If modified since et renvoi de codes 304) – Etc.
  • 17. Analyse de la profondeur • Profondeur : nb de clics nécessaires pour atteindre une page en cliquant sur des liens – Exemple ci-dessous : Botify
  • 18. Pourquoi mesurer la profondeur ? 0 20000 40000 60000 80000 100000 120000 140000 Prof 0 Prof 1 Prof 2 Prof 3 Prof 4 Prof 5 Prof 6 Prof 7 Prof 8 nb urls crawlables non crawlées nb urls crawlées Plus une url est profonde, moins elle reçoit de linkjuice Plus une url est profonde, moins elle a de Pagerank, moins elle est crawlée
  • 19. Le rythme de crawl sur Google est fonction du PR (et d’autres facteurs)
  • 20. Les prérequis pour le crawler • Respect du robots.txt • Gestion du nofollow sur les liens • Gestion du nofollow dans les balises meta • Gestion du x-robots-tag dans les en-têtes http:// • Gestion des canonical comme des redirections
  • 21. Analyse des link rel=canonical
  • 22. Analyse des liens sortants • Ex : botify
  • 23. Diagnostic complet • Ex avec Botify (tableau de bord)
  • 24. L’analyse combinée crawl+logs • Urls crawlables => données par votre crawler • Urls crawlées par Googlebot => découvertes dans les logs serveur (User Agent : googlebot) Home Cat 1 P1 P2 P3 Cat 2 P1 P2 P3 P4 Cat 3 P1 P2 Votre version Home Cat 1 P1 P2 P3 Cat 2 P1 P1bis P2 P2bis P3 P4 Cat2bis Cat 3 Version vue par Googlebot Des urls en moins Des urls en +
  • 25. Principe de l’analyse des deux versions Urls crawlées par Google, non présentes sur le site : URLS parasites, à bloquer dans le robots.txt Urls présentes sur le site, non explorées par Google : identifier la cause Urls OK présentes et crawlées
  • 26. L’analyse du maillage interne • Objectif : mesurer les ratios – Nb de liens entrants vs liens sortants – Nb de liens sortants internes vs externes • Indegree = nombre de liens entrants • La hiérarchie des indegrees doit être conforme à l’importance des pages
  • 28. Xenu Link Sleuth • http://home.snafu.de/tilman/xenulink.html
  • 39. Merci ! • Me contacter : Philippe YONNET Directeur Général de l’agence Search Foresight Groupe My Media 55 rue Anatole France – 92300 LEVALLOIS PERRET Philippe.yonnet@search-foresight.com Tél : 01 74 18 29 40 Président de l’association SEO Camp 24 avenue Ledru-Rollin 75012 PARIS Philippe.yonnet@seo-camp.org http://www.seo-camp.org