SlideShare une entreprise Scribd logo
SEO – Votre priorité 2018
optimiser les performances de votre site Web
Actualités SEO, Content marketing et E-commerce, Google Shopping, Crawl…
1
BIENVENUE
#S4sight2017
@s4sight
Auditorium Nexity, ParisJeudi 7 décembre 2017
Petit Déjeuner SEOSEA
Matinée Conférences
SEO / SEA : le Search évolue,
changez votre vision du Search
Actualité SEO SEA, Mobile First Index, Gestion des Evénements saisonniers en SEO…
La vérité sur le budget de
crawl
07/12/2017
2
3
Le budget de crawl ?
Quelques phrases entendues ici ou là
Il faut supprimer ces pages pour économiser
votre budget de crawl
Votre budget de crawl est fixe, donc il faut
empêcher Google d’aller sur vos pages
inutiles pour qu’il aille sur vos pages utiles
Votre budget de crawl est limité
Tout cela est fondamentalement faux.
La vérité est… ailleurs
4
Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
Le crawl pour les nuls
5
Le process de crawl et d’indexation
6
Le travail du crawler
Un crawler découvre des uls en
téléchargeant des pages web et en
en extrayant de nouvelles urls
Ces urls sont placées en file d’attente
pour être ensuite téléchargées à leur
tour
Et le process se poursuit jusqu’à
épuisement des urls (ou pas)
7
Urls connues, crawlées, et … les autres
La notion de frontière de crawl
8
Un crawler se doit d’être poli avec les serveurs web
Le crawler doit éviter de demander trop de
ressources trop souvent
Le crawler doit respecter les directives
Du robots.txt
De la meta robots ou de la x-robots-tag
Des attributs nofollow
9
Le crawl « programmé »
C’était le fonctionnement de Google au
début
Google crawlait tous les mois toutes les urls
de la file d’attente constituée le mois
d’avant, de la première à la dernière
Combinait un « full crawl » (deep crawl) et un
« incremental crawl » (fresh crawl) pour gagner
en fraîcheur
Procédé simple, mais qui ne garantit pas la
fraicheur, plus le volume
Parfois appelé crawl fini ou fermé
10
Le crawl infini ou continu
Le crawler ne s’arrête plus, il crawle et
recrawle en permanence en fonction des
priorités de crawl
C’est le fonctionnement actuel
L’ordonnanceur devient un outil sophistiqué
11
L’ordonnanceur (scheduler)
L’ordonnanceur décide de télécharger les
urls selon un ordre de priorité
Le niveau de priorité est donné par une
« note d’importance » de la page
12
Petite histoire des crawlers de Google
13
Phase 1 : crawl fermé
Google crawle une liste d’urls finie chaque mois. Le crawl dure une dizaine de
jours, puis crée ses index, calcule ses critères (dont le pagerank), puis déploie
son nouvel index sur ses datacenters progressivement
Phase 2 : crawl ouvert -> 2004 ?
Passage à un crawl « infini » : le crawler crawle indéfiniment, en suivant un
ordre de priorité défini par l’ordonnanceur (été 2004 ?)
Phase 3 : infrastructure Bigdaddy (fin 2005 – début 2006)
Plus grosse capacité à crawler et indexer, crawl en couches, exploitation de
bigTable
Phase 4 : Fusion des bots
Chaque moteur vertical ou fonctionnalité avait abouti à la création d’un bot
spécifique pour chaque utilisation => vers un bot unique qui sert tous les
outils avec des user agents parfois différents
Phase 5 : Caffeine 2009
Nouvelle architecture, fin du crawl par « couches », crawl prédictif et plus
intellige
Phase 6 : Hummingbird
Expansion de requêtes sémantiques
Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
La notion de budget de
crawl
14
La définition de Google
Le budget de crawl correspond à ce que
Google peut et veut crawler
Peut crawler : les ressources de Google et du
serveur web sont limitées, et le temps aussi
Veut crawler : Google crawle certaines urls en
priorité et ignore les autres
https://webmasters.googleblog.com/2017
/01/what-crawl-budget-means-for-
googlebot.html
Les principaux critères pris en compte
Fraicheur
Qualité (du point de vue de l’expérience de
recherche)
Popularité
Rappel (volume)
Le crawl est priorisé en fonction des critères qui maximisent la qualité de l’index collecté
16
Le pagerank
C’est LE critère qui a le plus d’influence sur le
comportement de Crawl
Google crawle en priorité les pages qu’il
estime importantes, donc populaires
Augmenter et diminuer le pagerank,
contribue à augmenter ou diminuer le
budget de crawl
17
La profondeur a un impact négatif
Plus une page est profonde,
plus son pagerank interne est
faible
Une page dont le pagerank est
faible a moins de chances
d’être crawlée, ou est crawlée
moins fréquemment
Conclusion, plus une page est
profonde, moins elle est
crawlée
Cela se vérifie quasi
systématiquement
18
0
20000
40000
60000
80000
100000
120000
140000
Prof
0
Prof
1
Prof
2
Prof
3
Prof
4
Prof
5
Prof
6
Prof
7
Prof
8
nb urls
crawlables non
crawlées
nb urls
crawlées
La notion de fraicheur
Google cherche à maximiser la fraicheur de
son index
La « fraicheur » n’a rien à voir avec l’âge de
la page. Si on considère une seule page :
Soit l’index correspond à l’état de la page sur le
site -> la page en index est « fraiche »
Soit la version indexée est obsolète -> la page
n’est plus fraiche
La fraicheur de l’index mesure la proportion
de pages dans l’index qui ne sont pas
obsolètes
Dans le même temps, maintenir un age
moyen des pages bas augmente la fraicheur
19
Comment maximiser la fraicheur ?
20
La qualité de la « search experience »
21
Le rappel : crawler plus de pages
22
L’impact des performances sur le crawl
Baisser le temps de
téléchargement du code peut
améliorer sensiblement le taux
de pages crawlées et la
fréquence de recrawl
Attention, les chiffres fournis par
Google sont très difficiles à
interpréter
Pas de distinction crawl unique /
recrawl
Temps de téléchargement moyens !
Et le recrawl
23
Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
Idées reçues et vraies
solutions
24
Mon budget de crawl est limité …
Pas vraiment : si le score de priorité de vos pages augmente, Google
les crawlera plus souvent et plus systématiquement
L’inverse est vrai aussi
Si j’empêche Google de crawler des pages « inutiles », il n’ira pas
forcément crawler les pages « utiles »
LA BONNE APPROCHE :
Si je trouve que Google ne crawle pas tout mon contenu, ou pas au
bon rythme
Il faut augmenter les scores de priorité
Ne surtout pas essayer le bot herding
Ces urls consomment mon budget de crawl…
En fait ce n’est pas toujours vrai
Quelques cas où c’est vrai :
Si des urls pointent vers des doublons, les éliminer
augmentera le score de priorité des autres pages
(note de qualité)
Si des pages listings (facettes) sont trop nombreuses,
les bloquer renforcera le taux de pages produits
crawlés (augmentation du pagerank)
Les cas où ce n’est pas vrai
Supprimer les pages inactives sur un site web
Le pagerank interne diminue fortement
localement et globalement, ce qui diminuera le
budget de crawl
Supprimer les pages de pagination
En général, cela gêne le crawl, cela ne le facilite
pas. Il faut garder ces pages et optimiser
l’arborescence
26
Modifier les pages régulièrement augmente le
rythme de recrawl…
En général, non
C’est efficace uniquement si Google pense
que crawler ces pages plus souvent améliore
la fraicheur de son index, les modifications
artificielles ont peu d’impact visible sur le
comportement du bot
Il faut se demander si la page répond ou non
à des requêtes QDF (Query Deserves
Freshness)
Requêtes liés à l’actualité
Requêtes appelant des pages dont le contenu doit
être récent
Requêtes sur les prix, les promos
Requêtes sur des infos à faible durée de vie
(sites d’annonces)
27
Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
Contrôler le rythme de
recrawl
28
Ce qui ne marche pas
Le paramètre « crawl delay » dans le robots.txt
Google n’en tient pas compte, surtout si vous voulez accélérer le
crawl
La meta « revisit-after »
Les balises <priority> dans les sitemaps
Le contrôle via la search console
Paramètre disponible dans les paramètres de site (la roue crénelée en haut à droite)
Ne pas diminuer la vitesse sauf si le serveur est surchargé
Si vous diminuez la vitesse d’exploration, pensez à remettre le paramètre à la normale après !
Si vous augmentez la vitesse d’exploration, Google augmentera le rythme de crawl… ou pas
Cela ne fonctionne vraiment pas à tous les coups (il faut que vos pages aient de bons scores
d’importance)
30
La gestion des paramètres dans la GSC
Peut remplacer le blocage dans le robots.txt pour les doublons qui peuvent consommer le
budget de crawl
Mais cela ne marche que pour les paramètres …
Une fonctionnalité souvent oubliée
31
« Pinger » Google
Il est possible de « pinger » Google pour
accélérer la découverte des pages
Le plus efficace semble de se servir du
service PubHubSub et des Feeds RSS pour
les urls
Marche évidemment pour les sitemaps au
format RSS
32
La gestion des 304
On peut faciliter de façon impressionnante
le crawl de Google en supportant les
requêtes conditionnelles pour « if-modified-
since »
Avec la même bande passante, un crawler
pourra mettre à jour votre site beaucoup
plus rapidement
Le gain n’est observable que pour des très
gros sites (à partir de dizaines, voire de
centaines de milliers d’urls et +)
33
Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
Conclusion
34
On peut augmenter son budget de crawl !
Pour exprimer tout le potentiel du site, il faut que 100% des urls utiles soient crawlables et
crawlées
La meilleure façon d’augmenter le taux de pages utiles crawlées, c’est d’augmenter les notes
de priorité des pages
Au total, cela se traduira par un budget de crawl augmenté
Le budget de crawl n’est pas une quantité figée, il reflète un comportement complexe qui
résulte de la prise en compte :
De contraintes techniques : politeness, bande passante, performances du site etc.
De l’intérêt des pages pour l’index : fraicheur, qualité, intérêt pour l’expérience de recherche
(pertinence)
Merci !
Et maintenant, à
vos questions
36
Restons en contact
Philippe YONNET | CEO
philippe.yonnet@search-foresight.com
+33 1 74 18 29 40
Slideshare.net/S4sight
@S4sight | @Cariboo_seo
www.search-foresight.com
37

Contenu connexe

Tendances

Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 ParisActualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Peak Ace
 
Event sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaineEvent sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaine
Peak Ace
 
Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018
Aymen Loukil
 
La casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfaitLa casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfait
Aymeric Bouillat
 
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Peak Ace
 
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
David Dragesco
 
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEASEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
Digimood - Agence SEO / SEA
 
Mises à jour Google : conseils SEO
Mises à jour Google : conseils SEOMises à jour Google : conseils SEO
Mises à jour Google : conseils SEO
Benjamin Thiers
 
Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?
RESONEO
 
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
Peak Ace
 
Petit dejeuner sf 180419 actualite seo sea
Petit dejeuner sf 180419   actualite seo seaPetit dejeuner sf 180419   actualite seo sea
Petit dejeuner sf 180419 actualite seo sea
Peak Ace
 
Event sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinkingEvent sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinking
Peak Ace
 
Connaissances SEO basique par www.seo-hero.fr
Connaissances SEO basique par www.seo-hero.frConnaissances SEO basique par www.seo-hero.fr
Connaissances SEO basique par www.seo-hero.fr
SEO-HERO
 
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO DigimoodSEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
Digimood - Agence SEO / SEA
 
L'incidence des Performances sur le SEO
 L'incidence des Performances sur le SEO L'incidence des Performances sur le SEO
L'incidence des Performances sur le SEO
Peak Ace
 
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Peak Ace
 
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
SEARCH Y - Philippe Yonnet Evénements
 
SEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA DigimoodSEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA Digimood
Digimood - Agence SEO / SEA
 
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Peak Ace
 
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Peak Ace
 

Tendances (20)

Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 ParisActualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
 
Event sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaineEvent sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaine
 
Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018
 
La casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfaitLa casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfait
 
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
 
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
 
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEASEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
 
Mises à jour Google : conseils SEO
Mises à jour Google : conseils SEOMises à jour Google : conseils SEO
Mises à jour Google : conseils SEO
 
Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?
 
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
Les clés de la réussite d’une stratégie de contenu efficace - Textbroker - 22...
 
Petit dejeuner sf 180419 actualite seo sea
Petit dejeuner sf 180419   actualite seo seaPetit dejeuner sf 180419   actualite seo sea
Petit dejeuner sf 180419 actualite seo sea
 
Event sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinkingEvent sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinking
 
Connaissances SEO basique par www.seo-hero.fr
Connaissances SEO basique par www.seo-hero.frConnaissances SEO basique par www.seo-hero.fr
Connaissances SEO basique par www.seo-hero.fr
 
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO DigimoodSEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
 
L'incidence des Performances sur le SEO
 L'incidence des Performances sur le SEO L'incidence des Performances sur le SEO
L'incidence des Performances sur le SEO
 
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
 
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
SEARCH Y - Véronique Duong - Astuces pour se référencer dans Baidu, Qihoo 360...
 
SEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA DigimoodSEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA Digimood
 
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
 
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
 

Similaire à La vérité sur le budget de crawl - Philippe Yonnet - Petit déjeuner du 7-12-2017 - Paris

Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Julien Ferras
 
Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...
SEO Camp Association
 
Quelles sont les tendances digitales de 2016 ?
Quelles sont les tendances digitales de 2016 ?Quelles sont les tendances digitales de 2016 ?
Quelles sont les tendances digitales de 2016 ?
Powertrafic
 
Being Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEOBeing Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEO
Digimood - Agence SEO / SEA
 
Seo 10 clés pour plaire à Google
Seo   10 clés pour plaire à GoogleSeo   10 clés pour plaire à Google
Seo 10 clés pour plaire à Google
Keyweo
 
Cours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausanneCours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom Lausanne
Pierre Ammeloot
 
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Peak Ace
 
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
Yellow Dolphins
 
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
AT Internet
 
Le guide du référencement
Le guide du référencement Le guide du référencement
Le guide du référencement
agencecsv
 
Comprendre les grands principes du référencement naturel
Comprendre les grands principes du référencement naturelComprendre les grands principes du référencement naturel
Comprendre les grands principes du référencement naturel
polenumerique33
 
ReferencementNaturel.pptx
ReferencementNaturel.pptxReferencementNaturel.pptx
ReferencementNaturel.pptx
AymaneKhadiri1
 
Améliorer son référencement naturel
Améliorer son référencement naturelAméliorer son référencement naturel
Améliorer son référencement naturel
agencecsv
 
Relancer votre stratégie de contenu et bosster votre trafic seo
Relancer votre stratégie de contenu et bosster votre trafic seoRelancer votre stratégie de contenu et bosster votre trafic seo
Relancer votre stratégie de contenu et bosster votre trafic seo
Quentin Clément
 
Dossier de référencement - DU communication
Dossier de référencement -  DU communicationDossier de référencement -  DU communication
Dossier de référencement - DU communication
Pierre-Marie Poirier
 
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentrepriseCompetitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
COMPETITIC
 
Flattez google gagnez_des_visiteurs
Flattez google gagnez_des_visiteursFlattez google gagnez_des_visiteurs
Flattez google gagnez_des_visiteurs
TacTicWEB
 
Le searchdexing - utiliser son moteur de recherche interne pour le SEO
Le searchdexing - utiliser son moteur de  recherche interne pour le SEOLe searchdexing - utiliser son moteur de  recherche interne pour le SEO
Le searchdexing - utiliser son moteur de recherche interne pour le SEO
Peak Ace
 
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Peak Ace
 

Similaire à La vérité sur le budget de crawl - Philippe Yonnet - Petit déjeuner du 7-12-2017 - Paris (20)

Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
 
Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...
 
Seo camp ..
Seo camp ..Seo camp ..
Seo camp ..
 
Quelles sont les tendances digitales de 2016 ?
Quelles sont les tendances digitales de 2016 ?Quelles sont les tendances digitales de 2016 ?
Quelles sont les tendances digitales de 2016 ?
 
Being Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEOBeing Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEO
 
Seo 10 clés pour plaire à Google
Seo   10 clés pour plaire à GoogleSeo   10 clés pour plaire à Google
Seo 10 clés pour plaire à Google
 
Cours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausanneCours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom Lausanne
 
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
 
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
Présentation du Webinar SEMrush par Isabelle Canivet - 60canards
 
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
Présentation partenaire OnCrawl - Comment ouvrir l’Appétit des Moteurs de Rec...
 
Le guide du référencement
Le guide du référencement Le guide du référencement
Le guide du référencement
 
Comprendre les grands principes du référencement naturel
Comprendre les grands principes du référencement naturelComprendre les grands principes du référencement naturel
Comprendre les grands principes du référencement naturel
 
ReferencementNaturel.pptx
ReferencementNaturel.pptxReferencementNaturel.pptx
ReferencementNaturel.pptx
 
Améliorer son référencement naturel
Améliorer son référencement naturelAméliorer son référencement naturel
Améliorer son référencement naturel
 
Relancer votre stratégie de contenu et bosster votre trafic seo
Relancer votre stratégie de contenu et bosster votre trafic seoRelancer votre stratégie de contenu et bosster votre trafic seo
Relancer votre stratégie de contenu et bosster votre trafic seo
 
Dossier de référencement - DU communication
Dossier de référencement -  DU communicationDossier de référencement -  DU communication
Dossier de référencement - DU communication
 
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentrepriseCompetitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
Competitic - Référencement - jeunes entrepreneurs - lenumeriquepourmonentreprise
 
Flattez google gagnez_des_visiteurs
Flattez google gagnez_des_visiteursFlattez google gagnez_des_visiteurs
Flattez google gagnez_des_visiteurs
 
Le searchdexing - utiliser son moteur de recherche interne pour le SEO
Le searchdexing - utiliser son moteur de  recherche interne pour le SEOLe searchdexing - utiliser son moteur de  recherche interne pour le SEO
Le searchdexing - utiliser son moteur de recherche interne pour le SEO
 
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
 

Plus de Peak Ace

SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptxSEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
Peak Ace
 
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptxSEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
Peak Ace
 
Event sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus paginesEvent sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus pagines
Peak Ace
 
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Peak Ace
 
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Peak Ace
 
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Peak Ace
 
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Peak Ace
 
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Peak Ace
 
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
Peak Ace
 
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
Peak Ace
 
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Peak Ace
 
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
Peak Ace
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Peak Ace
 
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Peak Ace
 
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie VidalinMobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Peak Ace
 
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Peak Ace
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Peak Ace
 
Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...
Peak Ace
 
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobreActualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Peak Ace
 
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
Peak Ace
 

Plus de Peak Ace (20)

SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptxSEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
 
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptxSEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
 
Event sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus paginesEvent sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus pagines
 
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
 
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
 
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
 
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
 
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
 
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
 
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
 
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
 
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
 
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
 
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie VidalinMobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
 
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
 
Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...
 
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobreActualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
 
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
La qualité des pages selon Google - SEO CAMP DAY LORRAINE 2018
 

La vérité sur le budget de crawl - Philippe Yonnet - Petit déjeuner du 7-12-2017 - Paris

  • 1. SEO – Votre priorité 2018 optimiser les performances de votre site Web Actualités SEO, Content marketing et E-commerce, Google Shopping, Crawl… 1 BIENVENUE #S4sight2017 @s4sight Auditorium Nexity, ParisJeudi 7 décembre 2017 Petit Déjeuner SEOSEA Matinée Conférences SEO / SEA : le Search évolue, changez votre vision du Search Actualité SEO SEA, Mobile First Index, Gestion des Evénements saisonniers en SEO…
  • 2. La vérité sur le budget de crawl 07/12/2017 2
  • 3. 3 Le budget de crawl ?
  • 4. Quelques phrases entendues ici ou là Il faut supprimer ces pages pour économiser votre budget de crawl Votre budget de crawl est fixe, donc il faut empêcher Google d’aller sur vos pages inutiles pour qu’il aille sur vos pages utiles Votre budget de crawl est limité Tout cela est fondamentalement faux. La vérité est… ailleurs 4
  • 5. Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics Le crawl pour les nuls 5
  • 6. Le process de crawl et d’indexation 6
  • 7. Le travail du crawler Un crawler découvre des uls en téléchargeant des pages web et en en extrayant de nouvelles urls Ces urls sont placées en file d’attente pour être ensuite téléchargées à leur tour Et le process se poursuit jusqu’à épuisement des urls (ou pas) 7
  • 8. Urls connues, crawlées, et … les autres La notion de frontière de crawl 8
  • 9. Un crawler se doit d’être poli avec les serveurs web Le crawler doit éviter de demander trop de ressources trop souvent Le crawler doit respecter les directives Du robots.txt De la meta robots ou de la x-robots-tag Des attributs nofollow 9
  • 10. Le crawl « programmé » C’était le fonctionnement de Google au début Google crawlait tous les mois toutes les urls de la file d’attente constituée le mois d’avant, de la première à la dernière Combinait un « full crawl » (deep crawl) et un « incremental crawl » (fresh crawl) pour gagner en fraîcheur Procédé simple, mais qui ne garantit pas la fraicheur, plus le volume Parfois appelé crawl fini ou fermé 10
  • 11. Le crawl infini ou continu Le crawler ne s’arrête plus, il crawle et recrawle en permanence en fonction des priorités de crawl C’est le fonctionnement actuel L’ordonnanceur devient un outil sophistiqué 11
  • 12. L’ordonnanceur (scheduler) L’ordonnanceur décide de télécharger les urls selon un ordre de priorité Le niveau de priorité est donné par une « note d’importance » de la page 12
  • 13. Petite histoire des crawlers de Google 13 Phase 1 : crawl fermé Google crawle une liste d’urls finie chaque mois. Le crawl dure une dizaine de jours, puis crée ses index, calcule ses critères (dont le pagerank), puis déploie son nouvel index sur ses datacenters progressivement Phase 2 : crawl ouvert -> 2004 ? Passage à un crawl « infini » : le crawler crawle indéfiniment, en suivant un ordre de priorité défini par l’ordonnanceur (été 2004 ?) Phase 3 : infrastructure Bigdaddy (fin 2005 – début 2006) Plus grosse capacité à crawler et indexer, crawl en couches, exploitation de bigTable Phase 4 : Fusion des bots Chaque moteur vertical ou fonctionnalité avait abouti à la création d’un bot spécifique pour chaque utilisation => vers un bot unique qui sert tous les outils avec des user agents parfois différents Phase 5 : Caffeine 2009 Nouvelle architecture, fin du crawl par « couches », crawl prédictif et plus intellige Phase 6 : Hummingbird Expansion de requêtes sémantiques
  • 14. Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics La notion de budget de crawl 14
  • 15. La définition de Google Le budget de crawl correspond à ce que Google peut et veut crawler Peut crawler : les ressources de Google et du serveur web sont limitées, et le temps aussi Veut crawler : Google crawle certaines urls en priorité et ignore les autres https://webmasters.googleblog.com/2017 /01/what-crawl-budget-means-for- googlebot.html
  • 16. Les principaux critères pris en compte Fraicheur Qualité (du point de vue de l’expérience de recherche) Popularité Rappel (volume) Le crawl est priorisé en fonction des critères qui maximisent la qualité de l’index collecté 16
  • 17. Le pagerank C’est LE critère qui a le plus d’influence sur le comportement de Crawl Google crawle en priorité les pages qu’il estime importantes, donc populaires Augmenter et diminuer le pagerank, contribue à augmenter ou diminuer le budget de crawl 17
  • 18. La profondeur a un impact négatif Plus une page est profonde, plus son pagerank interne est faible Une page dont le pagerank est faible a moins de chances d’être crawlée, ou est crawlée moins fréquemment Conclusion, plus une page est profonde, moins elle est crawlée Cela se vérifie quasi systématiquement 18 0 20000 40000 60000 80000 100000 120000 140000 Prof 0 Prof 1 Prof 2 Prof 3 Prof 4 Prof 5 Prof 6 Prof 7 Prof 8 nb urls crawlables non crawlées nb urls crawlées
  • 19. La notion de fraicheur Google cherche à maximiser la fraicheur de son index La « fraicheur » n’a rien à voir avec l’âge de la page. Si on considère une seule page : Soit l’index correspond à l’état de la page sur le site -> la page en index est « fraiche » Soit la version indexée est obsolète -> la page n’est plus fraiche La fraicheur de l’index mesure la proportion de pages dans l’index qui ne sont pas obsolètes Dans le même temps, maintenir un age moyen des pages bas augmente la fraicheur 19
  • 20. Comment maximiser la fraicheur ? 20
  • 21. La qualité de la « search experience » 21
  • 22. Le rappel : crawler plus de pages 22
  • 23. L’impact des performances sur le crawl Baisser le temps de téléchargement du code peut améliorer sensiblement le taux de pages crawlées et la fréquence de recrawl Attention, les chiffres fournis par Google sont très difficiles à interpréter Pas de distinction crawl unique / recrawl Temps de téléchargement moyens ! Et le recrawl 23
  • 24. Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics Idées reçues et vraies solutions 24
  • 25. Mon budget de crawl est limité … Pas vraiment : si le score de priorité de vos pages augmente, Google les crawlera plus souvent et plus systématiquement L’inverse est vrai aussi Si j’empêche Google de crawler des pages « inutiles », il n’ira pas forcément crawler les pages « utiles » LA BONNE APPROCHE : Si je trouve que Google ne crawle pas tout mon contenu, ou pas au bon rythme Il faut augmenter les scores de priorité Ne surtout pas essayer le bot herding
  • 26. Ces urls consomment mon budget de crawl… En fait ce n’est pas toujours vrai Quelques cas où c’est vrai : Si des urls pointent vers des doublons, les éliminer augmentera le score de priorité des autres pages (note de qualité) Si des pages listings (facettes) sont trop nombreuses, les bloquer renforcera le taux de pages produits crawlés (augmentation du pagerank) Les cas où ce n’est pas vrai Supprimer les pages inactives sur un site web Le pagerank interne diminue fortement localement et globalement, ce qui diminuera le budget de crawl Supprimer les pages de pagination En général, cela gêne le crawl, cela ne le facilite pas. Il faut garder ces pages et optimiser l’arborescence 26
  • 27. Modifier les pages régulièrement augmente le rythme de recrawl… En général, non C’est efficace uniquement si Google pense que crawler ces pages plus souvent améliore la fraicheur de son index, les modifications artificielles ont peu d’impact visible sur le comportement du bot Il faut se demander si la page répond ou non à des requêtes QDF (Query Deserves Freshness) Requêtes liés à l’actualité Requêtes appelant des pages dont le contenu doit être récent Requêtes sur les prix, les promos Requêtes sur des infos à faible durée de vie (sites d’annonces) 27
  • 28. Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics Contrôler le rythme de recrawl 28
  • 29. Ce qui ne marche pas Le paramètre « crawl delay » dans le robots.txt Google n’en tient pas compte, surtout si vous voulez accélérer le crawl La meta « revisit-after » Les balises <priority> dans les sitemaps
  • 30. Le contrôle via la search console Paramètre disponible dans les paramètres de site (la roue crénelée en haut à droite) Ne pas diminuer la vitesse sauf si le serveur est surchargé Si vous diminuez la vitesse d’exploration, pensez à remettre le paramètre à la normale après ! Si vous augmentez la vitesse d’exploration, Google augmentera le rythme de crawl… ou pas Cela ne fonctionne vraiment pas à tous les coups (il faut que vos pages aient de bons scores d’importance) 30
  • 31. La gestion des paramètres dans la GSC Peut remplacer le blocage dans le robots.txt pour les doublons qui peuvent consommer le budget de crawl Mais cela ne marche que pour les paramètres … Une fonctionnalité souvent oubliée 31
  • 32. « Pinger » Google Il est possible de « pinger » Google pour accélérer la découverte des pages Le plus efficace semble de se servir du service PubHubSub et des Feeds RSS pour les urls Marche évidemment pour les sitemaps au format RSS 32
  • 33. La gestion des 304 On peut faciliter de façon impressionnante le crawl de Google en supportant les requêtes conditionnelles pour « if-modified- since » Avec la même bande passante, un crawler pourra mettre à jour votre site beaucoup plus rapidement Le gain n’est observable que pour des très gros sites (à partir de dizaines, voire de centaines de milliers d’urls et +) 33
  • 34. Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics Conclusion 34
  • 35. On peut augmenter son budget de crawl ! Pour exprimer tout le potentiel du site, il faut que 100% des urls utiles soient crawlables et crawlées La meilleure façon d’augmenter le taux de pages utiles crawlées, c’est d’augmenter les notes de priorité des pages Au total, cela se traduira par un budget de crawl augmenté Le budget de crawl n’est pas une quantité figée, il reflète un comportement complexe qui résulte de la prise en compte : De contraintes techniques : politeness, bande passante, performances du site etc. De l’intérêt des pages pour l’index : fraicheur, qualité, intérêt pour l’expérience de recherche (pertinence)
  • 36. Merci ! Et maintenant, à vos questions 36
  • 37. Restons en contact Philippe YONNET | CEO philippe.yonnet@search-foresight.com +33 1 74 18 29 40 Slideshare.net/S4sight @S4sight | @Cariboo_seo www.search-foresight.com 37