SlideShare une entreprise Scribd logo
1  sur  36
Télécharger pour lire hors ligne
Lille 16/11/17
Lille 16/11/17
J’adore que Google vous donne de l’importance…
ERLE
ALBERTON
CUSTOMER
SUcCESS manager
10 ans de dev / 5 ans de SEO dont 2
ans en tant que responsable SEO des
boutiques en ligne Orange et Sosh
spécialiste schema.org
seo monk
ONCRAWL
TRAinER
customer climax
Lille 16/11/17
www.oncrawl.comwww.oncrawl.com
We help Ecommerce & Online media take
better SEO decisions and grow their revenues
By providing access to the Most Advanced SEO Software
Semantic
SEO Crawler
Comprehensive
Log Analyser
API & Platform
to combined all
website’s data
Lille 16/11/17
+500 Happy Customers
Lille 16/11/17
Plan de vol
1. Comment fonctionne Google
2. Crawl Budget & Page Importance
3. Comment suivre les variations du crawl
4. Best practices d’optimisation
Lille 16/11/17
Comment fonctionne Google ?
Google est un moteur de réponse, son objectif est d’être le plus
pertinent, complet et à jour possible
Google n’est qu’un ensemble d’algorithmes qui sont exécutés sur
des machines consommant de l’énergie… cette consommation
d’énergie à un coût qui doit être optimisé
Lille 16/11/17
Google consomme annuellement
autant d’énergie que la ville de
San Francisco
Lille 16/11/17
• Google possède un index colossal, il ne peut pas tout crawler tout le temps
• Pour avoir la meilleure réponse il faut connaitre toutes les pages - découverte
• Pour avoir la meilleure réponse il faut la dernière version de la page - indexation
GOOGLE KEY INSIGHTS
Google n’est pas philanthrope,
il doit optimiser ses coûts de traitement…
Lille 16/11/17
Plus une page est utile pour la découverte
de nouvelles URLs ou est mise à jour plus
Google la visite
Plus une page est crawlée plus elle est à
jour dans l’index
Plus une page est à jour dans l’index plus
la réponse à la requête est qualifiée
Fréquence de Crawl et
Ranking sont liés
Lille 16/11/17
Crawl Budget
C’est le crédit que Google alloue
à l’ensemble de ses robots pour
parcourir les URLs d’un site web
Lille 16/11/17
Répartition des hits par bot (1 journée / granularité 10min) :
Mediapartners-Google
Adsbot-Google desktop
Googlebot 2.1 desktop
Googlebot 2.1 mobile
Adsbot-Google Mobile
Le crawl budget est réparti entre tous les bots Google
Lille 16/11/17
Quelles sont les pages les plus « importantes » ?
Lille 16/11/17
Comment fonctionne
le crawl de Google?
Lille 16/11/17
Les brevets d’optimisation de crawl
• US 8666964 B1 : Managing items in crawl schedule
• US 8707312 B1 : Document reuse in a search engine crawler
• US 8037054 B2 : Web crawler scheduler that utilizes sitemaps from websites
• US 7305610 B1 : Distributed crawling of hyperlinked documents
• US 8407204 B2 : Minimizing visibility of stale content in web searching including
revisine web crawl intervals of documents
• US 8386459 B1 : Scheduling a recrawl
• US 8042112 B1 : Scheduler for search engine crawler
www.google.com/patents
Lille 16/11/17
Schedulers : Définir une liste des urls à crawler pour la session de crawl
Crawlers : Vérifier quelles URLs sont autorisées au crawl
Chaque session de crawl commence par un hit sur le robots.txt, puis sur les
sitemaps.xml, enfin les crawlers dépilent la liste des URLs à analyser
Cette liste d’url, conçue à l’avance, est établie grâce à un algorithme qui classe
les pages en fonction d’un score d’importance
Optimiser la liste des URLs à crawler en connaissant les métriques
utilises pour le calcul de page importance
Comment fonctionne le crawl de Google
www.google.com/search/howsearchworks/crawling-indexing/
Lille 16/11/17
Page importance
C’est un score qui est affecté à chaque
page pour évaluer sa place dans la liste
des URLs à analyser
fr.oncrawl.com/2017/page-importance-google/
Lille 16/11/17
Calcul de la « Page Importance »
La notion de « Page Importance » n’est pas le Page Rank
• Localisation de la page dans le site – a profondeur sur le taux de crawl
• Page Rank : TF/CF de la page - Majestic
• Le Page Rank interne – InRank OnCrawl
• Type de document : PDF, HTML, TXT
• L’inclusion dans le sitemap.xml
• Le nombre de liens internes
• La variation des ancres
• Contenu de qualité : nombre de mots, peu de duplication
• L’importance de la page mère : les pages les plus près de la HP seront
favorisées
Il faut appliquer aux pages les plus importantes
toutes ces règles pour favoriser
le crawl de Google
Lille 16/11/17
Comment suivre
les variations du crawl ?
L’analyse des logs serveur et le croisement des données de crawl
permettent de comprendre :
Quels sont les facteurs déclencheurs du crawl de Google?
Lille 16/11/17
Traquer Google lors de sa visite avec les fichiers de los
A chaque fois qu’un visiteur passe sur une page il laisse des traces dans des fichiers de logs
Google est un visiteur (presque) comme un autre il laisse ses traces et nous les analysons
Lille 16/11/17
Best practices
Une bonne optimisation est une modification qui va
maximiser les valeurs prisent en compte dans le calcul de
la Page Importance
Lille 16/11/17
Logs Monitoring
• Visualiser le comportement des robots de crawl
• Détecter les catégories les + ou – bien misent en valeur
• Suivre précisément les visites seo
Lille 16/11/17
Logs Monitoring
Crawl behavior
• Suivre les variations de crawls de Google sur chaque
segment du site
• Vérifier que toutes les pages importantes sont crawlées
• S’assurer que les pages non importantes ne consomment
pas le budget de crawl
Lille 16/11/17
Logs Monitoring
SEO impact
• Vérifier que les visites SEO arrivent sur les pages
importantes
• Vérifier que toutes les pages importantes sont visitées
• S’assurer que les optimisations profitent au trafic SEO
Lille 16/11/17
Classer les pages
par importance
Créer des groupes en fonction des :
• BotHits/jour
• Visites SEO (logs/GS)
• De la profondeur dans le site
• Qualité technique (Status code, temps de
chargement, …)
• Nombre de liens entrants (internes/externes)
• Nombre de variantes des ancres
• Nombre de mots dans les pages
• Par ratio de Near Duplicate Content
Lille 16/11/17
+450 metrics
Page Groups
Trouver les métriques qui
comptent pour votre site !
Lille 16/11/17
HTML Quality
• Vérifier les Status code
retournés par le serveur durant le crawl
• Suivre les Load time
donne une information sur le temps de réponse serveur
TTFB et/ou TTLB
Lille 16/11/17
Distribution du
la popularité
• Vérifier que les pages importantes reçoivent beaucoup de
popularité : Inrank
• S’assurer que les pages importantes reçoivent les liens
les plus puissants
• Eviter les liens de toutes les pages vers toutes les
pages : Optimiser les Mega-menu et les footer
Lille 16/11/17
La popularité interne à un impact sur les visites
Lille 16/11/17
Content
• Déterminer combien de mots il faut dans une page pour
maximiser le crawl budget ?
Lille 16/11/17
Il y a des seuils qu’il faut dépasser
Lille 16/11/17
Duplicate content
• Comprendre les problèmes techniques qui génèrent le
Duplicate Content
• Réduire le Near Duplicate Content
• Vérifier les balises canonicals
• Créer des contenus uniques
Lille 16/11/17
Vérifier les sitemaps
• Toutes les pages importantes sont elles dans les listées ?
• Pas de 40x, 50x ou 40x dans les sitemaps
• Vérifier les pages orphelines dans les sitemaps
Def : URLs dans le sitemap mais non maillée dans le site
Lille 16/11/17
Payload
Analyser du temps de chargement
pour déterminer le temps maximum
de réponse du serveur
Lille 16/11/17
A Vous de Jouer !
Vous avez les clés pour comprendre quels
sont les métriques qui augmentent votre
Crawl Budget
Lille 16/11/17
Des questions ?

Contenu connexe

Tendances

Tendances (20)

Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
Comment privilégier l’expérience utilisateur (UX) au cœur de votre stratégie ...
 
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 ParisActualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
Actualités SEO SEA - Tiphaine Coupeau - Petit déjeuner 26-02-2019 Paris
 
Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018
 
Event sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaineEvent sf 180419 changement de marque et de domaine
Event sf 180419 changement de marque et de domaine
 
Petit dejeuner sf 180419 actualite seo sea
Petit dejeuner sf 180419   actualite seo seaPetit dejeuner sf 180419   actualite seo sea
Petit dejeuner sf 180419 actualite seo sea
 
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
Comment un e-commerçant a multiplié son trafic SEO par 9,8 en 12 mois !
 
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
 
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
Petit-déjeuner SF Mobile First Index - Philippe Yonnet - 1er Février - Luxemb...
 
Mises à jour Google : conseils SEO
Mises à jour Google : conseils SEOMises à jour Google : conseils SEO
Mises à jour Google : conseils SEO
 
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEASEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
SEO et SEA ensemble a la conquete de la SERP - Digimood SEO / SEA
 
Actualité SEO SEA - Philippe Yonnet - Petit Déjeuner du 1er Février - Luxembourg
Actualité SEO SEA - Philippe Yonnet - Petit Déjeuner du 1er Février - LuxembourgActualité SEO SEA - Philippe Yonnet - Petit Déjeuner du 1er Février - Luxembourg
Actualité SEO SEA - Philippe Yonnet - Petit Déjeuner du 1er Février - Luxembourg
 
SEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA DigimoodSEO SXO AEO - Agence SEO / SEA Digimood
SEO SXO AEO - Agence SEO / SEA Digimood
 
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO DigimoodSEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
SEO Covid-19 : enjeux et opportunités - Agence SEO Digimood
 
La casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfaitLa casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfait
 
Les clés d’un site (beaucoup) plus rapide selon des facteurs qui restent trop...
Les clés d’un site (beaucoup) plus rapide selon des facteurs qui restent trop...Les clés d’un site (beaucoup) plus rapide selon des facteurs qui restent trop...
Les clés d’un site (beaucoup) plus rapide selon des facteurs qui restent trop...
 
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
 
Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?Content marketing : quelles stratégies pour le SEO en 2018 ?
Content marketing : quelles stratégies pour le SEO en 2018 ?
 
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
 
Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...Comment l'un des plus grand site média français a augmenté son trafic organiq...
Comment l'un des plus grand site média français a augmenté son trafic organiq...
 
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
Migration les pièges a éviter - petit déjeuner 15-11-2018 Nantes
 

Similaire à Page importance, l’algorithme de Google qui optimise les budgets de crawl - par Erlé Alberton - ONCRAWL

Similaire à Page importance, l’algorithme de Google qui optimise les budgets de crawl - par Erlé Alberton - ONCRAWL (20)

Conférence SEO aux Académies du Tourisme Numérique 2015
Conférence SEO aux Académies du Tourisme Numérique 2015Conférence SEO aux Académies du Tourisme Numérique 2015
Conférence SEO aux Académies du Tourisme Numérique 2015
 
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
Comment un grand site média a augmenté son trafic organique de plus de 80% gr...
 
Synodiance > SEO - Tendances SEO - French Web - 01/12/2014
Synodiance > SEO - Tendances SEO - French Web - 01/12/2014Synodiance > SEO - Tendances SEO - French Web - 01/12/2014
Synodiance > SEO - Tendances SEO - French Web - 01/12/2014
 
OnCrawl Breakfast Paris 10/12/15
OnCrawl Breakfast Paris 10/12/15OnCrawl Breakfast Paris 10/12/15
OnCrawl Breakfast Paris 10/12/15
 
SEO breakfast Toulouse - Analyse de logs
SEO breakfast Toulouse - Analyse de logsSEO breakfast Toulouse - Analyse de logs
SEO breakfast Toulouse - Analyse de logs
 
Webperf et SEO : quelles métriques suivre ? Quelles optimisations privilégier ?
Webperf et SEO : quelles métriques suivre ? Quelles optimisations privilégier ?Webperf et SEO : quelles métriques suivre ? Quelles optimisations privilégier ?
Webperf et SEO : quelles métriques suivre ? Quelles optimisations privilégier ?
 
Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015
 
L’évolution des crawls mobile de Google… - OnCrawl - 1er Février - Luxembourg
L’évolution des crawls mobile de Google… - OnCrawl - 1er Février - LuxembourgL’évolution des crawls mobile de Google… - OnCrawl - 1er Février - Luxembourg
L’évolution des crawls mobile de Google… - OnCrawl - 1er Février - Luxembourg
 
Synodiance > Outils SEO - Table Ronde EBG 11/06/2013
Synodiance > Outils SEO - Table Ronde EBG 11/06/2013Synodiance > Outils SEO - Table Ronde EBG 11/06/2013
Synodiance > Outils SEO - Table Ronde EBG 11/06/2013
 
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
Analyse de Logs et SEO : Comment utiliser les logs pour optimiser son site po...
 
Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013Cours SEO / Référencement Naturel - août 2013
Cours SEO / Référencement Naturel - août 2013
 
SEARCH Y - Bing : Frédéric Dubut et Fabrice Canel - Crawl et Indexation, les ...
SEARCH Y - Bing : Frédéric Dubut et Fabrice Canel - Crawl et Indexation, les ...SEARCH Y - Bing : Frédéric Dubut et Fabrice Canel - Crawl et Indexation, les ...
SEARCH Y - Bing : Frédéric Dubut et Fabrice Canel - Crawl et Indexation, les ...
 
Comment référencer efficacement un site multilingue ?
Comment référencer efficacement un site multilingue ?Comment référencer efficacement un site multilingue ?
Comment référencer efficacement un site multilingue ?
 
Atelier de sensibilisation au SEO
Atelier de sensibilisation au SEOAtelier de sensibilisation au SEO
Atelier de sensibilisation au SEO
 
Analyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & BotifyAnalyse combinée crawl + logs - Search Foresight & Botify
Analyse combinée crawl + logs - Search Foresight & Botify
 
Cours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom LausanneCours SEO débutant Polycom Lausanne
Cours SEO débutant Polycom Lausanne
 
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
Search : la todo list 2017 pour ne rien oublier dans votre roadmap - Petit dé...
 
Search : la todo list 2017 - Petit déjeuner 29 septembre 2016 Lille
Search : la todo list 2017 - Petit déjeuner 29 septembre 2016 Lille Search : la todo list 2017 - Petit déjeuner 29 septembre 2016 Lille
Search : la todo list 2017 - Petit déjeuner 29 septembre 2016 Lille
 
Seo 10 clés pour plaire à Google
Seo   10 clés pour plaire à GoogleSeo   10 clés pour plaire à Google
Seo 10 clés pour plaire à Google
 
Comment effectuer le diagnostic SEO de votre site ?
Comment effectuer le diagnostic SEO de votre site ?Comment effectuer le diagnostic SEO de votre site ?
Comment effectuer le diagnostic SEO de votre site ?
 

Plus de Peak Ace

Plus de Peak Ace (20)

SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptxSEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
SEO CAMP'us Paris 2022 - CADOR EN SEO - Mathieu Chapon (1).pptx
 
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptxSEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
SEO CAMP'us Paris 2022 - 6 Tips E-Commerce - Mathieu Chapon.pptx
 
Event sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus paginesEvent sf 180419 gerer les contenus pagines
Event sf 180419 gerer les contenus pagines
 
Event sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinkingEvent sf 180419 les bonnes pratiques en netlinking
Event sf 180419 les bonnes pratiques en netlinking
 
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
Amazon : au cœur de votre stratégie SEO 2019 - Philippe Yonnet - Petit déjeun...
 
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
Contenu et SEO : quelles tendances pour 2019 ? - Julien Callaou - petit déjeu...
 
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
Comment structurer ses campagnes adwords pour tirer le meilleur parti de l’au...
 
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
Comment optimiser votre site pour être visible sur les requêtes saisonnières ...
 
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
Le futur du SEO : l’optimisation pour les moteurs de réponse (AEO) - petit dé...
 
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
« Le temps de chargement n’existe pas ! » - petit déjeuner 13 décembre paris
 
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...Comment exploiter et atteindre la position 0 ou featured snippets de Google  ...
Comment exploiter et atteindre la position 0 ou featured snippets de Google ...
 
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
Actualité des moteurs de recherche et du référencement (SEO & SEA) - petit dé...
 
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
La nouvelle Google Search Console - petit déjeuner 15-11-2018 Nantes
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
 
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
Actualite des moteurs de recherche et du referencement SEO/SEA - petit déjeun...
 
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie VidalinMobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
Mobile first index et speed update - Petit déjeuner Bordeaux - Julie Vidalin
 
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
Les nouvelles fonctionnalités de la search console - petit déjeuner Bordeaux ...
 
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...Comment tirer le meilleur parti possible du content marketing - petit déjeune...
Comment tirer le meilleur parti possible du content marketing - petit déjeune...
 
Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...Comment exploiter les données de la Search Console et en tirer des actions co...
Comment exploiter les données de la Search Console et en tirer des actions co...
 
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobreActualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
Actualités SEO SEA - Petits déjeuner Bordeaux - 17 octobre
 

Page importance, l’algorithme de Google qui optimise les budgets de crawl - par Erlé Alberton - ONCRAWL

  • 2. Lille 16/11/17 J’adore que Google vous donne de l’importance… ERLE ALBERTON CUSTOMER SUcCESS manager 10 ans de dev / 5 ans de SEO dont 2 ans en tant que responsable SEO des boutiques en ligne Orange et Sosh spécialiste schema.org seo monk ONCRAWL TRAinER customer climax
  • 4. www.oncrawl.comwww.oncrawl.com We help Ecommerce & Online media take better SEO decisions and grow their revenues By providing access to the Most Advanced SEO Software Semantic SEO Crawler Comprehensive Log Analyser API & Platform to combined all website’s data
  • 6. Lille 16/11/17 Plan de vol 1. Comment fonctionne Google 2. Crawl Budget & Page Importance 3. Comment suivre les variations du crawl 4. Best practices d’optimisation
  • 7. Lille 16/11/17 Comment fonctionne Google ? Google est un moteur de réponse, son objectif est d’être le plus pertinent, complet et à jour possible Google n’est qu’un ensemble d’algorithmes qui sont exécutés sur des machines consommant de l’énergie… cette consommation d’énergie à un coût qui doit être optimisé
  • 8. Lille 16/11/17 Google consomme annuellement autant d’énergie que la ville de San Francisco
  • 9. Lille 16/11/17 • Google possède un index colossal, il ne peut pas tout crawler tout le temps • Pour avoir la meilleure réponse il faut connaitre toutes les pages - découverte • Pour avoir la meilleure réponse il faut la dernière version de la page - indexation GOOGLE KEY INSIGHTS Google n’est pas philanthrope, il doit optimiser ses coûts de traitement…
  • 10. Lille 16/11/17 Plus une page est utile pour la découverte de nouvelles URLs ou est mise à jour plus Google la visite Plus une page est crawlée plus elle est à jour dans l’index Plus une page est à jour dans l’index plus la réponse à la requête est qualifiée Fréquence de Crawl et Ranking sont liés
  • 11. Lille 16/11/17 Crawl Budget C’est le crédit que Google alloue à l’ensemble de ses robots pour parcourir les URLs d’un site web
  • 12. Lille 16/11/17 Répartition des hits par bot (1 journée / granularité 10min) : Mediapartners-Google Adsbot-Google desktop Googlebot 2.1 desktop Googlebot 2.1 mobile Adsbot-Google Mobile Le crawl budget est réparti entre tous les bots Google
  • 13. Lille 16/11/17 Quelles sont les pages les plus « importantes » ?
  • 15. Lille 16/11/17 Les brevets d’optimisation de crawl • US 8666964 B1 : Managing items in crawl schedule • US 8707312 B1 : Document reuse in a search engine crawler • US 8037054 B2 : Web crawler scheduler that utilizes sitemaps from websites • US 7305610 B1 : Distributed crawling of hyperlinked documents • US 8407204 B2 : Minimizing visibility of stale content in web searching including revisine web crawl intervals of documents • US 8386459 B1 : Scheduling a recrawl • US 8042112 B1 : Scheduler for search engine crawler www.google.com/patents
  • 16. Lille 16/11/17 Schedulers : Définir une liste des urls à crawler pour la session de crawl Crawlers : Vérifier quelles URLs sont autorisées au crawl Chaque session de crawl commence par un hit sur le robots.txt, puis sur les sitemaps.xml, enfin les crawlers dépilent la liste des URLs à analyser Cette liste d’url, conçue à l’avance, est établie grâce à un algorithme qui classe les pages en fonction d’un score d’importance Optimiser la liste des URLs à crawler en connaissant les métriques utilises pour le calcul de page importance Comment fonctionne le crawl de Google www.google.com/search/howsearchworks/crawling-indexing/
  • 17. Lille 16/11/17 Page importance C’est un score qui est affecté à chaque page pour évaluer sa place dans la liste des URLs à analyser fr.oncrawl.com/2017/page-importance-google/
  • 18. Lille 16/11/17 Calcul de la « Page Importance » La notion de « Page Importance » n’est pas le Page Rank • Localisation de la page dans le site – a profondeur sur le taux de crawl • Page Rank : TF/CF de la page - Majestic • Le Page Rank interne – InRank OnCrawl • Type de document : PDF, HTML, TXT • L’inclusion dans le sitemap.xml • Le nombre de liens internes • La variation des ancres • Contenu de qualité : nombre de mots, peu de duplication • L’importance de la page mère : les pages les plus près de la HP seront favorisées Il faut appliquer aux pages les plus importantes toutes ces règles pour favoriser le crawl de Google
  • 19. Lille 16/11/17 Comment suivre les variations du crawl ? L’analyse des logs serveur et le croisement des données de crawl permettent de comprendre : Quels sont les facteurs déclencheurs du crawl de Google?
  • 20. Lille 16/11/17 Traquer Google lors de sa visite avec les fichiers de los A chaque fois qu’un visiteur passe sur une page il laisse des traces dans des fichiers de logs Google est un visiteur (presque) comme un autre il laisse ses traces et nous les analysons
  • 21. Lille 16/11/17 Best practices Une bonne optimisation est une modification qui va maximiser les valeurs prisent en compte dans le calcul de la Page Importance
  • 22. Lille 16/11/17 Logs Monitoring • Visualiser le comportement des robots de crawl • Détecter les catégories les + ou – bien misent en valeur • Suivre précisément les visites seo
  • 23. Lille 16/11/17 Logs Monitoring Crawl behavior • Suivre les variations de crawls de Google sur chaque segment du site • Vérifier que toutes les pages importantes sont crawlées • S’assurer que les pages non importantes ne consomment pas le budget de crawl
  • 24. Lille 16/11/17 Logs Monitoring SEO impact • Vérifier que les visites SEO arrivent sur les pages importantes • Vérifier que toutes les pages importantes sont visitées • S’assurer que les optimisations profitent au trafic SEO
  • 25. Lille 16/11/17 Classer les pages par importance Créer des groupes en fonction des : • BotHits/jour • Visites SEO (logs/GS) • De la profondeur dans le site • Qualité technique (Status code, temps de chargement, …) • Nombre de liens entrants (internes/externes) • Nombre de variantes des ancres • Nombre de mots dans les pages • Par ratio de Near Duplicate Content
  • 26. Lille 16/11/17 +450 metrics Page Groups Trouver les métriques qui comptent pour votre site !
  • 27. Lille 16/11/17 HTML Quality • Vérifier les Status code retournés par le serveur durant le crawl • Suivre les Load time donne une information sur le temps de réponse serveur TTFB et/ou TTLB
  • 28. Lille 16/11/17 Distribution du la popularité • Vérifier que les pages importantes reçoivent beaucoup de popularité : Inrank • S’assurer que les pages importantes reçoivent les liens les plus puissants • Eviter les liens de toutes les pages vers toutes les pages : Optimiser les Mega-menu et les footer
  • 29. Lille 16/11/17 La popularité interne à un impact sur les visites
  • 30. Lille 16/11/17 Content • Déterminer combien de mots il faut dans une page pour maximiser le crawl budget ?
  • 31. Lille 16/11/17 Il y a des seuils qu’il faut dépasser
  • 32. Lille 16/11/17 Duplicate content • Comprendre les problèmes techniques qui génèrent le Duplicate Content • Réduire le Near Duplicate Content • Vérifier les balises canonicals • Créer des contenus uniques
  • 33. Lille 16/11/17 Vérifier les sitemaps • Toutes les pages importantes sont elles dans les listées ? • Pas de 40x, 50x ou 40x dans les sitemaps • Vérifier les pages orphelines dans les sitemaps Def : URLs dans le sitemap mais non maillée dans le site
  • 34. Lille 16/11/17 Payload Analyser du temps de chargement pour déterminer le temps maximum de réponse du serveur
  • 35. Lille 16/11/17 A Vous de Jouer ! Vous avez les clés pour comprendre quels sont les métriques qui augmentent votre Crawl Budget