SlideShare une entreprise Scribd logo
1  sur  33
Ce qui a changé
dans le SEO avec
Googlebot Evergreen
Philippe Yonnet
CEO
Cycle Technique
Euh … Googlebot Evergreen ?
2
Jadis…
Googlebot ne savait pas exécuter le JS, ni effectuer une rendition de la page
Jadis…
Un site 100% généré en Javascript ne pouvait pas voir son contenu indexé…
Googlebot + WRS
Depuis déjà de nombreuses années,
Google crawlait le web en utilisant un
Googlebot traditionnel + un « Web
Rendering Service » WRS pour
accéder aux contenus générés en
Javascript
Information lâchée en 2017
WRS était basé sur Chrome 41
la rendition était très différente de ce que
voyaient les utilisateurs
Le délai pour voir son contenu généré
en Javascript parsé et indexé était long
Plusieurs jours
Jamais
Jamais correctement…
C’est quoi Googlebot Evergreen ?
Mai 2019 : nouvelle version de
Googlebot, basée sur Chromium,
mais un Chromium (à peu près) à
jour
https://webmasters.googleblog.com/2019
/05/the-new-evergreen-googlebot.html
Août 2019 : tous les outils de la
GSC et tous les outils de test
utilisent Googlebot Evergreen
Automne 2019 : réduction nette du
délai pour la phase de rendering
Le user agent a changé…
Mais avec retard (décembre 2019)
Avant :
Mozilla/5.0 AppleWebKit/537.36
(KHTML, like Gecko; compatible;
Googlebot/2.1;
+http://www.google.com/bot.html)
Safari/537.36
Après :
Mozilla/5.0 AppleWebKit/537.36
(KHTML, like Gecko; compatible;
Googlebot/2.1;
+http://www.google.com/bot.html)
Chrome/W.X.Y.Z Safari/537.36
7
Détecter Googlebot
Liste officielle des user agents :
https://support.google.com/webmasters/answer/1061943?
hl=fr
Chaque fois que vous voyez Chrome/W.X.Y.Z dans
les chaînes du user-agent, W.X.Y.Z est un espace
réservé qui correspond à la version du navigateur
Chrome utilisée par ce user-agent (par exemple,
41.0.2272.96). Ce numéro de version augmente au fil
du temps afin de représenter la dernière version de
Chromium utilisée par Googlebot.
Si vous effectuez une recherche dans vos journaux
ou si vous filtrez votre serveur afin d'identifier un
user-agent avec ce format, il est conseillé d'utiliser
des caractères génériques pour le numéro de version
au lieu de spécifier un numéro de version précis.
Google recommande de chercher la correspondance avec
la chaine générique « Googlebot »
Sinon la « feature detection » mais c’est techniquement
plus pointu
8
Bingbot utilise aussi Chromium
… et en mode « evergreen » : Bingbot est basé sur Edge basé sur Chromium
Nouveaux User Agents (déc
2019) :
Desktop
Mozilla/5.0 AppleWebKit/537.36
(KHTML, like Gecko; compatible;
bingbot/2.0;
+http://www.bing.com/bingbot.htm)
Chrome/W.X.Y.Z Safari/537.36
Edg/W.X.Y.Z
Mobile
Mozilla/5.0 (Linux; Android 6.0.1;
Nexus 5X Build/MMB29P)
AppleWebKit/537.36 (KHTML, like
Gecko) Chrome/W.X.Y.Z Mobile
Safari/537.36 Edg/W.X.Y.Z
(compatible; bingbot/2.0;
+http://www.bing.com/bingbot.htm)
9
Le nouveau fonctionnement de
Googlebot
10
Le nouveau fonctionnement :
Une indexation en deux étapes
1. Crawl traditionnel
+indexation
2. Rendition et indexation
Le processus complet
Au début, il fallait
attendre
longtemps (des
heures) entre la
phase d’indexation
du HTML seul et la
phase d’indexation
du contenu généré
par le WRS
12
Ce que vous voyez dans les logs…
… n’est que l’appel du code HTML
13
Un délai d’attente réduit pour la rendition
On ne compte plus en heures et en jours
Chiffres de novembre 2019
5 secondes de délai médian
90% des pages sont rendues
en quelques minutes
seulement
Attention : si vous
compliquez la tâche des
crawlers, l’indexation
complète demandera des
jours !
14
Attention aux limitations de Googlebot
Ce n’est pas exactement votre browser
Il respecte le robots.txt
Attention aux ressources bloquées
Il ne supporte pas les règles de
mise en cache http…
Il ne supporte pas les
fonctionnalités basées sur un
stockage local
Sessions et variables locales
Il abandonne très vite…
Attention aux timeouts
15
Quel impact pour le SEO
16
Générer le contenu en JS est possible
Ok pour Googlebot et Bingbot
Toujours KO pour les autres bots
Un site full JS peut maintenant :
être exploré correctement,
être indexé correctement,
et se positionner normalement
Attention :
Si votre site est lent, mal codé, mal
architecturé => le référencement
sera dégradé
Remarque : les sites « à
l’ancienne » en SSR ne posent
pas de problèmes
Les contre indications
Votre code JS consomme trop de
temps CPU
Trop de « time outs »
Vos ressources sont lentes à charger
Méfiez vous des scripts tiers, des
trackers
Votre contenu ne peut pas être mis
en cache longue durée
Vous n’avez pas d’urls
« normales » et une structure de
sites avec des pages multiples et
une arborescence
18
Attention aux liens en JS
N’utilisez pas de syntaxes en « fragments » derrière un #
Utilisez des urls « normales »,
que vous pouvez générer avec
la méthode Javascript
Pushstate()
19
Pas de SPA, un site avec des pages !
Un moteur de recherche indexe des
pages webs, pas des bouts de
contenus
Indiquez clairement les
associations « url <-> contenus »
avec des urls normales
Vos pages web, même virtuelles, doivent
avoir un contenu unique, des meta SEO
et title uniques etc.
Simulez ou conservez une
arborescence de sites web : le
maillage interne contient des
signaux importants pour le SEO
20
Reco pour sites utilisant
des frameworks JS
Hybrid Rendering
Ou
Universal avec Hydration
21
Le « dynamic rendering » perd de son intérêt
C’est une béquille qui peut servir
si vous ne savez pas faire de
l’hybrid rendering, ou de
l’Universal avec Hydration
Mais sinon, le bot se débrouille…
22
Attention à l’ « obfuscation » des liens
On ne peut pas non plus cacher à coup sûr du contenu via du code JS
Approche déconseillée :
Coût / bénéfices défavorable, sauf
exception
Google ne détecte pas tout ce qui
se comporte comme un lien, et ne
teste pas tous les liens pour
économiser du temps
Mais certaines techniques ne
marchent plus, et certains liens
bien « masqués » sont découverts!
Si vous faites cela, testez bien
votre méthode avant !
Mais essayez aussi de trouver une autre
approche… plus durable et performante
23
Quid des contenus masqués en JS ?
Contenus masqués :
Contenus dans des onglets ou des
accordéons
C’est parsé par Googlebot
Avec le mobile first indexing, ces
contenus sont pris en
compte(indexés) normalement
Ce n’était pas le cas côté desktop
24
Attention aux contenus externes…
Google voit le contenu généré par des scripts tiers de commentaires etc…
Générer des avis ou des commentaires ou du
contenu via des APIs côté client ou pire, en
utilisant des iFrames, rend leur contenu difficile à
indexer
Faites le côté serveur
Attention à ce que ces scripts affichent
25
Remarque : les download times GSC
Ils mesurent le temps de téléchargement du code, pas un délai de rendition
TTLB sur le fichier HTML
Très différent de Google
PageSpeed
Pour faciliter la vie du crawler,
l’attention aux « Core Web
Vitals » devient indispensable
26
Les Core Web Vitals
27
Auditer un site à l’heure de Googlebot evergreen
Deux crawls :
En mode « classique » (HTML)
En mode « headless browser » :
exécution du JS
On compare les deux bases d’urls
crawlées
Si ça matche : c’est bon
Si les deux se complètent : c’est bon
Si les deux se contredisent : c’est pas
bon
28
Tester avec la GSC
Votre crawler SEO simule Googlebot, ce n’est pas Googlebot
Vérifier vos templates avec la
GSC
On peut tester le rendu de la
page et même le code HTML
d’une page avec l’inspection
d’URL, pour détecter le contenu
que Googlebot n’a pas pu ou eu
l’autorisation de charger
29
Conclusion
Avec Googlebot Evergreen, Google voit le même site que vos internautes
À peu de choses près (attention au robots.txt, aux ressources en timeout, aux variables
locales…)
On peut donc avoir un bon référencement pour un site full JS
Plus de contre-indications absolues
Cela rend obsolètes pas mal de recommandations SEO
Mais il y’a de nouveaux obstacles techniques au crawl et à l’indexation à
connaître
Ne laissez pas vos développeurs préférés se lâcher et coder un site web en oubliant les
fondamentaux !
Apprenez vite ces limitations, et comment les diagnostiquer
Et vous avez besoin d’un code ultraperformant !
Sinon, si vous dépendez du SEO de votre site, faites le « à l’ancienne » (en SSR avec un minimum de
JS)
Merci
31
Digital Marketing is rocket science
Question Mug
Quel est le délai médian
mesuré en nov 2019 pour
qu’une page crawlée soit
rendue par le WRS ?
L'impact sur le SEO de Googlebot Evergreen

Contenu connexe

Tendances

Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
SEO CAMP
 

Tendances (20)

La casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfaitLa casa de SEO : les questions à se poser pour le casse SEO parfait
La casa de SEO : les questions à se poser pour le casse SEO parfait
 
Nouvelles architectures de sites web et SEO
Nouvelles architectures de sites web et SEONouvelles architectures de sites web et SEO
Nouvelles architectures de sites web et SEO
 
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
Webconférence du 8 mars 2018 - Comment obtenir et exploiter la positions 0 de...
 
Analyse de logs par l'exemple - seocampus 2017
Analyse de logs par l'exemple - seocampus 2017Analyse de logs par l'exemple - seocampus 2017
Analyse de logs par l'exemple - seocampus 2017
 
Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
Core Web Vitals, quel impact et comment s'y attaquer ? - Samson Tat - SEO CAM...
 
Apprenons à faire des SEO Split Tests
Apprenons à faire des SEO Split TestsApprenons à faire des SEO Split Tests
Apprenons à faire des SEO Split Tests
 
Les bonnes pratiques SEO avec les frameworks javascript - SEO CAMPUS 9 mars 2017
Les bonnes pratiques SEO avec les frameworks javascript - SEO CAMPUS 9 mars 2017Les bonnes pratiques SEO avec les frameworks javascript - SEO CAMPUS 9 mars 2017
Les bonnes pratiques SEO avec les frameworks javascript - SEO CAMPUS 9 mars 2017
 
Webperf : par où commencer ? - SEOGoodVibes
Webperf : par où commencer ? - SEOGoodVibesWebperf : par où commencer ? - SEOGoodVibes
Webperf : par où commencer ? - SEOGoodVibes
 
SEO des images : enjeux et stratégies gagnantes de la recherche visuelle #SMX...
SEO des images : enjeux et stratégies gagnantes de la recherche visuelle #SMX...SEO des images : enjeux et stratégies gagnantes de la recherche visuelle #SMX...
SEO des images : enjeux et stratégies gagnantes de la recherche visuelle #SMX...
 
Génération de contenu pour le SEO
Génération de contenu pour le SEOGénération de contenu pour le SEO
Génération de contenu pour le SEO
 
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
Core web vitals pour unifier UX et SEO - Stephane Rios - SEO Camp'us paris 2020
 
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
Cocon, metamots et plus si affinités sémantiques. Seo campus-03-2017
 
Comment faire du Data SEO sans savoir programmer ?
Comment faire du Data SEO sans savoir programmer ?Comment faire du Data SEO sans savoir programmer ?
Comment faire du Data SEO sans savoir programmer ?
 
Seo Camp'us 2018 - SEO & FRAMEWORK JAVASCRIPT - Philippe Yonnet - Directeur G...
Seo Camp'us 2018 - SEO & FRAMEWORK JAVASCRIPT - Philippe Yonnet - Directeur G...Seo Camp'us 2018 - SEO & FRAMEWORK JAVASCRIPT - Philippe Yonnet - Directeur G...
Seo Camp'us 2018 - SEO & FRAMEWORK JAVASCRIPT - Philippe Yonnet - Directeur G...
 
Les critères de qualité de vos pages web selon Google
Les critères de qualité de vos pages web selon GoogleLes critères de qualité de vos pages web selon Google
Les critères de qualité de vos pages web selon Google
 
Recherches dans le SEO: tests, investigations et études SEO - SEO Camp'us Par...
Recherches dans le SEO: tests, investigations et études SEO - SEO Camp'us Par...Recherches dans le SEO: tests, investigations et études SEO - SEO Camp'us Par...
Recherches dans le SEO: tests, investigations et études SEO - SEO Camp'us Par...
 
L'impact des Core Web Vitals sur le SEO - We love speed 2021 - Palais de la b...
L'impact des Core Web Vitals sur le SEO - We love speed 2021 - Palais de la b...L'impact des Core Web Vitals sur le SEO - We love speed 2021 - Palais de la b...
L'impact des Core Web Vitals sur le SEO - We love speed 2021 - Palais de la b...
 
Sp seo camp-201505
Sp seo camp-201505Sp seo camp-201505
Sp seo camp-201505
 
Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018Technical seo tips and tricks actionnables 2018
Technical seo tips and tricks actionnables 2018
 
Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015Utilisation avancée d'un crawler - SEO Camp'us 2015
Utilisation avancée d'un crawler - SEO Camp'us 2015
 

Similaire à L'impact sur le SEO de Googlebot Evergreen

4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
SEO CAMP
 

Similaire à L'impact sur le SEO de Googlebot Evergreen (20)

Seocamp Bayonne - JS et SEO
Seocamp  Bayonne - JS et SEOSeocamp  Bayonne - JS et SEO
Seocamp Bayonne - JS et SEO
 
Google et le Javascript - Petit déjeuner du 29 mars 2017
Google et le Javascript - Petit déjeuner du 29 mars 2017Google et le Javascript - Petit déjeuner du 29 mars 2017
Google et le Javascript - Petit déjeuner du 29 mars 2017
 
Javascript et indexation, où en est-on ? - SEO Camp'us Paris 2016
Javascript et indexation, où en est-on ? - SEO Camp'us Paris 2016Javascript et indexation, où en est-on ? - SEO Camp'us Paris 2016
Javascript et indexation, où en est-on ? - SEO Camp'us Paris 2016
 
Philippe Yonnet - Les nouvelles règles pour être indexé par Google
Philippe Yonnet - Les nouvelles règles pour être indexé par GooglePhilippe Yonnet - Les nouvelles règles pour être indexé par Google
Philippe Yonnet - Les nouvelles règles pour être indexé par Google
 
Maitriser le SEO d'un site JavaScript - SEO Campus Paris 2022
Maitriser le SEO d'un site JavaScript - SEO Campus Paris 2022Maitriser le SEO d'un site JavaScript - SEO Campus Paris 2022
Maitriser le SEO d'un site JavaScript - SEO Campus Paris 2022
 
Les chantiers indispensables à ajouter à votre Roadmap 2018 - 22 février - Lille
Les chantiers indispensables à ajouter à votre Roadmap 2018 - 22 février - LilleLes chantiers indispensables à ajouter à votre Roadmap 2018 - 22 février - Lille
Les chantiers indispensables à ajouter à votre Roadmap 2018 - 22 février - Lille
 
ACTUALITÉS SEO - Eva DEBON-LA-CROIX
ACTUALITÉS SEO - Eva DEBON-LA-CROIXACTUALITÉS SEO - Eva DEBON-LA-CROIX
ACTUALITÉS SEO - Eva DEBON-LA-CROIX
 
Le SEO JavaScript démystifié
Le SEO JavaScript démystifiéLe SEO JavaScript démystifié
Le SEO JavaScript démystifié
 
Being Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEOBeing Googlebot - de nouvelles clés pour optimiser le SEO
Being Googlebot - de nouvelles clés pour optimiser le SEO
 
Seocamp2016 : javascript et indexation, où en est-on ?
Seocamp2016 : javascript et indexation, où en est-on ?Seocamp2016 : javascript et indexation, où en est-on ?
Seocamp2016 : javascript et indexation, où en est-on ?
 
Seo camp ..
Seo camp ..Seo camp ..
Seo camp ..
 
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
Les chantiers indispensables à glisser dans votre roadmap 2018 - Petit-déjeun...
 
Guide search console 2016
Guide search console 2016Guide search console 2016
Guide search console 2016
 
Actualités SEO - Petit déjeuner 27 sept 2018 - Anne Claire Frapin
Actualités SEO - Petit déjeuner 27 sept 2018 - Anne Claire FrapinActualités SEO - Petit déjeuner 27 sept 2018 - Anne Claire Frapin
Actualités SEO - Petit déjeuner 27 sept 2018 - Anne Claire Frapin
 
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
Les chantiers indispensables à ajouter à votre roadmap 2018 - Philippe Yonnet...
 
Chirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCampChirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCamp
 
Case study migration SEO : oui.sncf (seocampus 2018)
Case study migration SEO : oui.sncf (seocampus 2018)Case study migration SEO : oui.sncf (seocampus 2018)
Case study migration SEO : oui.sncf (seocampus 2018)
 
4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
4 mois pour ranker sur une thématique ultra concurrentielle - Julien Jimenez ...
 
Désindexation
DésindexationDésindexation
Désindexation
 
Seo 10 clés pour plaire à Google
Seo   10 clés pour plaire à GoogleSeo   10 clés pour plaire à Google
Seo 10 clés pour plaire à Google
 

Plus de Philippe YONNET

Plus de Philippe YONNET (20)

WEBINAR TOPICAL CLUSTERS 9 JUIN 2022.pptx
WEBINAR TOPICAL CLUSTERS 9 JUIN 2022.pptxWEBINAR TOPICAL CLUSTERS 9 JUIN 2022.pptx
WEBINAR TOPICAL CLUSTERS 9 JUIN 2022.pptx
 
WEBINAR SEO INTERNATIONAL 5 mai 2022.pptx
WEBINAR SEO INTERNATIONAL 5 mai 2022.pptxWEBINAR SEO INTERNATIONAL 5 mai 2022.pptx
WEBINAR SEO INTERNATIONAL 5 mai 2022.pptx
 
IMPACT DE L'IA SUR LE SEO.pptx
IMPACT DE L'IA SUR LE SEO.pptxIMPACT DE L'IA SUR LE SEO.pptx
IMPACT DE L'IA SUR LE SEO.pptx
 
IA DANS L'ALGORITHME DE GOOGLE.pptx
IA DANS L'ALGORITHME DE GOOGLE.pptxIA DANS L'ALGORITHME DE GOOGLE.pptx
IA DANS L'ALGORITHME DE GOOGLE.pptx
 
Webinar marketplace 9 mars 2022
Webinar marketplace 9 mars 2022Webinar marketplace 9 mars 2022
Webinar marketplace 9 mars 2022
 
Matin neperien : quelles actions lancer en digital en 2021
Matin neperien : quelles actions lancer en digital en 2021Matin neperien : quelles actions lancer en digital en 2021
Matin neperien : quelles actions lancer en digital en 2021
 
Ab testing seo 22 dec 2020
Ab testing seo   22 dec 2020Ab testing seo   22 dec 2020
Ab testing seo 22 dec 2020
 
Core web vitals - Webinar Neper du 3 décembre 2020
Core web vitals - Webinar Neper du 3 décembre 2020Core web vitals - Webinar Neper du 3 décembre 2020
Core web vitals - Webinar Neper du 3 décembre 2020
 
Webinar Semrush Neper - quel ROI pour les pages amp
Webinar Semrush Neper - quel ROI pour les pages  ampWebinar Semrush Neper - quel ROI pour les pages  amp
Webinar Semrush Neper - quel ROI pour les pages amp
 
2018 le seo à l heure du mobile first index
2018 le seo à l heure du mobile first index2018 le seo à l heure du mobile first index
2018 le seo à l heure du mobile first index
 
Search Foresight - Word Embeddings - 2017 avril lyon
Search Foresight - Word Embeddings - 2017 avril lyonSearch Foresight - Word Embeddings - 2017 avril lyon
Search Foresight - Word Embeddings - 2017 avril lyon
 
Accelerated Mobile Pages
Accelerated Mobile PagesAccelerated Mobile Pages
Accelerated Mobile Pages
 
Actualité du SEO
Actualité du SEOActualité du SEO
Actualité du SEO
 
Optimisez vos sites pour la recherche sur smartphone, tablettes et objets con...
Optimisez vos sites pour la recherche sur smartphone, tablettes et objets con...Optimisez vos sites pour la recherche sur smartphone, tablettes et objets con...
Optimisez vos sites pour la recherche sur smartphone, tablettes et objets con...
 
Quelle stratégie SEO restera efficace dans les mois qui viennent
Quelle stratégie SEO restera efficace dans les mois qui viennentQuelle stratégie SEO restera efficace dans les mois qui viennent
Quelle stratégie SEO restera efficace dans les mois qui viennent
 
Inbound Marketing et Growth Hacking
Inbound Marketing et Growth HackingInbound Marketing et Growth Hacking
Inbound Marketing et Growth Hacking
 
Stratégie SEO en 2015 -
Stratégie SEO en 2015 - Stratégie SEO en 2015 -
Stratégie SEO en 2015 -
 
Faites votre propre Knowledge Graph - L'extraction d'information et la fouill...
Faites votre propre Knowledge Graph - L'extraction d'information et la fouill...Faites votre propre Knowledge Graph - L'extraction d'information et la fouill...
Faites votre propre Knowledge Graph - L'extraction d'information et la fouill...
 
Le Futur des Moteurs de Recherche
Le Futur des Moteurs de RechercheLe Futur des Moteurs de Recherche
Le Futur des Moteurs de Recherche
 
Actualités sur Google et le SEO - Février 2015
Actualités sur Google et le SEO - Février 2015Actualités sur Google et le SEO - Février 2015
Actualités sur Google et le SEO - Février 2015
 

L'impact sur le SEO de Googlebot Evergreen

  • 1. Ce qui a changé dans le SEO avec Googlebot Evergreen Philippe Yonnet CEO Cycle Technique
  • 2. Euh … Googlebot Evergreen ? 2
  • 3. Jadis… Googlebot ne savait pas exécuter le JS, ni effectuer une rendition de la page
  • 4. Jadis… Un site 100% généré en Javascript ne pouvait pas voir son contenu indexé…
  • 5. Googlebot + WRS Depuis déjà de nombreuses années, Google crawlait le web en utilisant un Googlebot traditionnel + un « Web Rendering Service » WRS pour accéder aux contenus générés en Javascript Information lâchée en 2017 WRS était basé sur Chrome 41 la rendition était très différente de ce que voyaient les utilisateurs Le délai pour voir son contenu généré en Javascript parsé et indexé était long Plusieurs jours Jamais Jamais correctement…
  • 6. C’est quoi Googlebot Evergreen ? Mai 2019 : nouvelle version de Googlebot, basée sur Chromium, mais un Chromium (à peu près) à jour https://webmasters.googleblog.com/2019 /05/the-new-evergreen-googlebot.html Août 2019 : tous les outils de la GSC et tous les outils de test utilisent Googlebot Evergreen Automne 2019 : réduction nette du délai pour la phase de rendering
  • 7. Le user agent a changé… Mais avec retard (décembre 2019) Avant : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36 Après : Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 7
  • 8. Détecter Googlebot Liste officielle des user agents : https://support.google.com/webmasters/answer/1061943? hl=fr Chaque fois que vous voyez Chrome/W.X.Y.Z dans les chaînes du user-agent, W.X.Y.Z est un espace réservé qui correspond à la version du navigateur Chrome utilisée par ce user-agent (par exemple, 41.0.2272.96). Ce numéro de version augmente au fil du temps afin de représenter la dernière version de Chromium utilisée par Googlebot. Si vous effectuez une recherche dans vos journaux ou si vous filtrez votre serveur afin d'identifier un user-agent avec ce format, il est conseillé d'utiliser des caractères génériques pour le numéro de version au lieu de spécifier un numéro de version précis. Google recommande de chercher la correspondance avec la chaine générique « Googlebot » Sinon la « feature detection » mais c’est techniquement plus pointu 8
  • 9. Bingbot utilise aussi Chromium … et en mode « evergreen » : Bingbot est basé sur Edge basé sur Chromium Nouveaux User Agents (déc 2019) : Desktop Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 Edg/W.X.Y.Z Mobile Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 Edg/W.X.Y.Z (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) 9
  • 10. Le nouveau fonctionnement de Googlebot 10
  • 11. Le nouveau fonctionnement : Une indexation en deux étapes 1. Crawl traditionnel +indexation 2. Rendition et indexation
  • 12. Le processus complet Au début, il fallait attendre longtemps (des heures) entre la phase d’indexation du HTML seul et la phase d’indexation du contenu généré par le WRS 12
  • 13. Ce que vous voyez dans les logs… … n’est que l’appel du code HTML 13
  • 14. Un délai d’attente réduit pour la rendition On ne compte plus en heures et en jours Chiffres de novembre 2019 5 secondes de délai médian 90% des pages sont rendues en quelques minutes seulement Attention : si vous compliquez la tâche des crawlers, l’indexation complète demandera des jours ! 14
  • 15. Attention aux limitations de Googlebot Ce n’est pas exactement votre browser Il respecte le robots.txt Attention aux ressources bloquées Il ne supporte pas les règles de mise en cache http… Il ne supporte pas les fonctionnalités basées sur un stockage local Sessions et variables locales Il abandonne très vite… Attention aux timeouts 15
  • 16. Quel impact pour le SEO 16
  • 17. Générer le contenu en JS est possible Ok pour Googlebot et Bingbot Toujours KO pour les autres bots Un site full JS peut maintenant : être exploré correctement, être indexé correctement, et se positionner normalement Attention : Si votre site est lent, mal codé, mal architecturé => le référencement sera dégradé Remarque : les sites « à l’ancienne » en SSR ne posent pas de problèmes
  • 18. Les contre indications Votre code JS consomme trop de temps CPU Trop de « time outs » Vos ressources sont lentes à charger Méfiez vous des scripts tiers, des trackers Votre contenu ne peut pas être mis en cache longue durée Vous n’avez pas d’urls « normales » et une structure de sites avec des pages multiples et une arborescence 18
  • 19. Attention aux liens en JS N’utilisez pas de syntaxes en « fragments » derrière un # Utilisez des urls « normales », que vous pouvez générer avec la méthode Javascript Pushstate() 19
  • 20. Pas de SPA, un site avec des pages ! Un moteur de recherche indexe des pages webs, pas des bouts de contenus Indiquez clairement les associations « url <-> contenus » avec des urls normales Vos pages web, même virtuelles, doivent avoir un contenu unique, des meta SEO et title uniques etc. Simulez ou conservez une arborescence de sites web : le maillage interne contient des signaux importants pour le SEO 20
  • 21. Reco pour sites utilisant des frameworks JS Hybrid Rendering Ou Universal avec Hydration 21
  • 22. Le « dynamic rendering » perd de son intérêt C’est une béquille qui peut servir si vous ne savez pas faire de l’hybrid rendering, ou de l’Universal avec Hydration Mais sinon, le bot se débrouille… 22
  • 23. Attention à l’ « obfuscation » des liens On ne peut pas non plus cacher à coup sûr du contenu via du code JS Approche déconseillée : Coût / bénéfices défavorable, sauf exception Google ne détecte pas tout ce qui se comporte comme un lien, et ne teste pas tous les liens pour économiser du temps Mais certaines techniques ne marchent plus, et certains liens bien « masqués » sont découverts! Si vous faites cela, testez bien votre méthode avant ! Mais essayez aussi de trouver une autre approche… plus durable et performante 23
  • 24. Quid des contenus masqués en JS ? Contenus masqués : Contenus dans des onglets ou des accordéons C’est parsé par Googlebot Avec le mobile first indexing, ces contenus sont pris en compte(indexés) normalement Ce n’était pas le cas côté desktop 24
  • 25. Attention aux contenus externes… Google voit le contenu généré par des scripts tiers de commentaires etc… Générer des avis ou des commentaires ou du contenu via des APIs côté client ou pire, en utilisant des iFrames, rend leur contenu difficile à indexer Faites le côté serveur Attention à ce que ces scripts affichent 25
  • 26. Remarque : les download times GSC Ils mesurent le temps de téléchargement du code, pas un délai de rendition TTLB sur le fichier HTML Très différent de Google PageSpeed Pour faciliter la vie du crawler, l’attention aux « Core Web Vitals » devient indispensable 26
  • 27. Les Core Web Vitals 27
  • 28. Auditer un site à l’heure de Googlebot evergreen Deux crawls : En mode « classique » (HTML) En mode « headless browser » : exécution du JS On compare les deux bases d’urls crawlées Si ça matche : c’est bon Si les deux se complètent : c’est bon Si les deux se contredisent : c’est pas bon 28
  • 29. Tester avec la GSC Votre crawler SEO simule Googlebot, ce n’est pas Googlebot Vérifier vos templates avec la GSC On peut tester le rendu de la page et même le code HTML d’une page avec l’inspection d’URL, pour détecter le contenu que Googlebot n’a pas pu ou eu l’autorisation de charger 29
  • 30. Conclusion Avec Googlebot Evergreen, Google voit le même site que vos internautes À peu de choses près (attention au robots.txt, aux ressources en timeout, aux variables locales…) On peut donc avoir un bon référencement pour un site full JS Plus de contre-indications absolues Cela rend obsolètes pas mal de recommandations SEO Mais il y’a de nouveaux obstacles techniques au crawl et à l’indexation à connaître Ne laissez pas vos développeurs préférés se lâcher et coder un site web en oubliant les fondamentaux ! Apprenez vite ces limitations, et comment les diagnostiquer Et vous avez besoin d’un code ultraperformant ! Sinon, si vous dépendez du SEO de votre site, faites le « à l’ancienne » (en SSR avec un minimum de JS)
  • 32. Question Mug Quel est le délai médian mesuré en nov 2019 pour qu’une page crawlée soit rendue par le WRS ?