Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019

#seocamp 1Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40

CoFondateur de Search Foresight
10 ans d’expérience sur des
problématiques SEO Grands Comptes
& E-commerce.
L’ADN de L’agence
• Former en continu nos consultants
• Étudier les moteurs de recherche
• Créer des nouvelles Approches & Expertises
• Maitriser tous les outils & CMS du marché
• Se concentrer sur le résultat
• Former nos clients au SEO
Mon rôle
• Former les équipes
• Développer des outils R&D
• Faire évoluer les méthodes
• Accompagner sur les problématiques
techniques

Sommaire
1. Les raisons qui poussent à analyser le crawl de Google
2. Le fonctionnement du crawl
3. Analyser les passages de Google
4. Les outils
5. L'analyse croisées : Logs + Crawl
• Le principe
• Cas pratique
• Les pages orphelines
• Qu'est ce qui influence le crawl?
• L'influence le Performance?
• Qu'est ce qui influence le crawl?
• L'influence de la profondeur

#seocamp 4Mathieu.chapon@search-foresight.com - Tel : 01 74 18 29 40Agence conseil en stratégie digitale | SEO • SEM • CRO • Inbound Marketing • Analytics
LE CRAWL DU BOT

Le fonctionnement d’un moteur de recherche
Crawleur, indexeur, requêteur

L’objectif de Google
Gagner un max d’argent!!!! 
Fournir la meilleure réponse aux utilisateurs, en
temps réel!

Donc, il faut explorer l’Internet
1,7 milliard de sites
165 mille milliards de pages
http://www.internetlivestats.com/watch/websites/

Pour les crawler une fois, il faudrait crawler
5 000 000 pages
par seconde pendant 1 an

Ne peut pas répondre à l’objectif de
fraîcheur du résultat
Et
D’exhaustivité

Les chiffres de Google en 2018
Chaque jour,
Google crawl 20 milliards de pages
Donc 232 000 par seconde

Les chiffres de Google en 2018
Chaque jour,
Google répond à 3,3 milliards de
recherches
Dont 15% n’avaient jamais été posé avant!

Donc Google doit faire des choix!

Quel est son processus d’exploration?
À partir de sites de son index, il
découvre de nouvelles urls/sites
depuis des sites
Il l’ajoute à sa liste d’urls à crawler
Puis il la crawl
Popularité - technique

Comment il priorise?
Pour prioriser son crawl, Google calcul un
Score d’importance de la page
Technique - Contenu

Comment il pondère son crawl?
En fonction de son expérience d’exploration
sur votre site, il attribue un
Budget de crawl
qui est « flexible »
Technique – contenu - popularité

Budget de crawl flexible en fonction de…
• La performance
• La santé du site (3xx, 4xx, 5xx)
• La qualité du contenus de vos pages
• Le linking interne
• Inrank et l’outrank
• La profondeur
Technique – contenu - popularité

LE PASSAGE DU BOT

Qu’est-ce que les logs serveurs?
Les logs serveur sont des fichiers qui comptabilisent toutes les visites
bots ou utilisateurs
Vous obtiendrez ainsi des informations sur
• La fréquence
• Les (plus) pages visités
• Les bots qui vous visitent
• Les sources des visites
• Le rescode de votre site
• Le volume de crawl
• …

Ou trouve-t-on les logs?

Quelques points d’attention!
1) Est-ce que vous stockez vos logs ?
Oui/non?
Quels sont les principaux problèmes qu’on rencontre en général?
• L’article 6 de la Loi n° 2004-575 du 21 juin 2004 pour la confiance dans
l'économie numérique prévoit une durée de 1 an.
• La Loi n° 2006-64 du 23 janvier 2006 relative à la lutte contre le terrorisme
préconise 1 an.
• La CNIL recommande 6 mois à des fins de contrôle des utilisateurs.

Quelques points d’attention!
2) Est-ce que vous stockez toutes les informations nécessaires dans vos logs?
 L’adresse IP du client demandeur du contenu
 Le nom d'hôte
 La date et l'heure de la requête
 La requête effectuée ou l'url visitée ainsi que le protocole (HTTP/1.1)
 Le statut de la réponse
 La taille des données servies
 Le User Agent
 Le Referer (informations sur le client qui lance la requête)
Quels sont les principaux problèmes qu’on rencontre en général?

Quelques autres points d’attention?
Vos serveurs, serveurs proxies, servers de cache, load balancing, serveurs de réécriture
Et pas des plus anodins!
Récupérer vos logs avec les urls réécrites
Ils sont souvent répartis entre les frontaux et les serveurs de cache
Où récupérer vos logs serveurs?
Attention à la réécriture!
Récupérer la totalité des logs

Les outils pour l’analyse de logs
 Gratuit  $ Payant $
Le temps, c’est de l’argent!
ELK

L’analyse croisée
Logs + Crawl

Le principe
Croiser le crawl de Google avec le crawl d’un outil!
Logs + Crawl

FOCUS SUR LE CRAWL: ACCESSIBILITÉ
Contenu Non Existant
(ex: nouvel univers potentiel)
Contenu disponible
(ex: pages bloquées aux moteurs)
Pages Mises en Ligne
Pages Crawlées
Pages indexées
Mots Clefs
Positionnées
Mots Clefs
Cherchées
100%
10%
50%
Vérifier qu’on
exploite bien tous
les contenus à
disposition
Optimiser en local les pages du site
Vérifier que toutes les
pages utiles soient bien
accessibles aux moteurs
de recherche
PERDITIONSEO
ROI
Mots Clefs
Cherchées
PERDITIONSEO
ACCESSIBILITÉ
L’analyse croisée
Logs + crawl

Qu’est ce qu’on y voit?
Ce croisement est très riche d’enseignements
• Taux de crawl: Quel est le ratio de crawl vue par Google vs crawlable dans le site?
• Taux de pages actives: Combien de pages ont fait au moins une visite sur la période?
• L'âge des pages actives: Parmi les pages qui ont fait des visites, depuis quand Google est
passé?
• La fenêtre de crawl: Combien de temps se passe entre 2 crawls pour les pages actives?
• L’efficacité crawl / visites: le ratio entre le crawl et visite : plus c’est élevé plus le crawl est
efficace.
• Répartition du crawl et des visites par typologie de pages
• Répartition des codes réponses par types de pages
• Les pages Orphelines : Pages vues par Google mais présente dans la structure

Cas pratique: vision de la superposition!
Quelles sont les conclusions à tirer de ce graphique?
Raisons:
Réécriture, http/https, mauvais logs

Quels sont les conclusions à tirer de ce graphique?
Raisons
Problème de crawlabilité du site
Erreur configuration de votre crawl

Raisons
Vous n’avez pas l’exhaustivité de vos logs
La performance ou la profondeur sont mauvaises

Raisons:
Ajax, obfuscation inefficace, autres domaines

Raisons:
Totale inefficacité du crawl de Google sur le
site

Les pages orphelines
Question
Quels sont les cas les plus
courants des pages orphelines?

Les pages orphelines
Réponse
Les urls en 3xx et 4xx
- Des pages produits/annonces expirées
- Migration récente
- Passage au http https

Qu'est-ce qui influence le crawl d'un
site?
• Le temps de chargement
• La profondeur
• Les erreurs 3XX, 4XX et 5XX
• Google Shoping et Adsense
• Le(s) sitemap(s)
• La popularité
• Le robots.txt
Par Googlebot
• La fraîcheur des pages
• Les liens internes et externes
• La qualité du contenu
• L’Usage
• La techno: Ajax, Javascript
• Les balises canonical, noindex,

L’influence de la performance
Exemple depuis la search console

L’influence de la profondeur
Question
Quel est le taux de crawl en
niveau 5?

Réponse
- de 20%

Le crawl décroit en fonction de la profondeur – pourquoi?

La mauvaise influence du crawl
Qu’est-ce qui peut expliquer un taux de crawl aussi important dans la
profondeur?

L’Influence du crawl
Question
Quel est le seul User agent de Google
qui ne respecte pas la règle suivante
User-Agent: *
Disallow: /

Réponse
mediapartners-Google

L’influence sur l’explorabilité
Question
Quelle technique d’obfuscation de liens
fonctionne ci-dessous?
<span onclick=customFunction((‘url’))>
<button onclick(location.href(‘url’)>
"items":[{"label":"Caduc","count":681,"url":"https://domain.com/plantes/plantes-d-exterieur/rosiers.html
<span data-atc=‘shd455dhf’>

L’Influence sur l’explorabilité
Réponse
<span data-atc=‘shd455dhf’>

Question
Quelles sont les balises qui font perdre
du temps à Google?

Réponse
Balise Noindex
Balise canonical

L’exemple qui le montre

L’influence le crawl
Question
Dans une structure optimisé, qu’elle est
l’autre raison,
pour que Google ne crawl pas les
pages?

Réponse
Les pages zombies
D’Olivier Duffez

Comment les identifier?

Les Analyses plus poussées

Depuis quand une page active n’a pas été crawlée ?
En général, sur la plupart d’un site, une page active à été visité dans les 7 derniers jours.
Pourquoi?

Fréquence de crawl par segment de pages
Pourquoi les villes entre 50K à 100K habitants est moins crawlées que les villes 20K à 50K?

Quels sont les indicateurs qui pêchent pour mieux se positionner?
Les termes suivants, les plus générateurs de trafic, ont des KPIs SEO à améliorer.

Merci de votre
écoute

Question Mug
Comment s’appelle le User
Agent du bot de Google
crawlant la version mobile?

MERCI AUX SPONSORS

Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (19)

Similaire à Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019

Similaire à Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019 (20)

Plus de SEO CAMP

Plus de SEO CAMP (20)

Analyse Logs + crawl : Retour sur 10 ans d’expérience - Mathieu Chapon - SEOCamp'us Paris 2019