1.
Le crawl pour les développeurs
AFUP Reims
Mai 2018

2.
Qui suis-je ?
Julien Deneuville
• 29 ans
• Monte des sites depuis ~2004
• SEO Pro depuis 2011
• Twitter : @diije
• Blog : databulle.com/blog
• Vélo
• Musique
Quelques références
©2018 – Tous droits réservés
Databulle – www.databulle.com
2

3.
Qu’est-ce qu’un crawler ?
Un logiciel qui est capable de :
• Télécharger une page web
• En analyser le contenu
• En extraire des éléments
§ Les liens vers d’autres pages
§ Le title, le H1, la description …
• Stocker la liste des pages web à
traiter
• Stocker les résultats
©2018 – Tous droits réservés
Databulle – www.databulle.com
3

4.
Bots & crawlers
©2018 – Tous droits réservés
Databulle – www.databulle.com
4
52%
du trafic mondial web mondial
provient des bots.
Source : Incapsula

5.
Screaming Frog
Outil SEO de référence
Simple et pratique
Version gratuite (limitée à
500 URLs)
Version payante: £149,00/an
©2018 – Tous droits réservés
Databulle – www.databulle.com
5
https://www.screamingfrog.co.uk/seo-spider/

6.
Liens cassés
Identifier les liens pointant vers des erreurs :
pages introuvables, redirections, erreurs serveur, …
©2018 – Tous droits réservés
Databulle – www.databulle.com
6

7.
Liens cassés
©2018 – Tous droits réservés
Databulle – www.databulle.com
7
Répartition par
type de code
réponse
Filtre par type de
code réponse
Liste des liens
pointant vers l’URL
sélectionnée

8.
D’autres cas d’utilisation
Vérifier l’accessibilité des contenus
Détecter le contenu dupliqué
S’assurer de la bonne réécriture des URLs
Vérifier la présence d’un tag sur une liste de pages
Comparer le HTML avant/après exécution du JavaScript
…
©2018 – Tous droits réservés
Databulle – www.databulle.com
8

9.
Allez plus loin
Prenez de bonnes habitudes
• Améliorez vos recettes
• Validez vos mises en production
• Faites chauffer vos caches
Créez vos propres outils
• Par exemple avec Scrapy (en Python, désolé)
©2018 – Tous droits réservés
Databulle – www.databulle.com
9