Le projet Ipinion vise à extraire des informations d'URLs sans crawler les pages, en classifiant celles-ci selon leur auteur (institutionnel, corporate, particulier, journaliste) et d'autres critères. L'analyse s'effectue à travers l'analyse de l'URL de base, de son chemin, et divers traitements postérieurs, permettant d'identifier des informations telles que le type de site, le titre de la page, et d'autres tags pertinents. À l'issue du processus, le projet génère des statistiques sur le nom du site et la typologie des auteurs pour 60 à 70 % des cas, avec plusieurs tags par URL.

1. Analyse et classification d’URL
Projet iPinion - avril 2010

2. Objectifs
• Extraire le maximum d’informations possible
d’une URL sans avoir à crawler la page
correspondante
• La taxonomie utilisée pour la classification est
basée sur l’auteur du contenu : institutionnel,
corporate, particulier, journaliste
• D’autres aspects sont pris en compte par un
système de tags (type de site, langue, etc.)

3. Sommaire
• 1. Analyse de l’URL de base
• 2. Analyse du path
• 3. Résultats
• 4. Traitements postérieurs

4. Décomposition d’une URL
Protocole Sous-domaine Domaine TLD Sous-dossier Sous-dossiers
http://tempsreel.nouvelobs.com/actualite/social/20100412.OBS2257/
sncf-78-de-ter-en-regions-57-de-trains-grande-lignes-teoz.html
Titre Extension

5. 1. Analyse de l’URL de base
• L’URL de base se compose du sous-
domaine, du domaine, du TLD, et
éventuellement du premier sous-répertoire
• Elle est la partie la plus signifiante de l’URL,
et contient toujours le nom du site
• Elle a l’inconvénient d’être très courte

6. Déterminer le nom du site
Le nom du site est l’un de ces trois tokens :
http://tempsreel.nouvelobs.com/actualite/social/20100412.OBS2257/
sncf-78-de-ter-en-regions-57-de-trains-grande-lignes-teoz.html
http://infopartage.blogspot.com/2010/04/des-dizaines-de-milliers-de-polonais.html
http://twitter.com/bitsmedia/status/12255541587
http://www.liberation.fr/societe/0101630566-malentendu-sur-les-zones-noires-de-xynthia
-> si l’URL contient deux tokens, le premier est le nom du site
-> si elle contient trois tokens :
-> si elle commence par www, le token suivant est le nom du site
-> si non, on examine le deuxième token :
-> si c’est un service de blog listé, le premier token est le site
-> si non, le deuxième token est le site, et le premier est un sous-domaine, à
traiter avec les sous-url
-> dans tous les cas, le dernier token est le TLD
-> si le nom du site récupéré à l’issue de cette première étape est dans la liste des
exceptions, le nom du site est le premier token suivant l’URL de base (ex : twitter)

7. Tests sur le nom du site 1
• On recheche le nom, par ordre de priorité, dans :
- la liste des exceptions
- la liste ‘institutionnels’
- la liste ‘médias’
- Google News (s’il est présent, il est ajouté à la liste ‘médias’)
- la base des marques déposées de l’INPI (s’il est présent, il est ajouté à la
liste ‘marques’)
http://www.elysee.fr/president/les-actualites/communiques-de-presse/
2010/avril/annulation-du-deplacement-de-m-le-president-de-la.8579.html
auteur="institutionnel"
http://www.lepost.fr/article/2009/05/13/1533812_la-banque-postale-
comprend-la-crise.html
auteur="média"

8. Tests sur le nom du site II
• Si tous les tests précédents échouent, on
recherche la présence de mots qualifiants
(‘lefilm’, ‘blog’, ‘actu’) dans le nom du site
http://fragiles-lefilm.com/
nom="fragiles" type="film" auteur="corporate" lang="fr"
• En cas de nouvel échec, on effectue ces tests
sur le sous-domaine et le premier sous-
répertoire
http://leblog.vendeesign.com/web20/facebook-lance-facebook-lite-un-
twitter-like-6543/
nom="vendeesign" type="blog" lang="fr"

9. Tests sur le TLD
• Si le TLD est national : on note #france (.fr),
#francophone (.ch) ou #international (.de)
• Si le TLD est générique : s’il existe des
restrictions particulières (.gov, .mil, .edu), on
ajoute un tag correspondant (#institutionnel)
• Cas spécifique : .gouv.fr , par exemple, ajoute
les tags #france et #institutionnel

10. 2. Analyse du path
• La suite de l’URL (‘path’) est segmentée sur
les ‘/’
• Le path peut contenir de nombreuses
informations pertinentes
• Cependant, il doit être traité différemment
de la partie principale l’URL

11. Recherche de date
• On trouve souvent une date encodée dans
la première partie du path
• Diverses expressions régulières permettent
de rechercher la présence d’une date
• La date de publication d’une page est une
information importante pour en
déterminer la pertinence
http://www.capitaine-commerce.com/2007/12/20/
http://fr.rian.ru/business/20071001/81826681.html

12. Test sur l’extension
• L’analyse de l’extension permet de
déterminer s’il s’agit d’une page (.html, .php,
etc.), d’un fichier multimédia (.jpg, .png, etc.),
ou d’un flux RSS (.xml)
• On peut ensuite savoir quels traitements
postérieurs seront possibles ou nécessaires :
il est par exemple inutile de crawler les
adresses pointant vers un fichier multimédia

13. Recherche du type de site
• Certains tokens (ex. : ‘wiki’ ou ‘blog’)
permettent de déterminer le type de site
correspondant à l’URL
http://forums.thinkpads.com/viewtopic.php?f=43&t=86489
type="forum"
• Le type de site peut également être
déterminé à partir des listes de sites
utilisées pour l’analyse
http://www.lepost.fr/article/2009/05/13/1533812_la-banque-postale-
comprend-la-crise.html
type="actualités"

14. Parsing du titre
• On fait l’hypothèse que le dernier token
avant l’extension est le titre de la page
• On élimine tous les nombres de plus de
quatre chiffres, ainsi que tout se qui se trouve
avant un underscore, dans le premier token
• On tokenize ensuite sur ‘-’ , le seul
séparateur possible
http://cordonsbourse.blogs.liberation.fr/cori/2009/08/un-milliard-
deuros-provisionn%C3%A9-pour-les-traders-de-bnp-paribas.html
titre="un milliard deuros provisionné pour les traders de bnp
paribas"

15. Des tags pour les autres
informations
• Si un mot qualifiant a été identifié dans
l’URL, mais pas à une position particulière
(ni nom du site, ni titre de la page), il est
récupéré sous forme de tag :
http://emploi.france5.fr/emploi/creation-entreprise/choisir-son-statut/
53169148-fr.php
tags="creation entreprise"

16. 3. Résultats provisoires
• A l’issue du script on dispose au minimum,
pour chaque URL, du nom du site.
• On parvient à identifier un type d’auteur
dans 60-70% des cas
• On dispose également de plusieurs tags
(environ 5 par URL en moyenne)

17. Exemples complets I
http://al-turayya.hautetfort.com/archive/2010/03/08/
faire-un-don-pour-soutenir-mon-blog.html
<url site="al turayya" page_title="faire un don pour
soutenir mon blog" auteur="perso" type="blog"
service="hautetfort" lang="fr" filetype="text/html"
date="08/03/2010">http://al-turayya.hautetfort.com/
archive/2010/03/08/faire-un-don-pour-soutenir-mon-
blog.html</url>
http://www.ameliste.fr/
<url site="ameliste" auteur="commercial" lang="fr">
http://www.ameliste.fr/</url>

18. Exemples complets II
http://www.lalibre.be/economie/finance/article/
285542/ing-a-bien-commence-l-annee.html
<url site="lalibre.be" page_title="ing a bien commence
l annee" tags="economie finance article"
auteur="média" lang="fr" country="be" filetype="text/
html" date="08/03/2010">http://al-
turayya.hautetfort.com/archive/2010/03/08/faire-un-
don-pour-soutenir-mon-blog.html</url>

19. 4. Traitements postérieurs
• A l’issue de ce premier traitement, on peut
envisager d’affiner la classification des URL
• On classifie les URL du corpus de référence en
fonction d’une typologie plus fine, créant ainsi
des ‘profils’
• Dans un second temps, on peut envisager
d’utiliser ce corpus annoté avec un programme
d’apprentissage automatique supervisé