SlideShare une entreprise Scribd logo
Confrontation à la perception humaine de
mesures de similarité entre membres
d’un réseau social académique :
enrichissement du profilage thématique par des
indices liées aux liens sociaux
Guillaume Cabanac
guillaume.cabanac@univ-tlse3.fr
@gcabanac
11 octobre 2016
UPEM
Cabanac, G. (2011). Accuracy of inter-researcher similarity measures based on topical and social clues.
Scientometrics, 87, 3, 597–620. doi:10.1007/s11192-011-0358-1
http://bit.ly/exiaCabanac2016
2
Plan
1. Contexte recherche scientifique
veille bibliographique
Problématique limites filtrages collaboratif + cognitif
2. Contribution recommandations thématico-sociales
protocole d’expérimentation PH ↔ Sim
3. Évaluation expérimentation avec 71 chercheurs
4. Conclusion et perspectives
Veille bibliographique : apport de l’aspect social G. Cabanac
3
La recherche = cycles lecture/écriture
1. Contexte − recherche scientifique G. Cabanac
 État de l’art : constitution et actualisation
 Positionnement
 Justification de l’originalité
 Questionnements récurrents
 Travaux au sujet de XYZ ?
 les fondamentaux
 les émergeants
 Qui travaille sur XYZ ?
 leaders
 nouveaux
 Dans quel journal, quelle conférence ?
4
Recommandation bibliographique (McNee et al., 2006)
 Filtrage collaboratif
 Principe : analyse des appréciationsappréciations des chercheurs
→ ceux qui ont aimé cet article on aussi aimé…
 Effet boule de neige / de mode
 Innovation ?
 Pertinence thématique ?
 Filtrage cognitif
 Principe : analyse du contenucontenu des articles
→ profil de ressources (chercheur, articles)
→ graphe des citations articles ↔ articles
 Approches hybrides





????
1. Contexte − recherche scientifique G. Cabanac
5
Plan
1. Contexte recherche scientifique
veille bibliographique
Problématique limites filtrages collaboratif + cognitif
2. Contribution recommandations thématico-sociales
protocole d’expérimentation PH ↔ Sim
3. Évaluation expérimentation avec 71 chercheurs
4. Conclusion et perspectives
Veille bibliographique : apport de l’aspect social G. Cabanac
6
Recommandation thématico-sociale
3. Contributions − recommandations thématico-sociales G. Cabanac
 État de l’art : modèles riches mais…
 Coût accès payant aux contenus
 Faisabilité contenu = formats et langues multiples
 Intrusivité friendship ? bookmarking ?
 Pertinence citations (négatives, complaisantes…)
 Évaluation beaucoup de paramètres en jeu !
 Notre approche : exploiter des données publiquesdonnées publiques et objectivesobjectives
 Source bibliographique minimale
 auteurs : nom prénom
 publications : titre, conférence/journal, date
⇒ ni abstract, ni contenu
 Objectif : recommandation de chercheurs
 critère thématique
 critère social
(Ben Jabeur et al., 2010)
7
Briques de base : similarités étudiées
 Modélisation
 Coauteurs graphe biparti auteurs ↔ auteurs
 Venues graphe biparti auteurs ↔ conférences / journaux
 Similarités sociales
 Degré de séparation inverse longueur du plus court chemin
 Force de la connectivité nombre de plus court chemins
 Conférences communes nombre d’éditions de conférences en commun
 Similarité thématique
 Cosinus + Modèle vectoriel di = (wi
1
, … , wi
n
)
sur les titres (doc / chercheur)
3. Contributions − recommandations thématico-sociales G. Cabanac
8
Calcul de similarité thématico-sociale
 Tâche de veille bibliographique
 Exigence pertinence thématique
 Préférence proximité sociale (échanges, montage de projets…)
⇒ réordonner les résultats thématiques par le social
 Approche de combinaison avec CombMNZ (Fox & Shaw, 1993)
 Résultat final : liste de chercheurs recommandés
CombMNZ
Degré séparation
Force connectivité
Co-conférences
Liste sociale
Liste thématique
∩
CombMNZ Liste TSListe TS
3. Contributions − recommandations thématico-sociales G. Cabanac
9
Plan
1. Contexte recherche scientifique
veille bibliographique
Problématique limites filtrages collaboratif + cognitif
2. Contribution recommandations thématico-sociales
protocole d’expérimentation PH ↔ Sim
3. Évaluation expérimentation avec 71 chercheurs
4. Conclusion et perspectives
Veille bibliographique : apport de l’aspect social G. Cabanac
10
Protocole d’évaluation
 Confronter les recommandations à la perception des chercheurs
 Q1 : Qualité du thématique seul ?
 Q2 : Amélioration par l’intégration du social ?
 Expérimentation en RI : paradigme Cranfield (TREC…)
 Le moteur restitue-t-il des documents pertinents ?
3. Contributions − recommandations thématico-sociales G. Cabanac
doc pertinent ?
assesseur
jugements de pertinence
{0, 1} binaires
[0, N] graduels
qrels
trec_eval
mesures de qualité
Mean Average Precision
Normalized Discounted Cumulative Gain
topic S1 S2
1 0,5687 0,6521
… … …
50 0,7124 0,7512
moy. 0,6421 0,7215
amélioration +12,3 %
significative p < 0,05 (t-test pairé)
moteur de recherche
input
topic
corpus
11
Évaluation des recommandations
doc pertinent ?
assesseur
jugements de pertinence
{0, 1} binaires
[0, N] graduels
qrels
trec_eval
mesures de qualité
Mean Average Precision
Normalized Discounted Cumulative Gain
topic S1 S2
1 0,5687 0,6521
… … …
50 0,7124 0,7512
moy. 0,6421 0,7215
amélioration +12,3 %
significative p < 0,05 (t-test pairé)
moteur de recherche
input
topic
corpus
nom d’un
chercheur
chercheur
« Pour progresser dans votre recherche,
avec qui faudrait-il discuter ? »
sys. de recommandation
thématique
thématique
+ social
nb sujets
25 premiers
3. Contributions − recommandations thématico-sociales G. Cabanac
12
Expérimentation
 Caractéristiques
 Données dblp.xml (713 Mo = 1,3M publis et 811 787 chercheurs)
 Sujets 90 chercheurs-contacts joints par mail
74 chercheurs ont commencé et 71 ont fini
 Interface de jugement des recommandations



3. Contributions − recommandations thématico-sociales G. Cabanac
13
Expérimentation : analyses
 Expérience des 71 sujets médiane = 13 ans
74
 Productivité des 71 sujets médiane = 15 publications
3. Contributions − recommandations thématico-sociales G. Cabanac
14
Validation expérimentale de nos hypothèses
 Baseline forte ⇒ approche vectorielle performante
 +8,49 % = amélioration significative (p < 0,05 ; n = 70)
de la thématique par le social
0,5
0,6
0,7
0,8
0,9
1
global < 15 publis >= 15 publis < 13 ans >= 13 ans
Thématique Thématique + Social
productivité expérience
+8,49 %+8,49 % +10,39 %+10,39 % +7,03 %+7,03 % +6,50 %+6,50 % +10,22 %+10,22 %
NDCG
3. Contributions − recommandations thématico-sociales G. Cabanac
15
Plan
1. Contexte recherche scientifique
veille bibliographique
Problématique limites filtrages collaboratif + cognitif
2. Contribution recommandations thématico-sociales
protocole d’expérimentation PH ↔ Sim
3. Évaluation expérimentation avec 71 chercheurs
4. Conclusion et perspectives
Veille bibliographique : apport de l’aspect social G. Cabanac
16
Conclusion
 Tâche de veille bibliographique
 Exigence pertinence thématique
 Préférence proximité sociale (échanges, montage de projets…)
 Recommandations thématico-sociales
 Source auteurs + articles (titre, conférence/journal, date)
 Fonctions de similarité
 thématique modèle vectoriel + cosinus
 sociales degré de séparation, force connectivité, conférences communes
 Combinaison avec CombMNZ (Fox & Shaw, 1993)
 Validation expérimentale
 Protocole Cranfield adapté, mesure de pertinence graduelle (NDCG)
 Sujets : 71 chercheurs ; données : DBLP
 + 8,49 % d’amélioration significative (baseline = thématique seul)
Veille bibliographique: apport de l’aspect social G. Cabanac
17
Perspectives (1/2)
 Finaliser le système de recommandation
Veille bibliographique: apport de l’aspect social G. Cabanac
18
Perspectives (2/2)
 Court terme
 Expérimenter avec plus de participants, profils plus variés
 Autre combinateurs, machine learning, etc.
 Moyen terme
 Thématique
 indexation conceptuelle : « RI » = « Recherche d’info » = « IR » = …
 identification des précurseurs (mesure d’influence)
 Social
 sociabilité : publication solitaire / tribale / éparse
 temporalité : changement de domaine / retraite
 Long terme
 Typologie des besoins en veille bibliographique
ex : awareness versus prospective
Veille bibliographique: apport de l’aspect social G. Cabanac
Merci
Guillaume Cabanac
guillaume.cabanac@univ-tlse3.fr
@gcabanac

Contenu connexe

En vedette

LL_LOOKBOOKSHL16
LL_LOOKBOOKSHL16LL_LOOKBOOKSHL16
LL_LOOKBOOKSHL16
Clara Brito
 
Practica 1Colegio nacional pomasqui
Practica 1Colegio nacional pomasquiPractica 1Colegio nacional pomasqui
Practica 1Colegio nacional pomasqui
Ericdj
 
Folha Dominical - 16.01.11 Nº356
Folha Dominical - 16.01.11 Nº356Folha Dominical - 16.01.11 Nº356
Folha Dominical - 16.01.11 Nº356
Comunidades Vivas
 
Folha dominical 27.09.15 nº 588
Folha dominical   27.09.15 nº 588Folha dominical   27.09.15 nº 588
Folha dominical 27.09.15 nº 588
Comunidades Vivas
 
Etica anbientall
Etica anbientallEtica anbientall
Folha Dominical - 28.10.12 Nº 446
Folha Dominical - 28.10.12 Nº 446Folha Dominical - 28.10.12 Nº 446
Folha Dominical - 28.10.12 Nº 446
Comunidades Vivas
 
Folha Dominical - 28.11.10 Nº349
Folha Dominical - 28.11.10 Nº349Folha Dominical - 28.11.10 Nº349
Folha Dominical - 28.11.10 Nº349
Comunidades Vivas
 
Zenaida portafolio
Zenaida portafolio Zenaida portafolio
Zenaida portafolio
zenaidaperozo1084
 
KeyStandards_FinalPresentation_04162015
KeyStandards_FinalPresentation_04162015KeyStandards_FinalPresentation_04162015
KeyStandards_FinalPresentation_04162015
Haritej Reddy Yeramreddy
 
Generating stories from Archive-It collections
Generating stories from Archive-It collectionsGenerating stories from Archive-It collections
Generating stories from Archive-It collections
Yasmin AlNoamany, PhD
 
Taller de instrumentos de evaluacion y proceso aulico
Taller de instrumentos de evaluacion y proceso aulicoTaller de instrumentos de evaluacion y proceso aulico
Taller de instrumentos de evaluacion y proceso aulico
Juan Carlos Medina Polanco
 

En vedette (11)

LL_LOOKBOOKSHL16
LL_LOOKBOOKSHL16LL_LOOKBOOKSHL16
LL_LOOKBOOKSHL16
 
Practica 1Colegio nacional pomasqui
Practica 1Colegio nacional pomasquiPractica 1Colegio nacional pomasqui
Practica 1Colegio nacional pomasqui
 
Folha Dominical - 16.01.11 Nº356
Folha Dominical - 16.01.11 Nº356Folha Dominical - 16.01.11 Nº356
Folha Dominical - 16.01.11 Nº356
 
Folha dominical 27.09.15 nº 588
Folha dominical   27.09.15 nº 588Folha dominical   27.09.15 nº 588
Folha dominical 27.09.15 nº 588
 
Etica anbientall
Etica anbientallEtica anbientall
Etica anbientall
 
Folha Dominical - 28.10.12 Nº 446
Folha Dominical - 28.10.12 Nº 446Folha Dominical - 28.10.12 Nº 446
Folha Dominical - 28.10.12 Nº 446
 
Folha Dominical - 28.11.10 Nº349
Folha Dominical - 28.11.10 Nº349Folha Dominical - 28.11.10 Nº349
Folha Dominical - 28.11.10 Nº349
 
Zenaida portafolio
Zenaida portafolio Zenaida portafolio
Zenaida portafolio
 
KeyStandards_FinalPresentation_04162015
KeyStandards_FinalPresentation_04162015KeyStandards_FinalPresentation_04162015
KeyStandards_FinalPresentation_04162015
 
Generating stories from Archive-It collections
Generating stories from Archive-It collectionsGenerating stories from Archive-It collections
Generating stories from Archive-It collections
 
Taller de instrumentos de evaluacion y proceso aulico
Taller de instrumentos de evaluacion y proceso aulicoTaller de instrumentos de evaluacion y proceso aulico
Taller de instrumentos de evaluacion y proceso aulico
 

Similaire à Confrontation à la perception humaine de mesures de similarité entre membres

Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
Guillaume Cabanac
 
Federating and Improving Document-related Activities Through Collective Annot...
Federating and Improving Document-related Activities Through Collective Annot...Federating and Improving Document-related Activities Through Collective Annot...
Federating and Improving Document-related Activities Through Collective Annot...
Guillaume Cabanac
 
Questionner le texte scientifique pour caractériser la science et l'innovation
Questionner le texte scientifique pour caractériser la science et l'innovationQuestionner le texte scientifique pour caractériser la science et l'innovation
Questionner le texte scientifique pour caractériser la science et l'innovation
Guillaume Cabanac
 
Conception et évaluation d'un dispositif de formation à la culture numérique
Conception et évaluation d'un dispositif de formation à la culture numériqueConception et évaluation d'un dispositif de formation à la culture numérique
Conception et évaluation d'un dispositif de formation à la culture numérique
Université de Franche-Comté
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
URFIST de Paris
 
Teplovs stef seminar_fr
Teplovs stef seminar_frTeplovs stef seminar_fr
Teplovs stef seminar_fr
Chris Teplovs
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
Manuel Durand Barthez
 
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-BarthezBibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
MyScienceWork
 
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
Bilel Moulahi
 
Analyse_public_enquetes
Analyse_public_enquetesAnalyse_public_enquetes
Analyse_public_enquetes
BELVEZE Damien
 
Regard systématique sur l’engagement (2009)
Regard systématique sur l’engagement (2009)Regard systématique sur l’engagement (2009)
Regard systématique sur l’engagement (2009)
UQAR
 
Bibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectivesBibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectives
Nicolas Alarcon
 
Le projet SemanSciences
Le projet SemanSciencesLe projet SemanSciences
Le projet SemanSciences
Université de Franche-Comté
 
Collaboratoires & shs lyon ens
Collaboratoires & shs lyon ensCollaboratoires & shs lyon ens
Collaboratoires & shs lyon ensManuel Zacklad
 
Méthodes multiples et triangulation
Méthodes multiples et triangulationMéthodes multiples et triangulation
Méthodes multiples et triangulation
Baptiste Billon
 
Rep2400 plan cours_h2019_sl
Rep2400 plan cours_h2019_slRep2400 plan cours_h2019_sl
Rep2400 plan cours_h2019_sl
Patrice Leroux
 
Evaluation des outils de participation
Evaluation des outils de participationEvaluation des outils de participation
Evaluation des outils de participation
geoseminaire2011
 
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
URFIST de Paris
 
Ingénierie du processus de recherche: conception et réalisation d'un projet d...
Ingénierie du processus de recherche: conception et réalisation d'un projet d...Ingénierie du processus de recherche: conception et réalisation d'un projet d...
Ingénierie du processus de recherche: conception et réalisation d'un projet d...
Université de Dschang
 
P2S regard de l'Inrp
P2S regard de l'InrpP2S regard de l'Inrp
P2S regard de l'InrpDFIE Lyon
 

Similaire à Confrontation à la perception humaine de mesures de similarité entre membres (20)

Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
Valoriser le capital documentaire (en sommeil) d’une organisation : exploitat...
 
Federating and Improving Document-related Activities Through Collective Annot...
Federating and Improving Document-related Activities Through Collective Annot...Federating and Improving Document-related Activities Through Collective Annot...
Federating and Improving Document-related Activities Through Collective Annot...
 
Questionner le texte scientifique pour caractériser la science et l'innovation
Questionner le texte scientifique pour caractériser la science et l'innovationQuestionner le texte scientifique pour caractériser la science et l'innovation
Questionner le texte scientifique pour caractériser la science et l'innovation
 
Conception et évaluation d'un dispositif de formation à la culture numérique
Conception et évaluation d'un dispositif de formation à la culture numériqueConception et évaluation d'un dispositif de formation à la culture numérique
Conception et évaluation d'un dispositif de formation à la culture numérique
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
 
Teplovs stef seminar_fr
Teplovs stef seminar_frTeplovs stef seminar_fr
Teplovs stef seminar_fr
 
En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?En marge du Rang A : quel espace pour la recherche ?
En marge du Rang A : quel espace pour la recherche ?
 
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-BarthezBibliométrie & production scientifique des entités de recherche - Durand-Barthez
Bibliométrie & production scientifique des entités de recherche - Durand-Barthez
 
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
Définition et évaluation de modèles d'agrégation pour l'estimation de la pert...
 
Analyse_public_enquetes
Analyse_public_enquetesAnalyse_public_enquetes
Analyse_public_enquetes
 
Regard systématique sur l’engagement (2009)
Regard systématique sur l’engagement (2009)Regard systématique sur l’engagement (2009)
Regard systématique sur l’engagement (2009)
 
Bibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectivesBibliométrie : panorama, critiques, perspectives
Bibliométrie : panorama, critiques, perspectives
 
Le projet SemanSciences
Le projet SemanSciencesLe projet SemanSciences
Le projet SemanSciences
 
Collaboratoires & shs lyon ens
Collaboratoires & shs lyon ensCollaboratoires & shs lyon ens
Collaboratoires & shs lyon ens
 
Méthodes multiples et triangulation
Méthodes multiples et triangulationMéthodes multiples et triangulation
Méthodes multiples et triangulation
 
Rep2400 plan cours_h2019_sl
Rep2400 plan cours_h2019_slRep2400 plan cours_h2019_sl
Rep2400 plan cours_h2019_sl
 
Evaluation des outils de participation
Evaluation des outils de participationEvaluation des outils de participation
Evaluation des outils de participation
 
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
Evaluation et caractérisation des entités de recherche : acteurs et méthodes ...
 
Ingénierie du processus de recherche: conception et réalisation d'un projet d...
Ingénierie du processus de recherche: conception et réalisation d'un projet d...Ingénierie du processus de recherche: conception et réalisation d'un projet d...
Ingénierie du processus de recherche: conception et réalisation d'un projet d...
 
P2S regard de l'Inrp
P2S regard de l'InrpP2S regard de l'Inrp
P2S regard de l'Inrp
 

Plus de Guillaume Cabanac

Adoption de l’identifiant ORCID : le cas des universités toulousaines
Adoption de l’identifiant ORCID : le cas des universités toulousainesAdoption de l’identifiant ORCID : le cas des universités toulousaines
Adoption de l’identifiant ORCID : le cas des universités toulousaines
Guillaume Cabanac
 
Dépollution de la littérature scientifique : traque d’expression torturées ...
Dépollution de la littérature scientifique : traque d’expression torturées ...Dépollution de la littérature scientifique : traque d’expression torturées ...
Dépollution de la littérature scientifique : traque d’expression torturées ...
Guillaume Cabanac
 
Interroger la science
Interroger la scienceInterroger la science
Interroger la science
Guillaume Cabanac
 
Comment analyser une mobilisation collective dans les réseaux socionumériques...
Comment analyser une mobilisation collective dans les réseaux socionumériques...Comment analyser une mobilisation collective dans les réseaux socionumériques...
Comment analyser une mobilisation collective dans les réseaux socionumériques...
Guillaume Cabanac
 
Gender as a Variable to Study Academic Writing
Gender as a Variable to Study Academic WritingGender as a Variable to Study Academic Writing
Gender as a Variable to Study Academic Writing
Guillaume Cabanac
 
Prospection de textes scientifiques : vision prospective
Prospection de textes scientifiques : vision prospectiveProspection de textes scientifiques : vision prospective
Prospection de textes scientifiques : vision prospective
Guillaume Cabanac
 
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
Guillaume Cabanac
 
Interroger le texte scientifique
Interroger le texte scientifiqueInterroger le texte scientifique
Interroger le texte scientifique
Guillaume Cabanac
 
The promises of web scrapping: Mining the web for relational data about artists
The promises of web scrapping: Mining the web for relational data about artistsThe promises of web scrapping: Mining the web for relational data about artists
The promises of web scrapping: Mining the web for relational data about artists
Guillaume Cabanac
 
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
Guillaume Cabanac
 
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
Guillaume Cabanac
 
Émergence de l’open access « gris » : LibGen et Sci-Hub
Émergence de l’open access « gris » : LibGen et Sci-HubÉmergence de l’open access « gris » : LibGen et Sci-Hub
Émergence de l’open access « gris » : LibGen et Sci-Hub
Guillaume Cabanac
 
Sur les étagères des bibliothèques numériques clandestines:
Sur les étagères des bibliothèques numériques clandestines: Sur les étagères des bibliothèques numériques clandestines:
Sur les étagères des bibliothèques numériques clandestines:
Guillaume Cabanac
 
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociauxLes altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
Guillaume Cabanac
 
A Journey in Scientometrics: quantitative studies of science at the crossroad...
A Journey in Scientometrics: quantitative studies of science at the crossroad...A Journey in Scientometrics: quantitative studies of science at the crossroad...
A Journey in Scientometrics: quantitative studies of science at the crossroad...
Guillaume Cabanac
 
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifique
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifiqueBibliogifts ? Les bibliothèques clandestines de l'édition scientifique
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifique
Guillaume Cabanac
 
Le renfort des liens forts - dynamique relationnelle du coauthorship
Le renfort des liens forts - dynamique relationnelle du coauthorshipLe renfort des liens forts - dynamique relationnelle du coauthorship
Le renfort des liens forts - dynamique relationnelle du coauthorship
Guillaume Cabanac
 
Médias sociaux et visibilité des chercheurs
Médias sociaux et visibilité des chercheursMédias sociaux et visibilité des chercheurs
Médias sociaux et visibilité des chercheurs
Guillaume Cabanac
 
In Praise of Interdisciplinary Research through Scientometrics
In Praise of Interdisciplinary Research through ScientometricsIn Praise of Interdisciplinary Research through Scientometrics
In Praise of Interdisciplinary Research through Scientometrics
Guillaume Cabanac
 
Programmation événementielle avec Windev
Programmation événementielle avec WindevProgrammation événementielle avec Windev
Programmation événementielle avec Windev
Guillaume Cabanac
 

Plus de Guillaume Cabanac (20)

Adoption de l’identifiant ORCID : le cas des universités toulousaines
Adoption de l’identifiant ORCID : le cas des universités toulousainesAdoption de l’identifiant ORCID : le cas des universités toulousaines
Adoption de l’identifiant ORCID : le cas des universités toulousaines
 
Dépollution de la littérature scientifique : traque d’expression torturées ...
Dépollution de la littérature scientifique : traque d’expression torturées ...Dépollution de la littérature scientifique : traque d’expression torturées ...
Dépollution de la littérature scientifique : traque d’expression torturées ...
 
Interroger la science
Interroger la scienceInterroger la science
Interroger la science
 
Comment analyser une mobilisation collective dans les réseaux socionumériques...
Comment analyser une mobilisation collective dans les réseaux socionumériques...Comment analyser une mobilisation collective dans les réseaux socionumériques...
Comment analyser une mobilisation collective dans les réseaux socionumériques...
 
Gender as a Variable to Study Academic Writing
Gender as a Variable to Study Academic WritingGender as a Variable to Study Academic Writing
Gender as a Variable to Study Academic Writing
 
Prospection de textes scientifiques : vision prospective
Prospection de textes scientifiques : vision prospectiveProspection de textes scientifiques : vision prospective
Prospection de textes scientifiques : vision prospective
 
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
Le carnet de l'avent de la sociologie francophone sur Twitter : réseaux et al...
 
Interroger le texte scientifique
Interroger le texte scientifiqueInterroger le texte scientifique
Interroger le texte scientifique
 
The promises of web scrapping: Mining the web for relational data about artists
The promises of web scrapping: Mining the web for relational data about artistsThe promises of web scrapping: Mining the web for relational data about artists
The promises of web scrapping: Mining the web for relational data about artists
 
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
Émergence de l’open access « gris » : LibGen et Sci-Hub comme filières clande...
 
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
« T'as pensé à retweeter mon article ? » Enjeux, limites et critique de la bi...
 
Émergence de l’open access « gris » : LibGen et Sci-Hub
Émergence de l’open access « gris » : LibGen et Sci-HubÉmergence de l’open access « gris » : LibGen et Sci-Hub
Émergence de l’open access « gris » : LibGen et Sci-Hub
 
Sur les étagères des bibliothèques numériques clandestines:
Sur les étagères des bibliothèques numériques clandestines: Sur les étagères des bibliothèques numériques clandestines:
Sur les étagères des bibliothèques numériques clandestines:
 
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociauxLes altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
Les altmetrics : estimer l'engouement pour la recherche sur les médias sociaux
 
A Journey in Scientometrics: quantitative studies of science at the crossroad...
A Journey in Scientometrics: quantitative studies of science at the crossroad...A Journey in Scientometrics: quantitative studies of science at the crossroad...
A Journey in Scientometrics: quantitative studies of science at the crossroad...
 
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifique
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifiqueBibliogifts ? Les bibliothèques clandestines de l'édition scientifique
Bibliogifts ? Les bibliothèques clandestines de l'édition scientifique
 
Le renfort des liens forts - dynamique relationnelle du coauthorship
Le renfort des liens forts - dynamique relationnelle du coauthorshipLe renfort des liens forts - dynamique relationnelle du coauthorship
Le renfort des liens forts - dynamique relationnelle du coauthorship
 
Médias sociaux et visibilité des chercheurs
Médias sociaux et visibilité des chercheursMédias sociaux et visibilité des chercheurs
Médias sociaux et visibilité des chercheurs
 
In Praise of Interdisciplinary Research through Scientometrics
In Praise of Interdisciplinary Research through ScientometricsIn Praise of Interdisciplinary Research through Scientometrics
In Praise of Interdisciplinary Research through Scientometrics
 
Programmation événementielle avec Windev
Programmation événementielle avec WindevProgrammation événementielle avec Windev
Programmation événementielle avec Windev
 

Confrontation à la perception humaine de mesures de similarité entre membres

  • 1. Confrontation à la perception humaine de mesures de similarité entre membres d’un réseau social académique : enrichissement du profilage thématique par des indices liées aux liens sociaux Guillaume Cabanac guillaume.cabanac@univ-tlse3.fr @gcabanac 11 octobre 2016 UPEM Cabanac, G. (2011). Accuracy of inter-researcher similarity measures based on topical and social clues. Scientometrics, 87, 3, 597–620. doi:10.1007/s11192-011-0358-1 http://bit.ly/exiaCabanac2016
  • 2. 2 Plan 1. Contexte recherche scientifique veille bibliographique Problématique limites filtrages collaboratif + cognitif 2. Contribution recommandations thématico-sociales protocole d’expérimentation PH ↔ Sim 3. Évaluation expérimentation avec 71 chercheurs 4. Conclusion et perspectives Veille bibliographique : apport de l’aspect social G. Cabanac
  • 3. 3 La recherche = cycles lecture/écriture 1. Contexte − recherche scientifique G. Cabanac  État de l’art : constitution et actualisation  Positionnement  Justification de l’originalité  Questionnements récurrents  Travaux au sujet de XYZ ?  les fondamentaux  les émergeants  Qui travaille sur XYZ ?  leaders  nouveaux  Dans quel journal, quelle conférence ?
  • 4. 4 Recommandation bibliographique (McNee et al., 2006)  Filtrage collaboratif  Principe : analyse des appréciationsappréciations des chercheurs → ceux qui ont aimé cet article on aussi aimé…  Effet boule de neige / de mode  Innovation ?  Pertinence thématique ?  Filtrage cognitif  Principe : analyse du contenucontenu des articles → profil de ressources (chercheur, articles) → graphe des citations articles ↔ articles  Approches hybrides      ???? 1. Contexte − recherche scientifique G. Cabanac
  • 5. 5 Plan 1. Contexte recherche scientifique veille bibliographique Problématique limites filtrages collaboratif + cognitif 2. Contribution recommandations thématico-sociales protocole d’expérimentation PH ↔ Sim 3. Évaluation expérimentation avec 71 chercheurs 4. Conclusion et perspectives Veille bibliographique : apport de l’aspect social G. Cabanac
  • 6. 6 Recommandation thématico-sociale 3. Contributions − recommandations thématico-sociales G. Cabanac  État de l’art : modèles riches mais…  Coût accès payant aux contenus  Faisabilité contenu = formats et langues multiples  Intrusivité friendship ? bookmarking ?  Pertinence citations (négatives, complaisantes…)  Évaluation beaucoup de paramètres en jeu !  Notre approche : exploiter des données publiquesdonnées publiques et objectivesobjectives  Source bibliographique minimale  auteurs : nom prénom  publications : titre, conférence/journal, date ⇒ ni abstract, ni contenu  Objectif : recommandation de chercheurs  critère thématique  critère social (Ben Jabeur et al., 2010)
  • 7. 7 Briques de base : similarités étudiées  Modélisation  Coauteurs graphe biparti auteurs ↔ auteurs  Venues graphe biparti auteurs ↔ conférences / journaux  Similarités sociales  Degré de séparation inverse longueur du plus court chemin  Force de la connectivité nombre de plus court chemins  Conférences communes nombre d’éditions de conférences en commun  Similarité thématique  Cosinus + Modèle vectoriel di = (wi 1 , … , wi n ) sur les titres (doc / chercheur) 3. Contributions − recommandations thématico-sociales G. Cabanac
  • 8. 8 Calcul de similarité thématico-sociale  Tâche de veille bibliographique  Exigence pertinence thématique  Préférence proximité sociale (échanges, montage de projets…) ⇒ réordonner les résultats thématiques par le social  Approche de combinaison avec CombMNZ (Fox & Shaw, 1993)  Résultat final : liste de chercheurs recommandés CombMNZ Degré séparation Force connectivité Co-conférences Liste sociale Liste thématique ∩ CombMNZ Liste TSListe TS 3. Contributions − recommandations thématico-sociales G. Cabanac
  • 9. 9 Plan 1. Contexte recherche scientifique veille bibliographique Problématique limites filtrages collaboratif + cognitif 2. Contribution recommandations thématico-sociales protocole d’expérimentation PH ↔ Sim 3. Évaluation expérimentation avec 71 chercheurs 4. Conclusion et perspectives Veille bibliographique : apport de l’aspect social G. Cabanac
  • 10. 10 Protocole d’évaluation  Confronter les recommandations à la perception des chercheurs  Q1 : Qualité du thématique seul ?  Q2 : Amélioration par l’intégration du social ?  Expérimentation en RI : paradigme Cranfield (TREC…)  Le moteur restitue-t-il des documents pertinents ? 3. Contributions − recommandations thématico-sociales G. Cabanac doc pertinent ? assesseur jugements de pertinence {0, 1} binaires [0, N] graduels qrels trec_eval mesures de qualité Mean Average Precision Normalized Discounted Cumulative Gain topic S1 S2 1 0,5687 0,6521 … … … 50 0,7124 0,7512 moy. 0,6421 0,7215 amélioration +12,3 % significative p < 0,05 (t-test pairé) moteur de recherche input topic corpus
  • 11. 11 Évaluation des recommandations doc pertinent ? assesseur jugements de pertinence {0, 1} binaires [0, N] graduels qrels trec_eval mesures de qualité Mean Average Precision Normalized Discounted Cumulative Gain topic S1 S2 1 0,5687 0,6521 … … … 50 0,7124 0,7512 moy. 0,6421 0,7215 amélioration +12,3 % significative p < 0,05 (t-test pairé) moteur de recherche input topic corpus nom d’un chercheur chercheur « Pour progresser dans votre recherche, avec qui faudrait-il discuter ? » sys. de recommandation thématique thématique + social nb sujets 25 premiers 3. Contributions − recommandations thématico-sociales G. Cabanac
  • 12. 12 Expérimentation  Caractéristiques  Données dblp.xml (713 Mo = 1,3M publis et 811 787 chercheurs)  Sujets 90 chercheurs-contacts joints par mail 74 chercheurs ont commencé et 71 ont fini  Interface de jugement des recommandations    3. Contributions − recommandations thématico-sociales G. Cabanac
  • 13. 13 Expérimentation : analyses  Expérience des 71 sujets médiane = 13 ans 74  Productivité des 71 sujets médiane = 15 publications 3. Contributions − recommandations thématico-sociales G. Cabanac
  • 14. 14 Validation expérimentale de nos hypothèses  Baseline forte ⇒ approche vectorielle performante  +8,49 % = amélioration significative (p < 0,05 ; n = 70) de la thématique par le social 0,5 0,6 0,7 0,8 0,9 1 global < 15 publis >= 15 publis < 13 ans >= 13 ans Thématique Thématique + Social productivité expérience +8,49 %+8,49 % +10,39 %+10,39 % +7,03 %+7,03 % +6,50 %+6,50 % +10,22 %+10,22 % NDCG 3. Contributions − recommandations thématico-sociales G. Cabanac
  • 15. 15 Plan 1. Contexte recherche scientifique veille bibliographique Problématique limites filtrages collaboratif + cognitif 2. Contribution recommandations thématico-sociales protocole d’expérimentation PH ↔ Sim 3. Évaluation expérimentation avec 71 chercheurs 4. Conclusion et perspectives Veille bibliographique : apport de l’aspect social G. Cabanac
  • 16. 16 Conclusion  Tâche de veille bibliographique  Exigence pertinence thématique  Préférence proximité sociale (échanges, montage de projets…)  Recommandations thématico-sociales  Source auteurs + articles (titre, conférence/journal, date)  Fonctions de similarité  thématique modèle vectoriel + cosinus  sociales degré de séparation, force connectivité, conférences communes  Combinaison avec CombMNZ (Fox & Shaw, 1993)  Validation expérimentale  Protocole Cranfield adapté, mesure de pertinence graduelle (NDCG)  Sujets : 71 chercheurs ; données : DBLP  + 8,49 % d’amélioration significative (baseline = thématique seul) Veille bibliographique: apport de l’aspect social G. Cabanac
  • 17. 17 Perspectives (1/2)  Finaliser le système de recommandation Veille bibliographique: apport de l’aspect social G. Cabanac
  • 18. 18 Perspectives (2/2)  Court terme  Expérimenter avec plus de participants, profils plus variés  Autre combinateurs, machine learning, etc.  Moyen terme  Thématique  indexation conceptuelle : « RI » = « Recherche d’info » = « IR » = …  identification des précurseurs (mesure d’influence)  Social  sociabilité : publication solitaire / tribale / éparse  temporalité : changement de domaine / retraite  Long terme  Typologie des besoins en veille bibliographique ex : awareness versus prospective Veille bibliographique: apport de l’aspect social G. Cabanac