Evaluer un dispositif de
veille
Réunion Pôle Veille
Ivry sur Seine, 19 octobre 2011
Pôle Veille – Inra. DV‐IST
1
Marie‐Colette Fauré

Plan de l’intervention
► Définitions
► Indicateurs
► Evaluer : pourquoi, quoi, comment ?
► Un exemple : évaluation de VERSA
► Evaluation du pilotage d’un dispositif de veille
2
2

En préambule…
 Efficacité : mesure la réalisation d’objectifs donnés ;
 Efficience : mesure de l’utilisation des ressources pour atteindre
un objectif donné (coût/efficacité) ;
 Ex : Publier avec régularité des bulletins de veille de qualité  efficacité du
service de veille
 Mais, si le temps passé à sélectionner et traiter les informations est très
important  le service n'est pas efficient.
 Performance : efficacité + efficience (meilleur équilibre)
 Évaluation : processus consistant à estimer l’efficacité,
l’efficience et la pertinence d’un service ou d’une installation ;
 Qualité : ensemble des caractéristiques d’un produit ou d’un
service qui déterminent l’aptitude à satisfaire des besoins
explicites ou implicites.
Source : Norme ISO 11620::2008 - Information et documentation -
Indicateurs de performance des bibliothèques
3

Pour évaluer : les indicateurs 1.
Un indicateur fournit des données chiffrées sur les principaux
aspects de l'action évaluée et permet des comparaisons en
matière de coûts, volume des activités, nombre de bénéficiaires.
2 grands types d'indicateurs :
• Les indicateurs d'activité ou de gestion
• Les indicateurs de performance
Un indicateur ne se limite pas à la mesure
• La valeur de l’indicateur est fonction de l’objectif défini
• un indicateur de performance est jugé pertinent par rapport à un
contexte défini
• les indicateurs permettent de mesurer l'atteinte des objectifs.
4

Pour évaluer : les indicateurs 2.
Les indicateurs d'activité mesurent le résultat direct de la
production d'un service. Par exemple :
 Le nombre de visiteurs d'un centre de documentation ou une
bibliothèque
 Le nombre de bulletins de veille produits.
Pas suffisant pour rendre compte de la valeur ou de la qualité des
services
Les indicateurs de performance doivent permettre de juger si les
objectifs d'un programme ont été atteints. Par exemple,
 la diminution du nombre de morts sur les routes pour la politique
de sécurité routière
 la réduction des délais d'attente, des temps de réponse, du taux
d'erreur pour mesurer la qualité d'un service.
Source : La documentation française - http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml#i
5

Exemple : Indicateurs du manuel IFLA - 1
A. Ressources – Infrastructure
 Surface de services publics par personne
 Heures d’ouverture hebdomadaire
 Nombre d’agents par personne
B. Utilisation
 Audience
 Satisfaction des usagers
 Entrées à la bibliothèque par personne
 Rotation des collections
 Emprunts par personne
 Proportion des prêts entre bibliothèques sur le total des prêts
 Taux de présence aux séances de formation (par personne)
IFLA : International Federation of Library Associations and Institutions
6

Exemple : Indicateurs du manuel IFLA - 2
C. Efficience
 Coût par usager
 Délai de traitement des documents
 Productivité des agents dans le traitement des document
D. Potentialités et développement
 Pourcentage des dépenses en fourniture d’information consacrées à la collection
électronique
 Heures/jours de formation suivis par agent
 Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou
de fonds propres
 Pourcentage du budget de l’institution alloué à la bibliothèque
Source : Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques
universitaires, IFLA, 1995. in : Pascale Talour : les indicateurs, l'évaluation, la performance et les activités de
l'IST. http://isidora.cnrs.fr/IMG/pdf/Pascale-Talour_indicateurs.pdf
7

Pourquoi évaluer un dispositif de veille ?
1. L'évaluation : une des étapes clé du processus de veille
 processus itératif
2. Nécessité de contrôler le fonctionnement d'un dispositif de
veille :
• Il faut que le système fonctionne
• Il faut qu’il produise des résultats de qualité
• Il faut que le rapport résultats/moyens soit bon
• Il faut qu'il dure.
3. L'évaluation : pour disposer de points de repère, d'éléments
de comparaison, pour rendre compte à la hiérarchie…
8

Qu'est-ce que l'on évalue ?
 L'évaluation de la veille est très peu documentée dans la
littérature.
 Les articles sur le sujet évoquent plutôt l'évaluation des étapes
opérationnelles du processus de veille, sans doute plus
facilement quantifiable.
 L'évaluation globale (étapes du processus et pilotage) du
dispositif est pourtant nécessaire à une bonne conduite du
projet.
9

Évaluer à chaque étape du processus de veille 1.
Sourcing :
• Nombre de sources surveillées (fonction du contexte)
• Taux de nouvelles sources /an
• Taux d'élimination /an
 indique que le sourcing est régulièrement (ou pas) révisé.
 n'évalue pas la qualité du sourcing.
Collecte et surveillance
 Nombres d'alertes produites
 Taux d’alertes non pertinentes / alertes utiles
 donne des indications sur le choix ou le paramétrage de l'outil
de surveillance ou sur la qualité du sourcing.
10

Évaluer à chaque étape du processus de veille 2.
Traitement de l'information
• Volume d'informations traitées
• Nombre de fiches de synthèses ou d'analyses produites…
 indicateurs quantitatifs
• Temps consacré au traitement et à l'analyse des informations
Diffusion :
 Nombre de bulletins publiés sur une période donnée
 Nombre de lecteurs
 indicateurs quantitatifs
 Régularité des diffusions d'information
 Degré de satisfaction des lecteurs
 indicateurs qualitatifs
11

Une expérience : Évaluation de VERSA
VERSA : dispositif de veille réglementaire en expérimentation animale,
sécurité biologique et sûreté biologique, éthique et bien-être animal du
département Santé Animale de l’Inra.
Versa en quelques chiffres
• Création : 2005
• Nombre de veilleurs : 5
• Nombre d'utilisateurs : 800
• Alertes par semaine : 30
• Nombre de textes en base de données : 337
• Nouveaux textes insérés en 2010 : 11
• Nombre d'informations totales publiées sur la page du veilleur : 122
• Nombre d'informations/an publiées sur la Page du veilleur : 20
(environ)
12

VERSA - Pourquoi évaluer ?
Après 6 années de fonctionnement, quelques interrogations :
 le dispositif est-il toujours conforme aux besoins de son public cible ?
 la base de données VERSA (en ligne) est-elle exhaustive ?
 la méthodologie de surveillance est-elle optimale ?
 l’outil de veille est-il adapté aux besoins des veilleurs ?
 S'il y a des problèmes, pouvons-nous y remédier et améliorer le
dispositif ?
Assurer de la pérennité de VERSA.
Réflexion dans le cadre d'un stage de licence professionnelle en
management de l’information du 1er avril au 31 juillet 2011.
Stagiaire : Alexandra Coppolino
Co-encadrement : Céline Housseau (ingénieur qualité du dpt SA) / Marie-Colette Fauré (chargée
de veille et d’ingénierie de l’information du dpt SA)
13

Évaluation de VERSA : on ne part pas de rien
Indicateurs suivis depuis l'origine du projet :
• Le nombre d'abonnés au site VERSA
• Les statistiques de connexion
2008 – Une enquête de satisfaction auprès des abonnés au
terme de 3 années d’activité. Objectifs :
 évaluer la pertinence de VERSA
 identifier les points d’amélioration
 déterminer l’intérêt d'élargir le périmètre de VERSA (toxicologie,
cosmétique…).
 76 participants / 510 abonnés
14

VERSA – Les statistiques de connexion, un
indicateur …
Vers une constance du nombre de visites
2009 : 1 520 visites / mois en moyenne
2010 : 1 465 visites / mois en moyenne
Tendance à la « fidélisation » des visiteurs
Visiteurs différents
de 24 % à 21 % de visiteurs différents entre
2009 et 2010
Mode de connexion
80 % de connexion directe en 2009 et
89 % en 2010.
Source : M. Gautret - Analyse des statistiques de consultation des sites Web
15 du Département Santé Animale, janvier 2011.

Évaluation de VERSA : méthode adoptée
 L'analyse préalable de l'existant
 Une approche Évaluation / Amélioration continue
 un tableau SWOT pour évaluer les forces et les faiblesses
 Le processus de VERSA revisité avec des points clés à
surveiller
 La définition et la mise en place des indicateurs
 La révision des outils de gestion (plan de veille)
 Le début des actions correctives
16

VERSA – Forces est faiblesses
SWOT POSITIF NÉGATIF
Interne Le dispositif VERSA :
- Reçoit l’appui de la direction pour son - L’outil de surveillance n’est pas adapté aux besoins
développement et son maintien (fonctionnalité limitée).
- Répond au schéma stratégique globale du DSA - Sa fonction collaborative n’est pas exploitée par les
(2004-2007) : cellule de veille stratégique à mettre en veilleurs et les experts (pas de « feedback » et animation
place. de la communauté des experts inexistante).
- Correspond à un besoin stratégique lié à la - Il n’y a pas suffisamment de communication autour de
certification ISO 9001 des UE. VERSA.
- Comporte un périmètre de veille bien circonscrit. - Il n’y a pas d’évaluation régulière sur l’exhaustivité de la
- L’Expérimentation Animale est un domaine sensible. base de donnée.
- Est le seul dispositif de veille réglementaire existant - L’indexation des documents de la base de données n’est
dans ce domaine. pas contrôlée (inexistence de référentiel linguistique dans
- Est géré par un réseau de veilleurs, travaillant dans le ce domaine de recherche).
domaine, et animé par le chef de projet. - On constate un manque d’ouverture et d’expertise sur
- Contient une richesse de profils des utilisateurs d’autres espèces (faune sauvage et primates) : veilleurs très
(privés et publics). orientés « PSAT », trop centré sur l’activité des UE du
- Est un outil reconnu au sein du DSA et par ses département.
partenaires.
Externe
-Est ouvert sur Internet et inscription gratuite. - La non exhaustivité et le manque de réactivité de la base
- Partenariats possible : portail de CNUE, veille bien- de données peut être source d’insatisfaction pour les
être animal (BEA)… utilisateurs de VERSA
- La Communauté Européenne fait de plus en plus - Le processus est difficile à maintenir en continu : le
pression sur les organismes de recherche (utilisant nombre de veilleurs reste insuffisant, et Versa n’est pas
l’expérimentation animale), concernant la prise en leur mission principale (peu de disponibilité).
compte du bien-être animal et éthique. - Une concurrence possible en matière de veille
- La stratégie du DSA se positionne de plus en plus au réglementaire sur l’expérimentation animale.
niveau international
17

18

VERSA – Indicateurs Sourcing
Résultat Fréquence
Représentation
Indicateurs Objectifs à de
graphique
atteindre calcul
Dans une veille réglementaire, au Histogramme
% de sources officielles moins la moitié des sources doivent  50% Annuel empilé 100%
être des sources officielles ou secteurs
Taux de sources Histogramme
Le taux de sources actives souligne (sur
actives/total des sources > 90% Annuel empilé 100%
la durée) le suivi du sourcing
surveillées ou secteurs
 1
Nombre d'alertes reçues Une source est "active" si elle génère 2 fois par
alerte/tous non
par source/mois au moins 1 alerte tous les 6 mois an
les 6 mois
19

VERSA – Évaluation de la surveillance
Fréquence
Résultat à Représentation
Indicateurs Objectifs de
atteindre graphique
calcul
L'absence de bruit est un critère de
Nbre d'alertes sans
qualité de la surveillance. Aucune Histogramme
information
alerte sans information en relation  0% 2 fois/an empilé 100%
pertinentes/nbre d'alertes
avec l'objet de la veille ne doit être ou secteurs
reçues par source/mois
reçue.
Taux d'alertes Histogramme
La part d'alertes exploitées et diffusées
exploitées/total d'alertes  50% Annuel empilé 100%
doit être supérieure à 50 %.
reçues ou secteurs
20

VERSA – Évaluation de la base de données
Résultat à Fréquence Représentatio
Indicateurs Objectifs
atteindre de calcul n graphique
La base de données doit être
Nbre de textes manquants exhaustive : aucun texte ne doit = 0% Annuel non
manquer
La base de données doit être à jour et
Nombre de textes non
doit proposer la dernière version des = 0 % Annuel non
actualisés
textes en vigueur
Les textes insérés dans la base de
Nombre de texte hors du Annuel
données doivent respecter le = 0 % non
périmètre de veille
périmètre de la veille.
21

VERSA – Évaluation de la diffusion
Résultat à Fréquence Représentatio
Indicateurs Objectifs
atteindre de calcul n graphique
Augmentation régulière du nombre
Courbe ou
Nbre d'utilisateurs d'inscrits /an
+ de 10%/an Annuel histogramme
enregistrés  maintien de l'intérêt concernant
empilé
cette veille
Diminution du nombre de visiteurs
Courbe ou
ponctuels
histogramme
Fidélisation des visiteurs  utilisation de la base de données ‐ 5%/an Annuel
empilé
comme un outil de travail "au
quotidien"
22

VERSA – Premières actions correctives
 Révision du sourcing
− Refonte et mise à jour du tableau de sourcing
 Révision de la base de données
− Textes et recommandations dans le périmètre de VERSA
− Textes manquants
23

VERSA - Tableau de bord de sourcing et de
surveillance
24

Pour aller plus loin :
Évaluation du pilotage du dispositif de veille
La pérennisation d'un dispositif de veille pourrait s'appuyer
utilement sur une évaluation du pilotage du dispositif de veille en
permettant
• Une vision systémique du dispositif
• Un diagnostic de l'existant
• Une identification des points critiques.
Difficulté : évaluation difficilement quantifiable, mais,
 définir, programmer, installer un processus d'évaluation de
ce type = capacité à conduire et à maitriser un projet.
25

Identifier les points à évaluer - 1
Management du projet
Le dispositif de veille s'appuie-t-il
• sur un document de cadrage ?
• sur un comité de pilotage ou un interlocuteur privilégié représentant le
commanditaire ?
Des réunions sont-elles régulièrement organisées ?
Ressources humaines
Les tâches et responsabilités de chaque acteur sont-elles clairement
définies ?
Les acteurs sont-ils formés à la veille ?
Le réseau de veilleurs et d'experts fait-il l'objet d'une animation régulière ?
26

Identifier les points à évaluer - 2
Ressources technologiques
 Les méthodes et outils utilisés sont-ils appropriés et dimensionnés au projet
?
Sourcing
 Les sources utilisées sont-elles variées et de qualité ? Critères
explicites en fonction des objectifs ?
 Le sourcing est-il documenté et suivi ?
 La révision du sourcing est-elle planifiée ?
 Est-elle exécutée ?
Surveillance et collecte
 L'organisation de la surveillance (qui fait quoi ?) est-elle clairement définie ?
 Les opérations de surveillance sont-elles clairement évaluées sur une
période donnée ?
27

Identifier les points à évaluer - 3
Traitement de l'information
 L'information est-elle traitée en fonction des objectifs de l'organisation
(niveau de traitement adapté aux besoins) ?
 La synthèse et l'analyse sont-elles effectuées selon un cadre prédéfini
(cf document de cadrage) ?
Diffusion
 Le choix du livrable est-il adapté au public cible ?
 Répond-t-il aux objectifs du projet ?
Promotion du dispositif de veille
 Mise en place d'une stratégie de communication ?
Évaluation du dispositif de veille
 Le dispositif de veille fait-il l'objet d'une évaluation régulière ?
28

Projet de tableau de bord
(à lecture simple) pour
évaluer le pilotage d’un
dispositif de veille,
(Conception : Marie‐Colette Fauré)
29

Conclusion
Lien fort entre Évaluation et Facteurs Clés/Critiques de Succès
• Penser l'évaluation dans une perspective d'amélioration ou de
correction des points critiques
• Intégrer l'évaluation et le choix des indicateurs dès le montage
du projet
• Utiliser l'évaluation pour conserver l'humain au cœur du
dispositif :
 repérer les signes d'essoufflement, de surcharge de travail, de
démotivation…
 tirer parti de cette étape pour faire le point, soutenir, faire évoluer…
30

Bibliographie
 Jakobiak, F. - L'intelligence économique. Techniques & Outils.- Eyrolles/ Éditions
d'Organisation, 2009 (2eéd.)
 Lesca, N., Caron-Fasan M.-L. – La veille vue comme un système cybernétique.
Finance Contrôle Stratégie, 8 (4), 2005, 93-120.
 Sutter, E. – L'évaluation et les indicateurs de performance des activités info-
documentaire. Éditions d'Organisation, 2003.
 Norme ISO 11620:2008 - Information et documentation - Indicateurs de performance
des bibliothèques
 La Documentation Française - L'évaluation des politiques publiques - Glossaire
http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-
publiques/glossaire.shtml
 Mesurer la qualité : mettre en place des indicateurs de performance dans les
bibliothèques universitaires, IFLA, 1995.
 Poll R. - Mesures de la qualité dans les bibliothèques spécialisées.WLIC, 19-23 August
2007, Durban . (Trad. Dalbin, S.). http://archive.ifla.org/IV/ifla73/papers/152-Poll-trans-fr.pdf
31