SlideShare une entreprise Scribd logo
1  sur  31
Télécharger pour lire hors ligne
Evaluer un dispositif de
         veille
          Réunion Pôle Veille
        Ivry sur Seine, 19 octobre 2011

                                          Pôle Veille – Inra. DV‐IST
                                                                1
                                                   Marie‐Colette Fauré
Plan de l’intervention



    ► Définitions
    ► Indicateurs
    ► Evaluer : pourquoi, quoi, comment ?
    ► Un exemple : évaluation de VERSA
    ► Evaluation du pilotage d’un dispositif de veille




                                                         2
2
En préambule…

     Efficacité : mesure la réalisation d’objectifs donnés ;
     Efficience : mesure de l’utilisation des ressources pour atteindre
          un objectif donné (coût/efficacité) ;
                Ex : Publier avec régularité des bulletins de veille de qualité  efficacité du
                 service de veille

                Mais, si le temps passé à sélectionner et traiter les informations est très
                 important  le service n'est pas efficient.

     Performance : efficacité + efficience (meilleur équilibre)
     Évaluation : processus consistant à estimer l’efficacité,
          l’efficience et la pertinence d’un service ou d’une installation ;
     Qualité : ensemble des caractéristiques d’un produit ou d’un
          service qui déterminent l’aptitude à satisfaire des besoins
          explicites ou implicites.

    Source : Norme ISO 11620::2008 - Information et documentation -
    Indicateurs de performance des bibliothèques
3
Pour évaluer : les indicateurs 1.


    Un indicateur fournit des données chiffrées sur les principaux
    aspects de l'action évaluée et permet des comparaisons en
    matière de coûts, volume des activités, nombre de bénéficiaires.

    2 grands types d'indicateurs :
        • Les indicateurs d'activité ou de gestion
        • Les indicateurs de performance

    Un indicateur ne se limite pas à la mesure
        • La valeur de l’indicateur est fonction de l’objectif défini
        • un indicateur de performance est jugé pertinent par rapport à un
            contexte défini
        •   les indicateurs permettent de mesurer l'atteinte des objectifs.


4
Pour évaluer : les indicateurs 2.

    Les indicateurs d'activité mesurent le résultat direct de la
    production d'un service. Par exemple :
             Le nombre de visiteurs d'un centre de documentation ou une
              bibliothèque
             Le nombre de bulletins de veille produits.
            Pas suffisant pour rendre compte de la valeur ou de la qualité des
              services

    Les indicateurs de performance doivent permettre de juger si les
    objectifs d'un programme ont été atteints. Par exemple,
             la diminution du nombre de morts sur les routes pour la politique
                  de sécurité routière
                 la réduction des délais d'attente, des temps de réponse, du taux
                  d'erreur pour mesurer la qualité d'un service.
    Source : La documentation française - http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml#i




5
Exemple : Indicateurs du manuel IFLA - 1


    A. Ressources – Infrastructure
           Surface de services publics par personne
           Heures d’ouverture hebdomadaire
           Nombre d’agents par personne


    B. Utilisation
             Audience
             Satisfaction des usagers
             Entrées à la bibliothèque par personne
             Rotation des collections
             Emprunts par personne
             Proportion des prêts entre bibliothèques sur le total des prêts
             Taux de présence aux séances de formation (par personne)

     IFLA : International Federation of Library Associations and Institutions



6
Exemple : Indicateurs du manuel IFLA - 2


    C. Efficience
            Coût par usager
            Délai de traitement des documents
            Productivité des agents dans le traitement des document

    D. Potentialités et développement
            Pourcentage des dépenses en fourniture d’information consacrées à la collection
               électronique
            Heures/jours de formation suivis par agent
            Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou
               de fonds propres
            Pourcentage du budget de l’institution alloué à la bibliothèque
    Source : Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques
    universitaires, IFLA, 1995. in : Pascale Talour : les indicateurs, l'évaluation, la performance et les activités de
    l'IST. http://isidora.cnrs.fr/IMG/pdf/Pascale-Talour_indicateurs.pdf




7
Pourquoi évaluer un dispositif de veille ?


    1. L'évaluation : une des étapes clé du processus de veille
        processus itératif

    2.    Nécessité de contrôler le fonctionnement d'un dispositif de
         veille :

         •   Il faut que le système fonctionne
         •   Il faut qu’il produise des résultats de qualité
         •   Il faut que le rapport résultats/moyens soit bon
         •   Il faut qu'il dure.

    3. L'évaluation : pour disposer de points de repère, d'éléments
       de comparaison, pour rendre compte à la hiérarchie…



8
Qu'est-ce que l'on évalue ?


     L'évaluation de la veille est très peu documentée dans la
     littérature.
     Les articles sur le sujet évoquent plutôt l'évaluation des étapes
     opérationnelles du processus de veille, sans doute plus
     facilement quantifiable.
     L'évaluation globale (étapes du processus et pilotage) du
     dispositif est pourtant nécessaire à une bonne conduite du
     projet.




9
Évaluer à chaque étape du processus de veille 1.


        Sourcing :
            • Nombre de sources surveillées (fonction du contexte)
            • Taux de nouvelles sources /an
            • Taux d'élimination /an
               indique que le sourcing est régulièrement (ou pas) révisé.
               n'évalue pas la qualité du sourcing.
        Collecte et surveillance
             Nombres d'alertes produites
             Taux d’alertes non pertinentes / alertes utiles
               donne des indications sur le choix ou le paramétrage de l'outil
              de surveillance ou sur la qualité du sourcing.



10
Évaluer à chaque étape du processus de veille 2.


        Traitement de l'information
            • Volume d'informations traitées
            • Nombre de fiches de synthèses ou d'analyses produites…
                indicateurs quantitatifs
            • Temps consacré au traitement et à l'analyse des informations
        Diffusion :
             Nombre de bulletins publiés sur une période donnée
             Nombre de lecteurs
                indicateurs quantitatifs
             Régularité des diffusions d'information
             Degré de satisfaction des lecteurs
                indicateurs qualitatifs

11
Une expérience : Évaluation de VERSA

     VERSA : dispositif de veille réglementaire en expérimentation animale,
     sécurité biologique et sûreté biologique, éthique et bien-être animal du
     département Santé Animale de l’Inra.

     Versa en quelques chiffres
         • Création : 2005
         • Nombre de veilleurs : 5
         • Nombre d'utilisateurs : 800
         • Alertes par semaine : 30
         • Nombre de textes en base de données : 337
         • Nouveaux textes insérés en 2010 : 11
         • Nombre d'informations totales publiées sur la page du veilleur : 122
         • Nombre d'informations/an publiées sur la Page du veilleur : 20
            (environ)


12
VERSA - Pourquoi évaluer ?

     Après 6 années de fonctionnement, quelques interrogations :
         le dispositif est-il toujours conforme aux besoins de son public cible ?
         la base de données VERSA (en ligne) est-elle exhaustive ?
         la méthodologie de surveillance est-elle optimale ?
         l’outil de veille est-il adapté aux besoins des veilleurs ?
         S'il y a des problèmes, pouvons-nous y remédier et améliorer le
          dispositif ?
     Assurer de la pérennité de VERSA.

     Réflexion dans le cadre d'un stage de licence professionnelle en
     management de l’information du 1er avril au 31 juillet 2011.
     Stagiaire : Alexandra Coppolino
     Co-encadrement : Céline Housseau (ingénieur qualité du dpt SA) / Marie-Colette Fauré (chargée
     de veille et d’ingénierie de l’information du dpt SA)


13
Évaluation de VERSA : on ne part pas de rien


       Indicateurs suivis depuis l'origine du projet :
           • Le nombre d'abonnés au site VERSA
           • Les statistiques de connexion

       2008 – Une enquête de satisfaction auprès des abonnés au
       terme de 3 années d’activité. Objectifs :
            évaluer la pertinence de VERSA
            identifier les points d’amélioration
            déterminer l’intérêt d'élargir le périmètre de VERSA (toxicologie,
              cosmétique…).
        76 participants / 510 abonnés



14
VERSA – Les statistiques de connexion, un
                         indicateur …


     Vers une constance du nombre de visites
     2009 : 1 520 visites / mois en moyenne
     2010 : 1 465 visites / mois en moyenne

     Tendance à la « fidélisation » des visiteurs
     Visiteurs différents
     de 24 % à 21 % de visiteurs différents entre
     2009 et 2010

     Mode de connexion
     80 % de connexion directe en 2009 et
     89 % en 2010.



                                                    Source : M. Gautret - Analyse des statistiques de consultation des sites Web
15                                                  du Département Santé Animale, janvier 2011.
Évaluation de VERSA : méthode adoptée


      L'analyse préalable de l'existant

      Une approche Évaluation / Amélioration continue
      un tableau SWOT pour évaluer les forces et les faiblesses

      Le processus de VERSA revisité avec des points clés à
     surveiller

      La définition et la mise en place des indicateurs

        La révision des outils de gestion (plan de veille)
        Le début des actions correctives




16
VERSA – Forces est faiblesses

     SWOT                             POSITIF                                                       NÉGATIF
     Interne   Le dispositif VERSA :
               - Reçoit l’appui de la direction pour son                    - L’outil de surveillance n’est pas adapté aux besoins
               développement et son maintien                                (fonctionnalité limitée).
               - Répond au schéma stratégique globale du DSA                - Sa fonction collaborative n’est pas exploitée par les
               (2004-2007) : cellule de veille stratégique à mettre en      veilleurs et les experts (pas de « feedback » et animation
               place.                                                       de la communauté des experts inexistante).
               - Correspond à un besoin stratégique lié à la                - Il n’y a pas suffisamment de communication autour de
               certification ISO 9001 des UE.                               VERSA.
               - Comporte un périmètre de veille bien circonscrit.          - Il n’y a pas d’évaluation régulière sur l’exhaustivité de la
               - L’Expérimentation Animale est un domaine sensible.         base de donnée.
               - Est le seul dispositif de veille réglementaire existant    - L’indexation des documents de la base de données n’est
               dans ce domaine.                                             pas contrôlée (inexistence de référentiel linguistique dans
               - Est géré par un réseau de veilleurs, travaillant dans le   ce domaine de recherche).
               domaine, et animé par le chef de projet.                     - On constate un manque d’ouverture et d’expertise sur
               - Contient une richesse de profils des utilisateurs          d’autres espèces (faune sauvage et primates) : veilleurs très
               (privés et publics).                                         orientés « PSAT », trop centré sur l’activité des UE du
               - Est un outil reconnu au sein du DSA et par ses             département.
               partenaires.
     Externe
               -Est ouvert sur Internet et inscription gratuite.            - La non exhaustivité et le manque de réactivité de la base
               - Partenariats possible : portail de CNUE, veille bien-      de données peut être source d’insatisfaction pour les
               être animal (BEA)…                                           utilisateurs de VERSA
               - La Communauté Européenne fait de plus en plus              - Le processus est difficile à maintenir en continu : le
               pression sur les organismes de recherche (utilisant          nombre de veilleurs reste insuffisant, et Versa n’est pas
               l’expérimentation animale), concernant la prise en           leur mission principale (peu de disponibilité).
               compte du bien-être animal et éthique.                       - Une concurrence possible en matière de veille
               - La stratégie du DSA se positionne de plus en plus au       réglementaire sur l’expérimentation animale.
               niveau international




17
18
VERSA – Indicateurs Sourcing


                                                                               Résultat      Fréquence
                                                                                                           Représentation
            Indicateurs                          Objectifs                         à             de
                                                                                                             graphique
                                                                               atteindre       calcul




                                    Dans une veille réglementaire, au                                      Histogramme 
     % de sources officielles      moins la moitié des sources doivent           50%         Annuel       empilé 100% 
                                       être des sources officielles                                         ou secteurs



          Taux de sources                                                                                  Histogramme 
                                  Le taux de sources actives souligne (sur 
     actives/total des sources                                                  > 90%         Annuel       empilé 100% 
                                       la durée) le suivi du sourcing
            surveillées                                                                                     ou secteurs



                                                                                    1 
     Nombre d'alertes reçues      Une source est "active" si  elle génère                    2 fois par 
                                                                              alerte/tous                       non
        par source/mois             au moins 1 alerte tous les 6 mois                            an
                                                                               les 6 mois



19
VERSA – Évaluation de la surveillance


                                                                                             Fréquence
                                                                                Résultat à               Représentation
             Indicateurs                           Objectifs                                     de
                                                                                atteindre                  graphique
                                                                                               calcul




                                     L'absence de bruit est un critère de 
        Nbre d'alertes sans 
                                      qualité de la surveillance. Aucune                                 Histogramme 
            information 
                                     alerte sans information en relation           0%       2 fois/an   empilé 100% 
     pertinentes/nbre d'alertes 
                                     avec l'objet de la veille ne doit être                               ou secteurs
      reçues par source/mois
                                                     reçue.


          Taux d'alertes                                                                                 Histogramme 
                                   La part d'alertes exploitées et diffusées 
     exploitées/total d'alertes                                                   50%        Annuel     empilé 100% 
                                         doit être supérieure à 50 %.
              reçues                                                                                      ou secteurs




20
VERSA – Évaluation de la base de données


                                                                         Résultat à   Fréquence    Représentatio
           Indicateurs                        Objectifs
                                                                         atteindre     de calcul    n graphique



                                   La base de données doit être 
     Nbre de textes manquants     exhaustive : aucun texte ne doit         = 0%        Annuel          non
                                             manquer


                                La base de données doit être à jour et
      Nombre de textes non 
                                doit proposer la dernière version des      = 0 %       Annuel          non
          actualisés
                                          textes en vigueur


                                  Les textes insérés dans la base de 
     Nombre de texte hors du                                                           Annuel
                                    données doivent respecter le           = 0 %                       non
       périmètre de veille
                                        périmètre de la veille.




21
VERSA – Évaluation de la diffusion


                                                                          Résultat à   Fréquence    Représentatio
           Indicateurs                         Objectifs
                                                                          atteindre     de calcul    n graphique


                                  Augmentation  régulière du nombre 
                                                                                                     Courbe ou 
        Nbre d'utilisateurs                 d'inscrits /an
                                                                         + de 10%/an    Annuel      histogramme 
           enregistrés             maintien de l'intérêt concernant 
                                                                                                       empilé
                                             cette veille

                                  Diminution du nombre de visiteurs 
                                                                                                     Courbe ou 
                                               ponctuels 
                                                                                                    histogramme 
     Fidélisation des visiteurs    utilisation de la base de données      ‐ 5%/an      Annuel
                                                                                                       empilé
                                    comme un outil de travail "au 
                                               quotidien"




22
VERSA – Premières actions correctives


      Révision du sourcing
         − Refonte et mise à jour du tableau de sourcing

      Révision de la base de données
         − Textes et recommandations dans le périmètre de VERSA
         − Textes manquants




23
VERSA - Tableau de bord de sourcing et de
                   surveillance




24
Pour aller plus loin :
     Évaluation du pilotage du dispositif de veille

      La pérennisation d'un dispositif de veille pourrait s'appuyer
      utilement sur une évaluation du pilotage du dispositif de veille en
      permettant
          • Une vision systémique du dispositif
          • Un diagnostic de l'existant
          • Une identification des points critiques.

      Difficulté : évaluation difficilement quantifiable, mais,
               définir, programmer, installer un processus d'évaluation de
              ce type = capacité à conduire et à maitriser un projet.




25
Identifier les points à évaluer - 1


     Management du projet
     Le dispositif de veille s'appuie-t-il
          • sur un document de cadrage ?
          • sur un comité de pilotage ou un interlocuteur privilégié représentant le
             commanditaire ?
     Des réunions sont-elles régulièrement organisées ?


     Ressources humaines
     Les tâches et responsabilités de chaque acteur sont-elles clairement
     définies ?
     Les acteurs sont-ils formés à la veille ?
     Le réseau de veilleurs et d'experts fait-il l'objet d'une animation régulière ?




26
Identifier les points à évaluer - 2

     Ressources technologiques
          Les méthodes et outils utilisés sont-ils appropriés et dimensionnés au projet
            ?

     Sourcing
          Les sources utilisées sont-elles variées et de qualité ? Critères
           explicites en fonction des objectifs ?
          Le sourcing est-il documenté et suivi ?
          La révision du sourcing est-elle planifiée ?
          Est-elle exécutée ?

     Surveillance et collecte
          L'organisation de la surveillance (qui fait quoi ?) est-elle clairement définie ?
          Les opérations de surveillance sont-elles clairement évaluées sur une
            période donnée ?



27
Identifier les points à évaluer - 3


     Traitement de l'information
          L'information est-elle traitée en fonction des objectifs de l'organisation
           (niveau de traitement adapté aux besoins) ?
          La synthèse et l'analyse sont-elles effectuées selon un cadre prédéfini
           (cf document de cadrage) ?

     Diffusion
          Le choix du livrable est-il adapté au public cible ?
          Répond-t-il aux objectifs du projet ?

     Promotion du dispositif de veille
          Mise en place d'une stratégie de communication ?

     Évaluation du dispositif de veille
          Le dispositif de veille fait-il l'objet d'une évaluation régulière ?


28
Projet de tableau de bord 
      (à lecture simple) pour 
      évaluer le pilotage d’un 
        dispositif de veille,
     (Conception : Marie‐Colette Fauré)




29
Conclusion


     Lien fort entre Évaluation et Facteurs Clés/Critiques de Succès

          • Penser l'évaluation dans une perspective d'amélioration ou de
             correction des points critiques

          • Intégrer l'évaluation et le choix des indicateurs dès le montage
             du projet

          • Utiliser l'évaluation pour conserver l'humain au cœur du
             dispositif :
                   repérer les signes d'essoufflement, de surcharge de travail, de
                    démotivation…
                   tirer parti de cette étape pour faire le point, soutenir, faire évoluer…




30
Bibliographie

          Jakobiak, F. - L'intelligence économique. Techniques & Outils.- Eyrolles/ Éditions
         d'Organisation, 2009 (2eéd.)

          Lesca, N., Caron-Fasan M.-L. – La veille vue comme un système cybernétique.
         Finance Contrôle Stratégie, 8 (4), 2005, 93-120.

          Sutter, E. – L'évaluation et les indicateurs de performance des activités info-
         documentaire. Éditions d'Organisation, 2003.

          Norme ISO 11620:2008 - Information et documentation - Indicateurs de performance
         des bibliothèques

           La Documentation Française - L'évaluation des politiques publiques - Glossaire
         http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-
         publiques/glossaire.shtml

           Mesurer la qualité : mettre en place des indicateurs de performance dans les
         bibliothèques universitaires, IFLA, 1995.

          Poll R. - Mesures de la qualité dans les bibliothèques spécialisées.WLIC, 19-23 August
         2007, Durban . (Trad. Dalbin, S.). http://archive.ifla.org/IV/ifla73/papers/152-Poll-trans-fr.pdf




31

Contenu connexe

Tendances

Mettre en oeuvre sa veille informationnelle sur internet
Mettre en oeuvre sa veille informationnelle sur internetMettre en oeuvre sa veille informationnelle sur internet
Mettre en oeuvre sa veille informationnelle sur internetChristian PIVIDORI
 
Veille et méthodologie de veille
Veille et méthodologie de veilleVeille et méthodologie de veille
Veille et méthodologie de veillePatrick Bérard
 
Etude de-cas-cellule-de-veille
Etude de-cas-cellule-de-veilleEtude de-cas-cellule-de-veille
Etude de-cas-cellule-de-veilleMariem Chaaben
 
Veille commerciale commercialisation produit technologique
Veille commerciale commercialisation produit technologiqueVeille commerciale commercialisation produit technologique
Veille commerciale commercialisation produit technologiqueAkova
 
La veille technologique
La veille technologiqueLa veille technologique
La veille technologiqueMariem SELLAMI
 
Qu'est ce que la veille informationnelle ?
Qu'est ce que la veille informationnelle ?Qu'est ce que la veille informationnelle ?
Qu'est ce que la veille informationnelle ?LPLECORBUSIER
 
la communication digitale
la communication digitale la communication digitale
la communication digitale mariemmraihi
 
Veille diaporama
Veille   diaporamaVeille   diaporama
Veille diaporamaNMignot
 
Créer un Scoop.it pour partager une veille
Créer un Scoop.it pour partager une veilleCréer un Scoop.it pour partager une veille
Créer un Scoop.it pour partager une veilleGilles Le Page
 
METHODE ET OUTILS POUR LA VEILLE SUR INTERNET
METHODE ET OUTILS POUR LA VEILLE SUR INTERNETMETHODE ET OUTILS POUR LA VEILLE SUR INTERNET
METHODE ET OUTILS POUR LA VEILLE SUR INTERNETLoïc Haÿ
 
Mise en place d'une cellule de Veille Juridique
Mise en place d'une cellule de Veille JuridiqueMise en place d'une cellule de Veille Juridique
Mise en place d'une cellule de Veille JuridiqueVIR Conseil
 
Veille 2.0 et ses outils
Veille 2.0 et ses outilsVeille 2.0 et ses outils
Veille 2.0 et ses outilsDujol Lionel
 

Tendances (20)

Veille technologique
Veille technologiqueVeille technologique
Veille technologique
 
Organiser une veille juridique
Organiser une veille juridiqueOrganiser une veille juridique
Organiser une veille juridique
 
Mettre en oeuvre sa veille informationnelle sur internet
Mettre en oeuvre sa veille informationnelle sur internetMettre en oeuvre sa veille informationnelle sur internet
Mettre en oeuvre sa veille informationnelle sur internet
 
Veille juridique et professionnelle
Veille juridique et professionnelleVeille juridique et professionnelle
Veille juridique et professionnelle
 
les outils de veille
les outils de veilleles outils de veille
les outils de veille
 
Veille et méthodologie de veille
Veille et méthodologie de veilleVeille et méthodologie de veille
Veille et méthodologie de veille
 
Etude de-cas-cellule-de-veille
Etude de-cas-cellule-de-veilleEtude de-cas-cellule-de-veille
Etude de-cas-cellule-de-veille
 
Outils en ligne pour la veille informationnelle
Outils en ligne pour la veille informationnelleOutils en ligne pour la veille informationnelle
Outils en ligne pour la veille informationnelle
 
Veille commerciale commercialisation produit technologique
Veille commerciale commercialisation produit technologiqueVeille commerciale commercialisation produit technologique
Veille commerciale commercialisation produit technologique
 
La veille technologique
La veille technologiqueLa veille technologique
La veille technologique
 
Qu'est ce que la veille informationnelle ?
Qu'est ce que la veille informationnelle ?Qu'est ce que la veille informationnelle ?
Qu'est ce que la veille informationnelle ?
 
Outils de veille
Outils de veilleOutils de veille
Outils de veille
 
Formation réseaux sociaux
Formation réseaux sociauxFormation réseaux sociaux
Formation réseaux sociaux
 
la communication digitale
la communication digitale la communication digitale
la communication digitale
 
Veille diaporama
Veille   diaporamaVeille   diaporama
Veille diaporama
 
Créer un Scoop.it pour partager une veille
Créer un Scoop.it pour partager une veilleCréer un Scoop.it pour partager une veille
Créer un Scoop.it pour partager une veille
 
La veille stratégique
La veille stratégiqueLa veille stratégique
La veille stratégique
 
METHODE ET OUTILS POUR LA VEILLE SUR INTERNET
METHODE ET OUTILS POUR LA VEILLE SUR INTERNETMETHODE ET OUTILS POUR LA VEILLE SUR INTERNET
METHODE ET OUTILS POUR LA VEILLE SUR INTERNET
 
Mise en place d'une cellule de Veille Juridique
Mise en place d'une cellule de Veille JuridiqueMise en place d'une cellule de Veille Juridique
Mise en place d'une cellule de Veille Juridique
 
Veille 2.0 et ses outils
Veille 2.0 et ses outilsVeille 2.0 et ses outils
Veille 2.0 et ses outils
 

Similaire à Evaluer un dispositif de veille

Construire un tableau de bord
Construire un tableau de bordConstruire un tableau de bord
Construire un tableau de bordMarc Maisonneuve
 
Les secrets d'un process d'inscription efficace (juin 2009)
Les secrets d'un process d'inscription efficace (juin 2009)Les secrets d'un process d'inscription efficace (juin 2009)
Les secrets d'un process d'inscription efficace (juin 2009)Alain Planger
 
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...PYR
 
dispositif_de_se_formation_jokkale_2019_dakar.pptx
dispositif_de_se_formation_jokkale_2019_dakar.pptxdispositif_de_se_formation_jokkale_2019_dakar.pptx
dispositif_de_se_formation_jokkale_2019_dakar.pptxKOLOCAEVENT
 
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...Canadian Patient Safety Institute
 
Suivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopSuivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopWatani Veux Apprendre
 
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...EuroHealthNet
 
Recueillir la veille, outils et agrégateurs
Recueillir la veille, outils et agrégateursRecueillir la veille, outils et agrégateurs
Recueillir la veille, outils et agrégateurskayacdp
 
Soi conseil et formation qualiville audit interne
Soi conseil et formation qualiville audit interneSoi conseil et formation qualiville audit interne
Soi conseil et formation qualiville audit interneVincent Bogaers
 
ProvinLait - conférence bien-être animal - Anne Aupiais
ProvinLait - conférence bien-être animal - Anne AupiaisProvinLait - conférence bien-être animal - Anne Aupiais
ProvinLait - conférence bien-être animal - Anne AupiaisInstitut de l'Elevage - Idele
 
Les principes de la mesure
Les principes de la mesureLes principes de la mesure
Les principes de la mesureAntarès
 
Altics Questionnaire
Altics QuestionnaireAltics Questionnaire
Altics QuestionnaireALTICS
 
Affiche cdp des veilleurs 2017
Affiche cdp des veilleurs 2017Affiche cdp des veilleurs 2017
Affiche cdp des veilleurs 2017Cdpveilleurs3s
 
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...Institut Pasteur de Madagascar
 
Méthodologie de projet - L'Evaluation
Méthodologie de projet - L'EvaluationMéthodologie de projet - L'Evaluation
Méthodologie de projet - L'EvaluationPhilippe Cazeneuve
 
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...Elsa Drevon
 
Veille environnement
Veille environnementVeille environnement
Veille environnementViedoc
 
L'impact ta priorité
L'impact ta prioritéL'impact ta priorité
L'impact ta prioritéEnactusFrance
 

Similaire à Evaluer un dispositif de veille (20)

Construire un tableau de bord
Construire un tableau de bordConstruire un tableau de bord
Construire un tableau de bord
 
Les secrets d'un process d'inscription efficace (juin 2009)
Les secrets d'un process d'inscription efficace (juin 2009)Les secrets d'un process d'inscription efficace (juin 2009)
Les secrets d'un process d'inscription efficace (juin 2009)
 
Qualibib
QualibibQualibib
Qualibib
 
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...
Statistiques, indicateurs, performance et qualité : prendre la mesure de la b...
 
dispositif_de_se_formation_jokkale_2019_dakar.pptx
dispositif_de_se_formation_jokkale_2019_dakar.pptxdispositif_de_se_formation_jokkale_2019_dakar.pptx
dispositif_de_se_formation_jokkale_2019_dakar.pptx
 
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...
Appel à l’action : Avril 2015, le mois de la Vérification nationale de la pré...
 
Veille Informationnelle
Veille InformationnelleVeille Informationnelle
Veille Informationnelle
 
Suivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes PopSuivi & Evaluation des Programmes Pop
Suivi & Evaluation des Programmes Pop
 
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...
Atelier 1: Le moniteur acteur clé de la qualité. Focus sur AQ audits et inspe...
 
Recueillir la veille, outils et agrégateurs
Recueillir la veille, outils et agrégateursRecueillir la veille, outils et agrégateurs
Recueillir la veille, outils et agrégateurs
 
Soi conseil et formation qualiville audit interne
Soi conseil et formation qualiville audit interneSoi conseil et formation qualiville audit interne
Soi conseil et formation qualiville audit interne
 
ProvinLait - conférence bien-être animal - Anne Aupiais
ProvinLait - conférence bien-être animal - Anne AupiaisProvinLait - conférence bien-être animal - Anne Aupiais
ProvinLait - conférence bien-être animal - Anne Aupiais
 
Les principes de la mesure
Les principes de la mesureLes principes de la mesure
Les principes de la mesure
 
Altics Questionnaire
Altics QuestionnaireAltics Questionnaire
Altics Questionnaire
 
Affiche cdp des veilleurs 2017
Affiche cdp des veilleurs 2017Affiche cdp des veilleurs 2017
Affiche cdp des veilleurs 2017
 
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...
Mise en place d'un système de Monitoring et Evaluation de lutte antipaludique...
 
Méthodologie de projet - L'Evaluation
Méthodologie de projet - L'EvaluationMéthodologie de projet - L'Evaluation
Méthodologie de projet - L'Evaluation
 
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...
CMD 2012 - Veille informationnelle : diffuser et organiser avec des outils gr...
 
Veille environnement
Veille environnementVeille environnement
Veille environnement
 
L'impact ta priorité
L'impact ta prioritéL'impact ta priorité
L'impact ta priorité
 

Evaluer un dispositif de veille

  • 1. Evaluer un dispositif de veille Réunion Pôle Veille Ivry sur Seine, 19 octobre 2011 Pôle Veille – Inra. DV‐IST 1 Marie‐Colette Fauré
  • 2. Plan de l’intervention ► Définitions ► Indicateurs ► Evaluer : pourquoi, quoi, comment ? ► Un exemple : évaluation de VERSA ► Evaluation du pilotage d’un dispositif de veille 2 2
  • 3. En préambule…  Efficacité : mesure la réalisation d’objectifs donnés ;  Efficience : mesure de l’utilisation des ressources pour atteindre un objectif donné (coût/efficacité) ;  Ex : Publier avec régularité des bulletins de veille de qualité  efficacité du service de veille  Mais, si le temps passé à sélectionner et traiter les informations est très important  le service n'est pas efficient.  Performance : efficacité + efficience (meilleur équilibre)  Évaluation : processus consistant à estimer l’efficacité, l’efficience et la pertinence d’un service ou d’une installation ;  Qualité : ensemble des caractéristiques d’un produit ou d’un service qui déterminent l’aptitude à satisfaire des besoins explicites ou implicites. Source : Norme ISO 11620::2008 - Information et documentation - Indicateurs de performance des bibliothèques 3
  • 4. Pour évaluer : les indicateurs 1. Un indicateur fournit des données chiffrées sur les principaux aspects de l'action évaluée et permet des comparaisons en matière de coûts, volume des activités, nombre de bénéficiaires. 2 grands types d'indicateurs : • Les indicateurs d'activité ou de gestion • Les indicateurs de performance Un indicateur ne se limite pas à la mesure • La valeur de l’indicateur est fonction de l’objectif défini • un indicateur de performance est jugé pertinent par rapport à un contexte défini • les indicateurs permettent de mesurer l'atteinte des objectifs. 4
  • 5. Pour évaluer : les indicateurs 2. Les indicateurs d'activité mesurent le résultat direct de la production d'un service. Par exemple :  Le nombre de visiteurs d'un centre de documentation ou une bibliothèque  Le nombre de bulletins de veille produits. Pas suffisant pour rendre compte de la valeur ou de la qualité des services Les indicateurs de performance doivent permettre de juger si les objectifs d'un programme ont été atteints. Par exemple,  la diminution du nombre de morts sur les routes pour la politique de sécurité routière  la réduction des délais d'attente, des temps de réponse, du taux d'erreur pour mesurer la qualité d'un service. Source : La documentation française - http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques-publiques/glossaire.shtml#i 5
  • 6. Exemple : Indicateurs du manuel IFLA - 1 A. Ressources – Infrastructure  Surface de services publics par personne  Heures d’ouverture hebdomadaire  Nombre d’agents par personne B. Utilisation  Audience  Satisfaction des usagers  Entrées à la bibliothèque par personne  Rotation des collections  Emprunts par personne  Proportion des prêts entre bibliothèques sur le total des prêts  Taux de présence aux séances de formation (par personne) IFLA : International Federation of Library Associations and Institutions 6
  • 7. Exemple : Indicateurs du manuel IFLA - 2 C. Efficience  Coût par usager  Délai de traitement des documents  Productivité des agents dans le traitement des document D. Potentialités et développement  Pourcentage des dépenses en fourniture d’information consacrées à la collection électronique  Heures/jours de formation suivis par agent  Pourcentage des crédits de la bibliothèque provenant de subventions spéciales ou de fonds propres  Pourcentage du budget de l’institution alloué à la bibliothèque Source : Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995. in : Pascale Talour : les indicateurs, l'évaluation, la performance et les activités de l'IST. http://isidora.cnrs.fr/IMG/pdf/Pascale-Talour_indicateurs.pdf 7
  • 8. Pourquoi évaluer un dispositif de veille ? 1. L'évaluation : une des étapes clé du processus de veille  processus itératif 2. Nécessité de contrôler le fonctionnement d'un dispositif de veille : • Il faut que le système fonctionne • Il faut qu’il produise des résultats de qualité • Il faut que le rapport résultats/moyens soit bon • Il faut qu'il dure. 3. L'évaluation : pour disposer de points de repère, d'éléments de comparaison, pour rendre compte à la hiérarchie… 8
  • 9. Qu'est-ce que l'on évalue ?  L'évaluation de la veille est très peu documentée dans la littérature.  Les articles sur le sujet évoquent plutôt l'évaluation des étapes opérationnelles du processus de veille, sans doute plus facilement quantifiable.  L'évaluation globale (étapes du processus et pilotage) du dispositif est pourtant nécessaire à une bonne conduite du projet. 9
  • 10. Évaluer à chaque étape du processus de veille 1. Sourcing : • Nombre de sources surveillées (fonction du contexte) • Taux de nouvelles sources /an • Taux d'élimination /an  indique que le sourcing est régulièrement (ou pas) révisé.  n'évalue pas la qualité du sourcing. Collecte et surveillance  Nombres d'alertes produites  Taux d’alertes non pertinentes / alertes utiles  donne des indications sur le choix ou le paramétrage de l'outil de surveillance ou sur la qualité du sourcing. 10
  • 11. Évaluer à chaque étape du processus de veille 2. Traitement de l'information • Volume d'informations traitées • Nombre de fiches de synthèses ou d'analyses produites…  indicateurs quantitatifs • Temps consacré au traitement et à l'analyse des informations Diffusion :  Nombre de bulletins publiés sur une période donnée  Nombre de lecteurs  indicateurs quantitatifs  Régularité des diffusions d'information  Degré de satisfaction des lecteurs  indicateurs qualitatifs 11
  • 12. Une expérience : Évaluation de VERSA VERSA : dispositif de veille réglementaire en expérimentation animale, sécurité biologique et sûreté biologique, éthique et bien-être animal du département Santé Animale de l’Inra. Versa en quelques chiffres • Création : 2005 • Nombre de veilleurs : 5 • Nombre d'utilisateurs : 800 • Alertes par semaine : 30 • Nombre de textes en base de données : 337 • Nouveaux textes insérés en 2010 : 11 • Nombre d'informations totales publiées sur la page du veilleur : 122 • Nombre d'informations/an publiées sur la Page du veilleur : 20 (environ) 12
  • 13. VERSA - Pourquoi évaluer ? Après 6 années de fonctionnement, quelques interrogations :  le dispositif est-il toujours conforme aux besoins de son public cible ?  la base de données VERSA (en ligne) est-elle exhaustive ?  la méthodologie de surveillance est-elle optimale ?  l’outil de veille est-il adapté aux besoins des veilleurs ?  S'il y a des problèmes, pouvons-nous y remédier et améliorer le dispositif ? Assurer de la pérennité de VERSA. Réflexion dans le cadre d'un stage de licence professionnelle en management de l’information du 1er avril au 31 juillet 2011. Stagiaire : Alexandra Coppolino Co-encadrement : Céline Housseau (ingénieur qualité du dpt SA) / Marie-Colette Fauré (chargée de veille et d’ingénierie de l’information du dpt SA) 13
  • 14. Évaluation de VERSA : on ne part pas de rien Indicateurs suivis depuis l'origine du projet : • Le nombre d'abonnés au site VERSA • Les statistiques de connexion 2008 – Une enquête de satisfaction auprès des abonnés au terme de 3 années d’activité. Objectifs :  évaluer la pertinence de VERSA  identifier les points d’amélioration  déterminer l’intérêt d'élargir le périmètre de VERSA (toxicologie, cosmétique…).  76 participants / 510 abonnés 14
  • 15. VERSA – Les statistiques de connexion, un indicateur … Vers une constance du nombre de visites 2009 : 1 520 visites / mois en moyenne 2010 : 1 465 visites / mois en moyenne Tendance à la « fidélisation » des visiteurs Visiteurs différents de 24 % à 21 % de visiteurs différents entre 2009 et 2010 Mode de connexion 80 % de connexion directe en 2009 et 89 % en 2010. Source : M. Gautret - Analyse des statistiques de consultation des sites Web 15 du Département Santé Animale, janvier 2011.
  • 16. Évaluation de VERSA : méthode adoptée  L'analyse préalable de l'existant  Une approche Évaluation / Amélioration continue  un tableau SWOT pour évaluer les forces et les faiblesses  Le processus de VERSA revisité avec des points clés à surveiller  La définition et la mise en place des indicateurs  La révision des outils de gestion (plan de veille)  Le début des actions correctives 16
  • 17. VERSA – Forces est faiblesses SWOT POSITIF NÉGATIF Interne Le dispositif VERSA : - Reçoit l’appui de la direction pour son - L’outil de surveillance n’est pas adapté aux besoins développement et son maintien (fonctionnalité limitée). - Répond au schéma stratégique globale du DSA - Sa fonction collaborative n’est pas exploitée par les (2004-2007) : cellule de veille stratégique à mettre en veilleurs et les experts (pas de « feedback » et animation place. de la communauté des experts inexistante). - Correspond à un besoin stratégique lié à la - Il n’y a pas suffisamment de communication autour de certification ISO 9001 des UE. VERSA. - Comporte un périmètre de veille bien circonscrit. - Il n’y a pas d’évaluation régulière sur l’exhaustivité de la - L’Expérimentation Animale est un domaine sensible. base de donnée. - Est le seul dispositif de veille réglementaire existant - L’indexation des documents de la base de données n’est dans ce domaine. pas contrôlée (inexistence de référentiel linguistique dans - Est géré par un réseau de veilleurs, travaillant dans le ce domaine de recherche). domaine, et animé par le chef de projet. - On constate un manque d’ouverture et d’expertise sur - Contient une richesse de profils des utilisateurs d’autres espèces (faune sauvage et primates) : veilleurs très (privés et publics). orientés « PSAT », trop centré sur l’activité des UE du - Est un outil reconnu au sein du DSA et par ses département. partenaires. Externe -Est ouvert sur Internet et inscription gratuite. - La non exhaustivité et le manque de réactivité de la base - Partenariats possible : portail de CNUE, veille bien- de données peut être source d’insatisfaction pour les être animal (BEA)… utilisateurs de VERSA - La Communauté Européenne fait de plus en plus - Le processus est difficile à maintenir en continu : le pression sur les organismes de recherche (utilisant nombre de veilleurs reste insuffisant, et Versa n’est pas l’expérimentation animale), concernant la prise en leur mission principale (peu de disponibilité). compte du bien-être animal et éthique. - Une concurrence possible en matière de veille - La stratégie du DSA se positionne de plus en plus au réglementaire sur l’expérimentation animale. niveau international 17
  • 18. 18
  • 19. VERSA – Indicateurs Sourcing Résultat Fréquence Représentation Indicateurs Objectifs à de graphique atteindre calcul Dans une veille réglementaire, au  Histogramme  % de sources officielles moins la moitié des sources doivent   50% Annuel empilé 100%  être des sources officielles ou secteurs Taux de sources  Histogramme  Le taux de sources actives souligne (sur  actives/total des sources  > 90% Annuel empilé 100%  la durée) le suivi du sourcing surveillées ou secteurs  1  Nombre d'alertes reçues  Une source est "active" si  elle génère  2 fois par  alerte/tous  non par source/mois au moins 1 alerte tous les 6 mois an les 6 mois 19
  • 20. VERSA – Évaluation de la surveillance Fréquence Résultat à Représentation Indicateurs Objectifs de atteindre graphique calcul L'absence de bruit est un critère de  Nbre d'alertes sans  qualité de la surveillance. Aucune  Histogramme  information  alerte sans information en relation   0% 2 fois/an empilé 100%  pertinentes/nbre d'alertes  avec l'objet de la veille ne doit être  ou secteurs reçues par source/mois reçue. Taux d'alertes  Histogramme  La part d'alertes exploitées et diffusées  exploitées/total d'alertes   50% Annuel empilé 100%  doit être supérieure à 50 %. reçues ou secteurs 20
  • 21. VERSA – Évaluation de la base de données Résultat à Fréquence Représentatio Indicateurs Objectifs atteindre de calcul n graphique La base de données doit être  Nbre de textes manquants exhaustive : aucun texte ne doit  = 0% Annuel non manquer La base de données doit être à jour et Nombre de textes non  doit proposer la dernière version des  = 0 % Annuel non actualisés textes en vigueur Les textes insérés dans la base de  Nombre de texte hors du  Annuel données doivent respecter le  = 0 % non périmètre de veille périmètre de la veille. 21
  • 22. VERSA – Évaluation de la diffusion Résultat à Fréquence Représentatio Indicateurs Objectifs atteindre de calcul n graphique Augmentation  régulière du nombre  Courbe ou  Nbre d'utilisateurs  d'inscrits /an + de 10%/an Annuel histogramme  enregistrés  maintien de l'intérêt concernant  empilé cette veille Diminution du nombre de visiteurs  Courbe ou  ponctuels  histogramme  Fidélisation des visiteurs  utilisation de la base de données  ‐ 5%/an Annuel empilé comme un outil de travail "au  quotidien" 22
  • 23. VERSA – Premières actions correctives  Révision du sourcing − Refonte et mise à jour du tableau de sourcing  Révision de la base de données − Textes et recommandations dans le périmètre de VERSA − Textes manquants 23
  • 24. VERSA - Tableau de bord de sourcing et de surveillance 24
  • 25. Pour aller plus loin : Évaluation du pilotage du dispositif de veille La pérennisation d'un dispositif de veille pourrait s'appuyer utilement sur une évaluation du pilotage du dispositif de veille en permettant • Une vision systémique du dispositif • Un diagnostic de l'existant • Une identification des points critiques. Difficulté : évaluation difficilement quantifiable, mais,  définir, programmer, installer un processus d'évaluation de ce type = capacité à conduire et à maitriser un projet. 25
  • 26. Identifier les points à évaluer - 1 Management du projet Le dispositif de veille s'appuie-t-il • sur un document de cadrage ? • sur un comité de pilotage ou un interlocuteur privilégié représentant le commanditaire ? Des réunions sont-elles régulièrement organisées ? Ressources humaines Les tâches et responsabilités de chaque acteur sont-elles clairement définies ? Les acteurs sont-ils formés à la veille ? Le réseau de veilleurs et d'experts fait-il l'objet d'une animation régulière ? 26
  • 27. Identifier les points à évaluer - 2 Ressources technologiques  Les méthodes et outils utilisés sont-ils appropriés et dimensionnés au projet ? Sourcing  Les sources utilisées sont-elles variées et de qualité ? Critères explicites en fonction des objectifs ?  Le sourcing est-il documenté et suivi ?  La révision du sourcing est-elle planifiée ?  Est-elle exécutée ? Surveillance et collecte  L'organisation de la surveillance (qui fait quoi ?) est-elle clairement définie ?  Les opérations de surveillance sont-elles clairement évaluées sur une période donnée ? 27
  • 28. Identifier les points à évaluer - 3 Traitement de l'information  L'information est-elle traitée en fonction des objectifs de l'organisation (niveau de traitement adapté aux besoins) ?  La synthèse et l'analyse sont-elles effectuées selon un cadre prédéfini (cf document de cadrage) ? Diffusion  Le choix du livrable est-il adapté au public cible ?  Répond-t-il aux objectifs du projet ? Promotion du dispositif de veille  Mise en place d'une stratégie de communication ? Évaluation du dispositif de veille  Le dispositif de veille fait-il l'objet d'une évaluation régulière ? 28
  • 29. Projet de tableau de bord  (à lecture simple) pour  évaluer le pilotage d’un  dispositif de veille, (Conception : Marie‐Colette Fauré) 29
  • 30. Conclusion Lien fort entre Évaluation et Facteurs Clés/Critiques de Succès • Penser l'évaluation dans une perspective d'amélioration ou de correction des points critiques • Intégrer l'évaluation et le choix des indicateurs dès le montage du projet • Utiliser l'évaluation pour conserver l'humain au cœur du dispositif :  repérer les signes d'essoufflement, de surcharge de travail, de démotivation…  tirer parti de cette étape pour faire le point, soutenir, faire évoluer… 30
  • 31. Bibliographie  Jakobiak, F. - L'intelligence économique. Techniques & Outils.- Eyrolles/ Éditions d'Organisation, 2009 (2eéd.)  Lesca, N., Caron-Fasan M.-L. – La veille vue comme un système cybernétique. Finance Contrôle Stratégie, 8 (4), 2005, 93-120.  Sutter, E. – L'évaluation et les indicateurs de performance des activités info- documentaire. Éditions d'Organisation, 2003.  Norme ISO 11620:2008 - Information et documentation - Indicateurs de performance des bibliothèques  La Documentation Française - L'évaluation des politiques publiques - Glossaire http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiques- publiques/glossaire.shtml  Mesurer la qualité : mettre en place des indicateurs de performance dans les bibliothèques universitaires, IFLA, 1995.  Poll R. - Mesures de la qualité dans les bibliothèques spécialisées.WLIC, 19-23 August 2007, Durban . (Trad. Dalbin, S.). http://archive.ifla.org/IV/ifla73/papers/152-Poll-trans-fr.pdf 31