Évaluer les usages                         sur place et à distance                                          Enssib        ...
3 }      expérimentations      doutes      plans dévaluation      méthodes      résultats      conclusions
doute #1que peuvent bienfaire nos usagersdes liseuses quenous leur prêtons               ?
contexte
contexteLancement de la liseuse        Sony PRS-505
contextehttp://www.digitimes.com/news/a20100324PR204.html                                                    2008 renouvea...
contexte local20 livrels achetés et prêtés
contexte localpréchargés et ouverts
contexte localConditions de prêt les plus avantageuses
contexte localélimination de toutes les barrières à leur utilisation
contexte localLa communication, moteur du service
Plan dévaluationévaluation en 2 phases
Plan dévaluationmix méthodologique axé sur le qualitatif
Plan dévaluationanalyse statistique des prêts
Plan dévaluationenquête qualitative sur les représentations des usagers
Répartition des prêts de liseuses par mois                                                                          mars 0...
Répartion des prêts de livrel par statut demprunteurs (avec personnel BU)                                                 ...
méthodeInterroger les représentations = focus group
méthodeProblématique + hypothèses
méthodegrille dentretien
méthode3 groupes homogènes de 6 participants
méthoderecrutement parmi les emprunteurs
méthodesoigner la préparation
résultatsRetours sur le dispositif plutôt positifs
résultatsFort attachement à lécosystème du livre papier
résultatsAttentes vis à vis de la BU pour laccompagnement dans les contenus
échec1. Projet de service trop flou pour une évaluation efficace
échec2. Appareil déjà obsolète au moment de lenquête
échec3. Intégration trop faible dans lenvironnement institutionnel
doute #2nous élargissons noshoraires douverture    mais les usagers       seront-ils au      rendez-vous ?
contextePression des tutelles
contextePression des publics
contexte60h → 72h → 84h
contexteattention dossier sensible
Plan dévaluationphase qualitative         Interroger les acteurs de louverture
Plan dévaluationphase qualitative         Interroger les acteurs de louverture                       moniteurs-étudiants
Plan dévaluationphase qualitative         Interroger les acteurs de louverture                       moniteurs-étudiants  ...
Plan dévaluationphase quantitative                 Fréquentation = flux
Plan dévaluationphase quantitative                 Fréquentation = flux                 Circulation = activités
Plan dévaluationphase quantitative                 Fréquentation = flux                 Circulation = activités           ...
méthodesemaine test
méthodeêtre dans la norme
méthodetaux doccupation des places assises
Progression des transactions à la BdP (période haute)                                       résultats100%80%              ...
STS - Évolution du taux doccupation (lundi au vendredi)80%                                                                ...
STS - Évolution de loccupation moyenne                                            en valeur absolue (lundi au vendredi)   ...
BB - Évolution de taux doccupation (lundi-vendredi)                                                                       ...
BB - Évolution de loccupation moyenne en valeur absolue                                                                   ...
succès1. Méfiez vous des recueils de données chiffrées (automatiques ou humains)
succès2. Enquête qualitative tronquée
succès3. La mesure la plus évidente nest pas la plus pertinente
succès4. Le taux doccupation devrait être mesuré dans toutes les BU
doute              doute #3nos usagers sauront-ils   se retrouver dans le   nouvel écosystème    documentaire de la       ...
contexteNouveau site web
contexteCatalogue de nouvelle génération
contexteMoteur de recherche fédérée
contexteRésolveur de lien
Plan dévaluationTests dutilisabilité
Plan dévaluationCheminement à voix haute
Plan dévaluationquestionnaire
Plan dévaluationFocus group
méthode    Testdutilisabilité
le premier objectif                       méthode   est d’améliorer   l’utilisabilité du         produit                  ...
le premier objectif                  les participants   méthode   est d’améliorer                     sont de vrais   l’ut...
le premier objectif                  les participants   méthode   est d’améliorer                     sont de vrais   l’ut...
le premier objectif                  les participants   méthode           est d’améliorer                     sont de vrai...
le premier objectif                  les participants   méthode           est d’améliorer                     sont de vrai...
méthode                                     Démarrer un                                      nouveau test                 ...
méthodeNombre de testeurs : 12
méthodedurée de la période de test : 2 à 3 semaines
méthodelogiciel denregistrement : à définir
méthodelogiciel de codage : excel
méthodenombre dactions à tester : 10 à 12
en conclusionà chaque doute, son évaluationà chaque évaluation, sa (ses) méthode(s)
en conclusionformez-vousauto-formez-vouslancez-vous
en conclusionracontez-nous
Mercide votreattention                    alarcon.nicolas@gmail.com                    nico_AsLiCC – by - nc - sa   www.sl...
Crédits photos CC         Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-sa                    Diapo 2 : Avi...
L'évaluation est l'ennemie du doute : trois expérimentations
L'évaluation est l'ennemie du doute : trois expérimentations
L'évaluation est l'ennemie du doute : trois expérimentations
Prochain SlideShare
Chargement dans…5
×

L'évaluation est l'ennemie du doute : trois expérimentations

4 450 vues

Publié le

Support de formation utilisé dans le cadre de la formation "Évaluer les services sur place et à distance" - Enssib 2-3 avril 2012

Publié dans : Formation
0 commentaire
7 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
4 450
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2 386
Actions
Partages
0
Téléchargements
25
Commentaires
0
J’aime
7
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Cette formation portera sur la manière de se servir de l'évaluation pour lever les doutes, les questions que la création, la gestion ou l'amélioration des services ne manquera pas de poser.
  • Je vais vous présenter 3 expérimentations sises dans 2 scd différents. Ces 3 expérimentations partaient de 3 doutes qui ont nécessité la construction de 3 plans d'évaluation comportant 3 méthodes-pivots différentes pour 3 résultats et conclusions.
  • Premier doute
  • C'est bien beau de prêter des liseuses mais que font-ils avec ?
  • Revenons d'abord en 2008, il n'y a pas si longtemps mais en terme d'usage et d'évolution des outils, il y a une éternité
  • 2008 marque surtout l'arrivée du premier acteur international sur le marché (re)naissant des liseuses. Auparavant occupé par des sociétés comme Booken ou Iliad. Sony arrive sur le marché (avant amazon) et met tous les moyens notamment marketing pour s'y installer durablement. Au même moment, Daniel Bourrion, responsable de la bibliothèque numérique au SCD de l'Université d'Angers flaire le potentiel de ces nouvelles machines pour la BU et parie sur une percée dans l'équipement des ménages.
  • L'avenir lui donnera raison (au moins jusqu'en 2011) puisque ce graphique montre la progression des expéditions de liseuses depuis 2008. On perçoit un décollage à partir de 2009-2010. Mais ce que le graphique ne montre pas, c'est un fort tassement des ventes pour le premier trimestre 2012. Les liseuses subissent la concurrence frontale des tablettes (iPad en tête).
  • Néanmoins, en 2008, la Bu d'Angers achète 10 tablettes cybook Gen3 de la marque Bookeen et obtient un prêt longue durée de 10 PRS-505 de la marque Sony. Donc, une flotte de 20 machines à prêter à nos usagers
  • Au départ, les machines devaient être chargées avec une sélection de livres libres de droit issus du Projet Gutenberg Mais au même moment, s'est conclu un partenariat avec l'éditeur-diffuseur en ligne de littérature contemporaine Publie.net. Certains ouvrages furent chargés. Les liseuses restaient ouvertes, c'est à dire que les emprunteurs pouvaient ajouter tous les documents qu'ils souhaitaient. À leur retour de prêt, les machines sont formatées et rechargées.
  • Les conditions de prêt les plus avantageuses ont été appliqués aux liseuses : 28 jours renovuelables. Afin que les usagers puissent réellement se familiariser avec.
  • Le prêt se veut le plus simple possible. Il suffit de demander à la banque de prêt. Pas besoin de laisser un chèque de caution ou de signer un engagement quelconque.
  • La campagne de communication au moment du lancement du service fut relativement importante : mailing, affiche, démonstration dans le hall de la bibliothèque, etc. La communication peut être perçu comme un moteur pour ce service car lorsqu'elle a diminué les prêts ont chuté.
  • Nouveau service à la BU sans point de repère dans d'autres bibliothèques en France ou à l'étranger, l'évaluation du prêt de liseuses était incontournable. Le plan d'évaluation comportait 2 phases
  • Un mix méthodologique entre méthodes quantitatives et méthodes qualitatives a immédiatement été envisagé C'est d'ailleurs une constante dans tous les plans d'évaluation de la BU (tout les plans devraient être pensés ainsi), Au contraire d'autres enquêtes (satisfaction sur les formations, enquête de publics), l'accent a été porté sur la phase qualitative. La méthode qualitative choisie devait nous apporter le matériaux le plus riche et répondre à la problématique, au doute initial.
  • La phase quantitative consistait à recueillir et analyser les statistiques de prêt des machines.
  • La phase qualitative portait sur les représentations des usagers par rapport aux liseuses.
  • La courbe orange correspond aux prêts totaux, la bleu aux emprunts amputés de ceux du personnel à qui les machines ont été prêtés avant le lancement officiel du service (courbe entre mars et juillet 08). Plus les courbes orange et bleue se rejoignent plus les machines sont prêtés à des usagers lambda. On note que la courbe se maintient assez haut entre septembre (lancement) et février, mois à partir duquel l'activité est supportée par le personnel. Le pic de l'été 2010 correspond à l'expérimentation de l'enquête qualitative. La campagne de communication a eu un effet certain sur les statistiques. On peut même avance que le service était sous assistance respiratoire, ce qui pose la question de son bien fondé.
  • En terme de répartition par catégorie d'usager, on voit que le personnel est sur-représenté parmi les emprunteurs. Les étudiants de niveau M sont les 2 e usagers du service suivis par les étudiants en licence.
  • L'objectif de la seconde phase visait à recueillir un matériaux qualitatif sur la perception des usagers à propos des ereader (problématique : Comment les usagers perçoivent ce nouvel outil ? Qu'en attendent-ils ? De quelles manières s'approprient-ils l'outil ? Et quelles places pour les livrels parmi l'équipement croissant en matériels technologiques (mp3, ordinateur portable, smartphone, etc.). La méthode la plus adapté pour ce type de questionnement est le focus group Guide d'entretien : 4 catégories de pistes : Parcours de lecteur et intérêt pour le projet / appropriation de l'outil / Prosélytisme / livrel dans un contexte universitaire
  • Voir le document préparatoire http://www.slideshare.net/alarcon/document-prparatoire-lvaluation-du-projet-livrel-la-bibliothque-universitaire-dangers
  • Guide d'entretien : 4 catégories de pistes : Parcours de lecteur et intérêt pour le projet / appropriation de l'outil / Prosélytisme / livrel dans un contexte universitaire Voir la grille d'entretien : http://www.slideshare.net/alarcon/grille-dentretien-des-focus-group-livre
  • organisation des focus groups : taille des groupes déterminée par le nombre de machines disponibles au prêt (18). Deux groupes d'étudiants (5+6) M+D+extérieurs, 1 groupe d'enseignants-chercheurs (6)
  • Recrutement : sélection à partir des multi-emprunteurs, complété par une sélection au hasard en salle et enfin liste de contact enseignant-chercheurs. Les liseuses furent prêtées au panel durant toutes les vacances d'été 2010 (2 mois) en échange d'une participation au focus group.
  • Préparation des fous groups : grille d'entretien, réservation de la salle, rafraîchissement, briefing avec la collègue-assistante, relance pour le rendez-vous, réservation du matériel d'enregistrement, pas d'incentives pour encourager la participation Les focus groups se sont dans l'ensemble bien déroulés Durée 2h-2h30, échanges nombreux, bonnes réactivité et participation des usagers. Problème : une coupure de courant à la toute fin d'un focus group a provoqué l'arrêt brutal de l'enregistreur numérique et a corrompu le fichier audio. Heureusement récupérable avec un logiciel ad hoc. Leçon : mettre des piles dans l'enregistreur en plus du secteur.
  • Le focus group des enseignants n'a pas pu être réuni pour des raisons d'incompatibilité d'emploi du temps. Réaction à chaud : plutôt positif, la parole a bien circulé, les participants rebondissaient sur les propos des autres, peu de relances ou de réorientations des débats. Ma question de clôture n'a pas fonctionné à cause de la fatigue et de la redondance des propos (aurais dû la placer en ouverture ou pas loin du début).
  • Prise en main : aisée, intuitive même si l’accès à la bibliothèque mériterait plus de convivialité et des boutons plus ergonomiques. Nécessiterait tout de même un mode d'emploi. Usage : plus souvent lecture loisir car problème de conversion pour les articles, lecture pro ou mise en forme spéciale (théâtre, poésie, article scientifique) déception dans la disparition du feuilletage et de l'odeur du livre Attentes : sur le contenu :très variées, dico, encyclopédie (wikipédia), livres étrangers, articles scientifiques, résumé et couverture pour le choix des livres. Sur les fonctionnalités : wifi, tactile lien avec pc toujours contraignant
  • Attentes : sur le contenu :très variées, dico, encyclopédie (wikipédia), livres étrangers, articles scientifiques, résumé et couverture pour le choix des livres. Sur les fonctionnalités : wifi, tactile lien avec pc toujours contraignant Importance de la bibliothèque de livres dans la sélection et la navigation (ergonomie, jaquette), rôle de la BU comme prescripteur et accompagnateur pour le contenu (borne de chargement). Uniquement lecture loisir, ne s'adapte pas à des lectures professionnelles (pdf vs epub)
  • Finalement l'évaluation s'est révélée être un échec. Pourquoi ? 1. l'évaluation était à l'image du projet : ambiguë, flou, sans réelle délimitation.
  • 2. au moment de l'enquête de nouveau modèle de liseuses venaient d'être commercialisées complétant ou corrigeant les problèmes des premiers. Certaines fonctionnalités demandées par les usagers étaient déjà dans les nouvelles versions. De plus, la tablette se lançaient, ce qui à encore un peu plus brouillé l'image des liseuses à encre électronique.
  • 3. Le plan d'évaluation n'a pas pu être mené à son terme (un focus group non tenu), retranscritpion inachevée, restitution abandonnée. L'absence d'attente forte de la part de la hiérarchie ou des collègues extérieurs (pression positive) a contribué au désintérêt du projet. Le temps de retranscription a été sous-estimé et l'absence d'un budget fléché Évaluation n'a pas permis d'externaliser cette étape. Nous disposions de budget important pour les grosses enquêtes (questionnaires ou libqual) mais pas de postes budgétaires "Evaluation" pour les dépenses courantes : logiciels, retranscriptions, étudiants-enquêteurs, incentives.
  • Deuxième doute
  • Dossier national avec une certaine pression des tutelles (principalement le ministère) pour élargir les horaires (label NoctamBU)
  • Plusieurs enquêtes (locale 2005, libqual 2008) avaient pointé une insatisfaction de certains de nos usagers. Un groupe de travail sur les horaires d'ouverture et l'aménagement du temps de travail des agents s'est réuni durant 18 mois pour aboutir à l'extension des horaires d'ouverture et à la refonte de l'aménagement du temps de travail des personnels (amplitudes, congés, etc.).
  • Au final, la BU Belle-Beille (Lettres, sciences, SH en périphérie) est passée de 60h à 65h. La BU St Serge (Droit, éco, Santé) est passée de 60h à 72h en 2009-2010 puis à 84h en 2010-2011. L'ouverture est assurée par des moniteurs-étudiants, une vigile et le personnel de catégorie A de la bibliothèque.
  • Dossier épineux, scepticisme des agents sur l'intérêt d'une extension, sur la mise en œuvre, sur la capacité des moniteurs à effectuer un travail de qualité besoin d'un retour pour la tutelle, la direction et le personnel = élaboration d'un plan d'évaluation (première en France à ma connaissance)
  • La phase qualitative est minoritaire dans ce projet d'évaluation (importance donnée au quantitatif) mais elle existe quand même. L'idée était d'interroger ceux qui font l'ouverture.
  • A la demande des représentants du personnel, les équipes de moniteurs travaillant durant les horaires élargis ont été interrogés durant un focus group visant à recueillir leurs impressions, leurs difficultés, leur rapport aux usagers durant les phases d'ouverture nocturne.
  • Après l'extension des horaires, une phase qualitative est envisagée sous la forme d'une enquête d'usage par questionnaire, focus group ou observation (utilisation des espaces, articulation entre travail à la BU et vie quotidienne, sociale, etc.). Par manque de temps (mutation), l'interrogation des usagers n'a pas pu se faire.
  • La phase quantitative se divisait en trois parties. D'abord la mesure précise des flux (la fréquentation) Mesures systématiques 3 relevés systématiques (8h30, 9h, 19h) permettant de mesurer le surcroit de fréquentation entre 8h30 et 9h, entre 9h et 19h (périmètre constant) et entre 19h et 20h ou 22h. Le relevé du 19h subit encore quelques ratés. J'ai donc installé un «  pense-bête  » sur le navigateur (Firefox) des postes de la BDP St Serge. Un pop-up s'ouvre, avertissant du relevé. Voir si déploiement sur BB. Les données de ces relevés systématiques feront l'objet d'une analyse au fil de l'année et comparative par rapport aux années précédentes. Mesures par sondage 4 semaines de mesure en période haute : 2 semaines en novembre (du 16 au 27/11) et 2 semaines en mars (du 8 au 20 mars) 3 semaines de mesure en période basse : 2 semaines en janvier (du 11 au 23/01) et 1 semaine en avril (du 12 au 17 avril). La fréquence des relevés durant les semaines-tests est la suivante : #1 : 1 relevé par heure en plus de celui de 8H30 = 14 relevés pour les fermeture à 22h, 12 relevés pour les fermetures à 20h, 10 relevés pour les fermetures à 18
  • Occupation des salles Mesures par sondage Le calcul du taux d'occupation des places assises permettra de déterminer l'occupation des espaces durant l'ouverture de la bibliothèque et principalement durant les ouvertures en plus (8h30-9h, 19h-20h ou 19h-22h). Le calcul du taux d'occupation des salles se déclinera en : mesures systématiques (1 mesure entre 8h45 et 8h55, 3 mesures entre 19h et 20h, 20h et 21h et 21h et 22h) et mesures par tirage au sort : 5 relevés tirés au sort entre 9h et 19h (3 relevés pour les samedis) Afin de ne pas déséquilibrer l'échantillon (3 mesures pour 3h en fin de journée contre 5 mesures pour 10h durant la journée), les mesures seront pondérées. L'achat d'un compteur mécanique facilitera les relevés. Les semaines-tests Fréquentation seront couplées avec les semaines-tests Occupation des salles
  • Circulation Mesures systématiques via ALEPH L'activité à la banque de prêt sera mesurée sur les périodes d'ouverture supplémentaires. Les statistiques de circulation entre 8h30 et 9h, 18h et 20h, 20h et 22h feront l'objet d'un rapport mensuel directement extrait d'Aleph Voir le plan d'évaluation : http://www.slideshare.net/alarcon/plan-dvaluation-de-lextention-des-horaires-douverture-dans-les-bu-de-luniversit-dangers
  • Une semaine-test est une période période durant laquelle un ensemble de mesures sont effectuées afin de produire des indicateurs ne pouvant être extraits directement d'un système informatisé (SIGB ou autre) Lors de la 1ère année d'extension : recueil systématique des entrées et occupation des places assises aux périodes d'extension (8h30, 9h, 19h) + recueil par heure lors de semaine test
  • 2 outils indispensables : normes ISO 2789 et ISO11620. Permettent de parler un langage commun et d'utiliser les mêmes méthodes de comptage. Donc de produire des données fiables et comparables. Production d'indicateurs d'activité et de performance (ratios) L'exemple d'Angers : Taux d'occupation des places assises, Taux d'occupations des postes OPAC.
  • .
  • Les données de circulation n'ont rien donné de concluant sur les extensions. Nous savons simplement qu'en soirée les prêts/retours/prolongations représentent près de 20% de l'activité de la journée à St Serge (BU qui ouvre le plus)
  • Le plan a connu quelques ratés principalement pour le recueil des données de fréquentation. Un problème informatique a empêché le relevé par heure des portiques. Dans l'autre BU, c'est un problème humain (oubli) qui a produit des données peu fiable.
  • Faute de temps les focus groups des usagers n'a pu avoir lieu.
  • Alors que les entrées reste un des principaux critères d'activité des BU, on s'est aperçu que le taux d'occupation des places assises était un critère beaucoup plus intéressant et reflétait mieux la saturation et l'occupation des espaces
  • Cet indicateur devrait compléter le nombre d'entrées dans l'ESGBU
  • Troisième doute
  • À partir de janvier 2012, les outils documentaires du SCD sont peu à peu renouvelés, complétés, transformés. Si le SIGB reste, pour le moment, le même, c'est l'ensemble des outils de recherche documentaire proposés aux usagers qui est revu. Nouveau site web basé sur les parcours disciplinaires
  • Nouveau catalogue (primo) qui intègre les fonctionnalités des opac dernières générations et remplace un opac (absys) depuis longtemps dépassé
  • Un moteur de recherche fédérée censé faciliter l'utilisation des ressources électroniques du SCD
  • Un résolveur de lien (SFX) pour exploiter au mieux et rendre plus visibles nos bouquets de textes intégrales
  • Le plan d'évaluation est en grande partie axé sur les tests d'utilisabilité, qui doivent servir à mesurer quantitativement l'utilisabilité du test. Déf : L’utilisabilité est le niveau de facilité, d’efficience, d’efficacité et de satisfaction avec lequel un utilisateur emploie un produit pour réaliser une activité précise Le but est d'obtenir des données sur : est-ce que l'usager a réussi à accomplir la tâche (efficacité) est-ce qu'il l'a fait un délai et des efforts raisonnables (efficience) est-il satisfait du produit/service
  • Conjointement au test, les utilisateurs devront expliquer à voix haute au moment de l'enregistrement ce qu'ils sont en train de faire à l'écran. Pour ajouter un retour subjectif sur les actions et enregistrer leur ressenti (effet wow, frustration, perdu, colère, etc.)
  • Un questionnaire sera remis avant le test pour enregistrer toutes données éclairant les résultats (habitude des ordi, d'internet, de la recherche documentaire, etc.) et données socio-démographiques pas directement utiles.
  • Un focus group pourrait être éventuellement réuni pour recueillir les représentations des usagers sur ces outils et toutes données qualitative non produites par les méthodes précédentes.
  • Les 5 objectifs des tests d'utilisabilité
  • Le nombre de participants aux tests a été arrêté à 12, ce qui peut paraître beaucoup (3 à 5 suffisent normalement) toute les catégories d'usagers seront représentées pour capter les différentes habitudes d'utilisation
  • La phase de test devrait durer entre 2 et 3 semaines, la durée du test ne devra pas excéder 1h
  • Le logiciel utilisé pour enregistrer le cheminement de l'utilisateur dans la page et les commentaires oraux n'est pas encore déterminé (logiciel de screencasting).
  • Excel sera utilisé comme logiciel de codage
  • Le nombre d'actions à tester sera compris entre 10 et 12 actions.
  • L'évaluation est l'ennemie du doute : trois expérimentations

    1. 1. Évaluer les usages sur place et à distance Enssib 3 avril 2011Lévaluation estlennemie du doutetrois expérimentations nicolas alarcon
    2. 2. 3 } expérimentations doutes plans dévaluation méthodes résultats conclusions
    3. 3. doute #1que peuvent bienfaire nos usagersdes liseuses quenous leur prêtons ?
    4. 4. contexte
    5. 5. contexteLancement de la liseuse Sony PRS-505
    6. 6. contextehttp://www.digitimes.com/news/a20100324PR204.html 2008 renouveau des e-readers
    7. 7. contexte local20 livrels achetés et prêtés
    8. 8. contexte localpréchargés et ouverts
    9. 9. contexte localConditions de prêt les plus avantageuses
    10. 10. contexte localélimination de toutes les barrières à leur utilisation
    11. 11. contexte localLa communication, moteur du service
    12. 12. Plan dévaluationévaluation en 2 phases
    13. 13. Plan dévaluationmix méthodologique axé sur le qualitatif
    14. 14. Plan dévaluationanalyse statistique des prêts
    15. 15. Plan dévaluationenquête qualitative sur les représentations des usagers
    16. 16. Répartition des prêts de liseuses par mois mars 08 - mars 10 résultats25 Hors personnel BU Linear regression for Hors personnel BU Avec personnel BU Linear regression for Avec personnel BU Analyse stat201510 5 0 avril 08 juin 08 sept 08 nov 08 janv 09 mars 09 mai 09 juillet 09 oct 09 déc 09 février 10mars 08 mai 08 juillet 08 oct 08 déc 08 février 09 avril 09 juin 09 sept 09 nov 09 janv 10 mars 10
    17. 17. Répartion des prêts de livrel par statut demprunteurs (avec personnel BU) mars 08- mars 10 résultats Concours IUFM Enseignant université 0,4% 8,0% Etudiant - niveau D 8,4% Personnel de luniversité 37,8%Etudiant - niveau L15,5% Extérieur payant Etudiant - niveau M 6,3% 21,0% Extérieur exonéré 2,5%
    18. 18. méthodeInterroger les représentations = focus group
    19. 19. méthodeProblématique + hypothèses
    20. 20. méthodegrille dentretien
    21. 21. méthode3 groupes homogènes de 6 participants
    22. 22. méthoderecrutement parmi les emprunteurs
    23. 23. méthodesoigner la préparation
    24. 24. résultatsRetours sur le dispositif plutôt positifs
    25. 25. résultatsFort attachement à lécosystème du livre papier
    26. 26. résultatsAttentes vis à vis de la BU pour laccompagnement dans les contenus
    27. 27. échec1. Projet de service trop flou pour une évaluation efficace
    28. 28. échec2. Appareil déjà obsolète au moment de lenquête
    29. 29. échec3. Intégration trop faible dans lenvironnement institutionnel
    30. 30. doute #2nous élargissons noshoraires douverture mais les usagers seront-ils au rendez-vous ?
    31. 31. contextePression des tutelles
    32. 32. contextePression des publics
    33. 33. contexte60h → 72h → 84h
    34. 34. contexteattention dossier sensible
    35. 35. Plan dévaluationphase qualitative Interroger les acteurs de louverture
    36. 36. Plan dévaluationphase qualitative Interroger les acteurs de louverture moniteurs-étudiants
    37. 37. Plan dévaluationphase qualitative Interroger les acteurs de louverture moniteurs-étudiants usagers
    38. 38. Plan dévaluationphase quantitative Fréquentation = flux
    39. 39. Plan dévaluationphase quantitative Fréquentation = flux Circulation = activités
    40. 40. Plan dévaluationphase quantitative Fréquentation = flux Circulation = activités Occupation = présence
    41. 41. méthodesemaine test
    42. 42. méthodeêtre dans la norme
    43. 43. méthodetaux doccupation des places assises
    44. 44. Progression des transactions à la BdP (période haute) résultats100%80% STS : 18h-22h = 19 % BB : 18h-20h = 13 %60%40% STS lundi-jeudi STS : 8h30-9h = 1,7 % STS vendredi20% BB : 8h30-9h = 2,3 % BB Lundi-jeudi BB vendredi 0%-20% 08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h
    45. 45. STS - Évolution du taux doccupation (lundi au vendredi)80% résultats période haute 2010-2011 période basse 2010-2011 période haute 2009-201070% période basse 2009-201060%50%40%30%20%10%0%08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
    46. 46. STS - Évolution de loccupation moyenne en valeur absolue (lundi au vendredi) résultats500 période haute 2010-2011 période basse 2010-2011450 période haute 2009-2010 période basse 2009-201040035030025020015010050 008h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
    47. 47. BB - Évolution de taux doccupation (lundi-vendredi) résultats45.0% période haute 2010-2011 période basse 2010-2011 période haute 2009-201040.0% période basse 2009-201035.0%30.0%25.0%20.0%15.0%10.0%5.0%0.0% 08h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
    48. 48. BB - Évolution de loccupation moyenne en valeur absolue résultats500 période haute 2010-2011 période basse 2010-2011 période haute 2009-2010450 période basse 2009-201040035030025020015010050 008h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
    49. 49. succès1. Méfiez vous des recueils de données chiffrées (automatiques ou humains)
    50. 50. succès2. Enquête qualitative tronquée
    51. 51. succès3. La mesure la plus évidente nest pas la plus pertinente
    52. 52. succès4. Le taux doccupation devrait être mesuré dans toutes les BU
    53. 53. doute doute #3nos usagers sauront-ils se retrouver dans le nouvel écosystème documentaire de la BU ?
    54. 54. contexteNouveau site web
    55. 55. contexteCatalogue de nouvelle génération
    56. 56. contexteMoteur de recherche fédérée
    57. 57. contexteRésolveur de lien
    58. 58. Plan dévaluationTests dutilisabilité
    59. 59. Plan dévaluationCheminement à voix haute
    60. 60. Plan dévaluationquestionnaire
    61. 61. Plan dévaluationFocus group
    62. 62. méthode Testdutilisabilité
    63. 63. le premier objectif méthode est d’améliorer l’utilisabilité du produit Test dutilisabilité
    64. 64. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit Test dutilisabilité
    65. 65. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit les participants Test font de vrais dutilisabilité activités
    66. 66. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vraisque font et disent dutilisabilité activités les utilisateurs
    67. 67. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vraisque font et disent dutilisabilité activités les utilisateurs analysez les données, diagnostiquez les problèmes recommandez les modifications
    68. 68. méthode Démarrer un nouveau test Définir 3 à 5 Modifier le site activités à Cycle tester Itération Choisir 3 à 5 Observer les problèmes participants facile à réaliser les corriger activitésStephen Francoeurmars 2012
    69. 69. méthodeNombre de testeurs : 12
    70. 70. méthodedurée de la période de test : 2 à 3 semaines
    71. 71. méthodelogiciel denregistrement : à définir
    72. 72. méthodelogiciel de codage : excel
    73. 73. méthodenombre dactions à tester : 10 à 12
    74. 74. en conclusionà chaque doute, son évaluationà chaque évaluation, sa (ses) méthode(s)
    75. 75. en conclusionformez-vousauto-formez-vouslancez-vous
    76. 76. en conclusionracontez-nous
    77. 77. Mercide votreattention alarcon.nicolas@gmail.com nico_AsLiCC – by - nc - sa www.slideshare.net/alarcon
    78. 78. Crédits photos CC Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-sa Diapo 2 : Avioncitos / josemanuelerre / by-nd Diapo 3 : One / Andrechinn / byDiapo 4 : Mrs. Duffee Seated on a Striped Sofa / Mike Licht NotionsCapital.com / by Diapo 5 : Welcome 2008/ ^riza^/ by Diapo 6 : Sexier than a librarian / ATIS547 / by-nc-sa Diapo 9 : Cybook in Bright Sunlight / preetamrai / by Diapo 13 : Nevermind me / The Hamster Factor / by-nc-nd Diapo 19 : Nook Storytelling a new way 2 of 2 / Orbmiser / by-nc-nd Diapo 25 : Difficult meeting / Simon Blackley / by-nd Diapo 28 : Bob Dylan "Subterranean Homesick Blues." Diapo 31 : Number 2 / Daniel*1977 / by-nc-sa Diapo 33 : OPEN 24 hours / larskflem / by-nc Diapo 37 : Harold B. Lee Library / jpstanley / by-nc-sa Diapo 40 : Untitled/ Strawberryletter23/ by-nc-nd Diapo 51 : Whats the time /Monkeyc.net / by-nc-sa Diapo 55 : Three 238/365 / Foshydog / by-nc-nd Diapo 56 : Apple II / Sam Howzit / by Diapo 57 : books / Telmo32 / by-nd Diapo 61 : Elmo (#16044) / Mark Sebastian / by-sa Diapo 65 : Observation room / (nz)dave / by-nc-nd Diapo 72 : Library Computer / clover_1 / by-nc Diapo 77 : Wheres Wally / Vvillamon / by-sa Diapo 80 : El Buscador / Ignacio Conejo / by-nc-sa

    ×