Évaluer les usages                         sur place et à distance                                          Enssib        ...
3 }      expérimentations      doutes      plans dévaluation      méthodes      résultats      conclusions
doute #1que peuvent bienfaire nos usagersdes liseuses quenous leur prêtons               ?
contexte
contexteLancement de la liseuse        Sony PRS-505
contextehttp://www.digitimes.com/news/a20100324PR204.html                                                    2008 renouvea...
contexte local20 livrels achetés et prêtés
contexte localpréchargés et ouverts
contexte localConditions de prêt les plus avantageuses
contexte localélimination de toutes les barrières à leur utilisation
contexte localLa communication, moteur du service
Plan dévaluationévaluation en 2 phases
Plan dévaluationmix méthodologique axé sur le qualitatif
Plan dévaluationanalyse statistique des prêts
Plan dévaluationenquête qualitative sur les représentations des usagers
Répartition des prêts de liseuses par mois                                                                          mars 0...
Répartion des prêts de livrel par statut demprunteurs (avec personnel BU)                                                 ...
méthodeInterroger les représentations = focus group
méthodeProblématique + hypothèses
méthodegrille dentretien
méthode3 groupes homogènes de 6 participants
méthoderecrutement parmi les emprunteurs
méthodesoigner la préparation
résultatsRetours sur le dispositif plutôt positifs
résultatsFort attachement à lécosystème du livre papier
résultatsAttentes vis à vis de la BU pour laccompagnement dans les contenus
échec1. Projet de service trop flou pour une évaluation efficace
échec2. Appareil déjà obsolète au moment de lenquête
échec3. Intégration trop faible dans lenvironnement institutionnel
doute #2nous élargissons noshoraires douverture    mais les usagers       seront-ils au      rendez-vous ?
contextePression des tutelles
contextePression des publics
contexte60h → 72h → 84h
contexteattention dossier sensible
Plan dévaluationphase qualitative         Interroger les acteurs de louverture
Plan dévaluationphase qualitative         Interroger les acteurs de louverture                       moniteurs-étudiants
Plan dévaluationphase qualitative         Interroger les acteurs de louverture                       moniteurs-étudiants  ...
Plan dévaluationphase quantitative                 Fréquentation = flux
Plan dévaluationphase quantitative                 Fréquentation = flux                 Circulation = activités
Plan dévaluationphase quantitative                 Fréquentation = flux                 Circulation = activités           ...
méthodesemaine test
méthodeêtre dans la norme
méthodetaux doccupation des places assises
Progression des transactions à la BdP (période haute)                                       résultats100%80%              ...
STS - Évolution du taux doccupation (lundi au vendredi)80%                                                                ...
STS - Évolution de loccupation moyenne                                            en valeur absolue (lundi au vendredi)   ...
BB - Évolution de taux doccupation (lundi-vendredi)                                                                       ...
BB - Évolution de loccupation moyenne en valeur absolue                                                                   ...
succès1. Méfiez vous des recueils de données chiffrées (automatiques ou humains)
succès2. Enquête qualitative tronquée
succès3. La mesure la plus évidente nest pas la plus pertinente
succès4. Le taux doccupation devrait être mesuré dans toutes les BU
doute              doute #3nos usagers sauront-ils   se retrouver dans le   nouvel écosystème    documentaire de la       ...
contexteNouveau site web
contexteCatalogue de nouvelle génération
contexteMoteur de recherche fédérée
contexteRésolveur de lien
Plan dévaluationTests dutilisabilité
Plan dévaluationCheminement à voix haute
Plan dévaluationquestionnaire
Plan dévaluationFocus group
méthode    Testdutilisabilité
le premier objectif                       méthode   est d’améliorer   l’utilisabilité du         produit                  ...
le premier objectif                  les participants   méthode   est d’améliorer                     sont de vrais   l’ut...
le premier objectif                  les participants   méthode   est d’améliorer                     sont de vrais   l’ut...
le premier objectif                  les participants   méthode           est d’améliorer                     sont de vrai...
le premier objectif                  les participants   méthode           est d’améliorer                     sont de vrai...
méthode                                     Démarrer un                                      nouveau test                 ...
méthodeNombre de testeurs : 12
méthodedurée de la période de test : 2 à 3 semaines
méthodelogiciel denregistrement : à définir
méthodelogiciel de codage : excel
méthodenombre dactions à tester : 10 à 12
en conclusionà chaque doute, son évaluationà chaque évaluation, sa (ses) méthode(s)
en conclusionformez-vousauto-formez-vouslancez-vous
en conclusionracontez-nous
Mercide votreattention                    alarcon.nicolas@gmail.com                    nico_AsLiCC – by - nc - sa   www.sl...
Crédits photos CC         Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-sa                    Diapo 2 : Avi...
L'évaluation est l'ennemie du doute : trois expérimentations
L'évaluation est l'ennemie du doute : trois expérimentations
L'évaluation est l'ennemie du doute : trois expérimentations
Prochain SlideShare
Chargement dans…5
×

L'évaluation est l'ennemie du doute : trois expérimentations

9 020 vues

Publié le

Support de formation utilisé dans le cadre de la formation "Évaluer les services sur place et à distance" - Enssib 2-3 avril 2012

Publié dans : Formation
  • Soyez le premier à commenter

L'évaluation est l'ennemie du doute : trois expérimentations

  1. 1. Évaluer les usages sur place et à distance Enssib 3 avril 2011Lévaluation estlennemie du doutetrois expérimentations nicolas alarcon
  2. 2. 3 } expérimentations doutes plans dévaluation méthodes résultats conclusions
  3. 3. doute #1que peuvent bienfaire nos usagersdes liseuses quenous leur prêtons ?
  4. 4. contexte
  5. 5. contexteLancement de la liseuse Sony PRS-505
  6. 6. contextehttp://www.digitimes.com/news/a20100324PR204.html 2008 renouveau des e-readers
  7. 7. contexte local20 livrels achetés et prêtés
  8. 8. contexte localpréchargés et ouverts
  9. 9. contexte localConditions de prêt les plus avantageuses
  10. 10. contexte localélimination de toutes les barrières à leur utilisation
  11. 11. contexte localLa communication, moteur du service
  12. 12. Plan dévaluationévaluation en 2 phases
  13. 13. Plan dévaluationmix méthodologique axé sur le qualitatif
  14. 14. Plan dévaluationanalyse statistique des prêts
  15. 15. Plan dévaluationenquête qualitative sur les représentations des usagers
  16. 16. Répartition des prêts de liseuses par mois mars 08 - mars 10 résultats25 Hors personnel BU Linear regression for Hors personnel BU Avec personnel BU Linear regression for Avec personnel BU Analyse stat201510 5 0 avril 08 juin 08 sept 08 nov 08 janv 09 mars 09 mai 09 juillet 09 oct 09 déc 09 février 10mars 08 mai 08 juillet 08 oct 08 déc 08 février 09 avril 09 juin 09 sept 09 nov 09 janv 10 mars 10
  17. 17. Répartion des prêts de livrel par statut demprunteurs (avec personnel BU) mars 08- mars 10 résultats Concours IUFM Enseignant université 0,4% 8,0% Etudiant - niveau D 8,4% Personnel de luniversité 37,8%Etudiant - niveau L15,5% Extérieur payant Etudiant - niveau M 6,3% 21,0% Extérieur exonéré 2,5%
  18. 18. méthodeInterroger les représentations = focus group
  19. 19. méthodeProblématique + hypothèses
  20. 20. méthodegrille dentretien
  21. 21. méthode3 groupes homogènes de 6 participants
  22. 22. méthoderecrutement parmi les emprunteurs
  23. 23. méthodesoigner la préparation
  24. 24. résultatsRetours sur le dispositif plutôt positifs
  25. 25. résultatsFort attachement à lécosystème du livre papier
  26. 26. résultatsAttentes vis à vis de la BU pour laccompagnement dans les contenus
  27. 27. échec1. Projet de service trop flou pour une évaluation efficace
  28. 28. échec2. Appareil déjà obsolète au moment de lenquête
  29. 29. échec3. Intégration trop faible dans lenvironnement institutionnel
  30. 30. doute #2nous élargissons noshoraires douverture mais les usagers seront-ils au rendez-vous ?
  31. 31. contextePression des tutelles
  32. 32. contextePression des publics
  33. 33. contexte60h → 72h → 84h
  34. 34. contexteattention dossier sensible
  35. 35. Plan dévaluationphase qualitative Interroger les acteurs de louverture
  36. 36. Plan dévaluationphase qualitative Interroger les acteurs de louverture moniteurs-étudiants
  37. 37. Plan dévaluationphase qualitative Interroger les acteurs de louverture moniteurs-étudiants usagers
  38. 38. Plan dévaluationphase quantitative Fréquentation = flux
  39. 39. Plan dévaluationphase quantitative Fréquentation = flux Circulation = activités
  40. 40. Plan dévaluationphase quantitative Fréquentation = flux Circulation = activités Occupation = présence
  41. 41. méthodesemaine test
  42. 42. méthodeêtre dans la norme
  43. 43. méthodetaux doccupation des places assises
  44. 44. Progression des transactions à la BdP (période haute) résultats100%80% STS : 18h-22h = 19 % BB : 18h-20h = 13 %60%40% STS lundi-jeudi STS : 8h30-9h = 1,7 % STS vendredi20% BB : 8h30-9h = 2,3 % BB Lundi-jeudi BB vendredi 0%-20% 08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h
  45. 45. STS - Évolution du taux doccupation (lundi au vendredi)80% résultats période haute 2010-2011 période basse 2010-2011 période haute 2009-201070% période basse 2009-201060%50%40%30%20%10%0%08h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
  46. 46. STS - Évolution de loccupation moyenne en valeur absolue (lundi au vendredi) résultats500 période haute 2010-2011 période basse 2010-2011450 période haute 2009-2010 période basse 2009-201040035030025020015010050 008h30-9h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h 20h-21h 21h-22h 22h-22h30
  47. 47. BB - Évolution de taux doccupation (lundi-vendredi) résultats45.0% période haute 2010-2011 période basse 2010-2011 période haute 2009-201040.0% période basse 2009-201035.0%30.0%25.0%20.0%15.0%10.0%5.0%0.0% 08h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
  48. 48. BB - Évolution de loccupation moyenne en valeur absolue résultats500 période haute 2010-2011 période basse 2010-2011 période haute 2009-2010450 période basse 2009-201040035030025020015010050 008h30-09h 09h-10h 10h-11h 11h-12h 12h-13h 13h-14h 14h-15h 15h-16h 16h-17h 17h-18h 18h-19h 19h-20h
  49. 49. succès1. Méfiez vous des recueils de données chiffrées (automatiques ou humains)
  50. 50. succès2. Enquête qualitative tronquée
  51. 51. succès3. La mesure la plus évidente nest pas la plus pertinente
  52. 52. succès4. Le taux doccupation devrait être mesuré dans toutes les BU
  53. 53. doute doute #3nos usagers sauront-ils se retrouver dans le nouvel écosystème documentaire de la BU ?
  54. 54. contexteNouveau site web
  55. 55. contexteCatalogue de nouvelle génération
  56. 56. contexteMoteur de recherche fédérée
  57. 57. contexteRésolveur de lien
  58. 58. Plan dévaluationTests dutilisabilité
  59. 59. Plan dévaluationCheminement à voix haute
  60. 60. Plan dévaluationquestionnaire
  61. 61. Plan dévaluationFocus group
  62. 62. méthode Testdutilisabilité
  63. 63. le premier objectif méthode est d’améliorer l’utilisabilité du produit Test dutilisabilité
  64. 64. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit Test dutilisabilité
  65. 65. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit les participants Test font de vrais dutilisabilité activités
  66. 66. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vraisque font et disent dutilisabilité activités les utilisateurs
  67. 67. le premier objectif les participants méthode est d’améliorer sont de vrais l’utilisabilité du utilisateurs produit observez et les participants enregistrez ce Test font de vraisque font et disent dutilisabilité activités les utilisateurs analysez les données, diagnostiquez les problèmes recommandez les modifications
  68. 68. méthode Démarrer un nouveau test Définir 3 à 5 Modifier le site activités à Cycle tester Itération Choisir 3 à 5 Observer les problèmes participants facile à réaliser les corriger activitésStephen Francoeurmars 2012
  69. 69. méthodeNombre de testeurs : 12
  70. 70. méthodedurée de la période de test : 2 à 3 semaines
  71. 71. méthodelogiciel denregistrement : à définir
  72. 72. méthodelogiciel de codage : excel
  73. 73. méthodenombre dactions à tester : 10 à 12
  74. 74. en conclusionà chaque doute, son évaluationà chaque évaluation, sa (ses) méthode(s)
  75. 75. en conclusionformez-vousauto-formez-vouslancez-vous
  76. 76. en conclusionracontez-nous
  77. 77. Mercide votreattention alarcon.nicolas@gmail.com nico_AsLiCC – by - nc - sa www.slideshare.net/alarcon
  78. 78. Crédits photos CC Diapo 1 : 2008-08-06-002/ Alex//Berlin_Alexandre Stubner/ by-sa Diapo 2 : Avioncitos / josemanuelerre / by-nd Diapo 3 : One / Andrechinn / byDiapo 4 : Mrs. Duffee Seated on a Striped Sofa / Mike Licht NotionsCapital.com / by Diapo 5 : Welcome 2008/ ^riza^/ by Diapo 6 : Sexier than a librarian / ATIS547 / by-nc-sa Diapo 9 : Cybook in Bright Sunlight / preetamrai / by Diapo 13 : Nevermind me / The Hamster Factor / by-nc-nd Diapo 19 : Nook Storytelling a new way 2 of 2 / Orbmiser / by-nc-nd Diapo 25 : Difficult meeting / Simon Blackley / by-nd Diapo 28 : Bob Dylan "Subterranean Homesick Blues." Diapo 31 : Number 2 / Daniel*1977 / by-nc-sa Diapo 33 : OPEN 24 hours / larskflem / by-nc Diapo 37 : Harold B. Lee Library / jpstanley / by-nc-sa Diapo 40 : Untitled/ Strawberryletter23/ by-nc-nd Diapo 51 : Whats the time /Monkeyc.net / by-nc-sa Diapo 55 : Three 238/365 / Foshydog / by-nc-nd Diapo 56 : Apple II / Sam Howzit / by Diapo 57 : books / Telmo32 / by-nd Diapo 61 : Elmo (#16044) / Mark Sebastian / by-sa Diapo 65 : Observation room / (nz)dave / by-nc-nd Diapo 72 : Library Computer / clover_1 / by-nc Diapo 77 : Wheres Wally / Vvillamon / by-sa Diapo 80 : El Buscador / Ignacio Conejo / by-nc-sa

×