Suivi et évaluation
projet de communauté

    samedi 10 mars

      Glenn O’Neil
Agenda
1.   Introduction
2.   Pourquoi «suivi et évaluation»?
3.   Importance
4.   Différences entre l'évaluation d'une communauté
     et d'une campagne en ligne
5.   Les étapes
6.   Comment faire une évaluation sur le long terme?
7.   Modèle des résultats
8.   Conclusions




                      2
Introduction
 Fondateur – « Owl Research & Evaluation » –
  consultance spécialisée dans l’évaluation pour les
  organisations internationales, ONG et
  multinationales
 Professeur en médias et communications,
  « International University in Geneva »
 Bloggeur depuis 8 ans:
    http://intelligentmeasurement.wordpress.com
 Co-fondateur de la communauté
  « Geneva Communicators Network »:
     www.genevacom.org


                     3
Pourquoi?



Pourquoi le «suivi
et évaluation»?




         4
Importance
Principes pour tous les projets

Efficacité (succès, réussite)
« Est-ce-que le projet a atteint ses objectifs? »

Efficience
« Qu’est-ce qui a bien marché ou moins bien? »




                        5
Importance
Importance pour les projets de communauté

Comprendre le développement de la communauté

Savoir si le projet et une « vraie » communauté

Savoir si le projet est une valeur ajoutée pour
 l’entreprise / la société

Guider les prochaines étapes pour la communauté

                        6
Importance




     7
Campagne en ligne?
                                  Communauté
Campagne
                                  Etablir une communauté de
Attirer plus de visites sur
un site web                       valeur ajoutée

• « Click-thru rate »             • Nombre de membres
• Taux de conversion              • Nombre de visites
                                  • Niveau de fidélité

-> Contribution au business         -> Contribution au business




                              8
Cycle de vie d’un projet


                   Mise en
 Définition                         Conclusion
                   oeuvre


Définir les       Etre actif        Conclure le
objectifs                           projet

Définir         Suivre le progrès   Tirer des leçons
le« success »                       pour le prochain
                                    projet

                         9
Les étapes – évaluation

                   Définition




    Présentation                Gestion




                   Analyse




                       10
Les étapes – évaluation
Etape - définition:
• Etablir/clarifier les objectifs
• Définir le « quoi »
• Définir le «comment»
• Définir le « quand »




                         11
Les étapes – évaluation
Etablir/clarifier les objectifs
Pourquoi faire un projet de communauté?:
  –   Développer la fidélité d’un groupe?
  –   Etablir un nouveau réseau de vente?
  –   Élargir un réseau de partenariats?
  –   Etc.




                            12
Les étapes – évaluation
  Définir le « quoi »
                                       Développer la fidélité
  Objectifs                            d’ un groupe

  Indicateurs                        Indicateurs
                                     - Nombre d’inscriptions
- « Output » (produit direct)        - Moyenne de visites par
                                       membre
- « Outcome » (effets direct)        - Niveau de fidélité par
                                       membre
                                     - Contribution de la
                                       communauté à l’entreprise
- « Impact » (effets à long terme)

                                13
Les étapes – évaluation
Définir le « comment » - exemples
Indicateurs                 Moyen
« Output » (produit direct)
- Nombre d’inscriptions     - Statistiques web
- Moyenne de visites par
  membre
- Nombre des « referrals »
- Quantité du contenu crée - Analyses de contenus
- Qualité du contenu crée
- Niveau de l’interactivité


                          14
Comment - exemple
Niveau de l’interactivité




  Source: Facebook back office
Comment - exemple
Niveau de l’interactivité




  Source: LinkedIn back office
Les étapes – évaluation
Définir le « comment » - exemples
Indicateurs                    Moyen
« Outcome» (effets direct)
- Niveau de fidélité           -   Sondage en ligne
- Niveau de satisfaction       -   entretien
- Changement d’attitude        -   Focus group
- Changement de réseau         -   « network mapping »
- Niveau de vente par membre   -   Statistique
- Nombre des initiatives par   -   Outils de « tracking »
  membre                       -   Outils en ligne
- Niveau de réputation de
  communauté
                          17
Comment - exemple
Fidélité, satisfaction, attitude
Network mapping exemple
           Membres de la communauté – networks
                       au début                                                     après la conférence




Logicel: Ucinet software
Voir rapport:
http://intelligentmeasurement.files.wordpress.com/2008/01/lift07_networkmapping_report_owlre_final1.pdf
Les étapes – évaluation
Définir le « quand »


                      Mise en
  Définition                         Conclusion
                      oeuvre

Avant                 Pendant          Après
- Plan d’évaluation   - Suivi        - Endline
- Evaluation                         - Evaluation
  « ex ante »                          « ex post »



                                20
Evaluation sur le long terme
• Beaucoup de projets n’ont pas une « fin »
• Beaucoup de projets ont besoin d’être
  revus ou d’une réflexion après 1 - 2 ans
• L’évaluation peut aussi jouer un rôle sur le
  long terme




                       21
Modèle des résultats

                  Indicateurs
Objectifs         - output                  Moyens                   Fréquence
                  - outcome


            Objectifs    Indicateurs            Moyens   Fréquence

            1


            2



            3




            4

            5



                                       22
Etude de cas - GCN
Geneva Communicators Network
• Une communauté fondée en 2008
• Aujourd'hui compte plus de 950 membres
• Activités:
  • Un site web / géré par 4 bénévoles
  • Des événements tous les 2 mois à Genève
  • Des conseils ad-hoc pour trouver de bonnes
    ressources



                       23
Etude de cas - GCN
Principes en général:
• Une communauté non-formelle gérée par
  des bénévoles
• Tout le monde peut être membre – aucun
  frais d’inscription
• La communauté ne doit pas être exploitée
  pour des raisons commerciales
• Le frais sont couverts par les sponsors et
  le prix d’entrée des événements

                      24
Etude de cas - GCN
Site web:
• Nouvelles pour des communicateurs
  (en anglais)
• « Job board » pour de nouvelles
  opportunités
• Formulaire d’inscription
• Le GCN est aussi présent sur Facebook
  et LinkedIn (groups)


                       25
Etude de cas - GCN
Evénements:
• « lunch » conférence tous les
  2 – 3 mois
• Apéro social 3 fois par année
Conseils ad-hoc
• Des bénévoles répondent à des
  demandes précises des membres
  (recherche de ressources par exemple)
• On envisage d’utiliser Google groups pour
  faciliter l’échange entre membres
                     26
Etude de cas - GCN




        27
Etude de cas - GCN
Objectifs:
1. Développer une communauté de
   communicateurs dans la région lémanique –
   jusqu‘à 1000 personnes en 2012
2. Offrir des activités attirantes et intéressantes
   pour nos membres
3. Augmenter l’interactivité entre membres
4. Augmenter le réseau des membres GCN
5. Créer de nouvelles opportunités pour les
   membres

                       28
Etude de cas - GCN
      Objectif 1: Développer une communauté
      des communicateurs dans la région
      lémanique – jusqu‘à 1000 membres en
      2012
Indicateurs                Moyen               Fréquence
« Output » (produit direct)
- Nombre d’inscriptions    - statistique web   - mensuel
- Nombre de visites




                             29
Etude de cas - GCN
      Objectif 2: Offrir des activités attirantes et
      intéressantes pour nos membres


Indicateurs                Moyen              Fréquence
« Output » (produit direct)
- Nombre d’activités       - Statistiques     - mensuel

« Outcome » (effets direct)
- Niveau de satisfaction  - Sondage en ligne - annuel
  des activités

                             30
Etude de cas - GCN
      Objectif 3: Augmenter l’interactivité entre
      membres

Indicateurs                Moyen                Fréquence
« Output » (produit direct)
- Nombre de postes         - Statistiques web   - mensuel
  crées par des membres
- Nombre de commentaires
  faits par des membres

« Outcome » (effets direct)
                          - Sondage en ligne - annuel
- Niveau de perception de
  l’interaction           - Entretiens
                             31
Etude de cas - GCN
       Objectif 4: Augmenter le réseau des
       membres GCN

Indicateurs               Moyen               Fréquence

« Outcome » (effets direct) - Sondage en ligne - annuel
- Niveau de réseau des      - Network mapping
   membres




                             32
Etude de cas - GCN
          Objectif 5: Créer de nouvelles opportunités
          pour membres

Indicateurs                            Moyen    Fréquence

« Outcome » (effets directs)
- Nombre des nouvelles - Outil de « tracking » - mensuel
  opportunités identifiées* - Sondage en ligne - annuel


  * par exemple: nombre de jobs trouvés;
  nombre de contacts faits; nombre de
  ressources trouvées.


                                           33
Etude de cas - GCN
Objectifs    Indicateurs        Moyens   Fréquence


1




2




3




4



5




                           34
Etude de cas - GCN
Objectifs                     Indicateurs                            Moyens             Fréquence

1. Développer une             « Output » (produit direct)            Statistique web    Mensuel
communauté de                 - Nombre d’inscriptions
communicateurs dans la
                              - Nombre de visites
région lémanique – jusqu‘à
1000 personnes en 2012
2. Offrir des activités       « Output » (produit direct)            Statistique        Mensuel
attirantes et intéressantes   - Nombre d’activités
pour nos membres

                             « Outcome » (effets direct)            Sondage en ligne    Annuel
                             - Niveau de satisfaction
                             des activités
3. Augmenter l’interactivité « Output » (produit direct)            Statistique         Mensuel
entre membres                - Nombre de postes crées par des
                             membres
                             - Nombre de commentaires faits par des Sondage en ligne    Annuel
                             membres

                           « Outcome » (effets direct)               Entretiens         Annuel
                           - Niveau de perception de l’interaction
4. Augmenter le réseau des « Outcome » (effets direct)               Sondage en ligne   Annuel
membres GCN                - Niveau de réseau des membres            Network mapping
5. Créer de nouvelles         « Outcome » (effets directs)           Outil de           Mensuel
opportunités pour             - Nombre des nouvelles opportunités    « tracking »       Annuel
membres
                              identifiées                            Sondage en ligne
                                                            35
Exercice pratique
• Former 7 groupes de 4 personnes

• Prendre l’un de vos projets communauté
  comme exemple

• Regarder le modèle des résultats

• Réfléchir et créer le modèle de résultats pour
  votre projet!
modèle des résultats – vide:
https://docs.google.com/document/pub?id=1JwXpgAWrn2EB2AgnbYGhBt9l7FuNJXOAtGFitg5yySI




                                                      36
Conclusions
• Le «suivi et évaluation » est un composant
  très important du projet

• Le «suivi et évaluation » nous donne une idée
  sur notre réussite et sur comment améliorer
  dans l’avenir

• Comme communicateur, « community
  manager » ou social media manager, on nous
  pose de plus en plus la question suivante:

                      37
Conclusion

        « Quelle est la différence
          que vous avez fait? »




..soyez prêts à répondre!



                      38
Conclusion
– Questions?



Blog:
http://www.intelligentmeasurement.wordpress.com
Twitter: @glenn_oneil
Email: oneil@owlre.com
Web: www.owlre.com,
Tel: 076 325 6213

Pres sawi goneil_2012

  • 1.
    Suivi et évaluation projetde communauté samedi 10 mars Glenn O’Neil
  • 2.
    Agenda 1. Introduction 2. Pourquoi «suivi et évaluation»? 3. Importance 4. Différences entre l'évaluation d'une communauté et d'une campagne en ligne 5. Les étapes 6. Comment faire une évaluation sur le long terme? 7. Modèle des résultats 8. Conclusions 2
  • 3.
    Introduction  Fondateur –« Owl Research & Evaluation » – consultance spécialisée dans l’évaluation pour les organisations internationales, ONG et multinationales  Professeur en médias et communications, « International University in Geneva »  Bloggeur depuis 8 ans: http://intelligentmeasurement.wordpress.com  Co-fondateur de la communauté « Geneva Communicators Network »: www.genevacom.org 3
  • 4.
  • 5.
    Importance Principes pour tousles projets Efficacité (succès, réussite) « Est-ce-que le projet a atteint ses objectifs? » Efficience « Qu’est-ce qui a bien marché ou moins bien? » 5
  • 6.
    Importance Importance pour lesprojets de communauté Comprendre le développement de la communauté Savoir si le projet et une « vraie » communauté Savoir si le projet est une valeur ajoutée pour l’entreprise / la société Guider les prochaines étapes pour la communauté 6
  • 7.
  • 8.
    Campagne en ligne? Communauté Campagne Etablir une communauté de Attirer plus de visites sur un site web valeur ajoutée • « Click-thru rate » • Nombre de membres • Taux de conversion • Nombre de visites • Niveau de fidélité -> Contribution au business -> Contribution au business 8
  • 9.
    Cycle de vied’un projet Mise en Définition Conclusion oeuvre Définir les Etre actif Conclure le objectifs projet Définir Suivre le progrès Tirer des leçons le« success » pour le prochain projet 9
  • 10.
    Les étapes –évaluation Définition Présentation Gestion Analyse 10
  • 11.
    Les étapes –évaluation Etape - définition: • Etablir/clarifier les objectifs • Définir le « quoi » • Définir le «comment» • Définir le « quand » 11
  • 12.
    Les étapes –évaluation Etablir/clarifier les objectifs Pourquoi faire un projet de communauté?: – Développer la fidélité d’un groupe? – Etablir un nouveau réseau de vente? – Élargir un réseau de partenariats? – Etc. 12
  • 13.
    Les étapes –évaluation Définir le « quoi » Développer la fidélité Objectifs d’ un groupe Indicateurs Indicateurs - Nombre d’inscriptions - « Output » (produit direct) - Moyenne de visites par membre - « Outcome » (effets direct) - Niveau de fidélité par membre - Contribution de la communauté à l’entreprise - « Impact » (effets à long terme) 13
  • 14.
    Les étapes –évaluation Définir le « comment » - exemples Indicateurs Moyen « Output » (produit direct) - Nombre d’inscriptions - Statistiques web - Moyenne de visites par membre - Nombre des « referrals » - Quantité du contenu crée - Analyses de contenus - Qualité du contenu crée - Niveau de l’interactivité 14
  • 15.
    Comment - exemple Niveaude l’interactivité Source: Facebook back office
  • 16.
    Comment - exemple Niveaude l’interactivité Source: LinkedIn back office
  • 17.
    Les étapes –évaluation Définir le « comment » - exemples Indicateurs Moyen « Outcome» (effets direct) - Niveau de fidélité - Sondage en ligne - Niveau de satisfaction - entretien - Changement d’attitude - Focus group - Changement de réseau - « network mapping » - Niveau de vente par membre - Statistique - Nombre des initiatives par - Outils de « tracking » membre - Outils en ligne - Niveau de réputation de communauté 17
  • 18.
    Comment - exemple Fidélité,satisfaction, attitude
  • 19.
    Network mapping exemple Membres de la communauté – networks au début après la conférence Logicel: Ucinet software Voir rapport: http://intelligentmeasurement.files.wordpress.com/2008/01/lift07_networkmapping_report_owlre_final1.pdf
  • 20.
    Les étapes –évaluation Définir le « quand » Mise en Définition Conclusion oeuvre Avant Pendant Après - Plan d’évaluation - Suivi - Endline - Evaluation - Evaluation « ex ante » « ex post » 20
  • 21.
    Evaluation sur lelong terme • Beaucoup de projets n’ont pas une « fin » • Beaucoup de projets ont besoin d’être revus ou d’une réflexion après 1 - 2 ans • L’évaluation peut aussi jouer un rôle sur le long terme 21
  • 22.
    Modèle des résultats Indicateurs Objectifs - output Moyens Fréquence - outcome Objectifs Indicateurs Moyens Fréquence 1 2 3 4 5 22
  • 23.
    Etude de cas- GCN Geneva Communicators Network • Une communauté fondée en 2008 • Aujourd'hui compte plus de 950 membres • Activités: • Un site web / géré par 4 bénévoles • Des événements tous les 2 mois à Genève • Des conseils ad-hoc pour trouver de bonnes ressources 23
  • 24.
    Etude de cas- GCN Principes en général: • Une communauté non-formelle gérée par des bénévoles • Tout le monde peut être membre – aucun frais d’inscription • La communauté ne doit pas être exploitée pour des raisons commerciales • Le frais sont couverts par les sponsors et le prix d’entrée des événements 24
  • 25.
    Etude de cas- GCN Site web: • Nouvelles pour des communicateurs (en anglais) • « Job board » pour de nouvelles opportunités • Formulaire d’inscription • Le GCN est aussi présent sur Facebook et LinkedIn (groups) 25
  • 26.
    Etude de cas- GCN Evénements: • « lunch » conférence tous les 2 – 3 mois • Apéro social 3 fois par année Conseils ad-hoc • Des bénévoles répondent à des demandes précises des membres (recherche de ressources par exemple) • On envisage d’utiliser Google groups pour faciliter l’échange entre membres 26
  • 27.
    Etude de cas- GCN 27
  • 28.
    Etude de cas- GCN Objectifs: 1. Développer une communauté de communicateurs dans la région lémanique – jusqu‘à 1000 personnes en 2012 2. Offrir des activités attirantes et intéressantes pour nos membres 3. Augmenter l’interactivité entre membres 4. Augmenter le réseau des membres GCN 5. Créer de nouvelles opportunités pour les membres 28
  • 29.
    Etude de cas- GCN Objectif 1: Développer une communauté des communicateurs dans la région lémanique – jusqu‘à 1000 membres en 2012 Indicateurs Moyen Fréquence « Output » (produit direct) - Nombre d’inscriptions - statistique web - mensuel - Nombre de visites 29
  • 30.
    Etude de cas- GCN Objectif 2: Offrir des activités attirantes et intéressantes pour nos membres Indicateurs Moyen Fréquence « Output » (produit direct) - Nombre d’activités - Statistiques - mensuel « Outcome » (effets direct) - Niveau de satisfaction - Sondage en ligne - annuel des activités 30
  • 31.
    Etude de cas- GCN Objectif 3: Augmenter l’interactivité entre membres Indicateurs Moyen Fréquence « Output » (produit direct) - Nombre de postes - Statistiques web - mensuel crées par des membres - Nombre de commentaires faits par des membres « Outcome » (effets direct) - Sondage en ligne - annuel - Niveau de perception de l’interaction - Entretiens 31
  • 32.
    Etude de cas- GCN Objectif 4: Augmenter le réseau des membres GCN Indicateurs Moyen Fréquence « Outcome » (effets direct) - Sondage en ligne - annuel - Niveau de réseau des - Network mapping membres 32
  • 33.
    Etude de cas- GCN Objectif 5: Créer de nouvelles opportunités pour membres Indicateurs Moyen Fréquence « Outcome » (effets directs) - Nombre des nouvelles - Outil de « tracking » - mensuel opportunités identifiées* - Sondage en ligne - annuel * par exemple: nombre de jobs trouvés; nombre de contacts faits; nombre de ressources trouvées. 33
  • 34.
    Etude de cas- GCN Objectifs Indicateurs Moyens Fréquence 1 2 3 4 5 34
  • 35.
    Etude de cas- GCN Objectifs Indicateurs Moyens Fréquence 1. Développer une « Output » (produit direct) Statistique web Mensuel communauté de - Nombre d’inscriptions communicateurs dans la - Nombre de visites région lémanique – jusqu‘à 1000 personnes en 2012 2. Offrir des activités « Output » (produit direct) Statistique Mensuel attirantes et intéressantes - Nombre d’activités pour nos membres « Outcome » (effets direct) Sondage en ligne Annuel - Niveau de satisfaction des activités 3. Augmenter l’interactivité « Output » (produit direct) Statistique Mensuel entre membres - Nombre de postes crées par des membres - Nombre de commentaires faits par des Sondage en ligne Annuel membres « Outcome » (effets direct) Entretiens Annuel - Niveau de perception de l’interaction 4. Augmenter le réseau des « Outcome » (effets direct) Sondage en ligne Annuel membres GCN - Niveau de réseau des membres Network mapping 5. Créer de nouvelles « Outcome » (effets directs) Outil de Mensuel opportunités pour - Nombre des nouvelles opportunités « tracking » Annuel membres identifiées Sondage en ligne 35
  • 36.
    Exercice pratique • Former7 groupes de 4 personnes • Prendre l’un de vos projets communauté comme exemple • Regarder le modèle des résultats • Réfléchir et créer le modèle de résultats pour votre projet! modèle des résultats – vide: https://docs.google.com/document/pub?id=1JwXpgAWrn2EB2AgnbYGhBt9l7FuNJXOAtGFitg5yySI 36
  • 37.
    Conclusions • Le «suiviet évaluation » est un composant très important du projet • Le «suivi et évaluation » nous donne une idée sur notre réussite et sur comment améliorer dans l’avenir • Comme communicateur, « community manager » ou social media manager, on nous pose de plus en plus la question suivante: 37
  • 38.
    Conclusion « Quelle est la différence que vous avez fait? » ..soyez prêts à répondre! 38
  • 39.