1. Julie Marlier Thèse dirigée par Bernard Conein, LASMIC, UNSA Encadrée par Nils Ferrand, UMR G-Eau, Cemagref de Montpellier Evaluation des outils de participation Géo séminaire, 01/03/2011
3. Projet InterMed Objectifs : Concevoir et évaluer des outils de e-participation locale en gestion du territoire « Top-down » avec les collectivités territoriales « Ground-up » avec la société civile (associations et citoyens) « Youth » avec les jeunes (lycéens) E-participation Concertation Face à Face Projet d’aménagement 3 Sous-projets
4. Dispositifs participatifs en ligne : DISTIC www.co-ment.com/ Annotation de texte www.debat-atrebatie.org/ Sondage www.bristol.citizenscape.net/core/ PPGIS Blogs / Forum http://blogcitoyen.montpellier.fr/ Wiki http://labs.paris.fr/ Réseaux Sociaux facebook.com/ montpellier.agglomeration Mail http://www.laregion.fr/ Web-TV www.montpellier-agglo.com/ Géo-Wiki http://www.openstreetmap.org/
5. Niveaux d’évaluation Layered eParticipation evaluation perspectives (Macintosh and Whyte 2008) The three levels of analysis (Tambouris et al. 2007) 1 2 1 2 3
6. Evaluation démocratique Le cube de la démocratie de Fung, 2006 Arnstein, S. R. (1969). "A ladder of citizen participation." Journal of the American Planning Association 35(4): 216-224. Fung, A. (2006). "Varieties of participation in complex governance." Public Administration Review 66 : 66-75. Echelle de la participation d’Arstein, 1969 1
7. Evaluation de la participation Rowe & Frewer (2004) : “Evaluating public-participation exercises: a research agenda.” 2 Process : Processus Outcomes : Résultats, Effets
8. Evaluation de la délibération « La délibération» renvoie aux théories développées en philosophie politique sous l’influence de penseur comme J.Habermas (Habermas 1992; Habermas 1962) “ deliberation is defined here as a process whereby groups of people, often ordinary citizens, engage in reasoned opinion expression on a social or political issue in an attempt to identify solutions to a common problem and to evaluate those solutions.” (Stromer-Galley 2007)
10. Evaluation des outils 3 Définition utilisabilité (ISO 9241-11) : « le degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié ». J. Nielsen (1994) : inclusion de l’utilisabilité au sein du concept d’acceptabilité.
11. Evaluation des outils (Macintosh and Whyte 2008) Acceptabilité sociale Utilité Utilisabilité
12. Evaluation ergonomique des SIG Web 2.0 PPGIS (Bugs et al. 2010) GeoDF (Zhao and Coleman 2007) ArguMap (Sidlar and Rinner 2007) 1. Cost of entry : includes the price of the tools and components needed to run or access the prototype. 2. Intended users: background of the different users. Includes features such as the involvement in using similar software and educational level. 3. Ease of use: do users find the application easy-to-use.– in the levels of speed, completeness and correctness 4. Satisfaction: degree of emotion the user credits. 5. Usefulness: can be understood as the degree to which the application would enhance user tasks.
13. + de critères ergonomiques Critères d’évaluation ergonomique des Environnements Virtuels (Bach et Scapin, 2005) adapté des critères ergonomiques des sites Web (Scapin and Bastien 1997)
14. Synthèse des critères Souhaite poursuivre le débats en ligne Intention d’usage Faciliter d’utilisation, difficultés Utilisabilité Intérêt pour le dispositif Utilité Outils Réseau, liens Relationnel Changement d’opinion Opinion Apprentissage argumentatif, apprentissage collectif Apprentissage Effets Sérieux, plaisanterie , attaques personnelles Respect Nombre de réponses par sujet, nombre d’auteurs par fils Réciprocité Accord/désaccord, diversité argumentative Argumentation Nombre de prise de parole par participant Egalité Processus Opérationnalisation Critères Niveaux
17. Parties prenantes Associations et Citoyens Jeunes Interne Simulation Terrain Situation réelle Inclusion des usagers Test Démarche Méthode
18. 1) « Youth » participation Jeu de rôle de Gestion Intégrée des Zones Côtières (Bassin de Thau) Délibération entre stakeholders, projet d’aménagement du territoire Jeu de rôle Préparation Débat en classe Débat en ligne Restitution + + +
19. 2 dispositifs en ligne : V1 et V2 V1 : Annotation de texte V2 : Plateforme Forum + carte http://grou.ps/gizcjeuderole/home
20. Evaluation dispositif face à face vs en ligne Processus: - Egalité : plus d’égalité de la parole en ligne - Argumentation : plus développée en face à face, source externe en ligne - Interaction : plus structurée en face à face, V2 plus interactif que V1 - Respect : problème de « flames » en ligne Effets : - Apprentissage argumentatif : Effet positif en face à face (+pour), fluctuant en ligne Outils : Accessibilité : 80% des lycéens utilisent internet au moins une fois par jour Satisfaction : les lycéens préfèrent le débat en face à face Utilité : jugé utile pour débattre Utilisabilité : difficulté gestions plusieurs conversations, feed-back, Google Map : difficulté co-production synchrone « Ca nous a permis d’essayer de comprendre, bah déjà c’est pas facile de se mettre d’accord sur les projet à mettre en place sur un territoire. » «Alors qu’en ligne, tout le monde parlait quand il voulait » … « Oui, voilà, en ligne c’était un peu le binz »
21. Usage Google Map Support de co-production : - Positionner nos choix, Équilibrer - Modéliser le débat - Map et Earth Difficultés : coordination synchrone Support d’information : - Situer les zones, Dimension - Localiser les projets - Comparer les projets Débattre directement sur la carte ? « Non. Parce que ça ferait bizzard de parler sur une carte, de mettre des commentaires sur la carte » « Ca dépend comment on utilise l’interface … si c’est une forme de lien, alors oui, ca peut être utile, parce que situe exactement ce dont on va débattre. » « Quand sur la carte, que chacun pouvait placer ce qui voulait, c’était le gros bazar…Ca buggait … C’était à celui qui arriverait à mettre en dernier ce qui voulait. » Ajouter une carte ? 60% Non A utilisé la carte ? 70% Oui
22. 2) « Bottom-up » participation Cadre de la concertation sur le Plan de Déplacement Urbain de l’Agglo de Montpellier Expérimentation « bottom-up » avec 8 associations environnementales + citoyens Equipés d’un Google Group + Plateforme collaborative Wiki et annotation « nous nous donnons un petit mois pour parvenir à la réalisation d’un document commun en travaillant ensemble grâce à une plate-forme informatique. » (CR 12/03/2010) http://www.anr-intermed.fr/asso-pdu/index.php/Accueil Media Wiki http://groups.google.fr/group/cane-pdu Google Groups Réunions PDU
23. Evaluation du dispositif Processus : - Durée : 5 mois, long (c’était fixé 1 mois), difficulté à coller à l’agenda politique - Egalité : peu d’égalité sur le wiki (6 contributeurs, 12 lurkers) - Argumentation : références externes, exemples vidéos, expertise d’usage - Interactivité : quotidienne, rapidité de réponse sur Google Group - Respect : ton amical, 1 dérapage dû à un prb technique Effets : - Coproduction d’un document de 25 pages (Diagnostic, Propositions) - Création d’un réseau, collaboration nouvelles entre ONG, identité collective - Communication avec l’Agglomération, réunions Outils : - Accessibilité : public (40 – 70 ans) , formation, login personnalisé, difficulté de gestion de l’identité - Utilité : complément des réunions face à face, coordination réunions, réseautage (GoogleGroup), co-écriture (wiki) - Utilisabilité : Difficulté de voir QUI contribue, détournement du wiki (couleurs d’identification) Difficulté pour créer et inclure les cartes : Besoin de SIG ? http://www.anr-intermed.fr/asso-pdu/index.php/Accueil Media Wiki http://groups.google.fr/group/cane-pdu Google Groups
24. Intégrer des SIG ? Zones Icônes (points noirs) Carte de diagnostic Cartes de propositions Tracé Texte géo référencé Relier le texte aux cartes …
25. 3) « Top-down » participation Concertation sur SAGE le Bassin de Thau entres parties prenantes Cadre de la concertation sur le SAGE de Thau (phase Diagnostic) Expérimentation « top-down » avec un GT « milieu Aquatique » Equipé d’un wiki « Wiki-Thau » : co-écriture de l’état des lieux, appel à contribution + + SAGE Réunions http://thau.anr-intermed.fr/
26. Evaluation du dispositif « Wiki-Thau » http://thau.anr-intermed.fr/ Processus : - Durée : 1 mois, trop court, prb choix des dates (vacances scolaire) - Egalité : faible participation (8 contributions / 60 participants invités), peu égale (pas d’élus ni de représentants d’usagers) - Argumentation : expertise technique (référence étude, chiffre) - Interactivité : faible, séquentiel, « appel à contribution » - Respect : oui, confiance modération (gestionnaire) Effets : - Difficile à évaluer : expérimentation ponctuelle / processus long - Trace , mémoire collective - pas d’ouverture malgré invitation des autres GT , pas grand public Outils : - Accessibilité : prb d’accès, sécurisé (CG34), public hétérogène - Utilité : complément des réunions face à face, évite déplacement - Utilisabilité : Bugs , affichage Difficulté des contributions collectives (institution) Texte long, charge d’information Pas de carte dans le wiki, difficulté d’ajouter des SIG ? « Il faut que tout le monde s’exprime mais que ça reste opérationnel » (CG34,30/01/09)
29. Discussion L’évaluation des dispositifs : - est multi-échelle (démocratie, participation, outil) - est socio-technique (humain-machine) - sert à capitaliser et améliorer les dispositifs Les dispositifs en ligne : - délibération - collaboration Les PPGIS : - objets intermédiaires de conception - supports de débat et de coproduction
32. Bach, C., & Scapin, D. L. (2005). Critères Ergonomiques pour les Interactions Homme-Environnements Virtuels: définitions, justifications et exemples. Bailleul, H. (2008). Les nouvelles formes de la communication autour des projets urbains: modalités, impacts, enjeux pour un débat participatif. Bugs, G., Granell, C., Fonts, O., Huerta, J., & Painho, M. (2010). An assessment of Public Participation GIS and Web 2.0 technologies in urban planning practice in Canela, Brazil. Cities . Cai, G., & Yu, B. (2009). Spatial Annotation Technology for Public Deliberation. Transactions in GIS , 13, 123-146. Caquard (2001). Des cartes multimédias dans le débat public. Pour une nouvelle conception de la cartographie appliquée a la gestion de l’eau. Thèse pour obtenir le grade de docteur en géographie de l’Université de Saint-Etienne . Haklay, M., & Tobón, C. (2003). Usability evaluation and PPGIS: towards a user-centred design approach. International Journal of Geographical Information Science , 17, 577-592. Maurel, P. (2009). Favoriser le concernement et l'engagement des acteurs de la planification locale: l'expérience du territoire de Thau. Ingénieries , 53-64. Rinner, C., Keßler, C., & Andrulis, S. (2008). The use of Web 2.0 concepts to support deliberation in spatial decision-making. Computers, Environment and Urban Systems , 32, 386-395. Sidlar, C. L., & Rinner, C. (2007). Analyzing the usability of an argumentation map as a participatory spatial decision support tool. Editor-in-Chief: Jochen Albrecht , 19, 47. Sieber, R. (2006). Public participation geographic information systems: A literature review and framework. Annals of the Association of American Geographers , 96, 491-507. Wu, H., He, Z., & Gong, J. (2010). A virtual globe-based 3D visualization and interactive framework for public participation in urban planning processes. Computers, Environment and Urban Systems . Zhao, J., & Coleman, D. J. (2007). An Empirical Assessment of a Web-based PPGIS Prototype: Citeseer. Bibliographie
Notes de l'éditeur
Alors comment évaluer ces dispositifs ? Il y a en fait différents niveaux d’évaluation
Enfin , notre dernier terrain. Ce sont des débats sous forme de jeux de rôle que nous expérimentons dans des lycées. Donc les lycéens participent aux débats en tant que rôle : Elu, Gestionnaire, Association écologiste, pêcheurs … qui sont les acteurs rencontrés sur le terrain les jours précédents.
Alors le deuxième terrain sur la concertation du Plan de Déplacement Urbain, concerne un dispositif expérimentale que nous avons mis en place avec des associations de Montpellier. Le but était d’équiper les associations d’un site internet où elles pouvaient débattre des propositions du PDU. On a d’abord créé Google Group, puis un site participatif avec un wiki. Elles ont fait le choix de co-écrire un texte collectif, de 25 pages, qui a été ensuite remis à l’Agglo, et présenté en conf. de presse.
Alors le deuxième terrain sur la concertation du Plan de Déplacement Urbain, concerne un dispositif expérimentale que nous avons mis en place avec des associations de Montpellier. Le but était d’équiper les associations d’un site internet où elles pouvaient débattre des propositions du PDU. On a d’abord créé Google Group, puis un site participatif avec un wiki. Elles ont fait le choix de co-écrire un texte collectif, de 25 pages, qui a été ensuite remis à l’Agglo, et présenté en conf. de presse.
La concertation sur le Bassin de Thau est organisée par le SMBT et propose aux acteurs du territoire de participer à la rédaction du SAGE (Elus, Agents des collectivités territoriales, Services de l’Etat, Représentants d’usagers, Chercheurs)
La concertation sur le Bassin de Thau est organisée par le SMBT et propose aux acteurs du territoire de participer à la rédaction du SAGE (Elus, Agents des collectivités territoriales, Services de l’Etat, Représentants d’usagers, Chercheurs)