Methodologie Validite et Fiabilite

4 920 vues

Publié le

Publié dans : Formation
1 commentaire
2 j’aime
Statistiques
Remarques
  • Bonjour M. Bachelet,
    serait il possible de faire mention de l'exhaustivité des 12 critères ?
    je n'en recense que 8 sans trouver les autres (non mentionnés)
    12 critères : Zaltman, Pinson, Angelmar, Metatheory and Consumer Research, 1973) & S. de Chalvron.
    validité de contenu : représentation de toutes les dimensions d'un concept au niveau opérationnel.
    validité d'observation : degré de possibilité d'observer ou de réduire le concept à des observations.
    validité de critère : corrélation entre le concept et ce qu'il est censé représenter (construit : poser la même question à plusieurs reprises)
    validité de trait : capacité à mesurer le phénomène
    validité discriminante : sensibilité de l'échelle de mesure (poser les bonnes questions pour différencier)
    validité convergente : utiliser deux méthodes différentes => triangulation, matrice multitraits-multiméthodes (Campbell DT, Stanley JC, Convergent and Discriminant validation by the multitrait-multimethod matrix, 1966).
    validité divergente : différences avec les concepts proches
    validité systémique : la théorie réutilise ce que les autres chercheurs ont déjà trouvés.

    Je vous remercie
       Répondre 
    Voulez-vous vraiment ?  Oui  Non
    Votre message apparaîtra ici
Aucun téléchargement
Vues
Nombre de vues
4 920
Sur SlideShare
0
Issues des intégrations
0
Intégrations
16
Actions
Partages
0
Téléchargements
80
Commentaires
1
J’aime
2
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Methodologie Validite et Fiabilite

    1. 1. Analyse & traitement de données : mesurer, tester des hypothèses Rémi Bachelet [email_address] École Centrale de Lille Villeneuve d’Ascq - France Cours distribué sous licence Creative Commons, selon les conditions suivantes : Source des images indiquées au-dessous ou en cliquant sur l’image Diapos disponibles http://rb.ec-lille.fr
    2. 2. Comment utiliser ce cours : <ul><li>Mettre les diapos en format plein écran en cliquant sur </li></ul><ul><li>Faire défiler l’animation en cliquant sur les diapositives </li></ul><ul><li>(attention : cliquer sur une image ou un lien ouvre la page web correspondante) </li></ul>
    3. 3. Tester des hypothèses <ul><li>Exemple : Le réchauffement climatique est-il une certitude ? Si oui d’où vient-il ? </li></ul><ul><ul><ul><li>« Il n’y a pas de réchauffement climatique » => réfuté avec de plus en plus de certitude d’année en année (désormais >95%) </li></ul></ul></ul><ul><ul><ul><li>Autres hypothèses </li></ul></ul></ul><ul><ul><ul><ul><li>Le réchauffement climatique est lié à l’activité solaire => réfuté </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Le réchauffement climatique est lié à l’activité humaine => </li></ul></ul></ul></ul><ul><ul><ul><ul><li>… </li></ul></ul></ul></ul><ul><ul><li>Cf : travaux du GIEC </li></ul></ul>
    4. 4. A la recherche de la vérité … Alors, faut-il tester des hypothèses, jusqu’à faire « sortir la vérité du puits » ? Qui ne veut pas voir « la vérité toute nue » ? La Vérité sortant du puits Edouard Debat-Ponsan, musée de l'Hôtel de ville d'Amboise © Ville d’Amboise 
    5. 5. Conjectures et réfutations <ul><li>On ne prouve pas qu’une théorie est vraie , on prouve que les théories concurrentes sont fausses </li></ul><ul><li>La théorie « vraie » est celle qui </li></ul><ul><ul><ul><li>Explique un phénomène le mieux possible … </li></ul></ul></ul><ul><ul><ul><li>permet de formuler des hypothèses réfutables </li></ul></ul></ul><ul><ul><ul><li>… mais pas encore réfutées </li></ul></ul></ul><ul><li>Autrement dit, il n’y a pas de théorie vraie , mais seulement une « meilleure théorie » qui est : </li></ul><ul><ul><li>parmi celles qui sont proposées…. </li></ul></ul><ul><ul><li>… la plus « élégante » (pouvoir explicatif, clarté, rasoir d’Occam ) … </li></ul></ul><ul><ul><li>… . dont on dispose à un moment donné, en attendant… </li></ul></ul>
    6. 6. Il n’y a pas de vérité scientifique, mais une population de théories en concurrence
    7. 7. Mesurer <ul><li>Comment tester une théorie ? </li></ul><ul><li>Une théorie propose des construits qui permettent de formuler des hypothèses </li></ul><ul><li>Définir rigoureusement les construits </li></ul><ul><ul><li>1/ Concept => 2/dimensions => 3/composantes </li></ul></ul><ul><ul><li>Température de la terre => t° eau;t° air, t° du sol => mesures (x, y, z, t) </li></ul></ul><ul><li>Puis mesurer des variables pour tester les hypothèses </li></ul><ul><ul><li>Variables métriques (sc physiques) , mais aussi nominales, ordinales (sc humaines) </li></ul></ul><ul><ul><li>Variables indépendantes/dépendantes </li></ul></ul>
    8. 8. En sciences humaines/génie industriel, les variables mesurées sont rarement quantitatives au départ <ul><li>Affirmation </li></ul><ul><ul><li>Opinion, réponse sur une échelle d’estime de soi </li></ul></ul><ul><li>Comportement </li></ul><ul><ul><li>Rencontrer quelqu’un, éviter de faire quelque chose </li></ul></ul><ul><li>… . Voire discours sur un comportement </li></ul><ul><ul><li>Par exemple « utilisation d’un préservatif » </li></ul></ul><ul><ul><li>Cf. biodata </li></ul></ul>
    9. 9. Les variables métriques sont aussi de divers types <ul><li>Continues ou discrètes </li></ul><ul><ul><li>Poids, taille (métrique continu) </li></ul></ul><ul><ul><li>Image scanner, capacité à grimper sur une échelle jusqu’à un certain barreau (métrique discret) </li></ul></ul><ul><li>On peut faire énormément de calculs, surtout avec les variables continues : ACP </li></ul>
    10. 10. Les variables nominales <ul><li>Elles ne peuvent faire l’objet d’un classement par ordre croissant… par exemple </li></ul><ul><ul><li>Sexe (var. dichotomique) </li></ul></ul><ul><ul><li>Lieu de naissance, plat préféré </li></ul></ul><ul><li>La plupart des calculs, sont impossibles, car il n’ont pas de sens. </li></ul><ul><ul><li>Calculer une « moyenne » entre des marques de voitures ? </li></ul></ul><ul><ul><li>On peut parfois les convertir en variables métriques </li></ul></ul><ul><ul><ul><ul><li>destinations de vacances => distance (km) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>vote à une élection => échelle droite <=> gauche. </li></ul></ul></ul></ul>
    11. 11. Variables Ordinales <ul><li>Elles sont ordonnées, mais pas métriques </li></ul><ul><ul><li>Réponse sur une échelle d’estime de soi </li></ul></ul><ul><ul><li>par exemple une échelle du type de celles proposées par Rensis Likert (1903 - 1981) </li></ul></ul><ul><ul><ul><ul><li>« J’ai confiance en moi », cochez la case correspondant à votre opinion </li></ul></ul></ul></ul><ul><ul><ul><ul><li>=> tout à fait d’accord / plutôt d’accord / pas d’accord / pas d’accord du tout </li></ul></ul></ul></ul><ul><li>Problème pour les traiter.. Faut-il les considérer comme .. </li></ul><ul><ul><li>… des variables métriques (pas du tout = 1, un peu = 2 …) </li></ul></ul><ul><ul><li>Ou des variables nominales ? </li></ul></ul><ul><li>Effets pervers </li></ul><ul><ul><li>En numérisant un Likert (pas du tout d’accord = 1, assez d’accord =2..) on est tenté de faire des calculs : moyenne écart-type .. </li></ul></ul><ul><ul><li>Or, ces chiffres n’ont en fait que peu de sens , il impliquent notamment un postulat caché sur les « distances » entre les réponses </li></ul></ul><ul><ul><ul><li>passer de « pas du tout d’accord » à « assez d’accord » est-il identique à passer de « assez d’accord » à « plutôt d’accord » ? </li></ul></ul></ul>
    12. 12. Autres types de variables <ul><li>Rangs de classement </li></ul><ul><ul><li>Premier choix, réponses multiples .. </li></ul></ul><ul><ul><li>Données dures à exploiter ! </li></ul></ul><ul><li>Graphes </li></ul><ul><ul><li>Par exemple réseau relationnel / sociogramme </li></ul></ul><ul><ul><li>Conversion du graphe en matrice et analyse structurale </li></ul></ul><ul><li>Variables textuelles </li></ul><ul><ul><li>Texte brut ou transcription d’un entretien </li></ul></ul><ul><ul><li>analyse de contenu , voir ci-après </li></ul></ul><ul><li>Erreur très fréquente : collecter des données et ne pas être capable de les exploiter ensuite ! </li></ul><ul><ul><li>Savoir-faire : logiciels maitrisés, éviter de croire que « plus on utilise de mathématiques, meilleur c’est » </li></ul></ul><ul><ul><li>Méthodologie : rigoureuse et comprise par le lecteur </li></ul></ul><ul><ul><li>Temps .. et coût.. (3* la durée d’un entretien pour le taper et autant pour l’analyser). </li></ul></ul>
    13. 13. L’analyse de contenu <ul><li>Elle se fait souvent « avec sa tête » ! </li></ul><ul><ul><li>Construire un tableau des concepts </li></ul></ul><ul><ul><li>Faire une carte cognitive / conceptuelle </li></ul></ul><ul><li>Création d’une carte conceptuelle + </li></ul><ul><li>Critères pour valider qu’une carte conceptuelle est bonne…. </li></ul><ul><li>Logiciels d’aide à la fabrication de cartes conceptuelles : </li></ul><ul><ul><ul><li>FreeMind </li></ul></ul></ul><ul><ul><ul><li>Visual Understanding Environment (VUE)   </li></ul></ul></ul><ul><li>[[Guide - Réaliser une carte conceptuelle]] </li></ul>
    14. 14. Une bonne synthèse méthodologique
    15. 15. Analyse & traitement de données : fiabilité et validité Image : Source [email_address] École Centrale de Lille Villeneuve d’Ascq - France Diapos disponibles http://rb.ec-lille.fr Cours distribué sous licence Creative Commons, selon les conditions suivantes : Source des images indiquées au-dessous ou en cliquant sur l’image
    16. 16. Validité et Fiabilité <ul><li>Lorsque l’on mesure une grandeur, on souhaite que les résultats soient utiles et reflètent bien les concepts qu’elle représente . </li></ul><ul><li>À cet effet, on a deux préoccupations : </li></ul><ul><ul><li>Le dispositif de recherche doit être valide </li></ul></ul><ul><ul><li>La mesure doit être fiable </li></ul></ul><ul><li>Bibliographie / sources : </li></ul><ul><ul><li>William D. Richards http://www.uwm.edu/People/hessling/p325/Psy325_Chap3.pdf </li></ul></ul><ul><ul><li>Bob Hessling http://www.sfu.ca/~richards/Zen/show4/ch4.html </li></ul></ul><ul><ul><li>Igalens et Roussel, « Méthodes de recherche en management », chap 10 </li></ul></ul>
    17. 17. La Validité <ul><li>Suis-je proche de la vérité ? </li></ul><ul><li>Les trois exigences de validité </li></ul><ul><ul><ul><li>Validité interne </li></ul></ul></ul><ul><ul><ul><li>Validité externe </li></ul></ul></ul><ul><ul><ul><li>Validité de construit / concept </li></ul></ul></ul>
    18. 18. Validité interne <ul><li>Validité interne = On a bien identifié cause et effet </li></ul><ul><ul><li>Autrement dit, pas d’explication rivale : les variations de la variable à expliquer sont causées uniquement par les variables explicatives </li></ul></ul>? ou A B A B X
    19. 19. Qu’est-ce que la causalité ? <ul><li>Selon John Stuart Mill (1806-1873) , trois critères permettent d’inférer la causalité : </li></ul><ul><ul><li>La covariation, </li></ul></ul><ul><ul><ul><li>Cause et effet sont corrélés </li></ul></ul></ul><ul><ul><li>La précédence temporelle </li></ul></ul><ul><ul><ul><li>La cause précède l’effet </li></ul></ul></ul><ul><ul><li>L’élimination d’explications alternatives. </li></ul></ul><ul><ul><ul><li>Pas de troisième variable </li></ul></ul></ul><ul><ul><li>Trouvez huit biais limitant la validité interne … et les moyens de les éviter (application à un questionnaire d’intention d’achat d’une population dans un centre commercial...) </li></ul></ul>
    20. 20. Huit biais limitant la validité interne (1/2) Campbell DT, Stanley JC (1966). “Experimental and quasi-experimental designs for research”. <ul><li>faire valider le questionnaire par un expert </li></ul><ul><li>protocole normalisé </li></ul><ul><li>Méthode de la pensée à voix haute.. </li></ul>Les questions utilisées pour recueillir les données sont mal formulées (mots compliqués….) Effet d’instrumentation <ul><li>Ne pas questionner deux fois les mêmes individus (?) </li></ul><ul><li>Éviter la mémorisation ? </li></ul>Les réponses au deuxième questionnaire sont affectées par le fait d’avoir déjà répondu (mémoire) Effet de test (pour une étude longitudinale/ par panel) <ul><li>Réduire la période d’étude </li></ul><ul><li>Examen critique des individus </li></ul>Les individus ont changé pendant l’étude (réussite/échec au bac, entre ou sort du centre commercial) Effet de maturation <ul><li>Réduire la période d’étude </li></ul><ul><li>Examen critique de la période d’étude </li></ul>Des évènements extérieurs à l’étude faussent les résultats (Noël) Effet d’histoire Comment l’éviter Origine Type
    21. 21. Huit biais limitant la validité interne (2/2) Campbell DT, Stanley JC (1966). “Experimental and quasi-experimental designs for research”. <ul><li>Mener l’étude rapidement </li></ul><ul><li>Cacher son objectif </li></ul><ul><li>Prévenir la communication entre sujets </li></ul>Un individu interrogé apprend à l’avance par les autres l’objet de l’étude ou les réponses attendues Effet de contamination <ul><li>Remplacer les sujets perdus </li></ul><ul><li>Trouver des moyens de garder le contact. </li></ul>Des sujets disparaissent en cours d’étude (des participants abandonnent l’étude. Ceux qui agissent ainsi peuvent être différents de ceux qui restent) Effet de mortalité expérimentale (pour une étude longitudinale/ par panel) <ul><li>Attention au plan de collecte ! </li></ul>L’échantillon n’est pas représentatif de la population pertinente (les enquêteurs sont actifs la journée, mais plus après 20h… les PCS faisant les courses tard sont oubliées) Effet de sélection <ul><li>Revoir la constitution de l’échantillon </li></ul>Présélection des individus sur la base de caractère extrêmes (les participants avec les plus mauvais résultats à un test sont inclus dans un programme de formation, ils réussissent au prochain test peu importe le programme, … parce que les probabilités d'obtenir d'aussi mauvais résultats deux fois sont faibles) Effet de régression statistique Comment l’éviter Origine Type
    22. 22. Validité externe <ul><li>Validité externe = Les résultats sont-ils généralisables ? </li></ul><ul><li>Autres situations : pays, époques, populations …. </li></ul><ul><li>Un risque : </li></ul><ul><ul><li>« Overfit » : en recherche inductive, on construit une théorie à partir de données… et le modèle construit colle tellement à ces données … qu’il ne représente plus le phénomène qu’on voulait étudier au départ.… mais uniquement les données. </li></ul></ul><ul><li>Une faible validité externe signifie que l’on ne peut pas généraliser, mais la recherche peut tout de même être intéressante (on a très bien étudié un terrain donné). </li></ul><ul><li>Toujours revenir sur la validité externe en conclusion d’une étude (« limites et perspectives »). </li></ul>
    23. 23. Validité interne et externe s’opposent-elles ? <ul><li>À votre avis ? </li></ul><ul><li>Oui, souvent car </li></ul><ul><ul><li>la validité interne demande un meilleur contrôle des situations observées </li></ul></ul><ul><ul><li>la validité externe demande des situations, méthodes et terrains de collecte plus variés et ouverts </li></ul></ul><ul><ul><li>Plus on multiplie les situations, plus le contrôle qu’on peut exercer sur les biais est faible. </li></ul></ul>
    24. 24. Validité de construit / concept <ul><li>Validité de construit = on mesure bien ce que l’on veut mesurer </li></ul><ul><ul><li>Les recherches en sciences humaines portent sur des concepts abstraits non toujours directement observables ( le changement, l’autonomie, les savoirs-être ... ). Les théories étudiées reposent sur ces concepts, souvent polysémiques et difficiles à définir. </li></ul></ul><ul><ul><li>Il faut donc valider la relation : </li></ul></ul>Concept abstrait Construit (définition opérationnelle du concept) Croyance en dieu Dimension conséquentielle Dimension Ritualiste <ul><li>Faites-vous des dons à des organisations caritatives ? </li></ul><ul><li>Vous est-il arrivé de payer quelqu’un « au noir » ? </li></ul><ul><li>Allez-vous à la messe ? </li></ul><ul><li>Avez-vous fait baptiser vos enfants ? </li></ul>
    25. 25. Les critères de validité de concept / construit <ul><li>On compte jusqu’à douze moyens de l’évaluer, retenons notamment </li></ul><ul><ul><li>La validité de contenu </li></ul></ul><ul><ul><ul><li>L’opérationnalisation représente le concept sous tous ses aspects </li></ul></ul></ul><ul><ul><li>La validité d’observation </li></ul></ul><ul><ul><ul><li>Degré auquel le concept étudié peut se réduire à des observations </li></ul></ul></ul><ul><ul><li>La validité de critère </li></ul></ul><ul><ul><ul><li>Degré auquel on peut affirmer que le construit opérationnalisé est corrélé au concept qu’il est sensé représenter. </li></ul></ul></ul><ul><ul><li>La validité de trait </li></ul></ul><ul><ul><ul><li>Degré auquel on peut affirmer que le construit opérationnalisé permet de mesurer le concept qu’il est sensé représenter. </li></ul></ul></ul><ul><ul><li>La validité convergente </li></ul></ul><ul><ul><ul><li>Deux mesures du concept par deux méthodes différentes sont efficaces. </li></ul></ul></ul><ul><ul><li>La validité discriminante </li></ul></ul><ul><ul><ul><li>Degré auquel le concept diffère d’autres concepts proches </li></ul></ul></ul><ul><ul><li>La validité systémique </li></ul></ul><ul><ul><ul><li>Degré auquel le concept permet l’intégration de concepts antérieurs ou de produire de nouveaux concepts </li></ul></ul></ul><ul><ul><li>… </li></ul></ul><ul><li>C’est le type de validité le plus difficile à garantir </li></ul>Zaltman, Pinson, and Angelmar, 1973 “Metatheory and Consumer Research”
    26. 26. Évaluer la validité de construit : Matrice multitraits-multiméthodes <ul><li>La matrice multitraits-multiméthodes synthétise la corrélation entre les mesures de différents traits par des méthodes différentes </li></ul>Image d’origine: http://www.acm.org/sigchi/chi97/proceedings/paper/nt-tb3.gif Method 1 – Experiment 1 Method 2 – Experiment 1 Method 3 – Experiment 1 Method 1 – Experiment 1 Method 2 – Experiment 1 Method 3 – Experiment 1 Campbell DT, Stanley JC (1966). “Convergent and discriminant validation by the multitrait-multimethod matrix”. =1 diagonale monotrait-monométhode diagonale monotrait-multiméthodes = validité convergente multitraits-multiméthodes = validité discriminante On peut aussi corréler les traits et méthodes avec eux-mêmes (plusieurs expériences). On évalue ainsi la reproductibilité d’une méthode …. = sa fiabilité
    27. 27. La Fiabilité (reliability) La mesure est-elle régulière ? La question de la fiabilité de l’instrument de mesure
    28. 28. Qu’est-ce que la fiabilité? <ul><li>Les opérations de la recherche peuvent être répétées à un autre moment par un autre chercheur avec le même résultat. </li></ul><ul><li>Si l’objet de la recherche ne change pas, une mesure parfaite donne le même résultat à chaque fois qu’elle est refaite. </li></ul><ul><ul><ul><li>Trop de variabilité (écart-type) entre mesures = instrument pas fiable </li></ul></ul></ul>
    29. 29. Mesures de fiabilité en recherche quantitative <ul><li>Mesure lue </li></ul><ul><li>= </li></ul><ul><li>vraie valeur + erreur aléatoire + erreur systématique </li></ul><ul><li>Méthodes d’estimation de la fiabilité </li></ul><ul><li>Re-retest </li></ul><ul><ul><ul><ul><li>Refaire exactement la même mesure à des moments différents. </li></ul></ul></ul></ul><ul><li>Méthodes des formes alternatives </li></ul><ul><ul><ul><ul><li>Re-retest avec un test différent (alternatif) mais mesurant la même chose. </li></ul></ul></ul></ul><ul><li>Mesure de la cohérence interne </li></ul><ul><ul><ul><ul><li>Pour une échelle construite à partir de plusieurs items, tester leur cohérence. Alpha de Cronbach, rho de Joreskog </li></ul></ul></ul></ul>
    30. 30. Validité et Fiabilité sont ils réservés à la recherche quantitative ? <ul><li>Non ! </li></ul><ul><li>Mais on ne procède pas de la même manière deux ces deux cas </li></ul><ul><ul><li>Quanti => tests statistiques </li></ul></ul><ul><ul><li>Quali => prendre certaines précautions, par exemple vérifier si on conserve le même résultat en changeant d’observateur </li></ul></ul><ul><ul><ul><li>Problèmes possibles pour le qualitatif : </li></ul></ul></ul><ul><ul><ul><ul><li>Critères observés ambigus </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Mal former les observateurs/enquêteurs problème d’harmonisation ses données collectées </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Situation trop dure à étudier </li></ul></ul></ul></ul>
    31. 31. Questions ?
    32. 32. Rémi BACHELET <ul><li>  Enseignant-chercheur,      Ecole Centrale de Lille </li></ul><ul><li>Mon CV est disponible ici . </li></ul>Mes principaux cours à Centrale Gestion de projet , sociologie des organisations , recueil, analyse et traitement de données , prévention du plagiat , module de marchés financiers , cours de qualité et méthodes de résolution de problèmes, établir des cartes conceptuelles , utiliser Wikipédia et CentraleWiki , formation au coaching pédagogique et à l'encadrement
    33. 33. Pour mémoriser ce cours, voici une carte conceptuelle, vous trouverez ici d’autres cartes heuristiques sur ce cours
    34. 34. Autres cours : <ul><li>Explorer ou vérifier ? Deux catégories d’approches </li></ul><ul><li>Éventails des démarches de recueil de données </li></ul><ul><li>Conception de questionnaires </li></ul><ul><li>Techniques d’entretien et reformulation </li></ul><ul><li>L'Analyse Factorielle des Correspondances pour les nuls </li></ul><ul><li>Validité et Fiabilité des données </li></ul>

    ×