L’évaluation des informations de
Naitre et grandir par les parents
Pierre Pluye, Professeur agrégé, Dept. Médecine familia...
PLAN
CONTEXTE
• Naitre et grandir (N&G)
• Méthode d’évaluation des informations (MEI)
3 QUESTIONS
• Effets des information...
CONTEXTE
Naître et grandir
Objectifs et contenu
Usagers & notoriété
Objectifs de Naître et grandir
Valoriser, informer, éduquer et outiller les parents
• l’ensemble des parents avec enfants ...
Attributs du contenu
• CRÉDIBLE: Révisé par des spécialistes et mis à jour en continu;
• RÉALISTE: Met en valeur des geste...
Portée
SITE WEB
1er janv. - 31 déc. 2014
MONDE
(millions)
QUÉBEC
(millions)
Nombre de pages web vues 33.8 13.3
Nombre de v...
Enquête transversale SOM
• Sondage web du 10 au 20 octobre 2014
• Internautes québécois francophones
• Parents d’enfants â...
Enquête transversale SOM
Naitre et grandir
(n=1009)
Connu Consulté
Enquête transversale SOM
Quelles sont les
sources d'information
sur le rôle de parent
et le développement
des enfants que ...
CONTEXTE
Méthode d’évaluation des informations
Évaluation systématique (imbrication)
4 niveaux d’effet des informations
Év...
Développements méthodologiques en évaluation de programmes
(combinaison des arguments normatifs, objectifs et subjectifs)
...
Méthode d’évaluation des informations
Imbrication: Évaluation systématique des objets
d’informations (pages web et alertes...
User: For each potentially relevant information object
4 levels of outcomes of information receiving/seeking (ACA-LO)
Info...
In a social context (e.g., continuing education)
Cognition
Application
Acquisition
The ACA cycle
Human information interac...
Évaluation développementale par les usagers
Application des
connaissances
unidirectionnelle
Application des
connaissances
...
Évaluation développementale par les usagers
(exemple*)
• 51 APhC ‘Highlights’ (e-Therapeutics+)
• Courriel hebdomadaire à ...
Méthode d’évaluation des
informations par les
consommateurs (checklist)
- Origine des questions
- Développement
- Validati...
Évaluation des informations
de Naitre et grandir par les parents
• Informations du site web et de l’infolettre
de Naitre e...
Évaluation des informations
de Naitre et grandir par les parents
3 objectifs spécifiques
• Faire participer les parents à ...
Évaluation des informations
de Naitre et grandir par les parents
Cycle de gestion des connaissances (itératif)
1. Naitre e...
Évaluation des informations
de Naitre et grandir par les parents
TROIS QUESTIONS
EFFETS DES INFORMATIONS?
VALIDITÉ DU QUESTIONNAIRE?
APPRENTISSAGE ORGANISATIONNEL?
1
Effets des informations de Naitre et grandir?
Effets des informations de Naitre et grandir
1er juin 2014 – 31 janvier 2015 SITE WEB INFOLETTRE
Nombre de réponses 17545 ...
Effets des informations de Naitre et grandir
QUATRE NIVEAUX D’EFFET DES INFORMATIONS
N = Nombre de réponses
SITE WEB
N=175...
Site web et infolettre:
Titre de la fiche (top 10)
% ‘information
utilisée pour
mon enfant’
% ‘bénéfice
attendu pour
mon e...
Infolettre
ANALYSE 1: Statistiques descriptives
• Toutes les réponses: N=4862
ANALYSE 2: Test statistique
N=3175 réponses
...
Infolettre: participants
<25 25-29 30-34 35-39 40-44 45-49 50-54 55-59 >60
N 35 409 923 643 212 45 42 49 79
0
100
200
300
...
Infolettre: participants
Aucun diplôme Diplôme du secondaire Diplôme du collégial Diplôme universitaire
QC 4.6 21.5 25.6 4...
Infolettre: participants
0 $ - 20 000 $ 20 000 $ - 40 000 $ 40 000 $ - 60 000 $ 60 000 $ - 80 000 $ 80 000 $ - 100 000 $ P...
Infolettre: participants
Infolettre: effets des informations
• Résultats descriptifs présentés par niveau d’effet (N=4862)
• Inférences fondées sur...
Niveau 1: Pertinence situationnelle (N=4862)
Q1. Pourquoi avez-vous regardé cette information? N (%)
Pour me renseigner su...
Niveau 1 (participants): Pertinence situationnelle (N=3175 )
Q1. Pourquoi avez-vous regardé cette
information?
Faible reve...
Niveau 2: Impact cognitif/affectif (N=4862)
Q3. Que pensez-vous de cette information? N (%)
Maintenant je sais quelque cho...
Niveau 2 (participants): Impact cognitif/affectif (N=3175)
*Participant avec un revenu annuel familial < $40000, et DES ou...
Niveau 3: Intention d’utiliser (N=4862)
Q4. Est-ce que vous utiliserez cette information pour vous-
même et votre enfant?
...
Niveau 3 (participants): Utilisation des informations (N=3175)
Q4. Est-ce que vous utiliserez cette
information pour vous-...
Niveau 3 (participants): Utilisation des informations (N=3175)
Q4. Est-ce que vous utiliserez cette
information pour vous-...
Niveau 4: Bénéfices attendus (N=4862)
Q5. En utilisant cette information, espérez-vous des bénéfices
pour votre enfant?
N ...
Niveau 4 (participants): Bénéfices attendus (N=3175)
Q5. En utilisant cette information,
espérez-vous des bénéfices pour v...
Niveau 4 (suite): Bénéfices attendus (N=3175)
Q5. En utilisant cette information, espérez-
vous des bénéfices pour votre e...
2
Validité du questionnaire?
Validation écologique du contenu des questions
Méthodes mixtes (devis convergent*)
Composante quantitative longitudinale (...
3
Apprentissage organisationnel?
Apprentissage organisationnel
Routinisation du cycle de gestion des informations
Analyse de contenu: Étapes
• Discussion e...
DISCUSSION ET CONCLUSION
Effets des informations de Naître et grandir
• Évaluation systématique des objets d’information (fiches N&G)
• Perception ...
Validation écologique de contenu
Questionnaire MEI validé et simplifié
Contenu validé par les parents qui utilisent N&G
• ...
Apprentissage organisationnel
La routinisation du cycle de gestion des informations
• Processus permettant l’évaluation dé...
Conclusion
Évaluation unique des effets des informations de N&G
Future évaluation: étude de cohorte (soumise aux IRSC)
– E...
Merci
Commentaires et questions
Séminaire Internet et santé: L'évaluation des informations de Naitre et grandir par les parents
Séminaire Internet et santé: L'évaluation des informations de Naitre et grandir par les parents
Séminaire Internet et santé: L'évaluation des informations de Naitre et grandir par les parents
Prochain SlideShare
Chargement dans…5
×

Séminaire Internet et santé: L'évaluation des informations de Naitre et grandir par les parents

496 vues

Publié le

Présentation réalisée dans le cadre des séminaires Internet et santé, le 9 avril 2015.
Résumé du séminaire : Naitre et grandir (N&G) est, à la fois, un magazine, un site internet (naitreetgrandir.com), une infolettre (courriel hebdomadaire) et une opération sociétale s'adressant aux parents de jeunes enfants. N&G est financé par la Fondation Lucie et André Chagnon, une société philanthropique québécoise ayant pour mission de prévenir la pauvreté. N&G offre aux parents une source d’information gratuite, indépendante et fiable, pour les soutenir dans leur rôle parental.

En implantant la ‘Méthode d’évaluation des informations’ (MEI) pour les parents, nos objectifs généraux sont d’évaluer et d’améliorer la valeur des informations de N&G du point de vue des parents (évaluation développementale par les usagers). La MEI permet d’évaluer la pertinence, les impacts cognitifs, l’utilisation et les effets associés avec les informations de chacune des pages N&G. De plus, la MEI permet de collecter les commentaires constructifs des parents afin d’améliorer le contenu. Nos trois objectifs spécifiques sont les suivants: (a) Faire participer les parents dans une brève activité d'apprentissage fondée sur une réflexion individuelle (stimulée par le questionnaire MEI) qui peut éventuellement contribuer à accroître leur utilisation des informations N&G; (b) Évaluer le contenu informationnel de N&G en utilisant les évaluations quantitatives obtenues avec la MEI; et (c) améliorer le contenu informationnel N&G en utilisant les commentaires constructifs des parents via la MEI.

Conformément au ‘Cycle de gestion des connaissances’, notre processus de recherche est itératif et inclut quatre étapes: N&G produit des informations pour les parents; les informations sont diffusées via le site internet et l’Infolettre; les parents sont invités à évaluer les informations avec la MEI; McGill analyse les évaluations et transmet les résultats à N&G qui peut améliorer les informations produites. Les résultats des analyses des données collectées entre le 1er juin 2014 et le 31 janvier 2015 seront présentés et discutés de manière interactive.


Présentateurs :
Pierre Pluye, MD, PhD, FRQS Chercheur boursier Senior, Professeur agrégé, Département de médecine familiale, Université McGill
Geneviève Doray, Directrice Naître et grandir, Fondation Lucie et André Chagnon
Reem El Sherif, Étudiante à la maitrise (MSc), Département de médecine familiale, Université McGill.


Co-auteurs
François Lagarde, Fondation Lucie et André Chagnon
Vera Granikov, Paula Bush, Mathieu Bujold, Gillian Bartlett, David Li Tang & Roland Grad, Université McGill

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
496
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Séminaire Internet et santé: L'évaluation des informations de Naitre et grandir par les parents

  1. 1. L’évaluation des informations de Naitre et grandir par les parents Pierre Pluye, Professeur agrégé, Dept. Médecine familiale, Université McGill Geneviève Doray, Directrice Naître et grandir, Fondation Lucie et André Chagnon Reem El Sherif, Étudiante MSc, Dept. Médecine familiale, Université McGill. François Lagarde, Fondation Lucie et André Chagnon; Vera Granikov, Paula Bush, Mathieu Bujold, Gillian Bartlett, David Li Tang & Roland Grad, Université McGill ComSanté, UQAM, jeudi 9 avril 2015
  2. 2. PLAN CONTEXTE • Naitre et grandir (N&G) • Méthode d’évaluation des informations (MEI) 3 QUESTIONS • Effets des informations N&G? • Validité du questionnaire MEI? • Apprentissage organisationnel?
  3. 3. CONTEXTE Naître et grandir Objectifs et contenu Usagers & notoriété
  4. 4. Objectifs de Naître et grandir Valoriser, informer, éduquer et outiller les parents • l’ensemble des parents avec enfants de 5 ans et moins • persona principal : parents de milieux défavorisés • famille élargie et toutes les personnes qui ont pour responsabilité de prendre soin d’un enfant Sensibiliser l’ensemble de la société à l'importance du développement précoce des enfants afin de créer des conditions et des environnements propices à la réussite éducative. 4
  5. 5. Attributs du contenu • CRÉDIBLE: Révisé par des spécialistes et mis à jour en continu; • RÉALISTE: Met en valeur des gestes simples et des conseils pratiques sur la façon d’élever un enfant; • RESPECTUEUX: Encourage les parents à prendre leurs propres décisions; • COMPRÉHENSIF: Reconnaît et valide les différents points de vue des parents, et reconnaît qu’ils s’efforcent à faire de leur mieux; • POSITIF: Convaincu que les parents peuvent apporter des changements positifs dans leur vie et dans celle de leurs enfants; • COOPÉRATIF: Garde en tête les lecteurs et tient compte de leurs commentaires; • AXÉ SUR LE JEU: Privilégie l’apprentissage actif dans tous les domaines du développement de l’enfant. 6
  6. 6. Portée SITE WEB 1er janv. - 31 déc. 2014 MONDE (millions) QUÉBEC (millions) Nombre de pages web vues 33.8 13.3 Nombre de visites au site web 17.3 6.1 Nombre de visiteurs uniques 8.5 2.2 INFOLETTRE: 110 210 parents abonnés (janvier 2015)
  7. 7. Enquête transversale SOM • Sondage web du 10 au 20 octobre 2014 • Internautes québécois francophones • Parents d’enfants âgés 0 à 7 ans • Taux de réponse = 38,8 % • 1009 répondants: – RMR de Montréal (n=394) – RMR de Québec (n=356) – Ailleurs au Québec (n=259)
  8. 8. Enquête transversale SOM Naitre et grandir (n=1009) Connu Consulté
  9. 9. Enquête transversale SOM Quelles sont les sources d'information sur le rôle de parent et le développement des enfants que vous consultez le plus?
  10. 10. CONTEXTE Méthode d’évaluation des informations Évaluation systématique (imbrication) 4 niveaux d’effet des informations Évaluation développementale Validation de contenu initiale
  11. 11. Développements méthodologiques en évaluation de programmes (combinaison des arguments normatifs, objectifs et subjectifs) • Experts (jugement de valeur) + • Experts (mesure) + • Experts et intervenants (participation) + • Experts et intervenants (évaluation qualitative) + • Experts, intervenants et usagers (méthodes mixtes)  Pluye P (2012). Les méthodes mixtes. Dans V. Ridde & C. Dagenais (Eds.), Approches et pratiques en évaluation de programme (pp. 125-143). Montréal Presses de l’Université de Montréal.  Pluye P & Hong QN (2014). Combining the Power of Stories and the Power of Numbers: Mixed Methods Research and Mixed Studies Reviews. Annual Review of Public Health, 35, 29-45.
  12. 12. Méthode d’évaluation des informations Imbrication: Évaluation systématique des objets d’informations (pages web et alertes) • Cadre conceptuel ‘Push-pull’ La ‘valeur’ des informations: Évaluation de 4 niveaux d’effet des informations (modèle théorique ‘ACA-LO’) • Pertinence • Impact cognitif • Utilisation • Effets sur le bien-être et la santé Évaluation développementale des informations par les usagers (application bidirectionnelle des connaissances) Différentes versions du questionnaire pour les cliniciens, les patients et les consommateurs d’information (IAM4all) • www.mcgill.ca/iam
  13. 13. User: For each potentially relevant information object 4 levels of outcomes of information receiving/seeking (ACA-LO) Information Assessment Method (IAM) Relevance, cognitive impact, information use, expected benefits Clinical Information Channel (information delivery) Subscription Passive acquisition Information receiving Search query Active acquisition Information seeking PUSH PULL database (information retrieval) Latent period Directly Push-Pull stimulation Pluye et al. 2011 Journal of Evaluation in Clinical Practice
  14. 14. In a social context (e.g., continuing education) Cognition Application Acquisition The ACA cycle Human information interaction process depicted by the ACA cycle Relevance Cognitive Impact Use Expected benefits is associated to 4 Levels of Outcomes Outcomes captured in the Information Assessment Method (IAM) questionnaire ACA-LO Theoretical Model Pluye et al. 2013 Journal of the American Society for Information Sciences and Technology (JASIST)
  15. 15. Évaluation développementale par les usagers Application des connaissances unidirectionnelle Application des connaissances bidirectionnelle Rôle clé Fournisseur d’information: Expertise ‘contributive’ (par ex., chercheur) et interactive (éditeur) Utilisateur d’information: Expertise expérientielle Processus # Fournisseur: Effectue la synthèse des connaissances et diffuse ces informations # Utilisateur: Trouve et/ou reçoit les informations # Utilisateur: Envoit des commentaires constructifs # Fournisseur: Intègre ces commentaires dans les informations # Utilisateur: Trouve et/ou reçoit les informations Utilisation des informations La meilleure information pour les patients (« best available evidence ») Mieux que la meilleure information? Pluye et al. 2014 Canadian Family Physician Journal
  16. 16. Évaluation développementale par les usagers (exemple*) • 51 APhC ‘Highlights’ (e-Therapeutics+) • Courriel hebdomadaire à 17,000 membres du CMFC • 5,346 MFs ont évalué au moins 1 Highlight avec la Méthode d’évaluation des informations (version clinicien): – 31,429 questionnaires complétés (apprentissage réflexif) – 4,166 (13.3%) commentaires (stimulation) – 682 (2.2%) commentaires ‘potentiellement constructifs’ sélectionnés par McGill et envoyés à APhC. – 126 (0.4%) commentaires constructifs: changement du contenu informationnel de e-Therapeutics+ *Plus de 10.000 médecins et pharmaciens utilisent la Méthode d’évaluation des informations dans différents programmes de formation continue au Canada (par ex., AMC, APhC, CMFC) et au Brésil (Ministère de la santé).
  17. 17. Méthode d’évaluation des informations par les consommateurs (checklist) - Origine des questions - Développement - Validation initiale • Modèle théorique et versions antérieures du questionnaire • Revue de littérature (online consumer health information) • Entrevues avec 16 personnes: expérience avec les informations sur la santé; pertinence et représentativité des questions • Panel de 20 experts: 12 spécialistes en information et 8 chercheurs en santé Pluye et al. 2014 Journal of Medical Internet Research - Protocols (JMIR) Pertinence 7 questions Impact cognitif 8 questions Utilisation 5 questions Bénéfices attendus 7 questions
  18. 18. Évaluation des informations de Naitre et grandir par les parents • Informations du site web et de l’infolettre de Naitre et grandir (pages web = fiches) • Objectifs généraux: évaluer et améliorer la valeur des informations de Naitre et grandir du point de vue des parents • Évaluation développementale par les parents
  19. 19. Évaluation des informations de Naitre et grandir par les parents 3 objectifs spécifiques • Faire participer les parents à une brève activité d'auto- apprentissage fondée sur une réflexion individuelle qui peut contribuer à accroître leur utilisation des informations de Naitre et grandir (N&G) – Réflexion stimulée par le questionnaire de la Méthode d’évaluation des informations (MEI) • Évaluer le contenu informationnel de N&G en utilisant les évaluations quantitatives obtenues avec la MEI • Améliorer N&G en utilisant les commentaires constructifs des parents obtenus via la MEI
  20. 20. Évaluation des informations de Naitre et grandir par les parents Cycle de gestion des connaissances (itératif) 1. Naitre et grandir produit des informations pour les parents. 2. Les informations sont diffusées via le site web et l’infolettre. 3. Les parents sont invités à évaluer les informations avec la Méthode d’évaluation des informations. 4. McGill analyse les évaluations et transmet les résultats à Naitre et grandir qui peut les utiliser pour améliorer N&G au besoin.
  21. 21. Évaluation des informations de Naitre et grandir par les parents
  22. 22. TROIS QUESTIONS EFFETS DES INFORMATIONS? VALIDITÉ DU QUESTIONNAIRE? APPRENTISSAGE ORGANISATIONNEL?
  23. 23. 1 Effets des informations de Naitre et grandir?
  24. 24. Effets des informations de Naitre et grandir 1er juin 2014 – 31 janvier 2015 SITE WEB INFOLETTRE Nombre de réponses 17545 4862 Nombre de participants na 4007 Nombre moyen de réponses par participant (minimum-maximum) na 1.2 (1-11) Nombre moyen de réponses par fiche (minimum-maximum) 25.8 (1-502) 9.3 (1-63)
  25. 25. Effets des informations de Naitre et grandir QUATRE NIVEAUX D’EFFET DES INFORMATIONS N = Nombre de réponses SITE WEB N=17545 INFOLETTRE N=4862 Niveau 1 : Pertinence situationnelle 89.5% 93.7% Niveau 2: Impacts cognitifs et affectifs positifs 84.4% 92.9% Niveau 3: Intention d’utiliser les informations 74.9% 85.7% Niveau 4: Bénéfices attendus (bien-être/santé) 72.3% 82.4%
  26. 26. Site web et infolettre: Titre de la fiche (top 10) % ‘information utilisée pour mon enfant’ % ‘bénéfice attendu pour mon enfant’ Nombre de réponses 6 mois: développement social 98.0% 98.0% 51 4 mois: développement social 95.6% 92.6% 68 3 mois: développement affectif 94.4% 90.5% 126 5 mois: développement social 94.3% 94.3% 53 3 mois: motricité fine 93.4% 92.1% 76 7 à 9 mois: développement social 93.3% 86.7% 60 Le rhume et la grippe 92.9% 92.9% 70 Laryngite 92.8% 92.8% 83 Prendre soin de bébé 91.9% 83.8% 99 4 mois: motricité globale 90.7% 89.3% 75
  27. 27. Infolettre ANALYSE 1: Statistiques descriptives • Toutes les réponses: N=4862 ANALYSE 2: Test statistique N=3175 réponses 2437 participants (au moins 1 fiche N&G évaluée, et questionnaire démographique complété): • 2326 (95,4%) sont des femmes • 2187 (89,7%) sont âgés entre 25 et 44 ans • 2296 (94,2%) vivent avec un conjoint • 2101 (86,2%) vivent avec leur enfant • 306 (12,5%) ont un revenu familial annuel inférieur à $40 000 • 185 (7,6%): diplôme du secondaire (DES) ou aucun diplôme
  28. 28. Infolettre: participants <25 25-29 30-34 35-39 40-44 45-49 50-54 55-59 >60 N 35 409 923 643 212 45 42 49 79 0 100 200 300 400 500 600 700 800 900 1000 Age
  29. 29. Infolettre: participants Aucun diplôme Diplôme du secondaire Diplôme du collégial Diplôme universitaire QC 4.6 21.5 25.6 48.3 N&G 1.8 5.7 34.9 57.5 0.0 10.0 20.0 30.0 40.0 50.0 60.0 70.0 % Niveau Scolarite
  30. 30. Infolettre: participants 0 $ - 20 000 $ 20 000 $ - 40 000 $ 40 000 $ - 60 000 $ 60 000 $ - 80 000 $ 80 000 $ - 100 000 $ Plus de 100 000 $ QC 10.5% 18.8% 19.9% 17.2% 14.2% 19.5% N&G 3.6% 8.9% 14.8% 20.1% 20.6% 32.0% 0.0% 5.0% 10.0% 15.0% 20.0% 25.0% 30.0% 35.0% Revenu Familial Annuel
  31. 31. Infolettre: participants
  32. 32. Infolettre: effets des informations • Résultats descriptifs présentés par niveau d’effet (N=4862) • Inférences fondées sur le test du Chi-carré de Pearson (N=3175) – 1 population et 2 variables catégorielles – Y a-t-il une différence significative entre les variables? – Conclusion: rejet de l’hypothèse nulle (aucune différence) – Analyse effectuée avec le logiciel SAS
  33. 33. Niveau 1: Pertinence situationnelle (N=4862) Q1. Pourquoi avez-vous regardé cette information? N (%) Pour me renseigner sur les enfants en général 2797 (57.5) Pour répondre à une question/problème qui touche mon enfant 1912 (39.3) Pour lire l'opinion d'un spécialiste 1437 (29.6) Pour compléter/vérifier les informations reçues d’un professionnel 270 (5.6) Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre (par ex., ma nièce ou l’enfant d’une amie) 229 (4.7) Pour m'aider à décider si je dois consulter un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre) 152 (3.1) Pour me préparer avant de parler à un professionnel 96 (2.0) Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
  34. 34. Niveau 1 (participants): Pertinence situationnelle (N=3175 ) Q1. Pourquoi avez-vous regardé cette information? Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre **12 (0.4) 135 (4.3) Nombre total de réponses 100 (3.1) 3075 (96.9) ** p < 0.0001 Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) regardent 2.7 fois plus souvent l’information N&G pour quelqu’un d’autre. Note: Résultat convergent avec Q4 ‘j’utiliserai cette information pour quelqu’un d’autre’.
  35. 35. Niveau 2: Impact cognitif/affectif (N=4862) Q3. Que pensez-vous de cette information? N (%) Maintenant je sais quelque chose de nouveau 1887 (38.8) Cette information dit que je fais ou j'ai fait la bonne chose 1774 (36.5) Maintenant je suis rassuré(e) 1300 (26.7) Je me suis souvenu(e) de quelque chose que je savais déjà 1264 (26.0) Maintenant je veux en apprendre plus sur ce sujet 638 (13.1) Je ne suis pas satisfait(e) de cette information 69 (1.4) Je pense qu'il y a un problème avec cette information 12 (0.2) Je pense que cette information peut provoquer des dommages 7 (0.1) - Q3 posée lorsque les participants ont compris l’information (N=4555; 93,7%) - Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
  36. 36. Niveau 2 (participants): Impact cognitif/affectif (N=3175) *Participant avec un revenu annuel familial < $40000, et DES ou aucun diplôme. Q3. Que pensez-vous de cette information? *Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Nombre total de réponses 100 (3.1) 3075 (96.9) Aucune différence statistiquement significative quelque soit le type d’impact.
  37. 37. Niveau 3: Intention d’utiliser (N=4862) Q4. Est-ce que vous utiliserez cette information pour vous- même et votre enfant? N (%) Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant 2679 (55.1) Cette information m'aidera à mieux comprendre une question ou un problème qui touche mon enfant 1835 (37.7) Je ne savais pas quoi faire, et cette information m'aidera à prendre une décision qui touche mon enfant 405 (8.3) Je faisais ou pensais faire quelque chose pour mon enfant, et j'utiliserai cette information pour le faire autrement 399 (8.2) J'utiliserai cette information pour discuter avec un professionnel (médecin, pharmacien, orthophoniste, psychologue ou autre) 120 (2.5) - Q4 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%) - Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
  38. 38. Niveau 3 (participants): Utilisation des informations (N=3175) Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant? Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Non, mais je vais utiliser cette information pour quelqu’un d’autre **17 (0.5) 167 (5.3) Nombre total de réponses 100 (3.1) 3075 (96.9) ** p < 0.0001 Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 3.1 fois plus souvent l’intention d’utiliser l’information N&G pour quelqu’un d’autre. Note: Résultat convergent avec Q1 ‘J’ai regardé cette information pour répondre à une question/problème qui touche l’enfant de quelqu'un d'autre’.
  39. 39. Niveau 3 (participants): Utilisation des informations (N=3175) Q4. Est-ce que vous utiliserez cette information pour vous-même et votre enfant? Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Je savais déjà quoi faire, et j'utiliserai cette information pour être plus sûr(e) de ce que je fais pour mon enfant *36 (1.1) 1759 (55.4) Nombre total de réponses 100 (3.1) 3075 (96.9) * 0.0001 < p < 0.01 Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) utilisent 1.6 fois moins souvent l’information N&G pour valider ce qu’ils font.
  40. 40. Niveau 4: Bénéfices attendus (N=4862) Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant? N (%) Cette information m'aidera à améliorer le bien-être/santé de mon enfant 2196 (45.2) M'aidera à être moins inquiet (inquiète) pour un problème qui touche mon enfant 1308 (26.9) M'aidera à mieux gérer un problème qui touche mon enfant 1043 (21.5) M'aidera à prévenir un problème qui touche mon enfant (ou en empêcher l’aggravation) 790 (16.2) Je serai plus impliqué(e) dans les décisions pour mon enfant 776 (16.0) Me rendra plus satisfait(e) des services ou des soins que je reçois 347 (7.1) Me permettra de mieux discuter avec un professionnel 229 (4.7) Autre benefice 324 (6.7) Aucun benefice 163 (3.4) - Q5 posée quand les participants ont l’intention d’utiliser l’information (N=4167; 85,7%) - Questionnaires complétés après une infolettre: Plusieurs choix possibles (total > 100%).
  41. 41. Niveau 4 (participants): Bénéfices attendus (N=3175) Q5. En utilisant cette information, espérez-vous des bénéfices pour votre enfant? Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Cette information m'aidera à améliorer le bien-être ou la santé de mon enfant *27 (0.9) 1504 (47.4) Nombre total de réponses 100 (3.1) 3075 (96.9) * 0.0001 < p < 0.01 Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000, et DES ou aucun diplôme) espèrent 1.8 fois moins souvent que l’information N&G les aidera pour améliorer le bien-être ou la santé de leur enfant.
  42. 42. Niveau 4 (suite): Bénéfices attendus (N=3175) Q5. En utilisant cette information, espérez- vous des bénéfices pour votre enfant? Faible revenu et niveau d’éducation N (%) Autres réponses N (%) Cette information m'aidera à être moins inquiet(e) pour un problème de mon enfant *31 (1.0) 784 (24.7) Grâce à cette information, je serai plus impliqué(e) dans les décisions pour mon enfant **25 (0.8) 495 (15.6) Nombre total de réponses 100 (3.1) 3075 (96.9) *0.0001 < p < 0.01 ; ** p < 0.0001 Interprétation: Comparé aux autres, les participants avec un faible niveau de revenu et d’éducation (revenu annuel familial < $40000; et DES ou aucun diplôme) ont 1.2 fois plus souvent répondu que l’information N&G les aidera à être moins inquiets, et 1.6 fois plus souvent que l’information N&G les aidera à être plus impliqués dans les décisions concernant leur enfant.
  43. 43. 2 Validité du questionnaire?
  44. 44. Validation écologique du contenu des questions Méthodes mixtes (devis convergent*) Composante quantitative longitudinale (pertinence des questions) • 22 407 questionnaires MEI complétés • Ratio de pertinence R = N réponses (question) / N réponses (niveau) Composante descriptive qualitative (représentativité des questions) • 121 (0.5%) commentaires sur le questionnaire (49+ 72-) • 19 entrevues (maximum variation sampling) – Participants variés (âge, éducation et revenu) • Analyse qualitative de contenu Résultats: Clarification et simplification du questionnaire *Pluye & Hong 2014 Annual Review of Public health
  45. 45. 3 Apprentissage organisationnel?
  46. 46. Apprentissage organisationnel Routinisation du cycle de gestion des informations Analyse de contenu: Étapes • Discussion et compréhension partagée de la version V1 des codes • Codage de 50 commentaires avec V1 (PR & PB indépendants) • Discussion du codage des commentaires «difficiles» (PR & PB) : V2 • Discussions et modifications (PR & PB) du manuel de codage (ajustements) au fur et à mesure du codage des 410 premiers commentaires issus de 7019 questionnaires MEI complétés (juin- septembre 2014): V3 (codes, définitions, exemples). • 50 derniers commentaires (PR & PB indépendants) : accord 84% • Codage indépendant de 191 commentaires issus de 7605 questionnaires MEI complétés (novembre 2014 – janvier 2015) par 2 nouveaux codeurs (REL et PP): Accord inter-juge (kappa de Cohen) Résultat: Manuel de codage fidèle (évaluation développementale)
  47. 47. DISCUSSION ET CONCLUSION
  48. 48. Effets des informations de Naître et grandir • Évaluation systématique des objets d’information (fiches N&G) • Perception des parents: Effets positifs des informations N&G • Spécifiquement pour les parents à faible niveau de revenu et d’éducation (hypothèses à confirmer: voir ‘Future évaluation’) o Utilisation des informations N&G pour les enfants des autres o Diminution de l’inquiétude o Amélioration de l’engagement • Forces o Grand nombre de réponses (sans incitatif) o Test du Chi-carré: Contrôle des limites  Résultats similaires avec les ‘réponses uniques’ • Limite o Volontaires (sur-estimation des statistiques descriptives)
  49. 49. Validation écologique de contenu Questionnaire MEI validé et simplifié Contenu validé par les parents qui utilisent N&G • Pertinence des questions • Représentativité pour chaque niveau d’effet Prochaines étapes • Validation logique en cours (experts McGill et N&G) • Implantation du questionnaire révisé (été 2015) • Validation de construit (2016) – Item Response Theory – Generalisabilité (Messick)
  50. 50. Apprentissage organisationnel La routinisation du cycle de gestion des informations • Processus permettant l’évaluation développementale des informations de N&G par les parents Prochaine étape (après l’implantation du questionnaire validé) • Système de gestion des commentaires* – Base de données ACCESS partagée de manière sécuritaire via les serveurs de Naitre et grandir – Sélection hebdomadaire des commentaires (McGill) – Utilisation des commentaires pour améliorer le contenu informationnel ou aider les parents (Naitre et grandir) *Tang et al. Journal of the American Society for Information Science and technology (JASIST) 2015
  51. 51. Conclusion Évaluation unique des effets des informations de N&G Future évaluation: étude de cohorte (soumise aux IRSC) – Environ 500 parents volontaires – Méthodes mixtes: mesures et histoires de vie
  52. 52. Merci Commentaires et questions

×