SlideShare une entreprise Scribd logo
Comment améliorer
la qualité des
apprentissages
à l’aide de l’évaluation
des enseignements ?
Jean-Loup Castaigne
Qui pourrait évaluer la
qualité de votre
enseignement ?
• Seul, écrire vos idées sur qui pourrait
évaluer votre enseignement (1
minute)
• Avec votre voisin, produire une liste
commune (1 minute)
• Mise en commune : rapporter UNE
idée originale à la fois
Sources d'information
pertinentes pour évaluer
Castaigne & Bailly (à paraître)
0 200 400
Les étudiants ayant suivi
votre enseignement
Vous-même en tant
qu'enseignant
Le responsable de la
formation
Des collègues avec
lesquels vous travaillez
Des spécialistes de votre
discipline
Un accompagnant des
enseignants CP
Pas pertinent
Plutôt pas pertinent
Plutôt pertinent
Pertinent
Étudiants compétents ?
Convergence des avis des étudiants
et des avis
o des enseignants qui s’auto‐évaluent
o des observateurs extérieurs
o d’administrations universitaires
Feldman (1988), Nasser (2006), Rosenthine & Furth (1973), Murray (1983) , Feldman (1989)
Compétents pour quoi ?
Dimensions évaluables par les
étudiants
+ leur expérience d’apprentissage
- le contenu d’un cours
- les connaissances d’un enseignant dans
son domaine
Braskamp et Ory (1994), Poissant (1996)
Quelles dimensions évaluer ?
1. Planification de l’enseignement
2. Prestation en enseignement
3. Évaluation des apprentissages
4. Connaissance de la discipline
5. Engagement personnel dans
l’amélioration de ses enseignements
6. Engagement institutionnel dans
l’amélioration de la qualité de la
formation
Bernard (2011)
Pertinence des outils ?
Castaigne & Bailly (à paraître)
0 200 400
Des questionnaires remplis par
les étudiants.
Une discussion que vous menez
avec tous les étudiants.
Votre réflexion sur votre
enseignement formulée par écrit.
Une séquence filmée de vous en
train d'enseigner.
Une observation directe par un
autre enseignant.
Une observation directe par un
conseiller pédagogique
Sans avis
Non
Plutôt non
Plutôt oui
Oui
Rigueur et validité
Élaborer des
outils
Valider
Distribuer
Collecter
donnéesProduire des
rapports EE
Bernard (2011)
Analyser à partir des évaluations
Analyses
des
résultats
Comité de Programme
Réponses
des
étudiants
Matériel
enseignement
Matériel
évaluation
Points Forts Aspects à améliorer
Modifications à apporter
Mise en place des modifications
Bernard (2011)
Rigueur et validité
Élaborer des
instruments
Valider
Distribuer
Collecter
donnéesProduire des
rapports EE
Analyser les
résultats
Interpréter les
résultats
Assurer un
suivi
Bernard (2011)
Aujourd’hui, quels impacts ?
80% des 1300 professeurs interrogés
disent que leur établissement « devrait
entreprendre des mesures concrètes
pour améliorer l’enseignement »
Bernard, Postiaux et Salcin (2000) , Marsh (2007)
Mesure concrète
Valoriser Améliorer
Évaluer
Bernard (2011)
Aujourd’hui, quels impacts ?
80% des 1300 professeurs interrogés
disent que leur établissement « devrait
entreprendre des mesures concrètes
pour améliorer l’enseignement »
50% constatent que « les professeurs ne
disposent pas des ressources nécessaires
lorsque les résultats des évaluations
indiquent des aspects à améliorer »
Bernard, Postiaux et Salcin (2000) , Marsh (2007)
Former avant d’évaluer
http://archive.boston.com/bostonglobe/editorial_opinion/outofline
/2010/03/teacher_firings.html
Conseiller pédagogique
o Accompagnement des enseignants
o Formation des enseignants
o Expertise auprès de l’institution
o Pilotage de l’évaluation des enseignements
o Accompagnement des étudiants en difficulté
Expertise en pédagogie
de l’enseignement
supérieur
Connaissance du
métier d’enseignant
- théorique
- pratique
Évaluer l’enseignement
Proposer des améliorations possibles
Mettre en place des stratégies
d’enseignement
Analyser ses résultats
Apporter les changements
nécessaires
Analyser les résultats
Proposer des changements
Appuyer les professeurs
Assurer un suivi
Conseiller les professeurs
Proposer des instruments d’analyse
Offrir des formations pédagogiques en
fonction des besoins
Mettre en place des
procédures d’évaluation
valides
Accorder des ressources
Assurer un suivi
Valoriser l’enseignement
Adhésion &
implication
des acteurs
Bernard (2011)
Conclusion
“C’est la capacité du système
d’évaluation à entraîner des
changements aux différents niveaux
d’acteurs du système
d’enseignement qui lui donne à
l’évaluation sa validité d’usage.”
McKeachie (1997)
Merci de votre attentionBernard, H. (2011). Comment Évaluer, Améliorer, Valoriser l’Enseignement. Guide pratique à l’usage des
professeurs, cadres dirigeants, responsables pédagogiques. Bruxelles : De Boeck.
Bernard, H., Postiaux, N., & Salcin, A. (2000). Les paradoxes de l’évaluation de l’enseignement
universitaire. Revue des sciences de l’éducation, 26(3), 625–650.
Berthiaume, D., Lanarès, J., Jacqmot, C., Winer, L. R., & Rochat, J.-M. (2012). L’évaluation des
enseignements par les étudiants (EEE) comme mesure de soutien au développement professionnel des
enseignants.
Castaigne, J.-L. & Bailly, B. (à paraître) Huit dimensions pour décrire les dispositifs d’évaluation des
enseignements.
Centra, J. A. (2003). Will Teachers Receive Higher Student Evaluations by Giving Higher Grades and Less
Course Work? Research in Higher Education, 44(5), 495–518.
Lanarès, J., Rigaud, D., & Rochat, J.-M. (2009). Des mythes et légendes circulant sur l’évaluation des
enseignements par les étudiant-e-s. Centre de soutien à l’enseignement, Université de Lausanne.
Consulté 4 avril 2014, à l’adresse http://www.unil.ch/Jahia/site/cse/op/edit/pid/70255
Marsh, H. W. (2007). Students’ evaluations of university teaching: A multidimensional perspective. In R. P.
Perry & J C. Smart (Eds.), The Scholarship of Teaching and Learning in Higher Education: An Evidence-
Based Perspective (pp.319-384). New York: Springer.
McKeachie, W. J. (1997). Student ratings: The validity of use. American psychologist, 52(11), 1218-1225.
Seldin, P., Miller, J. E., & Seldin, C. A. (2010). The Teaching Portfolio: A Practical Guide to Improved
Performance and Promotion/Tenure Decisions. John Wiley & Sons.

Contenu connexe

Tendances

Comment fournir des feedbacks formatifs aux étudiant·e·s ?
Comment fournir des feedbacks formatifs aux étudiant·e·s ?Comment fournir des feedbacks formatifs aux étudiant·e·s ?
Comment fournir des feedbacks formatifs aux étudiant·e·s ?
Amaury Daele
 
Classe inversée en formation des enseignants : le cas d’un cours d’évaluation
Classe inversée en formation des enseignants : le cas d’un cours d’évaluationClasse inversée en formation des enseignants : le cas d’un cours d’évaluation
Classe inversée en formation des enseignants : le cas d’un cours d’évaluation
Université de Sherbrooke
 
Dupont florence présentation tfe
Dupont florence présentation tfeDupont florence présentation tfe
Dupont florence présentation tfe
Florence Dupont
 
Evaluer, diagnostiquer, réguler
Evaluer, diagnostiquer, régulerEvaluer, diagnostiquer, réguler
Evaluer, diagnostiquer, réguler
François Georges
 
Le Scholarship of Teaching and Learning (SoTL) . Proposition d’un cadre pour ...
Le Scholarship of Teaching and Learning (SoTL). Proposition d’un cadre pour ...Le Scholarship of Teaching and Learning (SoTL). Proposition d’un cadre pour ...
Le Scholarship of Teaching and Learning (SoTL) . Proposition d’un cadre pour ...
Amaury Daele
 
Inverser sa classe : leurre ou véritable innovation pédagogique ?
Inverser sa classe : leurre ou véritable innovation pédagogique ? Inverser sa classe : leurre ou véritable innovation pédagogique ?
Inverser sa classe : leurre ou véritable innovation pédagogique ?
Université de Sherbrooke
 
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-sFavoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
Amaury Daele
 
Préparer et rédiger des scénarios d’interactivité à intégrer dans son cours
Préparer et rédiger des scénarios d’interactivité à intégrer dans son coursPréparer et rédiger des scénarios d’interactivité à intégrer dans son cours
Préparer et rédiger des scénarios d’interactivité à intégrer dans son cours
Amaury Daele
 
Motivation de l'élève
Motivation de l'élèveMotivation de l'élève
Motivation de l'élève
kennimoulayali
 
Enseigner à un grand groupe
Enseigner à un grand groupeEnseigner à un grand groupe
Enseigner à un grand groupe
Amaury Daele
 
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
Yves Demoulin
 
TÂCHE 5
TÂCHE 5TÂCHE 5
TÂCHE 5
julitacocom
 
La motivation des étudiant-e-s à l'université
La motivation des étudiant-e-s à l'universitéLa motivation des étudiant-e-s à l'université
La motivation des étudiant-e-s à l'université
Amaury Daele
 
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
Amaury Daele
 
Développer la cohérence pédagogique d'un cursus
Développer la cohérence pédagogique d'un cursusDévelopper la cohérence pédagogique d'un cursus
Développer la cohérence pédagogique d'un cursus
TiagoGonalves748886
 
Articuler le travail en classe et le travail en dehors de la classe
Articuler le travail en classe et le travail en dehors de la classeArticuler le travail en classe et le travail en dehors de la classe
Articuler le travail en classe et le travail en dehors de la classe
Amaury Daele
 
Des communautés de pratique pour le e-learning
Des communautés de pratique pour le e-learningDes communautés de pratique pour le e-learning
Des communautés de pratique pour le e-learning
Amaury Daele
 
Comment enseigner à l'Université?
Comment enseigner à l'Université?Comment enseigner à l'Université?
Comment enseigner à l'Université?
Université de Dschang
 
Mettre en place une classe inversée dans son enseignement
Mettre en place une classe inversée dans son enseignementMettre en place une classe inversée dans son enseignement
Mettre en place une classe inversée dans son enseignement
TiagoGonalves748886
 
Animer un enseignement interactif
Animer un enseignement interactifAnimer un enseignement interactif
Animer un enseignement interactif
TiagoGonalves748886
 

Tendances (20)

Comment fournir des feedbacks formatifs aux étudiant·e·s ?
Comment fournir des feedbacks formatifs aux étudiant·e·s ?Comment fournir des feedbacks formatifs aux étudiant·e·s ?
Comment fournir des feedbacks formatifs aux étudiant·e·s ?
 
Classe inversée en formation des enseignants : le cas d’un cours d’évaluation
Classe inversée en formation des enseignants : le cas d’un cours d’évaluationClasse inversée en formation des enseignants : le cas d’un cours d’évaluation
Classe inversée en formation des enseignants : le cas d’un cours d’évaluation
 
Dupont florence présentation tfe
Dupont florence présentation tfeDupont florence présentation tfe
Dupont florence présentation tfe
 
Evaluer, diagnostiquer, réguler
Evaluer, diagnostiquer, régulerEvaluer, diagnostiquer, réguler
Evaluer, diagnostiquer, réguler
 
Le Scholarship of Teaching and Learning (SoTL) . Proposition d’un cadre pour ...
Le Scholarship of Teaching and Learning (SoTL). Proposition d’un cadre pour ...Le Scholarship of Teaching and Learning (SoTL). Proposition d’un cadre pour ...
Le Scholarship of Teaching and Learning (SoTL) . Proposition d’un cadre pour ...
 
Inverser sa classe : leurre ou véritable innovation pédagogique ?
Inverser sa classe : leurre ou véritable innovation pédagogique ? Inverser sa classe : leurre ou véritable innovation pédagogique ?
Inverser sa classe : leurre ou véritable innovation pédagogique ?
 
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-sFavoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
Favoriser l'acquisition de méthodes de travail efficaces par les étudiant-e-s
 
Préparer et rédiger des scénarios d’interactivité à intégrer dans son cours
Préparer et rédiger des scénarios d’interactivité à intégrer dans son coursPréparer et rédiger des scénarios d’interactivité à intégrer dans son cours
Préparer et rédiger des scénarios d’interactivité à intégrer dans son cours
 
Motivation de l'élève
Motivation de l'élèveMotivation de l'élève
Motivation de l'élève
 
Enseigner à un grand groupe
Enseigner à un grand groupeEnseigner à un grand groupe
Enseigner à un grand groupe
 
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
Les TIC comme moyen de motivation pour favoriser la performance dans l’analys...
 
TÂCHE 5
TÂCHE 5TÂCHE 5
TÂCHE 5
 
La motivation des étudiant-e-s à l'université
La motivation des étudiant-e-s à l'universitéLa motivation des étudiant-e-s à l'université
La motivation des étudiant-e-s à l'université
 
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
Le conseil pédagogique dans l'enseignement universitaire: enjeux, missions et...
 
Développer la cohérence pédagogique d'un cursus
Développer la cohérence pédagogique d'un cursusDévelopper la cohérence pédagogique d'un cursus
Développer la cohérence pédagogique d'un cursus
 
Articuler le travail en classe et le travail en dehors de la classe
Articuler le travail en classe et le travail en dehors de la classeArticuler le travail en classe et le travail en dehors de la classe
Articuler le travail en classe et le travail en dehors de la classe
 
Des communautés de pratique pour le e-learning
Des communautés de pratique pour le e-learningDes communautés de pratique pour le e-learning
Des communautés de pratique pour le e-learning
 
Comment enseigner à l'Université?
Comment enseigner à l'Université?Comment enseigner à l'Université?
Comment enseigner à l'Université?
 
Mettre en place une classe inversée dans son enseignement
Mettre en place une classe inversée dans son enseignementMettre en place une classe inversée dans son enseignement
Mettre en place une classe inversée dans son enseignement
 
Animer un enseignement interactif
Animer un enseignement interactifAnimer un enseignement interactif
Animer un enseignement interactif
 

Similaire à Comment améliorer la qualité des apprentissages à l’aide de l’évaluation des enseignements ?

Sapiens cfdip journée doctorants -09-09-14 dt04 08-09-14
Sapiens cfdip  journée doctorants -09-09-14 dt04 08-09-14Sapiens cfdip  journée doctorants -09-09-14 dt04 08-09-14
Sapiens cfdip journée doctorants -09-09-14 dt04 08-09-14
hjavaux
 
Learning analytics&hubblehaitinovembre2016
Learning analytics&hubblehaitinovembre2016Learning analytics&hubblehaitinovembre2016
Learning analytics&hubblehaitinovembre2016
Vanda Luengo
 
Les principes du SoTL
Les principes du SoTLLes principes du SoTL
Les principes du SoTL
University of Lausanne
 
L’analyse de l’apprentissage (learning analytics): une revue de littérature
L’analyse de l’apprentissage (learning analytics): une revue de littératureL’analyse de l’apprentissage (learning analytics): une revue de littérature
L’analyse de l’apprentissage (learning analytics): une revue de littérature
Audrey Bistodeau, CPA, CA, MBA
 
Concevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptxConcevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptx
Radhi Mhiri
 
Métiers de la formation et de l'accompagnement
Métiers de la formation et de l'accompagnementMétiers de la formation et de l'accompagnement
Métiers de la formation et de l'accompagnement
SKennel
 
Lire et écrire avec les TIC, c’est gagnant !
Lire et écrire avec les TIC, c’est gagnant !Lire et écrire avec les TIC, c’est gagnant !
Lire et écrire avec les TIC, c’est gagnant !
plgctreq
 
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
map8slide
 
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
Synhera
 
La place des représentations sociales dans les actions en évaluation chez de ...
La place des représentations sociales dans les actions en évaluation chez de ...La place des représentations sociales dans les actions en évaluation chez de ...
La place des représentations sociales dans les actions en évaluation chez de ...
Nicole Monney (Ph. D)
 
Learning analytics&classejanvier2017
Learning analytics&classejanvier2017Learning analytics&classejanvier2017
Learning analytics&classejanvier2017
Vanda Luengo
 
Accompagner mémoires et rapports d'étude
Accompagner mémoires et rapports d'étudeAccompagner mémoires et rapports d'étude
Accompagner mémoires et rapports d'étude
Jean-Loup Castaigne
 
Les pratiques pédagogiques efficaces
Les pratiques pédagogiques efficacesLes pratiques pédagogiques efficaces
Les pratiques pédagogiques efficaces
France Stratégie
 
Module evaluation
Module evaluationModule evaluation
Module evaluation
DFIE Lyon
 
La régulation pédagogique comme vecteur de valeurs professionnelles
La régulation pédagogique comme vecteur de valeurs professionnellesLa régulation pédagogique comme vecteur de valeurs professionnelles
La régulation pédagogique comme vecteur de valeurs professionnelles
Matthieu Hausman
 
L'intégration du portfolio numérique dans les stage
L'intégration du portfolio numérique dans les stageL'intégration du portfolio numérique dans les stage
L'intégration du portfolio numérique dans les stage
Nicole Monney (Ph. D)
 
Motivation- modèle classe - roch chouinard - 2009
Motivation- modèle classe - roch chouinard - 2009Motivation- modèle classe - roch chouinard - 2009
Motivation- modèle classe - roch chouinard - 2009
jc WECKERLE
 
Filière innovante du Lycée Louis Armand d'Eaubonne
Filière innovante du Lycée Louis Armand d'EaubonneFilière innovante du Lycée Louis Armand d'Eaubonne
Filière innovante du Lycée Louis Armand d'Eaubonne
Morzadec Cécile
 
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
Centre de pédagogie appliquée aux sciences de la santé (CPASS)
 
PERICLES, un outil d'évaluation qualité - 20160416
PERICLES, un outil d'évaluation qualité - 20160416PERICLES, un outil d'évaluation qualité - 20160416
PERICLES, un outil d'évaluation qualité - 20160416
FFFOD
 

Similaire à Comment améliorer la qualité des apprentissages à l’aide de l’évaluation des enseignements ? (20)

Sapiens cfdip journée doctorants -09-09-14 dt04 08-09-14
Sapiens cfdip  journée doctorants -09-09-14 dt04 08-09-14Sapiens cfdip  journée doctorants -09-09-14 dt04 08-09-14
Sapiens cfdip journée doctorants -09-09-14 dt04 08-09-14
 
Learning analytics&hubblehaitinovembre2016
Learning analytics&hubblehaitinovembre2016Learning analytics&hubblehaitinovembre2016
Learning analytics&hubblehaitinovembre2016
 
Les principes du SoTL
Les principes du SoTLLes principes du SoTL
Les principes du SoTL
 
L’analyse de l’apprentissage (learning analytics): une revue de littérature
L’analyse de l’apprentissage (learning analytics): une revue de littératureL’analyse de l’apprentissage (learning analytics): une revue de littérature
L’analyse de l’apprentissage (learning analytics): une revue de littérature
 
Concevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptxConcevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptx
 
Métiers de la formation et de l'accompagnement
Métiers de la formation et de l'accompagnementMétiers de la formation et de l'accompagnement
Métiers de la formation et de l'accompagnement
 
Lire et écrire avec les TIC, c’est gagnant !
Lire et écrire avec les TIC, c’est gagnant !Lire et écrire avec les TIC, c’est gagnant !
Lire et écrire avec les TIC, c’est gagnant !
 
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
Sapiens cfdip journée doctorants -09-09-14 dt05 09-09-14
 
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
JDCHE 20-21 - Conception d'une plateforme de ressources vidéo pour la formati...
 
La place des représentations sociales dans les actions en évaluation chez de ...
La place des représentations sociales dans les actions en évaluation chez de ...La place des représentations sociales dans les actions en évaluation chez de ...
La place des représentations sociales dans les actions en évaluation chez de ...
 
Learning analytics&classejanvier2017
Learning analytics&classejanvier2017Learning analytics&classejanvier2017
Learning analytics&classejanvier2017
 
Accompagner mémoires et rapports d'étude
Accompagner mémoires et rapports d'étudeAccompagner mémoires et rapports d'étude
Accompagner mémoires et rapports d'étude
 
Les pratiques pédagogiques efficaces
Les pratiques pédagogiques efficacesLes pratiques pédagogiques efficaces
Les pratiques pédagogiques efficaces
 
Module evaluation
Module evaluationModule evaluation
Module evaluation
 
La régulation pédagogique comme vecteur de valeurs professionnelles
La régulation pédagogique comme vecteur de valeurs professionnellesLa régulation pédagogique comme vecteur de valeurs professionnelles
La régulation pédagogique comme vecteur de valeurs professionnelles
 
L'intégration du portfolio numérique dans les stage
L'intégration du portfolio numérique dans les stageL'intégration du portfolio numérique dans les stage
L'intégration du portfolio numérique dans les stage
 
Motivation- modèle classe - roch chouinard - 2009
Motivation- modèle classe - roch chouinard - 2009Motivation- modèle classe - roch chouinard - 2009
Motivation- modèle classe - roch chouinard - 2009
 
Filière innovante du Lycée Louis Armand d'Eaubonne
Filière innovante du Lycée Louis Armand d'EaubonneFilière innovante du Lycée Louis Armand d'Eaubonne
Filière innovante du Lycée Louis Armand d'Eaubonne
 
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
Portfolio ou pratique réflexive? Constat 5 ans post-implantation de l’approch...
 
PERICLES, un outil d'évaluation qualité - 20160416
PERICLES, un outil d'évaluation qualité - 20160416PERICLES, un outil d'évaluation qualité - 20160416
PERICLES, un outil d'évaluation qualité - 20160416
 

Plus de Jean-Loup Castaigne

Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
Jean-Loup Castaigne
 
Enseigner et Apprendre en enseignement supérieur
Enseigner et Apprendre en enseignement supérieurEnseigner et Apprendre en enseignement supérieur
Enseigner et Apprendre en enseignement supérieur
Jean-Loup Castaigne
 
Experiential Learning in Architecture Education
Experiential Learning in Architecture EducationExperiential Learning in Architecture Education
Experiential Learning in Architecture Education
Jean-Loup Castaigne
 
Année de césure : un truc de branleur ?
Année de césure : un truc de branleur ?Année de césure : un truc de branleur ?
Année de césure : un truc de branleur ?
Jean-Loup Castaigne
 
Faire participer les étudiants avec les boîtiers de vote
Faire participer les étudiants avec les boîtiers de voteFaire participer les étudiants avec les boîtiers de vote
Faire participer les étudiants avec les boîtiers de vote
Jean-Loup Castaigne
 
Apprentissage par problème APP — PBL
Apprentissage par problème APP — PBLApprentissage par problème APP — PBL
Apprentissage par problème APP — PBL
Jean-Loup Castaigne
 
Accompagner mémoires et rapports d'étude en école d'architecture
Accompagner mémoires et rapports d'étude en école d'architectureAccompagner mémoires et rapports d'étude en école d'architecture
Accompagner mémoires et rapports d'étude en école d'architecture
Jean-Loup Castaigne
 
Aller plus loin avec les QCM grâce aux degrés de certitude
Aller plus loin avec les QCM grâce aux degrés de certitudeAller plus loin avec les QCM grâce aux degrés de certitude
Aller plus loin avec les QCM grâce aux degrés de certitude
Jean-Loup Castaigne
 
Classes inversées… avant l’invention du terme
Classes inversées… avant l’invention du termeClasses inversées… avant l’invention du terme
Classes inversées… avant l’invention du terme
Jean-Loup Castaigne
 
La pédagogie du projet par le projet pour soutenir la créativité
La pédagogie du projet par le projet pour soutenir la créativitéLa pédagogie du projet par le projet pour soutenir la créativité
La pédagogie du projet par le projet pour soutenir la créativité
Jean-Loup Castaigne
 
Séminaire de rentrée des étudiants de L1
Séminaire de rentrée des étudiants de L1Séminaire de rentrée des étudiants de L1
Séminaire de rentrée des étudiants de L1
Jean-Loup Castaigne
 
Enseigner et apprendre
Enseigner et apprendreEnseigner et apprendre
Enseigner et apprendre
Jean-Loup Castaigne
 
Murène ou Alien ?
Murène ou Alien ?Murène ou Alien ?
Murène ou Alien ?
Jean-Loup Castaigne
 
Qui est cette carpe ?
Qui est cette carpe ?Qui est cette carpe ?
Qui est cette carpe ?
Jean-Loup Castaigne
 
Quelques indices pour différencier blennies et gobies
Quelques indices pour différencier blennies et gobiesQuelques indices pour différencier blennies et gobies
Quelques indices pour différencier blennies et gobies
Jean-Loup Castaigne
 
Compensation ensaL
Compensation ensaLCompensation ensaL
Compensation ensaL
Jean-Loup Castaigne
 
Teaching Architecture, incl. Studio: Education's Sciences POV
Teaching Architecture, incl. Studio: Education's Sciences POVTeaching Architecture, incl. Studio: Education's Sciences POV
Teaching Architecture, incl. Studio: Education's Sciences POV
Jean-Loup Castaigne
 
L'évaluation des enseignements et des formations par les étudiants, un des él...
L'évaluation des enseignements et des formations par les étudiants, un des él...L'évaluation des enseignements et des formations par les étudiants, un des él...
L'évaluation des enseignements et des formations par les étudiants, un des él...
Jean-Loup Castaigne
 
Crabe chinois dans la Meuse Hollandaise
Crabe chinois dans la Meuse HollandaiseCrabe chinois dans la Meuse Hollandaise
Crabe chinois dans la Meuse Hollandaise
Jean-Loup Castaigne
 
Pédagogie pour adultes
Pédagogie pour adultesPédagogie pour adultes
Pédagogie pour adultes
Jean-Loup Castaigne
 

Plus de Jean-Loup Castaigne (20)

Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
Formation des nouveaux Enseignants-Chercheurs, IMT-A 2018
 
Enseigner et Apprendre en enseignement supérieur
Enseigner et Apprendre en enseignement supérieurEnseigner et Apprendre en enseignement supérieur
Enseigner et Apprendre en enseignement supérieur
 
Experiential Learning in Architecture Education
Experiential Learning in Architecture EducationExperiential Learning in Architecture Education
Experiential Learning in Architecture Education
 
Année de césure : un truc de branleur ?
Année de césure : un truc de branleur ?Année de césure : un truc de branleur ?
Année de césure : un truc de branleur ?
 
Faire participer les étudiants avec les boîtiers de vote
Faire participer les étudiants avec les boîtiers de voteFaire participer les étudiants avec les boîtiers de vote
Faire participer les étudiants avec les boîtiers de vote
 
Apprentissage par problème APP — PBL
Apprentissage par problème APP — PBLApprentissage par problème APP — PBL
Apprentissage par problème APP — PBL
 
Accompagner mémoires et rapports d'étude en école d'architecture
Accompagner mémoires et rapports d'étude en école d'architectureAccompagner mémoires et rapports d'étude en école d'architecture
Accompagner mémoires et rapports d'étude en école d'architecture
 
Aller plus loin avec les QCM grâce aux degrés de certitude
Aller plus loin avec les QCM grâce aux degrés de certitudeAller plus loin avec les QCM grâce aux degrés de certitude
Aller plus loin avec les QCM grâce aux degrés de certitude
 
Classes inversées… avant l’invention du terme
Classes inversées… avant l’invention du termeClasses inversées… avant l’invention du terme
Classes inversées… avant l’invention du terme
 
La pédagogie du projet par le projet pour soutenir la créativité
La pédagogie du projet par le projet pour soutenir la créativitéLa pédagogie du projet par le projet pour soutenir la créativité
La pédagogie du projet par le projet pour soutenir la créativité
 
Séminaire de rentrée des étudiants de L1
Séminaire de rentrée des étudiants de L1Séminaire de rentrée des étudiants de L1
Séminaire de rentrée des étudiants de L1
 
Enseigner et apprendre
Enseigner et apprendreEnseigner et apprendre
Enseigner et apprendre
 
Murène ou Alien ?
Murène ou Alien ?Murène ou Alien ?
Murène ou Alien ?
 
Qui est cette carpe ?
Qui est cette carpe ?Qui est cette carpe ?
Qui est cette carpe ?
 
Quelques indices pour différencier blennies et gobies
Quelques indices pour différencier blennies et gobiesQuelques indices pour différencier blennies et gobies
Quelques indices pour différencier blennies et gobies
 
Compensation ensaL
Compensation ensaLCompensation ensaL
Compensation ensaL
 
Teaching Architecture, incl. Studio: Education's Sciences POV
Teaching Architecture, incl. Studio: Education's Sciences POVTeaching Architecture, incl. Studio: Education's Sciences POV
Teaching Architecture, incl. Studio: Education's Sciences POV
 
L'évaluation des enseignements et des formations par les étudiants, un des él...
L'évaluation des enseignements et des formations par les étudiants, un des él...L'évaluation des enseignements et des formations par les étudiants, un des él...
L'évaluation des enseignements et des formations par les étudiants, un des él...
 
Crabe chinois dans la Meuse Hollandaise
Crabe chinois dans la Meuse HollandaiseCrabe chinois dans la Meuse Hollandaise
Crabe chinois dans la Meuse Hollandaise
 
Pédagogie pour adultes
Pédagogie pour adultesPédagogie pour adultes
Pédagogie pour adultes
 

Dernier

Zineb Mekouar.pptx Écrivaine marocaine
Zineb Mekouar.pptx   Écrivaine  marocaineZineb Mekouar.pptx   Écrivaine  marocaine
Zineb Mekouar.pptx Écrivaine marocaine
Txaruka
 
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
dokposeverin
 
A2-Faire-une-appreciation positive et/ou négative (A2)
A2-Faire-une-appreciation positive et/ou négative (A2)A2-Faire-une-appreciation positive et/ou négative (A2)
A2-Faire-une-appreciation positive et/ou négative (A2)
lebaobabbleu
 
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptxMARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
Martin M Flynn
 
Burkina Faso libraries newsletter for June 2024
Burkina Faso libraries newsletter for June 2024Burkina Faso libraries newsletter for June 2024
Burkina Faso libraries newsletter for June 2024
Friends of African Village Libraries
 
apprendre-a-programmer-avec-python-3.pdf
apprendre-a-programmer-avec-python-3.pdfapprendre-a-programmer-avec-python-3.pdf
apprendre-a-programmer-avec-python-3.pdf
kamouzou878
 
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
Editions La Dondaine
 
MS-203 Microsoft 365 Messaging Study Guide to prepare the certification
MS-203 Microsoft 365 Messaging Study Guide to prepare the certificationMS-203 Microsoft 365 Messaging Study Guide to prepare the certification
MS-203 Microsoft 365 Messaging Study Guide to prepare the certification
OlivierLumeau1
 
Microbiologie: le monde microbien et les techniques de mise en évidence.
Microbiologie: le monde microbien et les techniques de mise en évidence.Microbiologie: le monde microbien et les techniques de mise en évidence.
Microbiologie: le monde microbien et les techniques de mise en évidence.
MahouwetinJacquesGBO
 
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
mcevapi3
 
Formation M2i - Attitude constructive : développer l'art de l'optimisme
Formation M2i - Attitude constructive : développer l'art de l'optimismeFormation M2i - Attitude constructive : développer l'art de l'optimisme
Formation M2i - Attitude constructive : développer l'art de l'optimisme
M2i Formation
 
1eT Revolutions Empire Revolution Empire
1eT Revolutions Empire Revolution Empire1eT Revolutions Empire Revolution Empire
1eT Revolutions Empire Revolution Empire
NadineHG
 
A2-Critiques-gastronomiques activités critiques
A2-Critiques-gastronomiques activités critiquesA2-Critiques-gastronomiques activités critiques
A2-Critiques-gastronomiques activités critiques
lebaobabbleu
 

Dernier (13)

Zineb Mekouar.pptx Écrivaine marocaine
Zineb Mekouar.pptx   Écrivaine  marocaineZineb Mekouar.pptx   Écrivaine  marocaine
Zineb Mekouar.pptx Écrivaine marocaine
 
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
Manuel-5.-Elevage-de-poisson-chat-africain-Clarias-gariepinus-en-bacs-hors-so...
 
A2-Faire-une-appreciation positive et/ou négative (A2)
A2-Faire-une-appreciation positive et/ou négative (A2)A2-Faire-une-appreciation positive et/ou négative (A2)
A2-Faire-une-appreciation positive et/ou négative (A2)
 
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptxMARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
MARTYRS DE HOLLANDE - La révolte hollandaise et les guerres de religion..pptx
 
Burkina Faso libraries newsletter for June 2024
Burkina Faso libraries newsletter for June 2024Burkina Faso libraries newsletter for June 2024
Burkina Faso libraries newsletter for June 2024
 
apprendre-a-programmer-avec-python-3.pdf
apprendre-a-programmer-avec-python-3.pdfapprendre-a-programmer-avec-python-3.pdf
apprendre-a-programmer-avec-python-3.pdf
 
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
La Révolution Bénédictine Casadéenne du Livradois-Forez: De Charlemagne à Fra...
 
MS-203 Microsoft 365 Messaging Study Guide to prepare the certification
MS-203 Microsoft 365 Messaging Study Guide to prepare the certificationMS-203 Microsoft 365 Messaging Study Guide to prepare the certification
MS-203 Microsoft 365 Messaging Study Guide to prepare the certification
 
Microbiologie: le monde microbien et les techniques de mise en évidence.
Microbiologie: le monde microbien et les techniques de mise en évidence.Microbiologie: le monde microbien et les techniques de mise en évidence.
Microbiologie: le monde microbien et les techniques de mise en évidence.
 
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
[218_phot_d'Autriche-Hongrie_et_des_[...]Vaffier_Hubert_btv1b8594559c.pdf
 
Formation M2i - Attitude constructive : développer l'art de l'optimisme
Formation M2i - Attitude constructive : développer l'art de l'optimismeFormation M2i - Attitude constructive : développer l'art de l'optimisme
Formation M2i - Attitude constructive : développer l'art de l'optimisme
 
1eT Revolutions Empire Revolution Empire
1eT Revolutions Empire Revolution Empire1eT Revolutions Empire Revolution Empire
1eT Revolutions Empire Revolution Empire
 
A2-Critiques-gastronomiques activités critiques
A2-Critiques-gastronomiques activités critiquesA2-Critiques-gastronomiques activités critiques
A2-Critiques-gastronomiques activités critiques
 

Comment améliorer la qualité des apprentissages à l’aide de l’évaluation des enseignements ?

  • 1. Comment améliorer la qualité des apprentissages à l’aide de l’évaluation des enseignements ? Jean-Loup Castaigne
  • 2. Qui pourrait évaluer la qualité de votre enseignement ? • Seul, écrire vos idées sur qui pourrait évaluer votre enseignement (1 minute) • Avec votre voisin, produire une liste commune (1 minute) • Mise en commune : rapporter UNE idée originale à la fois
  • 3. Sources d'information pertinentes pour évaluer Castaigne & Bailly (à paraître) 0 200 400 Les étudiants ayant suivi votre enseignement Vous-même en tant qu'enseignant Le responsable de la formation Des collègues avec lesquels vous travaillez Des spécialistes de votre discipline Un accompagnant des enseignants CP Pas pertinent Plutôt pas pertinent Plutôt pertinent Pertinent
  • 4. Étudiants compétents ? Convergence des avis des étudiants et des avis o des enseignants qui s’auto‐évaluent o des observateurs extérieurs o d’administrations universitaires Feldman (1988), Nasser (2006), Rosenthine & Furth (1973), Murray (1983) , Feldman (1989)
  • 5. Compétents pour quoi ? Dimensions évaluables par les étudiants + leur expérience d’apprentissage - le contenu d’un cours - les connaissances d’un enseignant dans son domaine Braskamp et Ory (1994), Poissant (1996)
  • 6. Quelles dimensions évaluer ? 1. Planification de l’enseignement 2. Prestation en enseignement 3. Évaluation des apprentissages 4. Connaissance de la discipline 5. Engagement personnel dans l’amélioration de ses enseignements 6. Engagement institutionnel dans l’amélioration de la qualité de la formation Bernard (2011)
  • 7. Pertinence des outils ? Castaigne & Bailly (à paraître) 0 200 400 Des questionnaires remplis par les étudiants. Une discussion que vous menez avec tous les étudiants. Votre réflexion sur votre enseignement formulée par écrit. Une séquence filmée de vous en train d'enseigner. Une observation directe par un autre enseignant. Une observation directe par un conseiller pédagogique Sans avis Non Plutôt non Plutôt oui Oui
  • 8. Rigueur et validité Élaborer des outils Valider Distribuer Collecter donnéesProduire des rapports EE Bernard (2011)
  • 9. Analyser à partir des évaluations Analyses des résultats Comité de Programme Réponses des étudiants Matériel enseignement Matériel évaluation Points Forts Aspects à améliorer Modifications à apporter Mise en place des modifications Bernard (2011)
  • 10. Rigueur et validité Élaborer des instruments Valider Distribuer Collecter donnéesProduire des rapports EE Analyser les résultats Interpréter les résultats Assurer un suivi Bernard (2011)
  • 11. Aujourd’hui, quels impacts ? 80% des 1300 professeurs interrogés disent que leur établissement « devrait entreprendre des mesures concrètes pour améliorer l’enseignement » Bernard, Postiaux et Salcin (2000) , Marsh (2007)
  • 13. Aujourd’hui, quels impacts ? 80% des 1300 professeurs interrogés disent que leur établissement « devrait entreprendre des mesures concrètes pour améliorer l’enseignement » 50% constatent que « les professeurs ne disposent pas des ressources nécessaires lorsque les résultats des évaluations indiquent des aspects à améliorer » Bernard, Postiaux et Salcin (2000) , Marsh (2007)
  • 15. Conseiller pédagogique o Accompagnement des enseignants o Formation des enseignants o Expertise auprès de l’institution o Pilotage de l’évaluation des enseignements o Accompagnement des étudiants en difficulté Expertise en pédagogie de l’enseignement supérieur Connaissance du métier d’enseignant - théorique - pratique
  • 16. Évaluer l’enseignement Proposer des améliorations possibles Mettre en place des stratégies d’enseignement Analyser ses résultats Apporter les changements nécessaires Analyser les résultats Proposer des changements Appuyer les professeurs Assurer un suivi Conseiller les professeurs Proposer des instruments d’analyse Offrir des formations pédagogiques en fonction des besoins Mettre en place des procédures d’évaluation valides Accorder des ressources Assurer un suivi Valoriser l’enseignement Adhésion & implication des acteurs Bernard (2011)
  • 17. Conclusion “C’est la capacité du système d’évaluation à entraîner des changements aux différents niveaux d’acteurs du système d’enseignement qui lui donne à l’évaluation sa validité d’usage.” McKeachie (1997)
  • 18. Merci de votre attentionBernard, H. (2011). Comment Évaluer, Améliorer, Valoriser l’Enseignement. Guide pratique à l’usage des professeurs, cadres dirigeants, responsables pédagogiques. Bruxelles : De Boeck. Bernard, H., Postiaux, N., & Salcin, A. (2000). Les paradoxes de l’évaluation de l’enseignement universitaire. Revue des sciences de l’éducation, 26(3), 625–650. Berthiaume, D., Lanarès, J., Jacqmot, C., Winer, L. R., & Rochat, J.-M. (2012). L’évaluation des enseignements par les étudiants (EEE) comme mesure de soutien au développement professionnel des enseignants. Castaigne, J.-L. & Bailly, B. (à paraître) Huit dimensions pour décrire les dispositifs d’évaluation des enseignements. Centra, J. A. (2003). Will Teachers Receive Higher Student Evaluations by Giving Higher Grades and Less Course Work? Research in Higher Education, 44(5), 495–518. Lanarès, J., Rigaud, D., & Rochat, J.-M. (2009). Des mythes et légendes circulant sur l’évaluation des enseignements par les étudiant-e-s. Centre de soutien à l’enseignement, Université de Lausanne. Consulté 4 avril 2014, à l’adresse http://www.unil.ch/Jahia/site/cse/op/edit/pid/70255 Marsh, H. W. (2007). Students’ evaluations of university teaching: A multidimensional perspective. In R. P. Perry & J C. Smart (Eds.), The Scholarship of Teaching and Learning in Higher Education: An Evidence- Based Perspective (pp.319-384). New York: Springer. McKeachie, W. J. (1997). Student ratings: The validity of use. American psychologist, 52(11), 1218-1225. Seldin, P., Miller, J. E., & Seldin, C. A. (2010). The Teaching Portfolio: A Practical Guide to Improved Performance and Promotion/Tenure Decisions. John Wiley & Sons.

Notes de l'éditeur

  1. les étudiants l’enseignant l’administration les pairs des experts disciplinaires des experts en enseignement
  2. Quid du monde professionnel ?
  3. Chaque manière de recueillir de l'information présentée ci-dessous vous parait-elle pertinente pour évaluer vos enseignements ?
  4. VALORISER Quel équivalent au Publish or perich? culture de l'enseignement ? Quelles décisions sont prises pour favoriser l’investissement des eA dans l’eM (ressources matérielles / € / humaines, bibliothèque, informatique, matériel, CP,…) Quelles actions pour les nvx eA ? Mentors, CP,… Quelle place à l’eM dans la promotion ? Dans la reconnaissance plus que dans la récompense ? Reconnue grâce à l’EEE+ auto éval + pairs Quels soutiens à l’innovation pédagogique, même sans les TICE ? Si l’eM est au second plan, quelle place pour l’EE ? • l'engagement manifeste des hautes autorités à l'égard de l'enseignement; • la reconnaissance tangible, à des fins de promotion, des réalisations méritoires en enseignement; • la mise en place d'activités de soutien à l'enseignement et l'accessibilité à des ressources matérielles, humaines et financières adéquates; • l'exercice d'un leadership proactif par les directions de département, des études, des programmes, etc. • une collaboration en enseignement au sein du corps professoral. AMELIORER le dossier d'enseignement rédigé par le professeur. Après une réflexion critique sur ses enseignements, la mise en évidence de ses succès et la reconnaissance de ses difficultés et des stratégies qu'il a mises au point pour les corriger
  5. Herbert W. Marsh (Oxford University) : 195 teachers evaluated continuously over 13 years (average of 30.9 classes/ teacher). I evaluated the linear and nonlinear effects of year, course level (graduate vs. undergraduate), and their interaction. Changes in ratings over time were all close to zero for the 9 SEEQ factors and the two overall rating items. Mean ratings of same teachers are VERY stable over 13 years.