Le document aborde les défis de l'évaluation dans un système éducatif ségrégué, soulignant l'importance de la qualité et de l'objectivité tout en reconnaissant l'inévitabilité des conflits d'intérêts. Il présente des données sur l'impact des facteurs socio-économiques sur les performances des élèves en mathématiques et plaide pour une gestion scolaire collaborative et inclusive. Enfin, il met en avant la nécessité d'une vision claire et du soutien des équipes éducatives pour améliorer la qualité des systèmes éducatifs.

1. Evaluer dans un système marqué par
la ségrégation
Dirk JACOBS
dirk.jacobs@ulb.ac.be
Twitter: @DirkJacobs71
30e
colloque de l’ADMEE-Europe au Luxembourg
Association pour le Développement des Méthodologies
d'Évaluation en Éducation en Europe
11 Janvier 2018
The research leading to these results has received funding from the European
Research Council under the European Union's Seventh Framework Programme
(FP/2007-2013) / ERC Grant Agreement 28360

2. Impossible d’être neutre
Points de consensus sur l’évaluation et l’inspection:
 La qualité est importante
 L’évaluation de la qualité est importante
 L’évaluation doit être objective (et avoir un élément extérieur)
La vision disruptive des sciences sociales sur l’évaluation et
l’inspection…
 Qualité de l’Education : il y aura par définition un manque de consensus
sur la définition et l’opérationnalisation
 Evaluation sera par définition et inévitablement conflictuelle parce que
les enjeux sont importants et il y a des intérêts (souvent structurellement
en compétition) en cause
 Importance de la validité et la fiabilité d’assurer l’objectivité mais… il
n’y a jamais neutralité
Standing International Conference of
National and Regional Inspectorates of
education (SICI), Anvers 2014

3. Objectivité = validité et fiabilité
Validité : est-ce que nous mesurons ce que nous prétendons mesurer?
Fiabilité : en cas d’une réalité « stable », est-ce que différents
instruments et stratégies de mesurage pointent vers les mêmes
résultats? (cfr. fiabilité intercodeurs, triangulation)
La base pour une approche objective solide se retrouve dans les
garanties méthodologiques pour la réalisation d’un maximum de validité
et fiabilité
La notion de biais et erreur est assumée et mobilisée dans la pratique
scientifique, mais est vu comme problématique dans le cas
d’évaluation/inspection
 On attend des évaluateurs et inspecteurs de délivrer une même
rigueur que les scientifiques (sociales), sans pour autant avoir une
marge d’erreur (ce que les scientifiques peuvent plus facilement
assumer)
 Mission impossible ?
Objectivité oui, mais il n’y a jamais neutralité
Ce n’est jamais qu’une démarche « technique » sans enjeux, sans
contexte socio-politique ni sans rapports de force

4. Qualité et évaluation de systèmes éducatifs? Résultats moyens pour mathématiques
PISA 2015 (critère d’efficacité, performances globales)

5. Critère de l’équité: Nuage de points entre les résultats en mathématiques
et l’index du statut socioéconomique et culturel en Communauté française,
en fonction de l’orientation scolaire (général ou qualifiant) PISA 2012

6. Qualité? Mathématiques PISA 2015: Variance expliquée
par l’origine socio-économique (critère de l’équité)

7. Combinaison de
critères:
Croisement entre
efficacité
(performances
moyennes) et
équité (variance
expliquée) pour
mathématiques
PISA 2015
Moins d’équité Plus d’équité
Fortes
performances
Faibles
performances

8. Croisement
performances et
équité pour
lecture
(PISA 2015)

9. Qualité? Mathématiques PISA 2015: Proportion d’élèves (en
pourcentage) par niveau de compétence (critère du seuil
minimal de performances)

10. PROFICIENCY LEVEL MATHEMATICS
PISA 2012

11. Qualité? Mathématiques PISA 2015: Ecart interdécile
(différence entre les plus forts et les plus faibles)

12. Croisement entre
efficacité
(performances
moyennes) et
dispersion (écart
interdécile) pour
mathématiques
Différences moins
grandes entre élèves
Différences plus
grandes entre élèves

13. Croisement entre
équité (variance
expliquée) et
dispersion (écart
interdécile) pour
mathématiques
Différences plus
grandes entre élèves
Différences moins
grandes entre élèves
Plus d’équité
Moins d’équité

14. Proportion d’élèves par niveau de compétence en lecture selon la
catégorie d’immigration

15. Évolution des scores moyens en mathématiques selon la
catégorie migratoire

16. Equal opportunities for migrant youth in
educational systems with high levels of
social and ethnic segregation - assessing
the impact of school team resources
Dirk JACOBS, Alejandra ALARCON-HENRIQUEZ, Julien DANHIER,
Emilie MARTIN
Université Libre de Bruxelles
Julien DANHIER "Little Matthew has also chosen the Wrong
School. Secondary Analyses of Compositional Effect in a
Segregated Educational System“, 20 April 2016
Emilie MARTIN "Teacher Self-Efficacy and Student
Achievement: From Measurement Clarifications to
Multilevel Regression Modeling“, 12 June 2017

17. •In schools with high numbers of at-risk (migrant) students, weaker school team resources
(high teacher turnover, lower effectiveness, lower collective teacher efficacy)
•In schools with low number of at-risk (migrant) students, stronger school team resources
(low turnover, higher effectiveness, higher collective teacher efficacy)

18. EQUOP data set
Data collection beginning school year 2014-2015
2nd
year of Secondary education, Francophone schools in Belgium
Sample of 164 secondary schools contacted (=1/3 of total number of schools),
106 participated
12570 pupils
620 classes
398 mathematics teachers
106 schools
Merged on individual level with test scores on national tests CEB (end of
primary school) and CE1D (end of 2nd
year of secondary education)
Integrated (and usable) dataset:
10395 pupils
589 classes
388 mathematics teachers
103 schools
Procedure of opt-out by parents and pupils (570 did so)

19. Index Socio-Economic Position, calculated in a factor analyses
using the variables: highest educational level parents, highest
professional status parents, home possesions and number of books
at home
Results on
standardized
national
mathematics test
at the end of the
2nd
year of
secondary
education
(n=10.395)
R=0.406***
R²=0.165
poorer parents richer parents
Higher results
Weaker results

20. Retard scolaire dans l’enseignement secondaire, 4ième
année et 5ième
année (2013-
2014)
Données exhaustives, source: Fédération Wallonie Bruxelles, fichier comptage des élèves,
traitement GERME-ULB

21. Taux de redoublement
PISA 2015

22. Results on
standardized
national
mathematics
test at the end
of the 2nd
year
of secondary
education,
Class mean
result
(n=608)
Index Socio-Economic Position, class means, calculated in a factor analyses using the
variables: highest educational level parents, highest professional status parents, home
possesions and number of books at home
poorer parents richer parents
Higher results
Weaker results

23. Maîtrise des données
“In God we may trust, in facts we believe”
La récolte des données n’est pas un but en soi, mais qu’un moyen
L’objectif est la consolidation de qualité et l’amélioration de la
qualité
Tension: “Trust is good, control is better”
ou “Control is good, but trust is better” ?
L’inspection et l’évaluation comme un élément dans un
processus d’apprentissage
L’inspection et l’évaluation devraient être une expérience d’apprentissage
En même temps, il y a des limites à l’apprentissage et la patience, il faut
également du contrôle et la sanction
L’élément clef est la légitimité de l’évaluation
A éviter sont la bureaucratisation, window dressing, une lutte de pouvoir
Avouer des faiblesses n’est pas un échec mais un atout potentiel
En même temps, la résignation et le fatalisme ne sont pas des options
valables

24. Une vision d’école et une gestion forte de l’école
Quelques éléments repris de Leithwood, Harris & Hopkins (2008):
 Dévelopment d’une vision
- Construction d’une vision partagée
- Augmenter l’acceptation d’objectifs partagés
- Montrer des attentes élevées
 Comprendre et stimuler le développement des collègues
 Restructuration organisationnelle et relations externes
- Créer une culture de la coopération
- Remédier le fonctionnement interne
- Construire des contacts positifs avec parents et quartier
 Gestion du program d’apprentisssage
- Équipe compétente, affectation dans les bons endroits
- Soutien dans les tâches éducatives
- Analyse et documentation
Remarque critique (Kelchtermans & Piot, 2010):
- Il n’y a pas de formule magique et la direction ne saura jamais tout
gérer

25.  D’abord une vision avant de se profiler
- Les écoles fortes sont des écoles avec une vision (peu importe la
composition)
- Pas de gestion efficace sans analyse (forces et faiblesses)
- La vision et la gestion de l’école est la responsabilité de la direction mais
doit devenir un projet collectif d’équipe
- Casser la mentalité de « roi/reine dans la classe »
- Opter pour le pari d’éducabilité, être attentifs aux effets non-souhaités
des attentes implicites
- Une vision donne un rayonnement automatique (mais doit également
être valorisée)

26.  Vision et gestion d’école dans un contexte éducatif plus
large
- Assertivité dans un contexte de compétition, mais encore mieux
solidarité avec toutes les écoles dans le bassin scolaire
- Créer des partenariats au-delà de l’école, les parents sont également
des ambassadeurs potentiels de l’école (mais en faisant attention au
risque de « colonisation » (Van Zanten) de l’école)
- Des politiques de soins et une approche inclusive ne doivent pas être
perçu ni présenté comme un signal de faiblesse, mais comme une
preuve de force (mais on doit assurer l’équilibre et garantir que la
différentiation bénéficie également aux élèves les plus fortes)
 Se profiler en douceur mais dans la continuité
- Observer l’école du point de vue des parents (et acteurs externes)
- Consolider ou fixer la réputation (après analyse)
- Site internet, stratégie médiatique
- Le pari d’éducabilité et la vision de l’école doivent se traduire en mots
et actions: l’équipe pédagogique devrait (vouloir) envoyer leurs propres
enfants à l’école où on travaille

27. Merci pour votre attention
http://equop.ulb.ac.be/
Twitter: @DirkJacobs71
The research leading to these results has received funding from the European
Research Council under the European Union's Seventh Framework Programme
(FP/2007-2013) / ERC Grant Agreement 28360