Vers une évaluation indirecte en VAE – 2012, pages 1 à 28
Vers une évaluation indirecte en VAE
Béatrice CLOT
IPSA
Universi...
2 - B. Clot - 2012
Sommaire
Introduction.....................................................................................
Vers une évaluation indirecte en VAE - 3
reconnaît que l’expérience peut être source d’apprentissage à « égalité de dignit...
4 - B. Clot - 2012
niveaux à atteindre, les critères de réussite… Le référentiel indique aussi les modalités
d’évaluation ...
Vers une évaluation indirecte en VAE - 5
obtenant une validation totale par rapport au nombre de candidats se présentant d...
6 - B. Clot - 2012
2. L’évaluation : approche théorique
Évaluer, c’est produire un jugement de valeur pour prendre des déc...
Vers une évaluation indirecte en VAE - 7
présidant au fonctionnement des institutions sociales » (Barbier, 1985, p 76) ; e...
8 - B. Clot - 2012
La dynamique globale du parcours du candidat donne des informations au jury : la corres-
pondance avec ...
Vers une évaluation indirecte en VAE - 9
grille pour évaluer (calquée sur le référentiel de compétences) et une démarche. ...
10 - B. Clot - 2012
d’autoévaluation du candidat, ses capacités d’analyse des pratiques ; celles-ci sont un critère
transv...
Vers une évaluation indirecte en VAE - 11
demander si l’expérience socioprofessionnelle, ou les variables de genre et d’âg...
12 - B. Clot - 2012
 Aline (collège professionnel, femme, 50/59 ans), membre de jury VAE depuis quatre
ans et demi, elle ...
Vers une évaluation indirecte en VAE - 13
un critère peut rendre l’évaluateur plus exigeant : critère de complétude (Aline...
14 - B. Clot - 2012
Le certificateur est perplexe quant à la possibilité d’évaluer la transférabilité : essayer de
repérer...
Vers une évaluation indirecte en VAE - 15
rapport à un référentiel » ; il n’est pas certain « qu’il n’y ait pas un biais »...
16 - B. Clot - 2012
Le critère d’authenticité consiste à vérifier que le candidat n’est pas simplement « confor-
miste » (...
Vers une évaluation indirecte en VAE - 17
de sens » que les contenus académiques. « Il s’agit de démontrer que ces temps d...
18 - B. Clot - 2012
5.1. Les risques d’une approche fixiste à partir du référentiel
La recherche d’une preuve directe, d’u...
Vers une évaluation indirecte en VAE - 19
concertée, il n’en demeure pas moins que la majorité des évaluateurs les utilise...
20 - B. Clot - 2012
partenaires) ?" ou "le candidat est-il capable de prendre en considération la pluralité des
points de ...
Vers une évaluation indirecte en VAE - 21
Ce critère de profondeur du retour réflexif mériterait d’être déployé, il est au...
22 - B. Clot - 2012
essais et erreurs, à l’adaptation des outils… et, dans un registre non exigible : aux proposi-
tions d...
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Evaluation en VAE - Travail social
Prochain SlideShare
Chargement dans…5
×

Evaluation en VAE - Travail social

2 735 vues

Publié le

"Vers une évaluation indirecte en VAE" : un article de recherche sur l'évaluation en VAE du Travail social. Procédures et approches des évaluateurs. Critères d'évaluation. Niveau de réflexivité du candidat...

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
2 735
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
16
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Evaluation en VAE - Travail social

  1. 1. Vers une évaluation indirecte en VAE – 2012, pages 1 à 28 Vers une évaluation indirecte en VAE Béatrice CLOT IPSA Université Catholique de l’Ouest 3 place André Leroy B.P. 10808 49008 Angers Cedex 01 Courriel : beatrice.clot@sfr.fr RÉSUMÉ. Les titres et diplômes professionnels du travail social sont accessibles par la voie de la VAE (validation des acquis de l’expérience). Les procédures et approches utilisées pour évaluer sont cruciales dans le champ de la VAE. À partir d’une enquête auprès d’évaluateurs, cette étude prend en compte la difficulté à évaluer et propose une lecture des pratiques d’évaluation des acquis de l’expérience par les jurys. Ce type d’évaluation demande de construire et d’expliciter des critères et particulièrement celui de profondeur du retour réflexif. Ce travail met l’accent sur la dimension cognitive des savoirs-en-action et sur la nécessité d’une évaluation indirecte grâce au concept de schème. ABSTRACT. The vocational titles and diplomas of social work are available by VAE (French validation of acquired experience or prior learning). The procedures and approaches aimed at evaluating are a topical question in the field of VAE. Starting from a survey to assessors, this study takes into account the difficulty of assessment and proposes an interpre- tation of evaluation practices of prior experiential learning and skills. This type of assessment needs to construct and to explicit criteria and particularly this of deepness of reflexiveness. This work stresses the cognitive dimension of the situated and tacit knowledge and a neces- sarily indirect evaluation with the concept of schema. MOTS-CLÉS : Validation des acquis de l’expérience (VAE), Travail social, Évaluation, Réfé- rentiel, Compétence KEYWORDS: Validation of acquired experience, Social work, Assessment, Referential, Skill Article professionnel présenté en vue de l’obtention du Master de Psychologie sociale et du travail par BÉATRICE CLOT Sous la direction de laurence.cocandeau@uco.fr LAURENCE COCANDEAU Session de juin 2012
  2. 2. 2 - B. Clot - 2012 Sommaire Introduction........................................................................................................................... 2 1. La VAE, un nouveau dispositif et de nouveaux enjeux ................................................. 2 2. L’évaluation : approche théorique................................................................................. 6 3. Problématique et méthodologie .................................................................................. 10 4. Vers une évaluation « docimologique » et des critères transversaux............................ 12 5. Vers une approche indirecte pour l’évaluation en VAE............................................... 17 Conclusion .......................................................................................................................... 25 Bibliographie....................................................................................................................... 26 Sitographie .......................................................................................................................... 27 Remerciements.................................................................................................................... 28 Charte de non plagiat........................................................................................................... 28 Introduction Dans le cadre de la validation des acquis de l’expérience (VAE), l’évaluation n’est plus un contrôle de connaissances. Selon Feutrie (2004, p 102), « le candidat détient en grande partie les clés de la décision » car l’évaluation dépend de sa capacité à se réapproprier son expérience et à fournir les informations pertinentes pour l’évaluation. Pour le soutenir, le professionnel doit « penser l’accompagnement sans évaluation, mais pour l’évaluation » (Cuvellier et Faudière, 2009, p 51). En effet, il faut sensibiliser le candidat à la grille de lecture et d’évaluation utilisée par le jury sachant qu’elle peut être très loin de ses représenta- tions (voire de celles de l’accompagnateur). Il convient donc de porter son attention sur les processus et modalités d’évaluation des jurys VAE pour mieux accompagner les candidats. La validation du candidat dépend également des capacités d’attention de l’évaluateur et de la qualité du cadre et des supports d’évaluation. Mais, les compétences en actes ne sont pas équivalentes aux connaissances académiques. Pour le jury, il s’agit d’avoir les éléments qui lui permettent de comprendre les théories et méthodes professionnelles privées du candidat, acquises par l’expérience, afin d’évaluer ses capacités à les utiliser comme ressources dans d’autres situations professionnelles. Soucieux d’avoir un socle commun, le législateur a incité au développement de référentiels de certification souvent construits à partir d’une analyse du travail. Nous pouvons nous demander comment un jury évalue car il s’agit d’une « procédure d’évaluation qui ne favorise ni les acquis formels, ni les acquis non formels, tout en vérifiant la capacité de transfert des compétences » (Robichon et Josenhans, 2004, p 91). Cette nouvelle voie vers la certification est une opportunité pour les personnes mais, avec elle, de nouveaux enjeux sociaux surgissent ainsi que des questions d’évaluation. Les travaux des chercheurs nous permettent de situer l’importance des étapes du processus d’évaluation, de comprendre la nécessité de procéder avec des critères et des indicateurs bien identifiés et explicites. L’évaluation dans le cadre de la VAE étant très différente de l’évaluation des savoirs académiques, cette étude qualitative et exploratoire se propose de découvrir comment les jurys évaluent et si les caractéristiques socioprofessionnelles des évaluateurs ont une in- fluence sur leur façon d’évaluer. 1. La VAE, un nouveau dispositif et de nouveaux enjeux S’inspirant d’expériences anglo-saxonnes, le législateur français promulgue, le 17 janvier 2002, une loi afin que les personnes n’aient plus à se former sur ce qu’elles connaissent déjà pour obtenir une certification1 . La loi de modernisation sociale, par ses articles 133 à 146, 1 En fait, deux dispositifs car il devient possible de faire reconnaître des connaissances précédemment acquises par la formation grâce à la validation des études supérieures (VES – décret 2002-529 du 16 avril 2002)
  3. 3. Vers une évaluation indirecte en VAE - 3 reconnaît que l’expérience peut être source d’apprentissage à « égalité de dignité » avec la formation initiale, continue et par alternance (Besson, 2008, p 9). Chacun, quel que soit son niveau de formation, ayant une expérience qui correspond à la certification demandée, peut prétendre à la VAE ; cette expérience peut être issue d’une activité professionnelle salariée, non salariée ou bénévole. La durée d’expérience minimum requise est de trois années (conti- nue ou discontinue). Tous les publics sont concernés : jeunes ayant quitté le système scolaire depuis au moins 3 ans, demandeurs d’emploi, salariés, non salariés, agents de la fonction publique, bénévoles (activités associatives ou syndicales attestées par un tiers). Par contre, les activités développées dans un cadre personnel et familial (élever ses enfants ou s’occuper de parents dépendants, par exemple) et les périodes de stage en entreprise pendant la formation initiale ou continue ne sont pas prises en compte pour ce calcul. 1.1. La VAE, une nouvelle voie d’accès à la certification Pour obtenir une validation, le candidat est évalué par un jury qui « se prononce au vu d’un dossier constitué par le candidat, à l’issue d’un entretien à son initiative ou à l’initiative du candidat et, le cas échéant, d’une mise en situation professionnelle réelle ou reconstituée, lorsque cette procédure est prévue par l’autorité qui délivre la certification » (Article 134 - loi n° 2002-73). Selon les organismes certificateurs, la composition du jury varie, mais la loi de modernisation sociale donne un cadre général en son article 134 : « La validation est effectuée par un jury dont la composition garantit une présence signifi- cative de représentants qualifiés des professions concernées. » « Cette composition concourt à une représentation équilibrée entre les femmes et les hommes ». Chaque certificateur est responsable de la mise en place des jurys et les organise selon sa réglementation ; il est garant pour les certifications qu’il délivre. Les organisateurs recherchent souvent la pérennité des jurys et certains ont recours à la formation des évalua- teurs, par exemple, les ministères de l’Emploi ou de la Jeunesse et des Sports. Le plus souvent, et chez la plupart des certificateurs, le candidat doit rédiger un dossier, décrire et analyser son expérience, ses activités, ses fonctions et missions, le contexte de travail pour témoigner de ses acquis… La forme du dossier est souvent normalisée par le certificateur. Les membres du jury lisent le dossier et ensuite peuvent recevoir le candidat pour un entretien. Ce dernier ne doit pas s’apparenter à un oral d’examen, mais permettre de compléter l’information du jury sur des éléments du dossier et de mieux comprendre les acti- vités du candidat. L’entretien n’est pas toujours obligatoire ; certains certificateurs l’ont ce- pendant inscrit comme faisant partie du processus de validation, par exemple, l’université. D’autres certificateurs ont recours à des mises en situation de travail réelles ou reconstituées pour évaluer (par exemple, le Ministère de l’Emploi). Le jury est souverain, sa décision est difficilement contestable car il s’agit d’une décision administrative. Le candidat peut obtenir une validation partielle ou totale, il arrive qu’il n’obtienne aucune validation. En cas de vali- dation partielle, les unités d’enseignement sont définitivement acquises au CNAM ou à l’université. Chez les autres certificateurs, la validation partielle est valable pendant cinq ans ; le candidat doit, dans ce délai, valider les unités restantes pour en garder le bénéfice et obtenir la certification totale. Le jury doit argumenter sa décision et, en cas de validation partielle, donner des préconisations sur les actions à réaliser pour obtenir la validation totale (expé- rience professionnelle complémentaire, dossier à réaliser, formation…). Une des priorités du rapport Besson (2008, p 28) est de professionnaliser les jurys pour les conseils aux candidats et les prescriptions post-jury. 1.2. Le référentiel de certification, des enjeux d’évaluation et des enjeux sociaux D’une manière générale, un référentiel est un document descriptif qui fait référence dans un domaine particulier. Le référentiel de certification (diplôme, titre professionnel ou CQP) décrit les situations d’évaluation, les compétences et/ou éléments exigés pour l’obtenir, les
  4. 4. 4 - B. Clot - 2012 niveaux à atteindre, les critères de réussite… Le référentiel indique aussi les modalités d’évaluation et la composition du jury (ou qui peut évaluer). Selon les orientations européennes et les consignes de la CNCP, le référentiel de certification doit être dissocié du référentiel de formation. Il s’agit souvent d’un référentiel de compétences construit à partir du référentiel d’activités professionnelles (RAP). Les référentiels de certification, comme les RAP, sont négociés dans les commissions professionnelles consultatives (CPC), c’est un compromis entre les acteurs des mondes du travail, de la formation et de l’éducation. Les critiques sur les référentiels sont nombreuses, mais ne constituent pas une remise en cause radicale de ceux-ci. Parmi elles, certaines nous intéressent davantage. Ils « ne sont pas immédiatement intelligibles, ils demandent un travail d’interprétation » (Maillard, 2003, p 68), voire peuvent inciter les évaluateurs à faire des contresens. Ils sont souvent volumi- neux, « difficiles à lire pour les profanes et davantage encore à intérioriser » (Maillard, 2003, p 68) ; ce phénomène résulte d’un souhait d’exhaustivité qui n’émane pas toujours du monde enseignant, mais souvent de professionnels qui souhaitent valoriser la certification : « le réfé- rentiel ne met (…) pas seulement en scène une activité professionnelle et ce qu’il faut pour l’exercer, mais peut aussi présenter une image idéalisée de cette activité » (Maillard, 2003, p 71). Par contre, les référentiels les plus abstraits, les moins collés aux activités profession- nelles sont plus tolérants à la singularité de l’expérience : « en ouvrant le cadre de réflexion des membres des jurys, ils leur donnent les moyens de mieux prendre en compte les compé- tences détenues par les candidats, qui ne sont jamais immédiatement conformes à ce qui défi- nit le diplôme » (Maillard, 2003, p 72). Les connaissances théoriques sont encore présentes dans certains référentiels sous la dénomination de « savoirs associés », c’est non seulement déroger à la règle fixée par la CNCP, mais également risquer de mettre en difficulté les candidats. Notons toutefois que la loi marque une différence entre l’Enseignement supérieur et l’enseignement professionnel. Le jury des diplômes de l’Enseignement supérieur évalue « les connaissances et aptitudes » (Article 6 du décret 2002-590), alors que dans l’enseignement professionnel il vérifie « si les acquis dont fait état le candidat correspondent aux compétences, aptitudes et connaissances exigées par le règlement prévu » (Article 5 du décret 2002-615). 1.3. L’évaluation dans le cadre de la VAE, des enjeux sociaux Deux cent mille personnes ont obtenu une certification par la voie de la VAE entre 2002 et 2010 (Dares, 2011, p 6). En 2008, les candidats étaient plutôt des femmes (75,1 %), des per- sonnes entre 40 et 49 ans (41, 5 %) ou 30 et 39 ans (33,9 %), plutôt en emploi (71,3 %) (INSEE, 2012). Les certificateurs les plus importants (96,8 % des candidats ayant obtenu une certification en 2009) sont l’Éducation nationale, les ministères chargés de la Santé et des Affaires sociales, le ministère de l’Emploi et le ministère de l’Enseignement supérieur et de la recherche (Dares, 2011, p 6). Pour le gouvernement, les validations et les candidats à la VAE sont insuffisamment nombreux. Plus de six millions de personnes pourraient être concernées par l’obtention d’une certification par cette voie et l’objectif de l’État est de certifier 60.000 candidats par an (Besson, 2008, p 26). En 2009, 31.880 candidats ont obtenu une validation totale et on peut estimer à 20.300 les validations partielles ; les résultats attendus par le gouvernement sont atteints à environ 53 % si on ne considère que les validations totales et à 87 % en ajoutant les validations partielles. En 2007, l’ensemble des ministères certificateurs a délivré 2,8 fois plus de validations totales qu’en 2003. Mais, depuis 2007, les chiffres semblent se stabiliser (mal- gré un pic en 2009) autour de 30.000 validations totales par an, pour 55.000 candidats se pré- sentant devant un jury et 73.000 candidats obtenant une recevabilité2 . Le nombre de candidats 2 En 2008, deux diplômes du travail social se trouvent dans les 20 certifications les plus demandées : le diplôme d’État d’Éducateur spécialisé est le 2e par le nombre de candidats présentés à un jury (2.675 candidats) et celui d’Éducateur tech-
  5. 5. Vers une évaluation indirecte en VAE - 5 obtenant une validation totale par rapport au nombre de candidats se présentant devant un jury a sensiblement augmenté : 57 % en 2010 pour 51 % en 2005 (Dares, 2011, p 6). Ce qui pourrait laisser penser que le dispositif se développe aussi qualitativement. Toutefois, certains certificateurs écarteraient, à l’étape de la recevabilité, les candidats ayant peu de chances de réussite « alors même que leur dossier répond aux conditions d’éligibilité fixées par les textes officiels » (Besson, 2008, p 19). L’interprétation des données doit cependant rester prudente car plusieurs facteurs pourraient avoir de l’influence : une meilleure information sur la VAE et à l’orientation, une sélectivité plus forte lors du traitement de la recevabilité ou pour présenter le dossier au jury, mais aussi plus d’accompagnement et une meilleure connaissance des modalités d’évaluation. Même si le gouvernement pense que les objectifs qu’il a fixés ne sont pas suffisamment atteints, il faut se demander si vouloir développer « à tout prix » l’accès à une certification ne risque pas de produire une contrainte nouvelle de « certification tout au long de la vie », voire de remettre en cause la signification des certifications (Labruyère, 2007). Il semble pertinent de considérer, avec Besson (2008, p 30), que la validation partielle peut constituer une réussite et, avec Labruyère (2007), qu’il y a un risque de diminuer l’importance des savoirs généraux. Parmi les partisans de la VAE, deux courants semblent se dessiner : ceux qui veulent augmenter le nombre de validations totales (on parle de « VAE constat ») et ceux qui préfèrent la validation partielle (qui permet une « VAE parcours » ou « VAE dynamique »). Les premiers auraient plutôt tendance à diminuer l’importance des savoirs généraux ; les se- conds préfèrent garder un certain niveau de connaissances pour favoriser le développement des capacités d’adaptation aux évolutions (qu’elles soient technologiques ou sociales). Ils sont, en général, partisans d’une articulation entre VAE et formation (Labruyère, 2007). Mais d’autres peuvent souhaiter un autre découpage pour les certifications, s’éloignant certes de la référence à la formation (Besson, 2008, p 47), mais aussi d’exigences en termes de savoirs généraux et peut-être de la référence au métier. Le dispositif VAE est encore jeune, il vient d’avoir 10 ans, il y a donc lieu de penser les alternatives, de se demander si les objectifs des acteurs sont tous semblables, de voir comment ils peuvent s’articuler, pour permettre des appropriations particulières et singulières. La VAE, telle qu’elle est développée en France, est une expérience unique observée par nos partenaires européens. C’est un enjeu important en matière de promotion sociale et de sécurisation des parcours. Par ailleurs, elle pourrait avoir des effets sur nos conceptions de la formation et de l’évaluation. 1.4. Les pratiques d’évaluation du jury comme perspective pour l’accompagnateur Pour rédiger son dossier, tout candidat à la VAE peut bénéficier d’un accompagnement. Celui-ci n’est pas obligatoire, mais fortement recommandé, c’est un facteur de réussite impor- tant (Besson, 2008, p 29). L’accompagnement crée les conditions pour que le candidat puisse approcher du réel de l’activité et déployer sa pensée. C’est un passage essentiel pour donner, dans son dossier, des témoignages des acquis de son expérience et fournir au jury des élé- ments lui permettant d’évaluer. Le cadre d’écriture est faiblement normé par le certificateur, c’est essentiellement le candidat qui fournit l’objet à partir duquel pourra se faire l’évaluation. Mais, « une grande partie des échecs ou des validations partielles peut (…) s’expliquer par une préparation insuffisante et non par les limites des acquis d’une expérience. Ces problèmes de connaissance de l’objet de l’évaluation par le candidat sont dans certains cas une conséquence de l’absence de lien entre accompagnants et jury » (Besson, 2008, p 54). Mais, les attentes des jurys diffèrent selon les certificateurs, voire à l’intérieur des jurys. nique spécialisé est le 18e (211 candidats). Le DEES représente 13 % des dossiers examinés par l’Éducation nationale. En 2008, 47,78 % des candidats au DEES ont eu une validation totale (5 % de moins que pour l’ensemble des certifications) et 37,31 % une validation partielle. En 2009, le DEES est toujours le 2e , celui le Moniteur Éducateur devient le 8e , tandis que le DEETS passe en 30e position. Sources : Éducation nationale
  6. 6. 6 - B. Clot - 2012 2. L’évaluation : approche théorique Évaluer, c’est produire un jugement de valeur pour prendre des décisions. Cette démarche a une finalité et porte sur un objet : c’est un processus de traitement de l’information pour prendre une décision sur la valeur ou l’utilité d’un objet. L’évaluation est une activité psycho- logique de nature cognitive (comportant des opérations intellectuelles) et conative (répondant à des motivations, intérêts, besoins, valeurs…). Ce peut être un jugement moral (ce qui est juste), esthétique (ce qui est beau), pratique (ce qui convient pour l’action), idéologique (ce qui convient du point de vue des valeurs)… Spontanée, l’évaluation est souvent produite à partir d’échelles de valeurs implicites et comporte de nombreux biais. 2.1. Psychologie, mesure et évaluation Mesurer, en psychologie, c’est essayer de contrôler la situation d’évaluation avec une méthode, des règles, des échelles de niveaux, des outils, des critères et des indicateurs stables et observables. La qualité d’une évaluation s’apprécie en termes de validité, de fidélité et de sensibilité. Pour qu’il y ait fidélité, il faut que les résultats obtenus dans les mêmes conditions d’observation, de méthode et avec les mêmes outils soient identiques avec des évaluateurs différents ou avec un même évaluateur à des moments différents. Plus l’objet à évaluer est simple et concret, plus la fidélité intra et inter-évaluateurs est satisfaisante. Quand l’objet à évaluer nécessite de faire de nombreuses inférences, les risques augmentent. Pour éviter cela, on établit, par avance, des outils qui servent de référence aux évaluateurs et les guident dans leur évaluation (un référent). Tout outil d’évaluation doit être sensible ; il s’agit d’apprécier son niveau de précision. Dans les situations les plus simples et les plus concrètes, il est plus facile de disposer d’instruments d’évaluation sensibles aux variations de niveaux. La validité garantit l’exactitude du résultat par rapport à l’objectif. En d’autres termes, l’évaluation se doit d’évaluer ce qu’elle a pour but d’évaluer. Cette proposition peut sembler tautologique, mais l’expérience montre, par exemple, qu’en voulant évaluer des connaissances, on peut n’évaluer que la mémoire. Dans le cadre de la VAE, les données à évaluer ne sont pas stan- dardisées, il est impossible de faire correspondre terme à terme les données recueillies et le référentiel de certification. Le niveau d’inférence semble donc devoir rester élevé et la qualité des critères est décisive. Par ailleurs, « les études de docimologie ou de psychométrie ont montré de fortes dépendances entre certaines caractéristiques des évaluateurs (…) et les jugements qu’ils portent » (Aubret et Gilbert, 2003, p 38). L’évaluation est une activité qui ne saurait être isolée de celui qui la produit, malgré le soin qu’il met à contrôler celle-ci. Et enfin, l’évaluation et ses méthodes ne peuvent être comprises que par rapport au système social dans lequel elles s’inscrivent. 2.2. Le processus d’évaluation L’évaluation est un processus, un ensemble d’actes et de pratiques caractérisé par des mé- thodes, des moyens, des acteurs, des interactions, des jeux d’acteurs, des rôles, des fonctions, des normes et des règles et enfin par une mise en œuvre particulière dans un contexte donné. C’est une démarche qui ne se réduit pas à la production de jugements. En amont, l’évaluateur recherche des informations sur ce qui est à évaluer. Les objectifs identifiés permettent de définir des critères et des normes, c’est-à-dire le référent de l’évaluation. En aval, il recueille et sélectionne des données sur l’objet singulier à évaluer et construit des indicateurs pour constituer un référé. Le référent de l’évaluation n’est pas un objet qui existe à l’état naturel. Il est le résultat de processus qui s’effectuent le plus souvent « de manière spontanée, non consciente, implicite, en fait non contrôlée, ce qui les rend difficiles à appréhender et ce qui surtout entraîne une grande instabilité des actes d’évaluation, marquée par la variabilité des jugements produits » (Barbier, 1985, p 74). Le référent (critères et normes) doit être utilisable, c’est-à-dire que sa forme et son contenu doivent permettre une mise en relation avec le référé. On peut rappeler qu’une « des premières caractéristiques du référent est de refléter les systèmes d’objectifs
  7. 7. Vers une évaluation indirecte en VAE - 7 présidant au fonctionnement des institutions sociales » (Barbier, 1985, p 76) ; en d’autres termes, le référent est imprégné du système de valeurs et d’idéologies dominant et inscrit dans des rapports de pouvoir. En aval, l’évaluateur ne doit pas confondre les données disponibles et les données pertinentes. Le référé est également à construire, il n’existe pas à l’état naturel. L’évaluateur doit définir, choisir, ce à partir de quoi il pourra réaliser l’évaluation, il passe par des indices considérés pour leur représentativité, leur pertinence par rapport à ce qui est à évaluer. Ces indicateurs doivent être explicités, développés, justifiés, leur construction est aussi une démarche. Disposant du référent et du référé, l’évaluateur peut entrer dans le processus d’évaluation proprement dit, c’est-à-dire procéder aux activités de comparaison et de jugement. 2.3. L’évaluation dans le cadre de la VAE, des enjeux Cherqui-Houot (2001, p 31) définit le terme d’acquis comme « toute trace héritée d’un apprentissage, quels qu’en soient les modalités et les lieux d’acquisition, et qui a modifié durablement et significativement la façon de connaître, de se connaître ou d’agir sur le monde d’une personne donnée. » La VAE permet d’évaluer les acquis des candidats, des connaissances, des savoirs procéduraux, des savoirs pratiques et des savoir-faire ; ils se com- binent dans l’action. Ce savoir d’action est difficile à appréhender et plus encore à évaluer car c’est une combinatoire située. Le dossier témoigne d’une démarche réflexive et constitue un passage de la compétence en acte à un discours sur l’action et la compétence. Cet écrit est aussi un "savoir témoigner" qui répond à des codes sociaux et le jury évalue également ce "savoir rendre compte" qui est un savoir socialisé. Or, il est difficile d’isoler les acquis de l’expérience d’indicateurs relevant plutôt de l’appartenance à une sous-culture de classe si les critères sont implicites (Bonniol, 1976, p 66). Candidat et jury ont des registres de pensée et des références qui sont loin de se corres- pondre terme à terme et ce n’est pas dans des activités d’extraction de signification ou d’identification des connaissances et des compétences repérées dans le référentiel que le jury peut effectuer l’évaluation (Prot, 2009, p 37). Les concepts stabilisés du référentiel ne sont pas de même nature que les concepts du candidat qui sont singuliers et référés non seulement à un genre professionnel, mais également à un style professionnel personnel et à un contexte. Le travail d’abstraction est permis par la prise de distance avec l’expérience vécue qui devient objet de pensée en utilisant des concepts potentiels. Pour qu’une évaluation puisse se faire, il faut la création d’un espace de traduction simultanée entre candidat et jury, entre mobilisation implicite pour agir et référentiel pour évaluer (Prot, 2009, p 37). Il s’agit d’un redoublement de réflexion pour construire une possibilité d’articulation entre référent et référé. Chacun doit effectuer un travail de déprise et de reprise de ses concepts familiers pour se confronter à ceux de l’autre. L’évaluation s’élaborerait, en VAE, par une co-construction de sens, un co- repérage des concepts de chacun. Les référentiels de certification, élaborés à partir des RAP sont le plus souvent déclinés en termes de compétences. L’évaluation des candidats est réalisée en mettant en lien les critères du référentiel de certification et les descriptions et analyses du candidat. Mais l’analyse des activités des jurys montre qu’ils n’évaluent pas seulement à partir du référentiel ; ils ont aussi une approche plus globale. Il est en effet impossible aux jurys d’évaluer l’ensemble des items énoncés par le référentiel. Des critères en nombre limité servent de base à l’évaluation, ils « peuvent être considérés comme des capacités constituant le cœur de l’activité du profes- sionnel » (Mayen et Métral, 2008, p 189). Il semble que l’évaluation ne puisse pas s’appuyer sur la seule décomposition de l’activité, mais « devoir passer par un jugement global sur des acquis généraux qu’une personne a pu ou non démontrer » (Mayen et Métral, 2008, p 189). Les jurys évaluent en s’appuyant sur le parcours du candidat, la conformité de l’activité pro- fessionnelle avec les attendus, les connaissances acquises et enfin les contraintes et possibili- tés offertes par l’environnement pour le développement des compétences.
  8. 8. 8 - B. Clot - 2012 La dynamique globale du parcours du candidat donne des informations au jury : la corres- pondance avec les emplois et fonctions retenus dans la fiche RNCP, les progressions en termes de responsabilités professionnelles, les changements de fonctions ou de secteurs d’activités. Ainsi, une trajectoire professionnelle peut permettre d’acquérir des compétences et de développer des capacités transférables à de nouvelles situations. La reconnaissance et la confiance du milieu professionnel donnent également des indications sur les capacités du can- didat. Ces éléments sont implicitement ou explicitement des indicateurs qui permettent au jury d’évaluer les acquis expérientiels du candidat. Il est plus complexe d’évaluer la conformité de l’action du candidat en se référant à ce qui est attendu d’une personne ayant obtenu la certification. Pour ce faire, le jury analyse l’activité du candidat et cherche à repérer quelles dimensions il a prises en considération pour « comprendre, raisonner, décider, agir » (Mayen et Métral, 2008, p 190). L’approche du candidat est-elle plutôt systémique ou plutôt disciplinaire ? Quelles sont ses capacités à faire des diagnostics de situation ? Sait-il identifier les variables de situation pour les combiner et construire une configuration significative pour décider de l’action ? De fait, les jurys cherchent à évaluer la qualité des « modes de raisonnement qui guident l’action du candidat en situation » (Mayen et Métral, 2008, p 191). Il s’agit de tenir compte de la part invisible de l’activité que sont les opérations cognitives d’orientation, d’organisation, de contrôle, d’ajustement, d’interprétation des prescriptions… pour agir avec compétence dans une situa- tion donnée avec des contraintes particulières. Le principe de la VAE est qu’il ne doit pas être demandé de savoirs académiques au candi- dat. Pour les connaissances issues de l’expérience, le jury cherche à repérer les ressources acquises à partir des raisonnements dans et sur l’activité, construites pour agir dans des situa- tions concrètes. L’évaluateur s’intéresse aussi à la pertinence de leur utilisation. C’est dans une conception fonctionnelle et opératoire que les connaissances sont évaluées. Certains environnements de travail permettent plus que d’autres de mettre en œuvre des compétences. Un candidat peut ne pas avoir rencontré toutes les situations considérées comme caractéristiques du métier, certaines organisations peuvent empêcher de mettre en œuvre des capacités attendues. Ce sont des effets de contexte qui empêchent « le candidat de manifester ses compétences en situation » (Mayen et Métral, 2008, p 192), ce qui ne veut pas dire qu’il n’a pas les capacités. Il est important de distinguer entre capacité et compétence, les capacités sont « des ressources personnelles potentielles dont un sujet dispose pour orienter et guider son activité dans une situation » (Mayen et Métral, 2008, p 188). Le jury ne peut pas inférer qu’un candidat n’a pas les capacités parce que les contraintes organisationnelles n’ont pas permis leur mise en œuvre. C’est pourquoi il teste la « transférabilité des capacités ac- quises dans son parcours vers d’autres types de situations » (Mayen et Métral, 2008, p 192), s’intéresse à ce que le candidat « est presque capable de faire » (Prot, 2007, p 104). 2.4. La validation des acquis dans le travail social Deux ministères organisent la VAE des diplômes et titres professionnels du travail social : l’Éducation nationale et la Direction générale de la Cohésion sociale. L’évaluation s’effectue à partir d’un dossier rédigé par le candidat (ou Livret 2). Le certificateur s’oblige à proposer un entretien qui peut permettre au jury de lever les incertitudes qu’il a eues à la lecture. Dans le guide d’évaluation, le jury est invité à évaluer les compétences, aptitudes et connaissances des candidats ; le certificateur rappelle que la VAE est « une démarche de valorisation des compétences et non de sanction des manques » ; toutefois, il indique que « les compétences qui n’ont pas été actualisées ou entretenues par la pratique ne peuvent pas être validées » et demande de vérifier que « le candidat est capable d’adapter ses compétences à d’autres contextes ou d’autres publics » (guide3 , p 2). Dans ce guide, le certificateur propose aussi une 3 Guide des membres du jury pour l’évaluation des DEES – Ministère chargé des Affaires sociales
  9. 9. Vers une évaluation indirecte en VAE - 9 grille pour évaluer (calquée sur le référentiel de compétences) et une démarche. La première étape consiste en une lecture globale, la deuxième en une lecture qui vérifie, pour chaque fonction (cf. RAP) ou chaque domaine de compétences le type de preuve fourni (écriture et documents professionnels annexés), la pertinence du support de preuve par rapport à la situa- tion, la cohérence de la preuve par rapport à la fonction visée et la diversification des supports de preuve (complémentarité et interactions entre les différents éléments de preuve), (guide, p 4). La 3e étape consiste à évaluer « le degré de maîtrise de chacune des compétences à l’aide des indicateurs de compétences » (IC) 4 qui « constituent des critères d’évaluation » (guide, p 5). Après avoir évalué chaque compétence, l’évaluateur émet une proposition de validation pour chaque domaine de compétences et prépare ses questions (4e étape). Le jour de l’évaluation, le jury se réunit, puis les sous-commissions sont constituées pour préparer les entretiens avec les candidats. Ce « qui paraît manifestement acquis à la lecture du livret peut être validé sans faire l’objet de questions complémentaires (…). Ce qui ne paraît manifeste- ment pas acquis à la lecture du livret peut ne pas être abordé lors de l’entretien ». La cin- quième étape est l’entretien, les questions doivent porter sur les « situations concrètes tirées de l’expérience du candidat » ; elles ne doivent « pas chercher à vérifier des connaissances théoriques ». En sous-commissions, après le départ du candidat, les évaluateurs préparent des propositions de validation et des préconisations, s’il y a lieu. En jury plénier (6e étape) « le jury délibère de manière collégiale. Sa décision est souveraine et ne peut être contestée » (guide, p 5). Le dossier présenté par le candidat comporte plusieurs chapitres, plus ou moins dévelop- pés. Après les motivations et la description des parcours, l’essentiel de l’écriture réside dans la description et l’analyse d’expériences professionnelles (cadre d’intervention, environne- ment institutionnel, structure, position du candidat dans la structure, activités, public) et plus encore dans l’analyse de situations de travail significatives5 . Et enfin, mais pour le DEES seulement, le certificateur demande une analyse globale de l’expérience (principes d’action et objectifs, sources d’information et de documentation, participation au fonctionnement collec- tif de la structure, degré d’autonomie et d’initiative, évaluation de mon intervention, compé- tences mises en œuvre). Selon une enquête de Pascale De Rosario, réalisée pour l’OPCA UNIFAF, les membres du jury sont, dans la majorité des cas, d’accord sur leurs évaluations. Il peut exister des écarts dans l’évaluation des niveaux des acquis, mais le principe de la validation ou de la non valida- tion pour un domaine de compétences est le plus souvent identique chez les membres du jury. Elle identifie (CNAM, 2008, p 45) trois types d’évaluation dans les jurys de diplôme d’État d’Éducateur spécialisé (DEES) :  l’évaluation « docimologique » est dans une référence constante au référentiel ; il s’agit de vérifier la cohérence avec les domaines de compétences ; l’évaluateur attend la complétude par rapport au référentiel et cherche à construire des critères de validation et à les légitimer ; le livret est considéré comme une « preuve à ausculter » ;  l’évaluation « promotionnelle » s’intéresse au parcours professionnel et à la motiva- tion du candidat ; il s’agit de repérer s’il est remarquable par son parcours, ses projets, son itinéraire, sa motivation, son éthique, son public… ; l’évaluateur reconnaît le candidat dans son choix d’appartenir à la communauté professionnelle ; le livret est une « preuve acquise » ;  l’évaluation « transverse » recherche le niveau de transférabilité des compétences ; il s’agit de repérer si les compétences acquises par le candidat sont transférables d’un domaine à l’autre, d’une situation à l’autre, d’un public à l’autre… ; l’évaluateur vérifie les capacités 4 Que j’appellerai IC pour ne pas les confondre avec les indicateurs construits pour l’évaluation 5 Une situation pour chaque fonction du RAP pour le DEES, deux situations pour chaque domaine de compétences pour le DEME
  10. 10. 10 - B. Clot - 2012 d’autoévaluation du candidat, ses capacités d’analyse des pratiques ; celles-ci sont un critère transverse d’évaluation du dossier et de l’entretien ; le livret est « à reconstruire ». 3. Problématique et méthodologie L’objectif de l’évaluation VAE, pour les certifications de l’enseignement professionnel, est de « vérifier si les acquis dont fait état le candidat correspondent aux compétences, aptitudes et connaissances exigées par le règlement prévu […] pour la délivrance du diplôme » (article 5 du décret 2002-615) avec le référentiel établi par la CPC. L’évaluation d’un jury doit être « généralisable et reproductible dans des situations semblables » (Kirsch et Savoyant, 1999, p 1). Connaître le référentiel de certification est certes incontournable pour le jury qui évalue, le candidat évalué et son accompagnateur (Cuvellier et Faudière, 2009, p 51), mais le référen- tiel de compétences constitue-t-il une référence suffisante pour évaluer ? Comprendre les modes d’évaluation est un enjeu car une partie des échecs ou des validations partielles peut s’expliquer par une méconnaissance de l’objet et des méthodes de validation (Besson, 2008, p 54), il s’agit donc de les connaître pour aider le candidat à en prendre conscience. 3.1. Question de recherche Le processus d’évaluation se déroule en quatre grandes séquences : identification des objectifs d’évaluation, construction et explicitation de critères et normes, construction d’indicateurs à partir desquels l’évaluateur peut se livrer à une activité de comparaison entre référent et référé pour évaluer. Le référentiel de certification dans le travail social est un réfé- rentiel de compétences construit à partir du RAP du métier. Or, les compétences sont des combinatoires délicates à observer et plus encore à évaluer ; elles semblent davantage consti- tuer des objectifs d’évaluation que fournir des critères. Respecter le référentiel est pour le jury une garantie en termes de validité de l’évaluation, mais moins en termes de méthode. Prot (2009) considère qu’il n’est pas possible de faire correspondre terme à terme le registre de pensée d’un candidat avec un référentiel de compétences, ce que confirment Mayen et Métral (2009). C’est pourquoi Bernard Prot préconise une évaluation indirecte. Mayen et Métral sou- lignent qu’il est impossible au jury d’évaluer l’ensemble des items du référentiel et préconi- sent de se concentrer sur certains critères qui sont au cœur du métier (2009, p 189). Ils mon- trent également que le jury n’évalue pas seulement à partir du référentiel, mais recourt à une évaluation plus globale, ce qui n’est pas l’approche demandée dans le travail social. Par ailleurs, les travaux de docimologie nous apprennent que l’évaluation est une activité qui ne peut pas être isolée de l’évaluateur et que ce dernier est influencé par son appartenance à une sous-culture. L’évaluation peut donc dépendre de ses caractéristiques professionnelles et sociales (Aubret et Gilbert, 2003, p 38). Cette assertion repose sur l’hypothèse, maintes fois vérifiée dans les sciences sociales, que les personnes sont porteuses d’habitus, normes et valeurs socialement et historiquement situés. Dans cette étude, il s’agit d’explorer les activités d’évaluation des jurys tout en cherchant à repérer l’influence de certaines de leurs caractéris- tiques sur leurs modes d’évaluation et plus particulièrement de répondre à la question de recherche suivante : Les pratiques d’évaluation des membres de jurys de VAE du travail social sont-elles influencées par les caractéristiques et l’expérience professionnelle des évaluateurs ? Par cette question, je me propose de rechercher si les évaluateurs ont des approches spéci- fiques en fonction de leurs caractéristiques sociales, professionnelles et/ou personnelles. En effet, la théorie nous fournit une typologie des modes d’évaluation dans les jurys du travail social, ils peuvent privilégier une évaluation « docimologique », « transverse » ou « promo- tionnelle » (CNAM, 2008, p 45-46) ; mais nous ne savons pas si des caractéristiques des éva- luateurs influencent le choix de ces approches. Cette étude exploratoire devrait permettre de trouver des corrélations entre les caractéris- tiques des évaluateurs et le mode d’évaluation qu’ils privilégient. On peut, en effet, se
  11. 11. Vers une évaluation indirecte en VAE - 11 demander si l’expérience socioprofessionnelle, ou les variables de genre et d’âge, ont une influence sur les approches dans l’évaluation. Il s’agira également de repérer toute variable qui élève le niveau d’exigence du jury car le nombre de validations totales est moindre pour les certifications du travail social. 3.2. Techniques de recueil et d’analyse des données Les activités d’évaluation des jurys de VAE sont encadrées par la loi et des textes émanant des instances certificatrices ; il peut y avoir de grandes différences d’un certificateur à l’autre. J’ai préféré centrer ce travail sur l’évaluation VAE dans le travail social. L’activité des jurys de VAE étant difficile à appréhender, les chercheurs ont souvent recours à une observation approfondie et croisent diverses méthodes (observation, analyse de textes…). Il peut s’agir d’enregistrer et retranscrire tous les échanges des jurys pour analyser les interactions et « ré- véler les usages des notions, les modes de raisonnement, mais aussi les systèmes de référence (…) des acteurs » (Mayen et Métral, 2008, p 186). Ce type de dispositif demande de mettre en œuvre des moyens importants, j’ai donc choisi de recueillir le principal de mes données par des entretiens. A celles-ci s’ajoutent des éléments saisis de façon moins formelle (participa- tion à des jurys VAE et de formation initiale, observation d’un jury chez un autre certifica- teur, travail sur dossier). La pré-enquête (entretiens non directifs auprès de professionnels VAE, accompagnement et préparation de candidats à l’entretien avec le jury) m’a permis de construire une grille d’entretien (référentiel, parcours, critères, travail du jury). Les données à recueillir portent sur des pratiques qui ne sont pas toujours très explicites (processus d’évaluation et construction de critères d’évaluation) et sur l'influence des repré- sentations et normes intériorisées par les sujets. Ce sont des informations difficiles à appro- cher directement et il convient de laisser le plus de liberté possible afin que le sujet puisse développer son propos selon sa logique propre. La technique des entretiens semi-directifs, m’a paru plus appropriée à cette étude qualitative et exploratoire afin de centrer l’entretien sur les thèmes de recherche sans imposer a priori les catégories. J’ai donc laissé l’interviewé orienter l’entretien dans sa première partie ; j’ai utilisé le guide en fin d’entretien, quand cela a été nécessaire, pour aborder les thèmes qui n’avaient pas été spontanément étudiés afin de contrôler qu’il ne s’agissait pas d’un oubli ou d’un implicite. Pour m’assurer des caractéris- tiques des enquêtés, j’ai procédé par questions directes en privilégiant en début d’entretien des informations qui impliquent peu (collège, nombre d’années d’expérience en matière d’évaluation VAE) pour recueillir, en fin d’entretien, des informations plus sensibles (expé- rience professionnelle et carrière, formation et diplômes, niveau de responsabilités…). Ces éléments peuvent permettre de repérer d’éventuelles relations entre certaines caractéristiques des membres du jury et leurs modes d’évaluation. Les données recueillies sont traitées par la méthode qualitative d’analyse de contenu thématique. Les résultats sont présentés par problématiques et selon les caractéristiques des personnes interviewées quand elles ont une influence sur les modes d’évaluation. 3.3. Population et échantillon L’enquête doit permettre de découvrir, appréhender les pratiques et modes d’évaluation de membres de jurys VAE pour des certifications du travail social. Elle devrait mettre en évi- dence des particularités d’approche selon le collège (professionnel ou formateur) ou le statut dans l’organisme certificateur et éventuellement selon d’autres caractéristiques socioprofes- sionnelles. L’échantillon se compose de huit membres de jurys de VAE du travail social. Ils appartiennent tous au collège « formateurs » ou « professionnel » et, pour certains, ont des responsabilités dans un organisme certificateur. Il s’avère que les catégories administratives de représentation dans les jurys ne rendent pas compte de la complexité et de l’intrication des caractéristiques professionnelles des évaluateurs :
  12. 12. 12 - B. Clot - 2012  Aline (collège professionnel, femme, 50/59 ans), membre de jury VAE depuis quatre ans et demi, elle a ponctuellement des activités d’évaluation en formation initiale ; Éducatrice spécialisée, elle est titulaire d’un DEES ;  Bertrand (collège professionnel, homme, 40/49 ans), membre de jury VAE depuis deux ans et demi, responsable d’établissement, il a une formation technique et une autre de niveau II en gestion des ressources humaines ; il a des missions ponctuelles de formation ini- tiale ou continue et d’accompagnement à la VAE.  Claire (collège professionnel, femme, 50/59 ans) membre du jury depuis quatre/cinq ans, est régulièrement membre de jurys de formation initiale, elle a longtemps eu des respon- sabilités dans des établissements et travaille actuellement chez un autre certificateur. Elle est titulaire de différents diplômes et titres professionnels (enseignement, travail social, sciences humaines et sociales, sciences de l’éducation) ;  Delphine (collège formateur, femme, 50/59 ans) membre du jury depuis sept ans, elle a des responsabilités dans un établissement de formation du travail social, c’est une ancienne professionnelle devenue responsable d’établissement. Elle est titulaire de différents diplômes (DEES, Lettres, Sciences humaines, Sciences de l’éducation) ;  Émile (collège formateur, homme, 50/59 ans) membre du jury depuis deux ans et demi, il est régulièrement évaluateur dans des jurys de formation initiale pour d’autres métiers ; c’est un ancien formateur pour les métiers de l’animation ; il est proche du travail social par expérience personnelle mais, n’a pas de formation dans ce domaine ;  Francis (collège formateur, homme de 40/49 ans) participe aux jurys depuis deux ans ; c’est un ancien Éducateur spécialisé devenu formateur ; il exerce des responsabilités d’encadrement et a fait de l’accompagnement à la VAE ; il a deux formations (DEES et Sciences de l’Éducation). Son identité d’Éducateur spécialisé est soulignée par lui ;  Georges (collège formateur, homme de 50/59 ans) participe aux jurys depuis neuf ans (VAE du travail social, mais aussi des métiers de l’animation) ; c’est un ancien responsable de formation, il exerce maintenant des responsabilités en VAE pour un autre organisme certifica- teur ; il n’a pas d’expérience du travail social, sa formation est scientifique ;  Hélène (collège formateur, femme de 50/59 ans) participe aux jurys depuis sept ans, elle travaille pour l’organisme certificateur, n’a pas de formation en travail social, mais un diplôme de Sciences humaines. Les membres du jury présentent des parcours rarement assignables aux catégories des collèges auxquels ils appartiennent. Les professionnels interviewés connaissent le monde de la formation, voire de la VAE, plusieurs formateurs sont d’anciens professionnels et certains ont (ou ont eu) des activités VAE. 4. Vers une évaluation « docimologique » et des critères transversaux L’évaluation est une « démarche difficile » qui peut provoquer un « doute sur sa propre capacité à repérer ce qui justifierait son évaluation ». Il serait important de « reconnaître collectivement » « que ce n’est pas un exercice évident » (Hélène). Depuis l’introduction du référentiel de compétences, les jurys ont modifié leur façon d’évaluer. Ce qui a provo- qué « des difficultés (…) partagées ensemble » dans les sous-commissions (Delphine). Certains évaluateurs font état de débats portant essentiellement sur le niveau d’exigence et sur l’évaluation à partir de preuves concrètes ou par inférence avec des critères transversaux. Les professionnels s’accommodent plus facilement du référentiel de compétences que les forma- teurs qui ont plutôt tendance à le discuter. Mais, ce sont les formateurs qui décrivent et justi- fient davantage de nouveaux critères. Dans l’ensemble, les caractéristiques personnelles, sociales et professionnelles des inter- viewés ne semblent pas avoir une influence marquée sur leurs pratiques d’évaluation. Deux facteurs semblent néanmoins importants : la connaissance de la VAE incite à expliciter davantage son évaluation, ses méthodes, ses critères ; le fait de tenir plus particulièrement à
  13. 13. Vers une évaluation indirecte en VAE - 13 un critère peut rendre l’évaluateur plus exigeant : critère de complétude (Aline), de connais- sances (Claire et, dans un registre plus contrôlé, Bertrand et Francis), d’éthique (Bertrand et Francis), de positionnement (Émile). Le plus souvent, l’intérêt pour la VAE vient modérer le niveau d’exigence de l’évaluateur. 4.1. Plus ou moins d’intérêt pour le parcours et peu d’approche promotionnelle L’évaluation promotionnelle est une reconnaissance par le jury de la légitimité du candidat à faire reconnaître son appartenance à la profession grâce à la particularité de son parcours, de ses motivations, de son éthique, de son public (CNAM, 2008, p 45-46). Il y en a peu de traces chez les évaluateurs. Le parcours intéresse peu les professionnels, mais retient l’attention des formateurs. Le critère éthique est important pour tous les évaluateurs. Les professionnels et le certificateur émettent des réserves par rapport au parcours. Hélène n’en « déduirai(t) peut-être pas quelque chose en termes de compétences », mais s’intéresse au fait que des « membres du jury sont très attentifs » au parcours. Les professionnels ne lui accordent qu’une importance « relative » (Aline) ; il comporte des risques de « subjectivité » (Bertrand). Il convient d’avoir d’autres critères et de « faire la différence (…) entre richesse de l’expérience et (… ce) qu’on retire de l’expérience » (Bertrand). Toutefois, c’est dans l’expérience, le parcours qu’ils cherchent des preuves concrètes, peut-être à leur insu. Les formateurs y sont plus attentifs. L’un d’eux pense qu’il faut inférer les compétences non seulement du parcours professionnel, mais aussi du parcours personnel car l’homme « s’auto-forme (…) en dehors des espaces institués » (Francis). Seule une formatrice déve- loppe encore une approche « parcours » et privilégie « la singularité », une position de parole incarnée, « tout parcours qui n’est pas trop formaté » (Delphine). Emile6 regarde comment le candidat « s’est adapté à la fonction » jusqu’à « pouvoir se dire (…) : "J’ai la légitimité à revendiquer une équivalence diplôme" ». Pour les formateurs, deux variables sont à contrôler au sujet du parcours : il a une influence, d’une part, sur le style du candidat, d’autre part, sur les perceptions de l’évaluateur. Il s’agit, d’abord, d’éviter de faire une erreur d’interprétation : le style du candidat est une variable à contrôler. « On n’est jamais assez vigilant sur les origines de la personne, (...) sur le parcours ». Son « fonctionnement de pensée », sa façon de s’exprimer sont influencés par ses expériences, ses formations. L’évaluateur doit en tenir compte pour dépasser ses a priori, l’entretien permettant toujours de vérifier la compétence (Émile). D’autre part, le jury peut aussi avoir des réticences devant certaines trajectoires professionnelles ou, au contraire, leur accorder du crédit ; l’influence positive ou négative, implicite ou explicite, du parcours sur l’évaluateur est une variable à contrôler. Ainsi, un interviewé peut affirmer que le parcours « n’influence pas », puis qu’il peut donner un « a priori favorable au départ » et enfin s’apercevoir que « si, ça joue un rôle. (…) il va peut-être y avoir un avis plus favorable » pour un dossier juste suffisant (Georges). A l’inverse, un formateur suppose un lien entre certaines trajectoires et une difficulté du candidat à analyser, il craint d’avoir des « préjugés » (Francis). Delphine pense pourtant que « les passages (c’est) faisable », que ce sont des « représentations » et qu’il faudrait « limiter les effets de reproduction professionnelle ». En dernière instance, le parcours s’avère insuffisant pour évaluer, il ne témoigne pas d’acquis. Bien que soucieux du parcours, les formateurs tendent à utiliser d’autres critères. 4.2. Évaluation de la transférabilité plutôt qu’une évaluation transverse L’évaluation transverse (CNAM, 2008, p 45-46) consiste à s’assurer de la transférabilité des compétences d’un domaine, d’une situation ou d’un public à l’autre en l’inférant des capacités d’autoévaluation et d’analyse de la pratique du candidat. Cette évaluation est peu évoquée en tant que telle par les évaluateurs qui utilisent pourtant ces critères. 6 Qui, pour sa part, préfère une approche transverse
  14. 14. 14 - B. Clot - 2012 Le certificateur est perplexe quant à la possibilité d’évaluer la transférabilité : essayer de repérer concrètement la transférabilité des compétences « est peut-être la question la plus difficile (…) si on arrive à repérer la compétence, c’est bien » (Hélène). Les professionnels sont attachés à l’évaluation de la transférabilité parce qu’ « avec le diplôme, (le candidat) peut aller (travailler) partout » (Bertrand). La première réaction est d’en rechercher la preuve soit dans le dossier, soit au cours de l’entretien. Cela peut aller jusqu’à la non validation car certains évaluateurs sont persuadés de la nécessité d’une expérience diversifiée et donc « ne sont pas partisans de (…) valider » en son absence (Claire). Toutefois, c’est un peu « exi- geant » : évaluer en VAE, ce n’est pas « rechercher les manques » (Bertrand). De fait, les professionnels n’y insistent pas vraiment : cette pratique, qui rassure, ne convainc pas. La diversité ne garantit pas qu’il y ait apprentissage alors qu’une expérience peu diversifiée peut être formatrice (Bertrand). Par ailleurs, interroger des candidats sur des situations profession- nelles inconnues peut les mettre en difficulté alors que, « pour autant ils peuvent faire une VAE » (Claire). Seul un formateur se réclame de l’évaluation transverse. Il s’agit de recouper les témoignages dispersés dans le dossier singulier, de faire des liens, de « reconstruire (…) de manière positive (…) par rapport au schéma des compétences, et pas l’inverse » (Émile). Ses collègues parlent plutôt de transférabilité et recherchent d’autres critères, même si la question des preuves concrètes demeure en arrière-plan. Si l’évaluateur peut poser des ques- tions « dans un autre champ, (…) un autre contexte », « voire des sphères plus éloignées », ce formateur ne l’a jamais expérimenté (Francis). C’est une forme d’exigence peut-être inutile, la « répétition » des preuves se trouve dans le dossier7 (Georges). Une compétence acquise de- vrait « être opératoire dans d’autres contextes » (Francis). Sensibles à la difficulté d’évaluer la transférabilité, les formateurs cherchent à construire des critères au-delà du référentiel. 4.3. Évaluation avec le référentiel de compétences et complétude L’évaluation « docimologique » (CNAM, 2008, p 45-46) s’attache à vérifier la cohérence entre le dossier et le référentiel ; elle tend à vérifier la complétude de l’expérience ; les éva- luateurs construisent des critères de validation qu’ils cherchent à légitimer. Le certificateur, chargé « d’appliquer la réglementation dans les jurys de VAE », indique que le référentiel et l’évaluation par domaines de compétences sont incontournables, ils s’imposent par décrets et arrêtés. Ne pas valider un domaine de compétences « ne doit pas avoir d’influence sur l’évaluation des autres (…). Il y a une volonté de bien différencier les domaines ». « S’imprègne(r) du référentiel » qui « constitue une grille d’analyse » permet d’évaluer ; à chaque compétence, correspondent des indicateurs de compétences (savoir-faire et savoir-être) qui « sont des IC concrets ». Mais, les domaines de compétences sont « un découpage intellectuel » qui ne correspond pas forcément aux activités, ce qui rend la « démarche difficile pour les membres du jury » (Hélène). Le référentiel est plus facilement accepté par les professionnels que par les formateurs. Pour les professionnels, le référentiel est « vraiment un fil conducteur » pour lire le dossier, évaluer, « positionner les candidats » (Claire), préparer l’entretien et échanger en sous- commissions. « Il faut mettre en lien ce qui est écrit (…) avec les domaines de compétences » (Aline). Toutefois, il peut être jugé insuffisant pour évaluer ; il permet « les trois quarts du travail d’évaluation », mais après l’entretien, le jury « est dans une lecture globale (…) pas avec une grille de lecture » (Bertrand). Les formateurs sont des utilisateurs plus critiques. S’ils considèrent le référentiel comme une « base » (Georges), un « appui fondamental » (Francis) et une référence commune (Delphine) qui donne « des critères utiles » (Émile), ils le jugent aussi « assez enfermant » (Émile), contraignant, voire inutile (Delphine). Il peut être jugé comme insuffisant pour évaluer. C’est « l’articulation (des) domaines de compétences qui (fait) qu’un professionnel va être efficient », il ne suffit pas « d’ânonner des réponses par 7 Le dossier des Moniteurs Éducateurs comporte deux descriptions de situations pour chaque domaine, mais pas celui des Éducateurs spécialisés qui, d’ailleurs, n’est pas structuré par domaines de compétences, mais par fonctions
  15. 15. Vers une évaluation indirecte en VAE - 15 rapport à un référentiel » ; il n’est pas certain « qu’il n’y ait pas un biais » avec ce découpage (Francis). Le changement de référentiel empêche d’avoir « une vision beaucoup plus globale de la personne » pour un évaluateur qui préfère la « notion de métier » et cherche « si la pos- ture professionnelle est juste » (Émile). Ou encore, la « dichotomie » entre valeurs et compé- tence « pose des questions… éthiques », laisse supposer que « la question des valeurs » est absente du référentiel, ce qui pourrait faire craindre d’éventuelles « conséquences sur les personnes (…) fragilisées » (Francis). Et enfin, il serait judicieux de convenir des « éléments essentiels (à) trouver dans un dossier, (pour ne pas) partir dans toutes les directions » (Georges). Les évaluateurs débattent de la question de l’exhaustivité, ou complétude, par rapport au référentiel. S’agit-il de valider des acquis ou de contrôler des manques ? En effet, certains domaines de compétences sont plus difficiles à évaluer que d’autres sans doute parce que la « pratique dans les établissements est faible » (Aline). Chez les professionnels, la complétude par rapport au référentiel peut être vérifiée soit en essayant « de mettre dans les cases de la grille » (Aline), soit en cherchant des ressources « dans toutes les compétences (…) mon- trées » de façon plus transversale (Claire). D’autres considèrent que le candidat n’a pas à « faire la preuve (…) qu’il maîtrise l’ensemble du contenu du référentiel dans ses moindres détails » car « on est (…) dans une recherche de l’acquis et pas dans une recherche du manque. (…) on ne cherche pas si la personne a balayé tout le référentiel… » (Bertrand). Chez les formateurs, la controverse est plus forte. Certains veulent vérifier que le candidat est « bien sur des champs d’action qui relèvent (du) métier » et démontre « qu’il pratique » (Émile). Mais cette position peut être taxée de « lecture mécanique », les organisations ne permettant pas toujours « le travail en partenariat », il reste cependant possible d’inférer la compétence car « il y a toujours une équipe ou plutôt un groupe de professionnels » (Delphine). Si on recherche « l’exhaustivité du référentiel » avec une lecture « très stricte on peut trouver toujours des éléments qui manquent », pourtant, ne pas maîtriser tout le référen- tiel « n’empêche pas la personne d’être très professionnalisée » (Georges). Et on n’est pas certain qu’il y ait, après un parcours de formation, acquisition de toutes les connaissances et « une véritable mise en œuvre » (Francis). Ce « grand catalogue d’items, (…) doit être inter- prété en fonction (du) parcours » et le niveau de complétude débattu, chaque évaluateur devant être « conscient » de son niveau d’exigence (Georges). 4.4. Une recherche de preuves concrètes controversée Les professionnels ont plutôt pour réflexe de chercher des preuves, des illustrations directes d’exercice effectif d’activité, de diversité des expériences, de connaissance d’un public ou de savoirs académiques. Quand ils ne les trouvent pas dans le dossier, ils estiment le doute constitué et vérifient lors de l’entretien. Pourtant, cela ne les convainc pas vraiment et ils utilisent aussi d’autres critères, mais qu’ils décrivent peu. Les formateurs ont une propen- sion à contester la preuve concrète ; ils préfèrent inférer la compétence avec d’autres critères. La connaissance de la VAE ou de l’accompagnement semble être la caractéristique la plus constante des évaluateurs qui privilégient cette approche. Mais ce n’est qu’une tendance, l’approche concrète subsiste en arrière plan. Pourtant, tous les évaluateurs utilisent des critères pour inférer la compétence, mais les plus proches de la VAE, surtout formateurs, les décrivent et les justifient davantage. 4.5. Construction de critères transversaux pour une évaluation « docimologique » Pour évaluer, les jurys s’assurent de la validité du dossier et du discours. Il s’agit de véri- fier que « c’est bien le candidat qui a rédigé son livret » (Claire). L’évaluateur recherche la « cohérence dans le dossier », « ce qui corrobore ou pas le discours » (Hélène). Et enfin, les annexes peuvent constituer des preuves. Mais, tous les évaluateurs font également état de l’utilisation de critères plus transversaux permettant d’inférer plutôt que de contrôler.
  16. 16. 16 - B. Clot - 2012 Le critère d’authenticité consiste à vérifier que le candidat n’est pas simplement « confor- miste » (Hélène), ne décrit pas du « prescrit » (Georges), il ne faut pas des « discours plaqués » (Francis). L’évaluateur cherche « l’action singulière, (…) le réel de l’activité » (Georges), « ce qui est incarné », le discours en première personne (Delphine). Action singu- lière et position de parole incarnée sont surtout des attentes de formateurs qui connaissent la VAE et du certificateur. Le critère éthique préoccupe tous les évaluateurs qui attendent : « une posture éthique » (Bertrand), une « ouverture d’esprit » (Aline), un « respect porté à la personne » (Aline, Francis), une « capacité d’écoute » (Émile), une capacité à « se remettre en cause » (Aline), à « se re-questionner » (Bertrand), l’explicitation des « valeurs » (Francis). Le critère de la posture professionnelle concerne les capacités d’autoréflexivité, d’action et d’engagement ; il est attendu par tous les évaluateurs. Il s’agit d’une capacité « à se poser des questions » (Émile), « à se distancier », à prendre « du recul » (Aline), à s’auto-évaluer ; il s’agit aussi ne pas se limiter au « pragmatique », à « une espèce d’automaticité d’opérationnel ». Un professionnel doit accéder « à la question du sens » (Francis), ne pas se contenter « des idées préconçues » (Bertrand), ne pas avoir un comportement « stéréotypé » (Aline), « rigide » (Bertrand). Et enfin, il doit être capable d’analyser ses erreurs ou encore de penser « devoir s’améliorer (…) de manière permanente » (Bertrand). Il doit avoir une capa- cité « à se projeter » dans l’action (Francis), une « implication individuelle et collective », savoir « prendre des risques (…), affirmer des choix » (Delphine). Parfois, cela peut s’apparenter à des attributions personnologiques : avoir « du caractère, (…) une présence » (Émile). Le critère de profondeur du retour réflexif sur l’expérience est aussi partagé par tous les évaluateurs qui attendent des « capacités de réflexivité » (Hélène). Un candidat doit avoir « du recul par rapport à une situation » (Aline), aller « jusqu’au bout de son retour sur parcours » (Georges), « produire une analyse (…) pas simplement décrire une situation » (Francis), une « analyse critique » (Aline) informant sur ses « acquis, (…) aptitudes et compétences ». Pour cela, il doit se « distancier », « s’inscrire dans une autre temporalité » et mettre « en pro- blème » (Francis). Dans cette perspective, les évaluateurs proches de la VAE précisent que le candidat doit avoir « une prise de conscience » et une « capitalisation (qu’il) réintroduit dans son action » (Georges) ; en effet, il doit montrer ce qu’il a acquis « de manière empirique et par expérience » et va « reproduire » (Francis). Le processus d’écriture fait partie « d’une démarche d’autoformation », « d’apprentissage ou de confirmation de structuration de la pensée » (Bertrand). Le travail réflexif est source d’appropriation. On peut se demander si les évaluateurs ont des attentes par rapport aux savoirs théoriques ou s’ils ont un critère quant aux acquis expérientiels ; ce critère mériterait d’être explicité dans les sous-commissions. Hors contexte, nous avons à faire à des « ressources » et non à des compétences (Claire) ; c’est donc à partir de ces ressources qu’elle infère les compé- tences, mais ce sont souvent des connaissances. En principe, le jury « ne doit pas poser de questions qui sont de l’ordre des connaissances » théoriques en VAE (Hélène). Pourtant, il « reste des attendus insupportables » ce qui constitue « une erreur, les savoirs académiques ne sont pas des indicateurs d’acquis de l’expérience » (Delphine). Effectivement, beaucoup de formateurs et de professionnels attendent des savoirs théoriques, un « vocabulaire adapté » (Francis), mais cela est travaillé en sous-commission et ils se reprennent eux-mêmes : le candidat n’a pas d’obligation de bibliographie, ni à « citer les méthodes ou les outils théo- riques » (Georges). Il importe plutôt que le candidat ait des connaissances lui permettant d’aller « au-delà de l’action », « y compris des savoirs empiriques » (Francis) ; qu’il ait « conscience » (Georges) de « ce (qu’il) fait et de pourquoi (il) le fai(t) » (Francis). L’appropriation des acquis expérientiels « est beaucoup plus importante, (…) a beaucoup plus
  17. 17. Vers une évaluation indirecte en VAE - 17 de sens » que les contenus académiques. « Il s’agit de démontrer que ces temps de rencontre avec le réel ont permis une appropriation de savoirs » (Francis). 4.6. Un risque d’émergence de critères globaux, voire de critère absolu ? Ce n’est pas un critère officiel, mais il peut exister : « on voit l’influence des pratiques de recrutement… cela peut aller jusqu’à la non-validation » (Delphine) et effectivement Claire et Émile ont ce réflexe de se demander ou de demander à leurs collègues s’ils aimeraient travailler avec le candidat ou s’ils l’embaucheraient. Ce critère de « recrutement » semble inciter à une évaluation globale, or, il ne peut pas y avoir d’ « approche globale » (Hélène), pourtant un candidat « a été recalé » ; il « ne voyait pas les limites de son travail. (…) Il y avait (…) un problème d’image du métier… et de la place de ce métier au sein de l’institution » (Émile). On peut se demander si le critère de positionnement professionnel n’a pas été utilisé comme critère global et, peut-être, absolu, la posture professionnelle pouvant provoquer une non validation totale. 5. Vers une approche indirecte pour l’évaluation en VAE L’enquête montre l’adoption d’une approche « docimologique », une tendance à chercher des preuves directes de compétences et l’utilisation de critères dont certains sont plus particu- lièrement spécifiques à la VAE. Elle met en évidence que la connaissance de la VAE in- fluence le mode d’évaluation : la recherche de complétude est plus contrôlée et les critères plus explicités. Dans cette perspective, j’essaierai de contribuer à la construction de critères transversaux et à une réflexion sur l’intérêt d’une évaluation indirecte en VAE. Le référentiel de certification est un référent institué, il est « l’élément déterminant pour le jury » (Prot, 2007, p 101) car il définit les objectifs d’évaluation. Mais la particularité des apprentissages par l’action est que l’intelligence pratique mobilisée est aussi bien déterminée par les conditions d’exercice que par le « prescrit » des organisations ou des référentiels, c’est pourquoi il y a toujours un décalage. Le travail du jury consiste donc à articuler et non pas à faire correspondre terme à terme les écrits du candidat et le référentiel. Le jury « n’est pas seulement préoccupé par l’expérience passée du candidat, mais aussi par ce qu’il est presque capable de faire, pour peu que sa fonction et ses conditions d’exercice changent » (Prot, 2007, p 104). C’est une évaluation indirecte qui permet d’inférer les compétences et aptitudes dont le candidat témoigne et qu’il est susceptible de faire évoluer. Il ne s’agit donc pas seule- ment de vérifier la correspondance entre éléments du dossier et objectifs du référentiel. Ainsi que l’indique le certificateur, la VAE est « une démarche de valorisation des compétences et non pas une sanction des manques » (guide, p 2). Pour cela, il y a à construire un espace de traduction entre candidat et jury à partir du référentiel (Prot, 2009, p 37) et un débat doit avoir lieu entre évaluateurs pour réinterpréter le référentiel au regard de chaque dossier singulier (Prot, 2007, p 103), sachant que, considéré dans ses dimensions plus abstraites (Maillard, 2003, p 72), le référentiel peut permettre une évaluation indirecte (Prot, 2007, p 102). Pour évaluer, il faut « une correspondance assez stricte entre le niveau d’objectif explicité et la nature précise de la réalité évaluée » (Barbier, 1985, p 75). Dans l’activité d’évaluation, l’objectif se spécifie avec des critères adéquats au référé. En effet, les critères dépendent non seulement des objectifs (ce sur quoi porte l’évaluation), mais aussi des conditions de produc- tion de l’information (ce à partir de quoi on évalue). La spécification des critères est une « étape autonome » (Barbier, 1985, p 77) et liée à l’acte d’évaluation avec une appropriation de « la nature concrète des informations produites ou susceptibles d’être produites sur l’objet à évaluer » (Barbier, 1985, p 78). C’est bien autour de ces questions que les interviewés parlent de l’évaluation. D’une part, certains restent plutôt tentés de vérifier une correspondance plus ou moins directe avec le référentiel de compétences, voire avec le RAP, et, d’autre part, tous cherchent à construire des critères qui leur permettent d’inférer la compétence.
  18. 18. 18 - B. Clot - 2012 5.1. Les risques d’une approche fixiste à partir du référentiel La recherche d’une preuve directe, d’une illustration de la compétence embarrasse les éva- luateurs qui ne sont pas vraiment convaincus (professionnels), voire plutôt opposés après réflexion (formateurs). Ils évoquent l’inutilité de la démarche (il n’y a pas de lien direct entre expérience et compétence), craignent que le niveau d’exigence ne devienne par trop élevé. Une approche trop directe pourrait constituer une sanction des manques plutôt qu’une valida- tion des acquis. Pourtant, la tendance existe et on peut se demander ce qui la provoque. En premier lieu, ce peut être une interprétation des demandes du certificateur de vérifier que les compétences sont entretenues par la pratique et que le candidat est capable de s’adapter à d’autres contextes et d’autres publics (guide). Ces demandes formelles appellent vérification, sauf à être explicitées dans un autre sens. D’autre part, il n’est pas si aisé de s’approprier le référentiel8 ; il comporte quatre niveaux : les domaines de compétences (quatre), divisés en sous-domaines, pour un ensemble de dix-neuf compétences, auxquelles correspondent 78 IC (deux à sept IC par compétence). Les IC sont plus directement compréhensibles parce que plus proches des acti- vités concrètes ; la tendance de l’évaluateur est donc de s’y référer préférentiellement, d’autant plus qu’ils sont supposés être des critères. Mais, plus l’évaluateur descend dans les subdivisions du référentiel, plus il risque d’avoir des attentes précises. Or, « les compétences détenues par les candidats (…) ne sont jamais immédiatement conformes à ce qui définit le diplôme » (Maillard, 2003, p 72). Les référentiels les plus abstraits, les moins référés aux activités, facilitent l’évaluation des compétences singulières. Il conviendrait donc de ne s’inspirer des IC qu’à titre indicatif et de n’évaluer qu’à partir du niveau de la compétence. L’approche directe peut subsister si l’évaluateur considère que sans expérience effective, il ne peut induire qu’il y a compétence ; mais, Prot (2007) propose une approche indirecte pour évaluer. Dans son commentaire, Lochard précise que, par cette réflexion épistémologique, Prot souhaite s’émanciper du modèle fixiste de l’examen. En effet, les compétences consti- tuent une réalité en mouvement alors que le référentiel dont nous disposons est stable. On ne peut plus se contenter « de vérifier une adéquation entre des aptitudes requises par l’emploi et des aptitudes individuelles » (Lochard, 2007, p 123). Dans les organisations, le contexte se transforme, les fonctions évoluent, se complexifient ; la compétence n’est plus un acquis stable, identifiable et référable directement, mais toujours en construction ; les ressources ne sont pas fixes ou définitivement objectivées, mais dans un mouvement continu d’objectivation. La compétence ne peut donc plus s’appréhender dans une correspondance terme à terme. « L’évaluation de l’expérience est possible si l’on cesse de s’obstiner à l’atteindre directement et si l’on construit une méthode indirecte, une méthode qui met en mouvement les concepts pour prendre la mesure de leur développement potentiel » (Prot, 2007, p 116). Ce qui m’amènera à proposer une évaluation « transverse ». Dès lors, la question se pose de savoir comment garder les objectifs et modalités d’évaluation décidés en CPC (évaluation par domaines de compétences) tout en allant vers une évaluation indirecte pour mieux tenir compte de la singularité des compétences du can- didat, mais sans aller vers une évaluation « globale ». Les évaluateurs s’y sont attachés en construisant des critères. 5.2. Contribution à une spécification de critères d’évaluation transversaux Les évaluateurs ont tous fait état de l’utilisation de critères qui semblent, pour certains, permettre de se centrer sur la singularité du référé. Ces critères ne sont pas spécifiques à une compétence ou un domaine de compétences, ils sont susceptibles de s’appliquer à chaque objectif d’évaluation fixé par la CPC. En ce sens, nous pouvons parler de critères transver- saux. Si on ne peut pas considérer que ces critères ont été spécifiés de façon explicite et 8 Je m’appuierai, ici, uniquement sur le référentiel du diplôme d’État d’Éducateur spécialisé
  19. 19. Vers une évaluation indirecte en VAE - 19 concertée, il n’en demeure pas moins que la majorité des évaluateurs les utilisent quels que soient leur expérience, leur collège, leur âge ou leur genre. Je vais m’attacher ici à m’assurer qu’ils possèdent les qualités qu’on peut attendre d’un critère d’évaluation : être stable, indé- pendant, limité. Autant que faire se peut, j’essaierai, à titre d’exemple, de différencier des critères minimaux et de perfectionnement (Roegiers, 2010, p 185) compatibles avec chaque objectif d’évaluation fixé par le référentiel pour qu’ils ne soient pas érigés en nouveaux objec- tifs d’évaluation s’ajoutant à ceux fixés par la CPC. Les critères les plus faciles à justifier sont ceux de profondeur du retour réflexif et d’authenticité. Le critère d’éthique mérite discussion et celui de positionnement, qui ne paraît pas indépendant, pourrait amener un risque d’évaluation globale. Les critères d’appropriation et de ressources sont moins partagés et ap- profondis, ils semblent liés, pour une part, à la question des savoirs théoriques. L’histoire de la VAE nous renseigne sur l’importance des critères d’éthique et de position- nement pour la profession. À ses débuts, la VAE s’est heurtée à des « réticences » : le métier « implique une posture, une manière d’être face à la complexité », « un travail sur soi- même » et « une adhésion aux finalités de la profession » (Merle, 2006, p 85). Pour les pro- fessionnels, la formation est supposée garantir une acculturation à des valeurs, une éthique, une déontologie et fournir les théories permettant une distanciation pour faire face à la complexité. Ces réticences et cette prudence sont justifiées par la fragilité du public et les « pressions de toutes natures » qui s’exercent dans le champ social (Merle, 2006, p 93). Nous les retrouvons en première place dans les préoccupations des évaluateurs ; Francis parle de risque de « biais »9 . Pourtant, dans un dossier VAE, « c’est l’intelligence des situations et le sens de l’action développée qui permettent de juger de façon pertinente si les règles de la profession et les connaissances utiles à l’action sont effectivement maîtrisées » (Merle, 2006, p 88). Ce ne sont pas les principes et valeurs qu’il faut vérifier, « mais la capacité à les décli- ner dans les situations réelles de travail » (Merle, 2006, p 88). Les évaluateurs en ayant fait des critères, je chercherai à les limiter, tout en rappelant la difficulté liée à cet exercice. Pour le critère éthique, le référentiel propose un IC : « savoir adopter une posture éthique » pour une compétence précise. Si la CPC situe l’éthique à un niveau particulier du référentiel, pouvons-nous en faire un critère transversal sans l’ériger en critère global ? Pourtant, le Conseil supérieur du travail social et l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (ANESM) posent que l’éthique est un des fondamentaux du travail social. L’ANESM ne la situe pas au seul accompagnement, mais aussi dans l’utilisation des outils, le travail d’équipe, le partenariat, les dynamiques institu- tionnelles… Le critère éthique se rapporterait donc à tous les domaines de compétences. La réflexion éthique « aide les professionnels à analyser et à clarifier la complexité d’une situation au regard des systèmes de valeur de chacun » (ANESM, 2010, p 2). Au sens strict, l’éthique ne renvoie pas à des normes. Les principes et les normes sont toujours construits et particuliers, ils renvoient à un contexte social et à des valeurs dominantes10 mais, pour agir, le professionnel s’appuie sur des textes et ses valeurs, il adopte un point de vue. L’éthique, quant à elle, est une démarche11 qui consiste à s’interroger sur les valeurs, principes et normes. Une réflexion éthique permet de construire de nouvelles perspectives, pas de confirmer un point de vue particulier ou une valeur. Le critère minimal pourrait être spécifié ainsi : "le candidat est-il capable de reconnaître comme légitimes les valeurs, normes, représentations et logiques d’action de tous les acteurs (soi-même, personnes accompagnées, collègues, collectifs ou 9 À cette occasion, il souligne qu’il parle « en tant qu’ancien ES » 10 Les valeurs dominantes pouvant émaner d’un groupe minoritaire 11 Considérée de façon plus stricte encore, l’éthique est intention ; elle n’implique pas de normes mais suppose une liberté en première et deuxième personne, juste une volonté que la liberté de l’autre soit. À dépasser cette position, on pose un tiers, des règles comme médiation entre deux libertés et la référence à l’intention s’efface. Construire un critère à partir de l’intention éthique est particulièrement exigeant.
  20. 20. 20 - B. Clot - 2012 partenaires) ?" ou "le candidat est-il capable de prendre en considération la pluralité des points de vue et les contradictions de valeurs en leur accordant une égale légitimité ?". Dans la continuité, le critère de perfectionnement (non exigible) pourrait être : "le candidat est-il capable de dialectiser la pluralité des points de vue et valeurs de tous les acteurs ?". La réfé- rence aux textes et la construction des indicateurs susceptibles de se trouver dans les référés concrets sera importante pour limiter les attentes des jurys. Tous les évaluateurs s’intéressent à la posture ou au positionnement du candidat, ce qui pose une seconde difficulté. Ce critère n’est pas indépendant, il s’appuie sur des choix éthiques et résulte d’une analyse de la complexité des enjeux et des situations. Par contre, nous voyons, chez les interviewés, des attentes en termes de capacités à s’auto-évaluer et d’autoréflexivité, mais aussi de capacité à s’engager dans l’action, à s’impliquer dans les structures… Nous pourrions alors proposer le critère minimal et transversal suivant : "le candidat est-il capable de faire des choix et d’évaluer les effets de son implication et de son engagement dans sa relation à l’autre, les collectifs, les organisations et le champ social ?". Ce critère est particulièrement sujet à dériver vers une évaluation globale. Il conviendrait de toujours le rapporter aux objectifs d’évaluation et de contrôler ses propres normes pour en limiter la portée. Avec le critère d’authenticité, les évaluateurs recherchent la description du réel de l’activité. Ce critère est intéressant en tant qu’il est spécifique à l’évaluation en VAE où c’est l’expérience vécue qui permet l’acquisition de compétences. Le sujet ne sait pas qu’il sait, l’action est une connaissance autonome et non consciente ; pourtant, il sait utiliser ce savoir. Selon Vermersch (1999, p 80), le passage entre le pré-réfléchi (les connaissances en acte) au réfléchi nécessite une prise de conscience. Or, cette prise de conscience ne peut avoir lieu que si le candidat fait un retour sur son expérience concrète. Le critère d’authenticité recouvre l’idée que c’est l’action singulière, ce que le sujet vit et rencontre réellement dans l’action qui intéresse le jury et non pas un discours « plaqué » ou du prescrit. Pour poser une proposition de critère minimal, on peut commencer par cette formulation : "le candidat parle-t-il de son propre point de vue et d’une action singulière, spécifiée et concrète ; se rapporte-t-il au réel de l’activité ?". Le critère de perfectionnement suivant : "le candidat adopte-t-il une position de parole incarnée ?" ne peut pas être exigé, la position de parole incarnée suppose un accompa- gnement spécifique. Certains évaluateurs ont des attentes en termes de ressources, d’appropriation, voire de sa- voirs théoriques. Parler de « s’approprier », c’est parfois suggérer que l’on intègre quelque chose qui vient de l’extérieur (et souvent des savoirs académiques). Or, « ce n’est pas la connaissance elle-même qui importe mais la capacité à traduire ces connaissances en logique d’action » (Merle, 2006, p 88). Le principe de la VAE est d’évaluer les acquis de l’expérience (des compétences, des aptitudes et des connaissances). C’est pourquoi tous les évaluateurs attendent une réflexion et une analyse critique qui correspondent au critère de profondeur du retour réflexif. En effet, l’expérience « n’exonère pas le candidat d’une démarche de déve- loppement personnel et professionnel » (Merle, 2006, p 92). La VAE n’est pas une formalité, mais un travail sur soi, une réflexion sur sa pratique, une évaluation de la façon dont on se comporte dans les situations professionnelles concrètes : l’écrit n’est pas l’expérience elle- même, mais une reconstruction a posteriori. Les ressources du candidat se transforment, non seulement par la mise à jour de ce qui était implicite, mais aussi par un travail de recomposi- tion, de réorganisation, de mise en cohérence, d’abstraction qui est, en soi, un réel apprentis- sage. Cette démarche conduit le candidat à de nouvelles représentations et ouvre à de nouvelles façons de problématiser ses activités. « Ce retour réflexif n’est sans doute pas pos- sible (…) si la personne n’a pas développé (une) distance critique par rapport à son action lors de son expérience » (Merle, 2006, p 87).
  21. 21. Vers une évaluation indirecte en VAE - 21 Ce critère de profondeur du retour réflexif mériterait d’être déployé, il est au cœur de l’évaluation VAE. Tous les auteurs soulignent la difficulté de l’évaluation d’acquis « marqués par leurs origines avec l’action et les situations, par les finalisations auxquelles ils sont cen- sés répondre, par leur caractère combinatoire qui fait que toutes les ressources sont mobili- sées pour une fin, par le fait qu’ils sont pertinents ou pas, avant d’être vrais ou vérifiables » (Mayen, 2009, p 57). Ces savoirs sont intimement incorporés à l’action, ce sont des totalités fonctionnelles organisées ; mais, l’expérience « engendre la constitution (…) de schèmes » (Mayen, 2009, p 57) dont on trouve les traces dans l’écrit. Les abstractions du candidat ne peuvent se situer que dans une zone proximale de développement et non pas se décliner en termes de corpus théoriques semblables aux savoirs académiques. Le candidat peut « théori- ser son acte », mais « cette théorie ne peut en aucune façon être confondue avec un savoir académique : il s’agit d’une théorie de l’action dont la validité est avant tout écologique (elle vaut ici et maintenant et pour une personne donnée) » (Cherqui-Houot, 2001, p 38). Le concept de schème semble pouvoir permettre de justifier le critère de réflexivité. Un schème est une intériorisation de l’action avec le développement de représentations ; c’est « une manière de régler son action en fonction de caractéristiques particulières de la situation (…) ici et maintenant » (Vergnaud, 1996, p 281). C’est une organisation invariante d’opérations pour une classe de situations ; il permet d’ajuster l’action en fonction des va- riables de la situation singulière et du but identifié. Ce n’est pas un stéréotype ou une routine, c’est plutôt un type d’organisation. Les schèmes sont hiérarchiquement organisés, les plus élémentaires sont intégrés à des schèmes de plus haut niveau qui organisent des activités plus complexes. Ils se développent en interaction les uns avec les autres et forment des répertoires de schèmes pour un domaine d’activités. Les schèmes opératoires organisent des gestes et des pratiques, mais aussi des conceptualisations. Celles-ci « comportent beaucoup d’aspects diffé- rents pour une même classe de situations et sont associées à des conditions et limites de vali- dité d’une grande diversité » (Vergnaud, 1996, p 285), ce qui rend la généralisation difficile. Un schème est composé de quatre catégories d’éléments, tous indépendants : les buts et anti- cipations, les règles d’action, les possibilités d’inférence en situation et des invariants opéra- toires. Ces derniers représentent la partie la plus cognitive du schème (concepts-en-acte et théorèmes-en-acte), ils permettent de sélectionner, interpréter, contrôler les informations pertinentes ; de reconnaître les objets, leurs propriétés, leurs relations et d’inférer les règles d’action qui conviennent en fonction du but. Confronté à une situation nouvelle, le sujet décombine et recombine les éléments de schèmes déjà formés. C’est l’étude des invariants opératoires qui peut « permettre de mieux comprendre la conceptualisation sous-jacente à l’action » (Vergnaud, 1996, p 290). Le retour réflexif, l’analyse plus ou moins fine de l’activité et de son organisation permet au jury d’évaluer les capacités « à argumenter, à généraliser, et plus généralement tout ce qui fait sortir d’un rôle d’exécution » (Bellini, 2007, p 433). Quoique jugé essentiel, ce versant de l’évaluation est moins justifié alors que si les compétences cognitives « sont jugées défail- lantes, le diplôme n’est pas validé » (Bellini, 2007, p 434). En formation, les chercheurs tra- vaillent sur « une prise de distance par rapport au monde et au langage », le « dialogue argumentatif » (Crinon & Guigue, 2006, p 120), des descriptions qui développent les capaci- tés à analyser, la fréquence des traits de réflexivité, une réflexion sur différents aspects (tech- niques, d’organisation, relations, attitudes personnelles, règles d’action plus générales), un niveau de précision et de cohérence. Ils distinguent plusieurs catégories d’écrits : « écriture descriptive (sans réflexion), réflexion descriptive (les jugements personnels), réflexion dialo- gique (une recherche d’explications), réflexion critique (qui prend en compte des facteurs historiques, sociaux ou politiques) » (Crinon & Guigue, 2006, p 153). L’évaluateur peut s’intéresser aux indices privilégiés pour décider, anticiper, aux catégories (d’éléments, de situations, de buts, de variables…), à l’adaptation des moyens aux buts et aux variables de situation, au niveau d’analyse, aux grilles de lecture du réel, aux arguments, à l’analyse des
  22. 22. 22 - B. Clot - 2012 essais et erreurs, à l’adaptation des outils… et, dans un registre non exigible : aux proposi- tions de solutions alternatives, aux anticipations sur les avantages et inconvénients… C’est dans l’organisation de l’action elle-même que nous pouvons rechercher des critères minimaux, par exemple : "est-ce que le candidat décrit les variables de situation qui lui ont permis de faire des choix d’action ?" ; "est-ce que le candidat développe des arguments pour expliquer (en termes de causalité, comparaison, concession, condition, conséquence, différen- ciation, hiérarchisation, opposition, présupposition, relativisation…) ?" ; "est-ce que le candi- dat argumente ses choix ?"… D’autres critères peuvent être construits, mais, pour faciliter l’évaluation, le jury ne doit pas avoir trop de critères (Roegiers, 2010, p 199). Des critères bien spécifiés permettent aux évaluateurs de diriger leur lecture et d’objectiver leur évaluation, en posant des règles pour contrôler leurs inférences. Ils constituent également une référence commune entre évaluateurs, mais aussi avec les autres acteurs (candidats, certi- ficateur, accompagnateurs). Parfois, devant la difficulté, l’évaluateur peut chercher une réas- surance en ayant recours à des critères à risques, par exemple le critère de recrutement alors que d’autres facteurs, que les compétences, interviennent dans le recrutement. Les critères d’éthique et de posture professionnelle demanderont aux jurys de contrôler leurs propres valeurs et normes, sachant que la législation et l’ANESM font référence. Pour une évaluation en VAE, il semble pertinent de porter l’accent sur les critères d’authenticité et de profondeur du retour réflexif. 5.3. L’intérêt du recours à une évaluation indirecte et transverse Je parlerai ici d’évaluation transverse dans un sens un peu différent à celui donné par Pascale De Rosario12 . Si un candidat ne peut pas témoigner directement d’une compétence, il peut cependant faire preuve de capacités par ses analyses et son autoévaluation ; ce qui permet d’inférer qu’il dispose de connaissances et de répertoires de schèmes le rendant « presque capable de faire » (Prot, 2007, p 104). L’évaluateur peut inférer ces capacités à partir de témoignages dispersés dans l’ensemble du dossier puisque les schèmes sont recom- posables et combinables. Il collecte des indices et les réunit en un faisceau convergent pour inférer. Ce qui permet d’échapper à la logique d’adéquation, mais demande à être contrôlé : la construction des indicateurs devient cruciale. Un indicateur est un signe observable issu de la production du candidat. Pour s’élever à ce rang, l’information doit être pertinente et pouvoir être mise en relation avec un critère représentatif de ce qui est à évaluer. Les indicateurs ne sont pas l’ensemble des données et ne s’imposent pas d’eux-mêmes, ils sont à construire et à expliciter (Barbier, 1985, p 97) à partir d’un échantillon représentatif de dossiers à évaluer. Un indicateur qualitatif « précise une facette du critère (…). Il reflète alors, soit la présence/l’absence d’un élément, soit un degré d’une qualité donnée » (Roegiers, 2010, p 270). Plus les situations sont ouvertes, plus ils sont difficiles à cerner, mais les formaliser permet d’entrer dans un processus d’objectivation. Pour justifier la possibilité de reconstruire une capacité par une approche transversale avec les critères d’authenticité et de profondeur du retour réflexif, j’ai relu un dossier de bonne qualité ne permettant pas de conclure de façon directe à la compétence « Développer des acti- vités en partenariat et en réseau et contribuer à des pratiques de développement social terri- torialisé »13 (domaine de compétences 4). Et j’ai cherché des indicateurs de connaissances et des traces de schèmes du même répertoire, sans lire les citations théoriques pour ne pas être influencée par les savoirs académiques de la candidate. 12 Selon De Rosario, le jury "Transversabilité" « reconstruit le livret 2 » ; « l’autoévaluation et la capacité d’autoanalyse des pratiques est un critère transverse d’évaluation » pour « chercher la transférabilité » et « reconstruire l’idée du métier » (CNAM, 2008, p 45-46). 13 C’est souvent une compétence non validée, les candidats ayant peu de pratique

×