1. BAIRSTOW Dominique
LAVAUR Jean-Marc
& LAXEN Jannika
Workshop on L2 proficiency assessment
February 24/25th 2012

3.  Recherches en psychologie cognitive : Développement,
l’organisation et le fonctionnement du lexique mental
bilingue.
 Liens existants en mémoire entre les équivalents de
traduction.
 Modification des liens avec l’apprentissage de la
langue L2
 Mémoire sémantique commune ou quasi-commune
correspondant à un haut degré de maîtrise des deux
langues.

4. Niveau de langue des participants aux
expériences de psychologie
 Homogénéiser des résultats obtenus avec des
populations et des langues différentes dans
des contextes expérimentaux très diversifiés
(Wei & Moyer, 2008).

5.  Evaluations (tests de langue) utilisées avant et
après les expériences (auto-évaluation, test de
vocabulaire, traduction de mots + données
personnelles)
 Leur but est de déterminer des niveaux de
maîtrise de la L2 et de constater des évolutions
des traitements effectués dans différentes tâches
(Lavaur & Bairstow, 2011).

6. Les évaluations de la compétence dans les
deux langues ne permettent pas :
 d’estimer le fonctionnement de la mémoire
bilingue
 De tester les participants sur leurs capacités à
établir des liens entre les deux langues

7.  Le test permet d’estimer la facilité avec laquelle
un apprenant passe :
 du niveau lexical (forme des mots) au niveau
sémantique (significations associées).
A partir d’une tâche expérimentale utilisée dans
les recherches sur le lexique mental bilingue.

8.  Dans cette tâche, les participants doivent décider le plus
rapidement possible si deux mots présentés à l’écran (ex :
LUNE-MOON ou LUNE-RIVER) sont ou non des traductions.
 Cette tâche est sensible à :
 la sémantique des mots (niveau de concrétude, nombre et
dominance des traductions, écart sémantique entre les
différentes traductions d’un même mot ; Laxen & Lavaur, 2010)
 leur forme (mots cognats et homographes interlexicaux ;
Laxen, Lavaur & Aparicio, 2011)
 leur fréquence objective et subjective (familiarité) dans
chacune des deux langues.

9.  Cette tâche permet de présenter toutes les
traductions possibles d’un même mot
contrairement aux tâches classiques de
traduction où seul le lexique mental dit
« actif » est testé.

10.  Le test évalue :
les facilitations ou conflits et interférences liés à la
forme des mots dans les deux langues
(même forme dans les deux langues,même signification comme
TAXI-TAXI- ou significations différentes comme COIN-COIN pièce
de monnaie en anglais).
 I l permet :
un diagnostic rapide du fonctionnement de la
mémoire sémantique des apprenants

11.  Ce test est couplé :
 avec des évaluations classiques du niveau de
langue (auto-évaluation des différentes
compétences linguistiques dans la langue
orale et écrite)
 et des tests de traduction spontanée et de
complétion de phrases (voir Lavaur &
Bairstow, 2011).

13.  Le test mesure une compétence bilingue, (établir des liens
entre les équivalents de traduction )
 Il évalue le fonctionnement de la mémoire bilingue
(efficacité, rapidité).
 Il implique deux grands niveaux de traitement (lexical,
sémantique).
 Dans sa version visuelle, les codes orthographiques et
sémantiques sont impliqués de sorte que les participants
doivent détecter les formes présentées, accéder à leur sens et
les apparier comme étant ou non des traductions.

14.  L’intérêt du test dépasse la mesure de la
compétence dans une langue donnée
puisqu’il estime la capacité à relier deux
langues et résoudre les interférences
éventuelles.
 Il peut être appliqué à une large population
indépendamment du niveau de fluence dans
chacune des deux langues testées.

16.  De très nombreuses variables sont susceptibles
d’affecter la performance au test
 d’où la nécessité d’établir une hiérarchie dans
ces variables.
 La version pilote permet d’introduire les
variables par ordre de complexité croissante.

17.  La fréquence des mots dans chacune des
langues est une variable dont les effets sont
attestés dans de nombreuses tâches .
 Cependant, les contacts avec les langues varient
d’une langue à l’autre pour un sujet donné.
 Il semble donc plus pertinent de prendre en
compte la familiarité des mots (valeur subjective
qui tient compte de ces contacts).

18.  D’un point de vue méthodologique, les mots sont
testés dans les deux sens de la traduction (L1L2,
L2L1).
 L’accès à la mémoire sémantique semble
également dépendre de la langue de départ qui
peut orienter les traitements effectués.
 Faire varier le sens de la traduction de manière non
prévisible pour les participants permet d’estimer
leurs capacités à établir des liens sémantiques
tout en changeant de langue.

19.  La capacité à établir des liens rapides entre les
équivalents de traduction doit être mise en
relation avec la capacité à discriminer des mots
qui ne sont pas reliés dans la mémoire
sémantique.
 Le test estime à la fois le traitement des
équivalents de traduction et celui des non
équivalents de traduction.

21. A partir d’une base lexicale (Balota, 1999), les
variables contrôlées pour la version pilote du test
sont :
 la forme des mots (pas de lien orthographique
ou phonologique entre les mots des deux langues),
 le nombre de lettres (3 à 7)
 la différence de lettres au sein d’un même
couple (+ ou – 2).
 le nombre de traductions : mots à une
traduction ou à une traduction nettement dominante

22.  Le matériel est sélectionné à partir de deux bases
lexicales (anglaise et française) indiquant la familiarité.
 Une base composée de 270 couples d’équivalents de
traduction répartis en 2 niveaux de familiarité (élevé, bas)
 Les 168 couples de mots choisis seront répartis en 3 blocs
en fonction de l’ordre des langues (L1L2, L2L1, aléatoire)
Familiers Non familiers
Équivalents 42 42
Non
équivalents
42 42

23.  Le contrebalancement des couples et des
listes tient compte:
 de la place des couples au sein d’un même
bloc,
 de la présence de chaque couple de mots dans
tous les blocs,
 de la présentation de chaque couple dans les
deux sens de traduction.

25.  Temps de présentation de chaque couple:
1.5 sec/diapo, donc durée du test environ 5 minutes.
Mots organisés en trois blocs avec une pause entre
chaque bloc.
 Questionnaire de données personnelles:
 Echelles d’auto-évaluation de compréhension et
production (oral ou écrit), de 1 à 7.
 Questions sur l’âge d’acquisition.
 Contexte de pratique des langues.

26.  Quelques couples du test de
reconnaissance en traduction…
 Répondez OUI, NON ou PASS!

28. NAIN
DWARF

30. LEVRE
NECK

32. REQUIN
SAND

35.  On peut utiliser différentes méthodes:
 analyser les bonnes réponses,
 faire une analyse sur la certitude des réponses) ou
 analyser des erreurs (réponse oui/ sur réponse
non).
 Il faut également prend en compte :
 le sens de traduction ainsi que l’ordre des langues
dans les blocs (fixe ou aléatoire)
 la familiarité

36.  Répartition des réponses sur 25 participants:
 Equilibre entre les blocs
 L’ordre des langues ne modifie pas la
performance
 Plus d’omissions que d’erreurs
Bloc
L1L2
Bloc
L2L1
Bloc
aléatoire
Total
Score 50.2 % 53.14 % 54 % 52.5 %
Erreurs 10.8 % 7.43 % 4.9 % 7.7 %
Omissio
ns
39 % 39.43 % 41.1 % 39.8 %

37.  Répartition des erreurs: sur réponses « oui »
(fausses reconnaissances)et sur réponses « non »
(fausses alarmes)
Bloc
L1L2
Bloc
L2L1
Bloc
aléatoire
Total
Erreurs
Traductio
ns
18.4 % 14.3 % 9.5 % 14.2 %
Erreurs
non
traductio
ns
3.3 % 1.5 % 1.1 % 2 %
Omissions
traductio
ns
35.4 % 40.3 % 42.7 % 39.4 %
Omissions
non
42.9 % 43.9 % 46.7 % 44.4 %

38.  Répartition des réponses selon la familiarité
 Nombre supérieur de réponses correctes pour les
couples familiers (participants non natifs anglais).
 Nombre supérieur d’erreurs et d’omissions pour les
couples non-familiers.
Couples
familiers
Couples non
familiers
Scores 86.76 % 18.14 %
Erreurs 4.95 % 10.43 %
Omissions 8.28 % 71.43 %

39.  Relation entre score moyen d’auto-évaluation et nombre
de bonnes réponses au test (divisé par 100)
 Les participants ont tendance à sous-estimer leurs
compétences

40.  Globalement, il n’y a pas de grand effet lié à
l’ordre de présentation des couples:
 L’effet peut se trouver atténué par un effet
d’habituation à la tâche
 Ou par un temps d’exposition trop long pour
chaque item (ce qui permet de développer des
stratégies de traduction)

41.  On remarque qu’il y a globalement plus
d’omissions que d’erreurs.
 Pas de distinction entre les omissions sur « oui »
et celles sur « non ».
 En ce qui concerne les erreurs, il y en a
largement plus sur les réponses « oui » (fausses
reconnaissances) que sur les réponses « non »
(fausses alarmes).

42.  On constate un très fort effet de la familiarité:
 Les participants testés ne sont pas natifs anglais
 La familiarité semble être un facteur très discriminant
 Cet effet de familiarité s’étend à la fois aux
erreurs et aux omissions

43.  Le nombre de bonnes réponses de chaque
participant semble corrélé assez positivement
avec la moyenne de ses scores d’auto-évaluation
 Lorsque ces deux scores s’écartent, on constate
que les participants ont tendance à minimiser
leurs compétences linguistiques.
 Globalement, le test est un bon indicateur du
score d’auto-évaluation

44.  Le test est un bon reflet des techniques courantes
d’évaluation linguistique
 Il permet également d’estimer la capacité à
extraire des informations à partir d’un mot qu’on
ne connaît pas
 Ainsi que la capacité à extraire des informations à
partir du mot de la langue dominante pour
éliminer ou accepter un item

45.  L’effet de la familiarité est bien présent, mais ne
discrimine qu’entre un niveau très élevé et un
niveau très bas: pas de nuance
 On ne constate pas d’effet selon l’ordre de
présentation des mots au sein de chaque couple:
présentation trop lente ou matériel trop simple
(effet plafond)?
 Nécessité d’injecter de nouveaux facteurs pour
affiner la discrimination entre les différents
niveaux

47.  Le test nous donne deux niveaux dans la capacité
des participants à faire des liens entre les deux
langues : débutant ou expert.
 Nécessité de rajouter une variable afin d’affiner
ces catégories. Nous disposons de nombreuses
variables qui pourraient servir à cette distinction.

48.  Facteurs permettant un affinage:
 rajouter des couples de mots ayant un indice de
familiarité intermédiaire (entre 3,5 et 4,5) ;
 utiliser l’homophonie, l’homographie,
 Autres facteurs: nombre de traductions,
disponibilité contextuelle, la concrétude ou encore
la probabilité de traduction.
 La deuxième étape du test pourra donc intégrer l’un
de ces facteurs afin d’affiner encore l’évaluation de la
capacité à faire des liens entre deux langues.

50.  But du test : créer un outil simple et rapide permettant
d’évaluer les compétences linguistiques d’un individu,
avant sa participation à une expérience par exemple
 Pour affiner la discrimination du test, il convient d’y
introduire de nouveaux facteurs qui permettront de
mieux évaluer les compétences
 Un autre paramètre à prendre en considération est celui
du mode de réponse: utiliser la plateforme Eprime, par
exemple, permettra entre autres de prendre en compte
le temps de réponse dans les mesures.

51.  Séparer ce qui relève du temps de décision et ce qui
relève du temps de coordination cérébro-motrice, ainsi
que ce qui relève de la partie perceptive
 de quelle façon les deux mots sont traités ? Successivement,
parallèlement, ou encore avec un système de feedback ?
 La présentation audiovisuelle avec une composante orale
et une écrite: un mot entendu pouvant générer des
candidats de façon différente qu’un mot écrit.
 On pense également à la façon dont l’activation se
propage, par exemple une activation par stimulus auditif
et visuel, puis appariement des deux.

52. Références
 Lavaur, J-M., & Bairstow, D. (2011). Languages on the screen: is film comprehension related
to the viewer's fluency level and to the languages in the subtitles? International Journal of
Psychology (Online access).
 Laxen, J., & Lavaur, J-M. (2010).The Role of Semantics in Translation Recognition:
Effects of number of translations, dominance of translations, and semantic relatedness of
multiple translations. Bilingualism, Language and Cognition, 13(2), 157-183.
 Laxen, J., Lavaur, J-M., & Aparicio, X. (2011). Reconnaissance en traduction
et homographie interlangue. Psychologie Française, 56(3), 161-172.
 Wei, L., & Moyer, M. (2008). The Blackwell guide to research methods in Bilingualism and
Multilingualism. Malden : Blackwell Publishing Limited.