BAIRSTOW Dominique
LAVAUR Jean-Marc
& LAXEN Jannika
Workshop on L2 proficiency assessment
February 24/25th 2012
 Recherches en psychologie cognitive : Développement,
l’organisation et le fonctionnement du lexique mental
bilingue.
 L...
Niveau de langue des participants aux
expériences de psychologie
 Homogénéiser des résultats obtenus avec des
populations...
 Evaluations (tests de langue) utilisées avant et
après les expériences (auto-évaluation, test de
vocabulaire, traduction...
Les évaluations de la compétence dans les
deux langues ne permettent pas :
 d’estimer le fonctionnement de la mémoire
bil...
 Le test permet d’estimer la facilité avec laquelle
un apprenant passe :
 du niveau lexical (forme des mots) au niveau
s...
 Dans cette tâche, les participants doivent décider le plus
rapidement possible si deux mots présentés à l’écran (ex :
LU...
 Cette tâche permet de présenter toutes les
traductions possibles d’un même mot
contrairement aux tâches classiques de
tr...
 Le test évalue :
les facilitations ou conflits et interférences liés à la
forme des mots dans les deux langues
(même for...
 Ce test est couplé :
 avec des évaluations classiques du niveau de
langue (auto-évaluation des différentes
compétences ...
 Le test mesure une compétence bilingue, (établir des liens
entre les équivalents de traduction )
 Il évalue le fonction...
 L’intérêt du test dépasse la mesure de la
compétence dans une langue donnée
puisqu’il estime la capacité à relier deux
l...
 De très nombreuses variables sont susceptibles
d’affecter la performance au test
 d’où la nécessité d’établir une hiéra...
 La fréquence des mots dans chacune des
langues est une variable dont les effets sont
attestés dans de nombreuses tâches ...
 D’un point de vue méthodologique, les mots sont
testés dans les deux sens de la traduction (L1L2,
L2L1).
 L’accès à la ...
 La capacité à établir des liens rapides entre les
équivalents de traduction doit être mise en
relation avec la capacité ...
A partir d’une base lexicale (Balota, 1999), les
variables contrôlées pour la version pilote du test
sont :
 la forme des...
 Le matériel est sélectionné à partir de deux bases
lexicales (anglaise et française) indiquant la familiarité.
 Une bas...
 Le contrebalancement des couples et des
listes tient compte:
 de la place des couples au sein d’un même
bloc,
 de la p...
 Temps de présentation de chaque couple:
1.5 sec/diapo, donc durée du test environ 5 minutes.
Mots organisés en trois blo...
 Quelques couples du test de
reconnaissance en traduction…
 Répondez OUI, NON ou PASS!
NAIN
DWARF
LEVRE
NECK
REQUIN
SAND
 On peut utiliser différentes méthodes:
 analyser les bonnes réponses,
 faire une analyse sur la certitude des réponses...
 Répartition des réponses sur 25 participants:
 Equilibre entre les blocs
 L’ordre des langues ne modifie pas la
perfor...
 Répartition des erreurs: sur réponses « oui »
(fausses reconnaissances)et sur réponses « non »
(fausses alarmes)
Bloc
L1...
 Répartition des réponses selon la familiarité
 Nombre supérieur de réponses correctes pour les
couples familiers (parti...
 Relation entre score moyen d’auto-évaluation et nombre
de bonnes réponses au test (divisé par 100)
 Les participants on...
 Globalement, il n’y a pas de grand effet lié à
l’ordre de présentation des couples:
 L’effet peut se trouver atténué pa...
 On remarque qu’il y a globalement plus
d’omissions que d’erreurs.
 Pas de distinction entre les omissions sur « oui »
e...
 On constate un très fort effet de la familiarité:
 Les participants testés ne sont pas natifs anglais
 La familiarité ...
 Le nombre de bonnes réponses de chaque
participant semble corrélé assez positivement
avec la moyenne de ses scores d’aut...
 Le test est un bon reflet des techniques courantes
d’évaluation linguistique
 Il permet également d’estimer la capacité...
 L’effet de la familiarité est bien présent, mais ne
discrimine qu’entre un niveau très élevé et un
niveau très bas: pas ...
 Le test nous donne deux niveaux dans la capacité
des participants à faire des liens entre les deux
langues : débutant ou...
 Facteurs permettant un affinage:
 rajouter des couples de mots ayant un indice de
familiarité intermédiaire (entre 3,5 ...
 But du test : créer un outil simple et rapide permettant
d’évaluer les compétences linguistiques d’un individu,
avant sa...
 Séparer ce qui relève du temps de décision et ce qui
relève du temps de coordination cérébro-motrice, ainsi
que ce qui r...
Références
 Lavaur, J-M., & Bairstow, D. (2011). Languages on the screen: is film comprehension related
to the viewer's f...
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012
Prochain SlideShare
Chargement dans…5
×

Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012

488 vues

Publié le

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
488
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
6
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • A partir d’une tâche expérimentale utilisée dans les recherches sur le lexique mental bilingue .
  • Evaluation de la mémoire sémantique bilingue. Workshop, Monptellier 2012

    1. 1. BAIRSTOW Dominique LAVAUR Jean-Marc & LAXEN Jannika Workshop on L2 proficiency assessment February 24/25th 2012
    2. 2.  Recherches en psychologie cognitive : Développement, l’organisation et le fonctionnement du lexique mental bilingue.  Liens existants en mémoire entre les équivalents de traduction.  Modification des liens avec l’apprentissage de la langue L2  Mémoire sémantique commune ou quasi-commune correspondant à un haut degré de maîtrise des deux langues.
    3. 3. Niveau de langue des participants aux expériences de psychologie  Homogénéiser des résultats obtenus avec des populations et des langues différentes dans des contextes expérimentaux très diversifiés (Wei & Moyer, 2008).
    4. 4.  Evaluations (tests de langue) utilisées avant et après les expériences (auto-évaluation, test de vocabulaire, traduction de mots + données personnelles)  Leur but est de déterminer des niveaux de maîtrise de la L2 et de constater des évolutions des traitements effectués dans différentes tâches (Lavaur & Bairstow, 2011).
    5. 5. Les évaluations de la compétence dans les deux langues ne permettent pas :  d’estimer le fonctionnement de la mémoire bilingue  De tester les participants sur leurs capacités à établir des liens entre les deux langues
    6. 6.  Le test permet d’estimer la facilité avec laquelle un apprenant passe :  du niveau lexical (forme des mots) au niveau sémantique (significations associées). A partir d’une tâche expérimentale utilisée dans les recherches sur le lexique mental bilingue.
    7. 7.  Dans cette tâche, les participants doivent décider le plus rapidement possible si deux mots présentés à l’écran (ex : LUNE-MOON ou LUNE-RIVER) sont ou non des traductions.  Cette tâche est sensible à :  la sémantique des mots (niveau de concrétude, nombre et dominance des traductions, écart sémantique entre les différentes traductions d’un même mot ; Laxen & Lavaur, 2010)  leur forme (mots cognats et homographes interlexicaux ; Laxen, Lavaur & Aparicio, 2011)  leur fréquence objective et subjective (familiarité) dans chacune des deux langues.
    8. 8.  Cette tâche permet de présenter toutes les traductions possibles d’un même mot contrairement aux tâches classiques de traduction où seul le lexique mental dit « actif » est testé.
    9. 9.  Le test évalue : les facilitations ou conflits et interférences liés à la forme des mots dans les deux langues (même forme dans les deux langues,même signification comme TAXI-TAXI- ou significations différentes comme COIN-COIN pièce de monnaie en anglais).  I l permet : un diagnostic rapide du fonctionnement de la mémoire sémantique des apprenants
    10. 10.  Ce test est couplé :  avec des évaluations classiques du niveau de langue (auto-évaluation des différentes compétences linguistiques dans la langue orale et écrite)  et des tests de traduction spontanée et de complétion de phrases (voir Lavaur & Bairstow, 2011).
    11. 11.  Le test mesure une compétence bilingue, (établir des liens entre les équivalents de traduction )  Il évalue le fonctionnement de la mémoire bilingue (efficacité, rapidité).  Il implique deux grands niveaux de traitement (lexical, sémantique).  Dans sa version visuelle, les codes orthographiques et sémantiques sont impliqués de sorte que les participants doivent détecter les formes présentées, accéder à leur sens et les apparier comme étant ou non des traductions.
    12. 12.  L’intérêt du test dépasse la mesure de la compétence dans une langue donnée puisqu’il estime la capacité à relier deux langues et résoudre les interférences éventuelles.  Il peut être appliqué à une large population indépendamment du niveau de fluence dans chacune des deux langues testées.
    13. 13.  De très nombreuses variables sont susceptibles d’affecter la performance au test  d’où la nécessité d’établir une hiérarchie dans ces variables.  La version pilote permet d’introduire les variables par ordre de complexité croissante.
    14. 14.  La fréquence des mots dans chacune des langues est une variable dont les effets sont attestés dans de nombreuses tâches .  Cependant, les contacts avec les langues varient d’une langue à l’autre pour un sujet donné.  Il semble donc plus pertinent de prendre en compte la familiarité des mots (valeur subjective qui tient compte de ces contacts).
    15. 15.  D’un point de vue méthodologique, les mots sont testés dans les deux sens de la traduction (L1L2, L2L1).  L’accès à la mémoire sémantique semble également dépendre de la langue de départ qui peut orienter les traitements effectués.  Faire varier le sens de la traduction de manière non prévisible pour les participants permet d’estimer leurs capacités à établir des liens sémantiques tout en changeant de langue.
    16. 16.  La capacité à établir des liens rapides entre les équivalents de traduction doit être mise en relation avec la capacité à discriminer des mots qui ne sont pas reliés dans la mémoire sémantique.  Le test estime à la fois le traitement des équivalents de traduction et celui des non équivalents de traduction.
    17. 17. A partir d’une base lexicale (Balota, 1999), les variables contrôlées pour la version pilote du test sont :  la forme des mots (pas de lien orthographique ou phonologique entre les mots des deux langues),  le nombre de lettres (3 à 7)  la différence de lettres au sein d’un même couple (+ ou – 2).  le nombre de traductions : mots à une traduction ou à une traduction nettement dominante
    18. 18.  Le matériel est sélectionné à partir de deux bases lexicales (anglaise et française) indiquant la familiarité.  Une base composée de 270 couples d’équivalents de traduction répartis en 2 niveaux de familiarité (élevé, bas)  Les 168 couples de mots choisis seront répartis en 3 blocs en fonction de l’ordre des langues (L1L2, L2L1, aléatoire) Familiers Non familiers Équivalents 42 42 Non équivalents 42 42
    19. 19.  Le contrebalancement des couples et des listes tient compte:  de la place des couples au sein d’un même bloc,  de la présence de chaque couple de mots dans tous les blocs,  de la présentation de chaque couple dans les deux sens de traduction.
    20. 20.  Temps de présentation de chaque couple: 1.5 sec/diapo, donc durée du test environ 5 minutes. Mots organisés en trois blocs avec une pause entre chaque bloc.  Questionnaire de données personnelles:  Echelles d’auto-évaluation de compréhension et production (oral ou écrit), de 1 à 7.  Questions sur l’âge d’acquisition.  Contexte de pratique des langues.
    21. 21.  Quelques couples du test de reconnaissance en traduction…  Répondez OUI, NON ou PASS!
    22. 22. NAIN DWARF
    23. 23. LEVRE NECK
    24. 24. REQUIN SAND
    25. 25.  On peut utiliser différentes méthodes:  analyser les bonnes réponses,  faire une analyse sur la certitude des réponses) ou  analyser des erreurs (réponse oui/ sur réponse non).  Il faut également prend en compte :  le sens de traduction ainsi que l’ordre des langues dans les blocs (fixe ou aléatoire)  la familiarité
    26. 26.  Répartition des réponses sur 25 participants:  Equilibre entre les blocs  L’ordre des langues ne modifie pas la performance  Plus d’omissions que d’erreurs Bloc L1L2 Bloc L2L1 Bloc aléatoire Total Score 50.2 % 53.14 % 54 % 52.5 % Erreurs 10.8 % 7.43 % 4.9 % 7.7 % Omissio ns 39 % 39.43 % 41.1 % 39.8 %
    27. 27.  Répartition des erreurs: sur réponses « oui » (fausses reconnaissances)et sur réponses « non » (fausses alarmes) Bloc L1L2 Bloc L2L1 Bloc aléatoire Total Erreurs Traductio ns 18.4 % 14.3 % 9.5 % 14.2 % Erreurs non traductio ns 3.3 % 1.5 % 1.1 % 2 % Omissions traductio ns 35.4 % 40.3 % 42.7 % 39.4 % Omissions non 42.9 % 43.9 % 46.7 % 44.4 %
    28. 28.  Répartition des réponses selon la familiarité  Nombre supérieur de réponses correctes pour les couples familiers (participants non natifs anglais).  Nombre supérieur d’erreurs et d’omissions pour les couples non-familiers. Couples familiers Couples non familiers Scores 86.76 % 18.14 % Erreurs 4.95 % 10.43 % Omissions 8.28 % 71.43 %
    29. 29.  Relation entre score moyen d’auto-évaluation et nombre de bonnes réponses au test (divisé par 100)  Les participants ont tendance à sous-estimer leurs compétences
    30. 30.  Globalement, il n’y a pas de grand effet lié à l’ordre de présentation des couples:  L’effet peut se trouver atténué par un effet d’habituation à la tâche  Ou par un temps d’exposition trop long pour chaque item (ce qui permet de développer des stratégies de traduction)
    31. 31.  On remarque qu’il y a globalement plus d’omissions que d’erreurs.  Pas de distinction entre les omissions sur « oui » et celles sur « non ».  En ce qui concerne les erreurs, il y en a largement plus sur les réponses « oui » (fausses reconnaissances) que sur les réponses « non » (fausses alarmes).
    32. 32.  On constate un très fort effet de la familiarité:  Les participants testés ne sont pas natifs anglais  La familiarité semble être un facteur très discriminant  Cet effet de familiarité s’étend à la fois aux erreurs et aux omissions
    33. 33.  Le nombre de bonnes réponses de chaque participant semble corrélé assez positivement avec la moyenne de ses scores d’auto-évaluation  Lorsque ces deux scores s’écartent, on constate que les participants ont tendance à minimiser leurs compétences linguistiques.  Globalement, le test est un bon indicateur du score d’auto-évaluation
    34. 34.  Le test est un bon reflet des techniques courantes d’évaluation linguistique  Il permet également d’estimer la capacité à extraire des informations à partir d’un mot qu’on ne connaît pas  Ainsi que la capacité à extraire des informations à partir du mot de la langue dominante pour éliminer ou accepter un item
    35. 35.  L’effet de la familiarité est bien présent, mais ne discrimine qu’entre un niveau très élevé et un niveau très bas: pas de nuance  On ne constate pas d’effet selon l’ordre de présentation des mots au sein de chaque couple: présentation trop lente ou matériel trop simple (effet plafond)?  Nécessité d’injecter de nouveaux facteurs pour affiner la discrimination entre les différents niveaux
    36. 36.  Le test nous donne deux niveaux dans la capacité des participants à faire des liens entre les deux langues : débutant ou expert.  Nécessité de rajouter une variable afin d’affiner ces catégories. Nous disposons de nombreuses variables qui pourraient servir à cette distinction.
    37. 37.  Facteurs permettant un affinage:  rajouter des couples de mots ayant un indice de familiarité intermédiaire (entre 3,5 et 4,5) ;  utiliser l’homophonie, l’homographie,  Autres facteurs: nombre de traductions, disponibilité contextuelle, la concrétude ou encore la probabilité de traduction.  La deuxième étape du test pourra donc intégrer l’un de ces facteurs afin d’affiner encore l’évaluation de la capacité à faire des liens entre deux langues.
    38. 38.  But du test : créer un outil simple et rapide permettant d’évaluer les compétences linguistiques d’un individu, avant sa participation à une expérience par exemple  Pour affiner la discrimination du test, il convient d’y introduire de nouveaux facteurs qui permettront de mieux évaluer les compétences  Un autre paramètre à prendre en considération est celui du mode de réponse: utiliser la plateforme Eprime, par exemple, permettra entre autres de prendre en compte le temps de réponse dans les mesures.
    39. 39.  Séparer ce qui relève du temps de décision et ce qui relève du temps de coordination cérébro-motrice, ainsi que ce qui relève de la partie perceptive  de quelle façon les deux mots sont traités ? Successivement, parallèlement, ou encore avec un système de feedback ?  La présentation audiovisuelle avec une composante orale et une écrite: un mot entendu pouvant générer des candidats de façon différente qu’un mot écrit.  On pense également à la façon dont l’activation se propage, par exemple une activation par stimulus auditif et visuel, puis appariement des deux.
    40. 40. Références  Lavaur, J-M., & Bairstow, D. (2011). Languages on the screen: is film comprehension related to the viewer's fluency level and to the languages in the subtitles?  International Journal of Psychology (Online access).  Laxen, J., & Lavaur, J-M. (2010).The Role of Semantics in Translation Recognition: Effects of number of translations, dominance of translations, and semantic relatedness of multiple translations. Bilingualism, Language and Cognition, 13(2), 157-183.  Laxen, J., Lavaur, J-M., & Aparicio, X. (2011). Reconnaissance en traduction et homographie interlangue. Psychologie Française, 56(3), 161-172.  Wei, L., & Moyer, M. (2008). The Blackwell guide to research methods in Bilingualism and Multilingualism. Malden : Blackwell Publishing Limited.

    ×