In deze presentatie wordt een onderzoeksproject beschreven, waarin de Kijk- en luistertoetsen Duits van Cito aan de hand van vier parameters aan het Europese Referentiekader worden gekoppeld. Deze vier parameters zijn: • Woordlengte • Zinslengte • Spreeksnelheid • Signaalwoorden

1. Louisa Reumerman
Philipp von Samson-
Himmelstjerna
„Kijk- en luistertoetsen”
und der GER
Nationaal Congres Duits

2. • „Kijk- en luistertoetsen“ (KLT) und der GER:
Einführung in die Problematik
• Theoretischer Rahmen
• Methode
• Resultate
• Schlussfolgerungen
• Zeit für Fragen
• Literatur
Programm

3. • Objektive Niveaubestimmung nötig
• „Gemeinsamer Europäischer Referenzrahmen“
(GER)
• Koppelingsonderzoek 2005
• Standaardsetting 2013
Problem
Unterschiedliche Einschätzungen des Niveaus
Problem (1)

4. Mögliche Ursache
Kann-Beschreibungen zu abstrakt
Beispiel
Kann-Beschreibung Hörverstehen (B2)
„Ik kan een langer betoog en lezingen begrijpen en zelfs
complexe redeneringen volgen, wanneer het onderwerp
redelijk vertrouwd is. Ik kan de meeste nieuws- en
actualiteitenprogramma’s op de tv begrijpen. Ik kan het
grootste deel van films in standaardtaal
begrijpen.”
(Nederlandse Taalunie, 2008: 28)
Problem (2)

5. Mögliche Ursache
Kann-Beschreibungen zu abstrakt
Beispiel
Kann-Beschreibung Hörverstehen (B2)
„Ik kan een langer betoog en lezingen begrijpen en zelfs
complexe redeneringen volgen, wanneer het onderwerp
redelijk vertrouwd is. Ik kan de meeste nieuws- en
actualiteitenprogramma’s op de tv begrijpen. Ik kan het
grootste deel van films in standaardtaal
begrijpen.”
(Nederlandse Taalunie, 2008: 28)
Problem (3)

6. Verschiedene Versuche zur Lösung des Problems
Konkretisierung der Beschreibungen
1. Beispiel
Komponente Textstruktur (Hörverstehen C1)
„Beheerst verschillende ordeningspatronen, verbindingswoorden
en cohesie bevorderende elementen bij het verstaan van
complexe luisterteksten met lange samengestelde zinnen.
Herkent argumentaties en kan ze beoordelen. Kan ook
luisterteksten begrijpen waarin de samenhang impliciet is.”
(Meestringa & de Vries, 2010: 16)
Problem (4)

7. Verschiedene Versuche zur Lösung des Problems
Konkretisierung der Beschreibungen
1. Beispiel
Komponente Textstruktur (Hörverstehen C1)
„Beheerst verschillende ordeningspatronen, verbindingswoorden
en cohesie bevorderende elementen bij het verstaan van
complexe luisterteksten met lange samengestelde zinnen.
Herkent argumentaties en kan ze beoordelen. Kan ook
luisterteksten begrijpen waarin de samenhang impliciet is.”
(Meestringa & de Vries, 2010: 16)
Problem (5)

8. Verschiedene Versuche zur Lösung des Problems
Konkretisierung der Beschreibungen
2. Beispiel
Advies-grammaticaleerlijnen Duits en Frans
(Meijer, 2006)
3. Beispiel
Profile Deutsch (Glaboniat et al., 2005)
Problem (6)

9. Trotz dieses Materials bleibt das Problem
Mögliche Lösung
Quantitative Spezifizierung der Kann-Beschreibungen
Problem (7)

10. Forschungsfrage
„In hoeverre is het mogelijk om de Duitse kijk- en
luistertoetsen met behulp van een kwantitatieve
linguïstische analyse aan het Europese
Referentiekader te koppelen?”
Problem (8)

11. Komplexität
schwierig (subjektiv) vs. komplex (objektiv) (Lindström, 2008: 221-222)
relativ (individuell) vs. absolut (objektiv) (Szmrecsanyi & Kortmann, 2012: 10)
viele Theorien und Modelle
Beispiele für erhöhte Komplexität in unserem Kontext
• Verschachtelte Sätze
• Implizite Satzstrukturen
• Undurchsichtige Verbindung zwischen Form und Bedeutung
(DeKeyser 2005: 5-6)
• Unklare Referenzen
Theorie (1)

12. Komplexität nach dem Goethe-Institut
„Ein besonders komplexer Satzbau verbraucht
Aufmerksamkeitsressourcen, die ansonsten für die
Verarbeitung inhaltlicher Aspekte zur Verfügung
stehen könnten; Beispiele sind lange Sätze mit
mehreren Nebensätzen, diskontinuierliche
Konstituenten, Mehrfachnegation, mehrdeutige
Bezugsbereiche, die Verwendung von Anaphora und
deiktischen Ausdrücken ohne eindeutige
Vorerwähnung (Antezedenz) oder klare Bezüge
(Referenz).“ (Goethe-Institut, 2001: §7.3.2.2)
Theorie (2)

13. Konzeptionelle Mündlichkeit/Schriftlichkeit
(Koch & Oesterreicher, 1989)
medial: Material
vs.
konzeptionell: Sprachgebrauch
KLT: medial mündlich, konzeptionell mündlich und
teilweise schriftlich
Theorie (3)

14. Aspekte gesprochener Sprache
• Flüchtigkeit / Vergänglichkeit
• Irreversibilität
• Synchronisation
(Auer, 2009: 2-4)
• Produktionsfehler, Versprecher
• Interjektionen, Wort- und Satzabbrüche,
Umformulierungen, Pausen
Theorie (4)

15. Beispiele für Elemente gesprochener Sprache
• Referenz-Aussage-Struktur
„Diese ganzen Knöpfe hier, wie lange braucht man, um
sowas zu beherrschen?“ (HAVO 2005 V1)
• Apokoinukonstruktion
„Normalerweise haben wir beim Spielplatz zwischen 1 und 5
Punkten zur Verfügung und ich würde sagen, der ist mit
einem Punkt ist der gut bedient.“ (VMBO 2012 KGT V1)
• Wortschatz, Kontraktion, Elision
„Und das ist dann immer so'n bisschen Gefrickel.“
(HAVO 2005 V1)
„Die Küche war versifft, dafür gab’s `ne Neue.“
(HAVO 2012 V2)
Theorie (5)

16. • Quantitative Analyse aller Niveaus
• Material
− Kijk- en Luistertoetsen (KLT) 2004, 2005, 2012,
2013
− Goethe-Tests (online)
• Parameter
− Durchschnittliche Wort-, Satz- und Textlänge
− Dauer des Fragments, Sprechgeschwindigkeit
− Prozentsatz Signalwörter
(eigene Liste, Anzahl: 35)
Methode (1)

17. Beispiele für die Analyse
1. VWO 2013 V2 Nachtcafé
2. HAVO 2005 V1 Arbeitsplatz TV
3. VMBO kb-gt 2012 V1 Campingplätze
4. Goethe-Test B1 (E)
Methode (2)

18. 1. Beispiel: VWO 2013 V2
Methode (3)

19. 2. Beispiel: HAVO 2005 V1
Methode (4)

20. 3. Beispiel: VMBO kb-gt 2012 V1
Methode (5)

21. 4. Beispiel: GOETHE B1 (E)
Methode (6)

22. Vorgehen: statistische Analyse der Durchschnittswerte
• Messung der Signifikanz zwischen den Werten
(signifikant bei einem Signifikanzniveau unter 0.05)
Teil 1: Signifikanz der Durchschnittswerte (KLT)
Teil 2: Korrelation zwischen KLT und Goethe-Tests
Parameter
• Anzahl Zeichen, Wörter und Sätze pro Fragment
 Wort- und Satzlänge
• Dauer des Fragments  Sprechtempo
• Anzahl Signalwörter  Prozentsatz
Resultate (1)

23. Teil 1
Durchschnittswerte KLT
Resultate (2)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge
(Wörter pro
Satz)
Sprechtempo
(Wörter pro
Sekunde)
Prozentsatz
Signalwörter
VWO 5,60 16,50 2,42 7,68
HAVO 5,50 16,12 2,51 7,31
VMBO 5,29 14,17 2,53 7,10

24. Teil 1
Signifikanz Durchschnittswerte KLT
 = signifikant
Resultate (3)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge
(Wörter pro
Satz)
Sprechtempo
(Wörter pro
Sekunde)
Prozentsatz
Signalwörter
VWO / HAVO - - - -
HAVO /
VMBO
 (0.001)  (0.000) - -
VWO / VMBO -  (0.005)  (0.029) -

25. Teil 2
Korrelation KLT / Goethe-Tests
Durchschnittswerte
Resultate (4)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge (Wörter
pro Satz)
Sprechtempo
(Wörter pro Sekunde)
Prozentsatz
Signalwörter
VWO 5,60 16,50 2,42 7,68
HAVO 5,50 16,12 2,51 7,31
VMBO 5,29 14,17 2,53 7,10
C2 5,78 15,45 2,36 7,58
C1 5,39 15,27 2,41 7,47
B2 5,70 13,23 2,09 5,76
B1 5,13 12,09 2,54 7,08
A2 5,19 9,71 2,47 4,01
A1 4,95 6,53 2,71 1,99

26. Teil 2
Korrelation KLT / Goethe-Tests (25%-Regel)
Differenzwerte Goethe-Tests – VWO (rot=signifikant, grau=kleinste Differenz)
Resultate (5)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge
(Wörter pro Satz)
Sprechtempo
(Wörter pro Sekunde)
Prozentsatz
Signalwörter
A1 0,647 9,974 0,287 5,688
A2 0,41 6,796 0,0497 3,674
B1 0,475 4,416 0,115 0,606
B2 0,096 3,276 0,335 1,922
C1 0,207 1,234 0,01 0,218
C2 0,174 1,051 0,061 0,106

27. Teil 2
Korrelation KLT / Goethe-Tests (25%-Regel)
Differenzwerte Goethe-Tests – HAVO (rot=signifikant, grau=kleinste
Differenz)
Resultate (6)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge
(Wörter pro Satz)
Sprechtempo
(Wörter pro Sekunde)
Prozentsatz
Signalwörter
A1 0,546 9,591 0,202 5,313
A2 0,309 6,41 0,035 3,298
B1 0,374 4,033 0,030 0,231
B2 0,198 2,893 0,421 1,547
C1 0,105 0,851 0,095 0,158
C2 0,275 0,668 0,146 0,27

28. Teil 2
Korrelation KLT / Goethe-Tests (25%-Regel):
Differenzwerte Goethe-Tests – VMBO (rot=signifikant, grau=kleinste Differenz)
Resultate (7)
Wortlänge
(Buchstaben pro
Wort)
Satzlänge
(Wörter pro Satz)
Sprechtempo
(Wörter pro Sekunde)
Prozentsatz
Signalwörter
A1 0,339 7,638 0,182 5,108
A2 0,103 4,459 0,055 3,093
B1 0,167 2,08 0,011 0,026
B2 0,404 0,94 0,44 1,342
C1 0,101 1,102 0,115 0,363
C2 0,481 1,285 0,165 0,474

29. Grobe Einteilung pro Schulniveau / GER-Niveau
(grün=eindeutig, rot=nicht eindeutig)
Schlussfolgerung (1)
Wortlänge
(Buchstaben
pro Wort)
Satzlänge
(Wörter pro
Satz)
Sprechtempo
(Wörter pro
Sekunde)
Prozentsatz
Signalwörter
Gesamt-
Niveau
VWO B2 C1/C2 C2 B1/C1/C2 C2
HAVO (C2) ? C1/C2 B1 B1 B1/C2
VMBO A2/C1 B2/C1/C2 A2/B1 B1 A2/B1/C1

30. Niveau-Einteilung
• Schwierig zu interpretieren
• VWO deutlich C2
• HAVO zwischen B1 und C2
• VMBO zwischen A2 und C1 (aber: BB + KB + GT!)
• Vergleich KLT/ Standaardsetting/ Koppelingsonderzoek:
Schlussfolgerung (2)
KLT / Goethe Standaard-setting Koppelings-
onderzoek
VWO C2 C1 (+ C2) B2
HAVO B1/C2 B2 (+ C1) B1
VMBO A2/C1/C2 B1 (+ B2) A2 (+ B1)

31. Parameter pro Niveau: Wortlänge
• Abnahme pro Niveau bei den KLT
(signifikant: HAVO/VMBO)
• Korrelation GER-Niveau / Schulniveau:
schwierig zu interpretieren
Schlussfolgerung
Wortlänge spielt keine allzu große Rolle bei der
Niveau-Einteilung.
Schlussfolgerung (3)

32. Parameter pro Niveau: Satzlänge
• Deutliche Abnahme pro Niveau bei den KLT
(signifikant: HAVO/VMBO und VWO/VMBO)
• Korrelation GER-Niveau / Schulniveau:
Leichte Abnahme GER-Niveau pro Schulniveau
Schlussfolgerung
Je höher das Niveau, desto länger sind die Sätze.
Schlussfolgerung (4)

33. Parameter pro Niveau: Sprechtempo
• Deutliche Zunahme pro Niveau bei den KLT
(signifikant: VWO/VMBO)
• Korrelation GER-Niveau / Schulniveau:
Deutliche Abnahme GER-Niveau pro Schulniveau
Schlussfolgerung
Je niedriger das Niveau, desto schneller wird
gesprochen. Möglicher Grund: gesprochene bzw.
Umgangssprache.
Schlussfolgerung (5)

34. Parameter pro Niveau: Prozentsatz Signalwörter
• Abnahme pro Niveau bei den KLT, allerdings nicht
signifikant
• Korrelation GER-Niveau / Schulniveau:
Keine großen Veränderungen pro Schulniveau
Schlussfolgerung
Der Prozentsatz der Signalwörter spielt keine Rolle bei
der Niveau-Einteilung.
Schlussfolgerung (6)

35. Antwort auf die Forschungsfrage
„In hoeverre is het mogelijk om de Duitse kijk- en
luistertoetsen met behulp van een kwantitatieve
linguïstische analyse aan het Europese
Referentiekader te koppelen?”
• Eine quantitative linguistische Analyse ist geeignet.
• Eine Kopplung an den GER ist möglich, allerdings
nicht immer eindeutig.
• Mithilfe der untersuchten Parameter lässt sich eine
leichte Niveau-Einteilung vornehmen.
Schlussfolgerung (7)

36. Einschränkungen
• Eher qualitative Aspekte (z.B. Satzstruktur) wurden
nicht berücksichtigt.
• Mit nur vier Parametern kann man noch keine
definitiven Aussagen machen.
• Die Datensammlung (vor allem der Goethe-Tests)
müsste größer sein.
• Es wurde kein Unterschied zwischen den
verschiedenen VMBO-Niveaus (bb/ kb/ gt)
gemacht.
Schlussfolgerung (8)

37. Tipps
• Gesprochene Sprache im Unterricht
berücksichtigen.
• Authentisches Audio- und Videomaterial verwenden
(YouTube, Fernsehsendungen, …)
• Schüler transkribieren lassen.
Schlussfolgerung (9)

38. Vielen Dank für Ihre Aufmerksamkeit!
Gibt es noch Fragen oder Anmerkungen?
Zeit für Fragen

39. • Auer, P. (2009). On-line syntax: Thoughts on the temporality of spoken language. Language Sciences, 31, nr. 1, 1-13.
• Eindtermen VO en ERK (voor havo/vwo en vmbo) http://www.erk.nl/docent/streefniveaus/havo/ en http://www.erk.nl/docent/streefniveaus/vmbo/
(geraadpleegd op 25/02/2015).
• DeKeyser, R.M. (2005). What makes learning second-language grammar difficult? A review of issues. Language Learning, 55, Supplement 1, 1-25.
• Feskens, R., Keuning, J., Til, A. van & Verheyen, R. (2014). Prestatiestandaarden voor het ERK in het eindexamenjaar: Een internationaal
ijkingsonderzoek. Arnhem: Cito.
• Glaboniat, M., Müller, M., Rusch, P. & Wertenschlag, L. (2005). Profile Deutsch: gemeinsamer europäischer Referenzrahmen: Lernzielbestimmungen;
Kannbeschreibungen; Kommunikative Mittel; Niveau A1-A2. B1-B2. C1-C2. Berlin: Langenscheidt.
• Goethe-Institut. (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Online versie via
http://www.goethe.de/z/50/commeuro/7030202.htm (geraadpleegd op 16/02/2015).
• Kamphuis, F., Thiel, J. van & Til, A. van. (2007). De koppeling van de Cito kijk- en luistertoetsen moderne vreemde talen aan het Europees
Referentiekader. Digitaal beschikbaar via: http://toetswijzer.kennisnet.nl/html/cef/home.htm
• Koch, P. & Oesterreicher, W. (2007). Schriftlichkeit und kommunikative Distanz. Zeitschrift für germanistische Linguistik, 35, nr. 3, 346-375.
• Lindström, E. (2008). Language complexity and interlinguistic difficulty. In M. Miestamo, K. Sinnemäki & F. Karlsson (eds.), Language complexity:
Typology, contact, change (pp. 217-242). Amsterdam: John Benjamins.
• Meestringa, T. & Vries, H. de. (2010). Instrumenten voor de beoordeling van taalvaardigheid voor het voortgezet onderwijs. Enschede: SLO.
• Meijer, D. (Red.). (2006). Advies-grammaticaleerlijnen Duits en Frans. Enschede: SLO.
• Nederlandse Taalunie. (2008). Gemeenschappelijk Europees Referentiekader voor Moderne Vreemde Talen: Leren, Onderwijzen, Beoordelen.Den Haag.
• Szmrecsanyi, B. & Kortmann, B. (2012). Introduction: Linguistic complexity: Second Language Acquisition, indigenization, contact. In B. Szmrecsanyi & B.
Kortmann (Eds.). Linguistic complexity. Second Language Acquisition, Indigenization, Contact (pp. 6-34). Berlin: Walter de Gruyter.
Literatur