Die Neue Reifeprüfung in der AHS ab 2013/14 - Testen und Bewerten

1. Testen und Bewerten Fortbildungsseminar für AHS-Lehrer 22.09-23.09.2011, Eisenstadt Mag. Margarita Kolesnik-Eigentler Innsbruck

2. Performanz testen (nicht auswendig gelerntes) situativer Kontext möglichst authentisch und handlungsorientiert testen möglichst objektiv und transparent bewerten (Hinger/Hosp) ⇨ Standardisierung und/ oder die gleichen Prinzipien des Testens bei der Testerstellung Kommunikative Sprachtests M. Kolesnik-Eigentler, 2011

3. Fremdbewertung, Peer-Bewertung, Selbstbewertung Sprachstandtests vs. Qualifikationsprüfung ganzheitlich vs. analytisch kontinuierlich vs. punktuell formativ vs. summativ direkt vs. indirekt subjektiv vs. objektiv normorienmtiert vs. kriterienorientiert GERS Kap. 9. Typen der Bewertung M. Kolesnik-Eigentler, 2011

4. Sprachstandstest (Leistungstest, achievementtest) überprüft, ob bestimmte Ziele erreicht wurden was unterrichtet worden ist bezieht sich auf die Arbeit einer Woche, eines Semesters, das Lehrbuch oder den Lehrplan. orientiert sich am Kurs stellt eine Binnenperspektive dar. Qualifikationsprüfung (auch: Feststellungsprüfung; proficiencytest) was jemand kann oder weiß, wenn er/sie einen Lerngegenstand im 'wirklichen Leben' anwendet. stellt eine Außenperspektive dar M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertunghttp://www.goethe.de/Z/50/commeuro/i0.htm

5. Normorientierte Bewertung bringt die Lernenden in eine Rangfolge die Bewertung ihrer Leistungen erfolgt relativ zu den anderen Lernenden der Gruppe. Kriteriumsorientierte Bewertung der Lernende wird lediglich in Bezug auf seine Fähigkeit in dem jeweiligen Gebiet bewertet unabhängig von der Fähigkeit der anderen Lernenden M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

6. Kontinuierliche Beurteilung Beurteilung von Leistungen in der Klasse, von Arbeiten und Projekten während des ganzen Kurses durch die Lehrenden und eventuell durch die Lernenden. Abschlussnote spiegelt den ganzen Kurs/das Lernjahr/das Semester. Punktuelle Beurteilung (Leistungsmessung zu einem festen Zeitpunkt) eine Prüfung oder eine anderen Form der Beurteilung, die an einem bestimmten Tag stattfindet Was vorher stattgefunden hat, ist irrelevant entscheidend ist, was die Person zum aktuellen Zeitpunkt tun kann M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

7. Direkte Beurteilung was tut der Kandidat tatsächlich Wenn z. B. eine kleine Gruppe etwas diskutiert, dann beobachtet der Beurteilende die Leistung, vergleicht sie mit einem Kriterienraster, bezieht die Leistungen auf die passendsten Kategorien des Rasters und gibt eine Beurteilung ab. beschränkt sich auf das Sprechen, Schreiben und Zuhören bei Interaktionen M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

8. Indirekte Beurteilung ein Test, üblicherweise ein schriftlicher, der Kompetenzen und Fertigkeiten prüft, die einer Leistung zugrunde liegen. Leseverstehen z. B. kann nur indirekt überprüft werden, indem man die Lernenden dazu bringt, Belege für Verstehen dadurch liefern, dass sie Kästchen ankreuzen, Sätze ergänzen, Fragen beantworten usw. Das Spektrum und die Beherrschung sprachlicher Mittel kann entweder direkt beurteilt werden, indem man feststellt, inwieweit sie bestimmten Kriterien entsprechen, oder indirekt dadurch, dass man die Antworten auf Testaufgaben interpretiert oder generalisiert. Ein klassischer direkter Test ist das Interview, und ein klassischer indirekter Test ist der Cloze-Test. M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

9. Beurteilung der Performanz die Lernenden legen mündliche oder schriftliche Beispiele ihrer Sprachproduktion in einem direkten Test Beurteilung von Kenntnissen die Lösung von Aufgaben, die aus einem breiten Spektrum von Aufgabentypen stammen und die einen Nachweis für den Umfang der sprachlichen Kenntnisse und der Beherrschung sprachlicher Mittel liefern sollen. M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

10. Subjektive Beurteilung das Urteil eines Prüfenden Objektive Beurteilung Subjektivität ist ausgeschlossen Normalerweise meint man dabei einen indirekten Test, bei dem die Items nur eine korrekte Antwort zulassen, z. B. multiple-choice (Mehrfachwahlaufgaben). M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

11. Reduzierung der Subjektivität bei der Beurteilung inhaltliche Vorgaben für die Beurteilung entwickeln, z. B. basierend auf einemReferenzrahmen für den betreffenden Kontext; sich auf gemeinsame Entscheidungen stützten bei der Auswahl von Inhalten und/oder der Beurteilung der Leistungen Standardverfahren verwenden, die festlegen, wie geprüft wird verbindliche Bewertungsschlüssel für indirekte Tests zu Verfügung stellen auf spezifische, klar definierte Kriterien in direkten Tests stützen mehrfache Beurteilung und/oder die Gewichtung verschiedener Faktoren fordern entsprechendes Training in Bezug auf die Beurteilungsrichtlinien anbieten die Qualität von Leistungsbeurteilungen (Validität, Reliabilität) durch eine Analyse der Prüfungsdaten kontrollieren M. Kolesnik-Eigentler, 2011 Typen von Beurteilung und Bewertung

12. Ein qualifizierter Test muss die Forderungen nach Objektivität, Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität) erfüllen. Die Objektivität eines Tests ist dann gegeben, wenn die Ergebnisse einer Testuntersuchung unabhängig von der Person des Untersuchers sind. Die Zuverlässigkeit (Reliabilität) betrifft den Exaktheitsgrad, mit dem ein Test individuelle psychische Unterschiede (Persönlichkeitsmerkmale) erfasst. Die Gültigkeit (Validität) betrifft die Frage, inwieweit die Testergebnisse tatsächlich dasjenige Persönlichkeitsmerkmal erfassen, das durch die Testuntersuchung bestimmt werden soll. Gütekriterien.http://www.medpsych.uni-freiburg.de/OL/glossar/body_gutekriterien.html M. Kolesnik-Eigentler, 2011

13. Wen teste ich? Eine Klasse Alle Klassen eines Jahrgangs Warum teste ich? Schularbeit Reifeprüfung Was teste ich? Fertigkeiten Kompetenzen Wie teste ich? Testformate Bewertungsskalen Korrekturschlüssel Was messe ich? (Test)Konstrukt M. Kolesnik-Eigentler, 2011

14. Validität Objektivität Reliabilität Praktikabilität Authentizität Washback Testgütekriterien M. Kolesnik-Eigentler, 2011

15. Testgütekriterien Validität Konstrukt- Inhalts- Augenschein- Kriteriums- M. Kolesnik-Eigentler, 2011

16. Validität Konstruktvalidität Das Konstrukt, z.B. die Fertigkeit Hören ist klar definiert Das Konstrukt ist nachvollziehbar im Test abgebildet (nicht korrekte (nicht valide) Aufgabenstellung: Schreiben Sie eine Zusammenfassung des gehörten Texts) M. Kolesnik-Eigentler, 2011

17. Validität Inhaltsvalidität Alle Aspekte eines Konstrukts werden ausreichend gemessen z.B. Niveaubeschreibung nach GERS M. Kolesnik-Eigentler, 2011

18. Validität Augenscheinvalidität Schüler, Eltern, Direktion, Landesschulinspektion überzeugen, dass ich das messe, was ich messen will und was gemessen werden soll M. Kolesnik-Eigentler, 2011

20. Eine Messung oder Befragung ist valide, wenn die erhobenen Werte geeignete Kennzahlen für die zu untersuchende Fragestellung liefern.Beispiel Validität Beispielsweise ist die Anzahl der Fehltage in einer Abteilung eine valide Kennzahl für die Gesundheit der Mitarbeiter, aber nicht für die Zufriedenheit der Mitarbeiter, da ihre Anwesenheit nicht das gleiche wie Zufriedenheit ist. Der Versuch, die Länge einer Schraube mit einem Thermometer zu messen, ist ebenfalls ein Beispiel für eine nicht-valide Messung. http://www.bb-sbl.de/tutorial/stichproben/reliabilitaetvaliditaetobjektivitaet.html M. Kolesnik-Eigentler, 2011

21. Objektivität die Antworten bzw. Messwerte sind unabhängig vom Interviewer bzw. Prüfer M. Kolesnik-Eigentler, 2011

23. Reliabilität (Zuverlässigkeit) Wie verhält sich Lerner/in beim Test Test-RetestR. (Stabilität; Testwiederholung; unterschiedliche Klassen) Paralleltest-R. (Äquivalenz, Teilung der Gruppe) Interne Konsistenz (Homogenität, Testhalbierung, Items eines Tests zu einander, KronbachAlfa) Häufigkeiten (wie viele Schüler haben wie viel % geschafft) Trennschärfe Wie verhält sich Bewerter/in? Interrater- und Intrarater-R. M. Kolesnik-Eigentler, 2011

25. Räumlichkeiten

26. Finanzielle Ressoursen

27. Personelle Ressoursenmessbar interpretierbar M. Kolesnik-Eigentler, 2011

28. Weitere Testgütekriterien Authentizität Originaltexte Lebensnahe Aufgaben Augenscheinvalidität Erwartungen Washback (Rückkoppelungseffekt) positiver und negativer Testen beeinflusst des Unterricht und Lernen M. Kolesnik-Eigentler, 2011

29. Offene: Schreibaufgabe, Essay, Aufsatz Halboffene: Kurzantworten Geschlossene: C-Test, Cloze-Test, Multi-choice, Zuordnung (Integrative: werden nicht verwendet, Vermischung der Fertigkeiten) Testformate M. Kolesnik-Eigentler, 2011

30. Testspezifikationen 1 Allgemeine Informationen Zielgruppe Anzahl der Aufgaben Integrationen anderer Fertigkeiten oder Kompetenzen (Ausmaß) Dauer Zielsetzung M. Kolesnik-Eigentler, 2011

31. Testspezifikationen 2 Spezifische Informationen 1. Merkmale der Aufgabenstellung Sprache der Arbeitsanweisungen Sprachniveau der Aufgabe nach GERS 2. Merkmale der Texte Diskursart Themenbereiche Quellen Authentizität Sprachliche Gestaltung Sprachniveau M. Kolesnik-Eigentler, 2011

32. Testspezifikationen 3 Spezifische Informationen 3. Merkmale der Test-Items Testformat Sprachliche Gestaltung Kognitive Prozesse 4. Bewertung Art, Verfahren 5. Rückmeldung Qualitativ (Note, verbales Feedback, Niveaustufe nach GERS …) M. Kolesnik-Eigentler, 2011

33. Literatur: Testen allgemein Fulcher, G./ Davidson, F. (2007): Language Testing and Assessment. London and New York, Routledge. Grotjahn, R.: Testen und Evaluieren fremdsprachlicher Kompetenzen. Tübingen, Günter Narr Verlag. Hughes, A. (1989): Testing for Language Teachers. Cambridge, CUP Dlaska, A./ Krekeler, Ch. (2009): Sprachtests. Baltmannsweiler, Schneider Verlag Hohengehren. Bei Erstellung dieser Präsentation wurden die Materialien des Kongresses: Die standardisierte Reifeprüfung in den Fremdsprachen im HUM-Bereich. 28.10.-29.10.2010, Innsbruck (Vortragenden Sabine Hosp und Barbara Hinger) sowie Informationen von BIFIE und BMUKK verwendet. GERS: http://www.goethe.de/Z/50/commeuro/i0.htm M. Kolesnik-Eigentler, 2011