Vortrag am GMW-Workshop am 18./19. Juni 2009 an der Universität Zürich (http://www.elc.uzh.ch/veranstaltungen/GMW-Workshop2009.html)

1. Einführung E-Assessment
&
Organisation von E-Assessment
Cornelia Ruedel
E-Learning Center, Universität Zürich
http://www.elc.uzh.ch

2. Agenda
1. Teil: Einführung
• Was ist E-Assessment?
• Begrifflichkeiten und Zusammenhänge
2. Teil: Vom Pilotversuch zum universitätsweiten Angebot
• Bestandteile eines Pilotversuchs
• Verschiedene Modelle
• Schlüsselfaktoren

3. Alltag an der Universität
Aktuelle Prüfungssituation
an der Universität Zürich
• vermehrtes Prüfungs-
aufkommen durch
die Bologna Reform
• Prüfungsdurchführung
und -auswertung ist eine
grosse Personalbelastung
• Problematik: Massenfächer
(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)
Universitärer Dreikampf: Prüfung, Hausarbeit, Referat
FusszeileGMW-Workshop 03.09.2009 / 3

4. Probleme mit
konventionellen Prüfungen
Schriftlich:
fragliche Validität und Reliabilität,
zeitaufwendige Korrektur
Problem: Lesbarkeit der Handschriften
Mündlich:
fragliche Validität,Reliabilität
und Fairness,
jede/r Prüfling hat andere Bedingungen,
zeitaufwendige Durchführung
FusszeileGMW-Workshop 03.09.2009 / 4

5. Was ist E-Assessment?
FusszeileGMW-Workshop Ruedel et al (2007a) 03.09.2009 / 5

6. Was ist E-Assessment?
Definition
Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschritten
zur Erstellung, Präsentation, Durchführung und der Auswertung von
Leistungsnachweisen.
oder
Der Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit
„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,
Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,
Prüflinge) der Computer verwendet.
kurz gesagt: ...
E-Assessment = Erstellung/Durchführung/Auswertung
von Assessment mit Hilfe von Computer/Netzwerk
FusszeileGMW-Workshop 03.09.2009 / 6

7. Wie hat sich E-Assessment
entwickelt? (Teil I)
Bull, J. & McKenna, C. (2004): Overview over CAA Technologies
Software which has the capability
to run on a stand-alone computer For example: a test which is
over a network/intranet or Stand-alone posted to students on a CD-
through the Internet and to ROM. Students take the test
combine the use of all three and upon completion the
technologies if appropriate. software accesses the Internet
to upload files to a database.
Closed Internet
network/
Intranet
For example: a test For example: an assessment
completely downloaded which is delivered question by
from a server onto a question from a closed network
computer, which is offline server. When all results have
during the test-taking and been stored, they are distributed
reconnects to the network to tutors using the Internet.
to upload final results.
FusszeileGMW-Workshop
Bull & McKenna (2004) 03.09.2009 / 7

8. Wie hat sich E-Assessment
entwickelt? (Teil 2)
Warburton, B. & Conole, G. (2005): Different Types of CAA
CAA
CBA
OMR
Online Assessment stand-
alone
Port-
Networked folios
FusszeileGMW-Workshop Warburton, B. & Conole, G. (2005) 03.09.2009 / 8

9. Wie hat sich E-Assessment
entwickelt? (Teil 3)
Bloh, E. (2006): Differenzierung von E- / Online-Assessment
Technologiebasiertes Assessment
E-Assessment
Online Assessment
Internet basiertes
Assessment Computerbasiertes
Web basiertes Assessment
Assessment
FusszeileGMW-Workshop
Bloh (2006) 03.09.2009 / 9

10. Welche Einsatzbereiche gibt es?
Selektion Lernlenkung Bewertung
diagnostisch formativ summativ
Lehrveranstaltung (en)
Modul
Eingangs-
Prüfung
test
Crisp (2007)
FusszeileGMW-Workshop 03.09.2009 / 10

11. Prüfungsformen
LEISTUNGSNACHWEISE
Referate Seminar-
Protokolle arbeiten
Schriftliche
Poster- offene Prüfungen
Präsentationen Electronic Fragen
Digital Submission offene geschlossene
Storytelling Fragen Fragen
Gruppen-
prüfungen geschlossene
E-Klausur Fragen OMR
Gruppen Wikis
puzzle E-ASSESSMENTS elektronische
Prüfungen
Apaptives
Testing Mündliche
Online
Prüfungen
Diskussions-
forum E-Port-
Peer- folios
Mündliche Blog Assess-
Simu- Port-
Mitarbeit ment
lationen folios
Studien-
tagebücher Peer-
Wissenschafts-
Assess-
praktische
Tätigkeiten ment
- gleich
- gibt Ähnlichkeiten

12. Teil 2:
Vom Pilotversuch
zum universitätsweiten Angebot
FusszeileGMW-Workshop 03.09.2009 / 12

13. Was wird für ein Pilotversuch
benötigt?
Universität Prüfungs-
ordnungen
Computer
Räume
Dozierende
Lehr- Idee: Prüfungs-
Prüfungsformen
veranstaltung E-Assessment fragen
Software Hardware
Studierende
Netzwerk
Sicherheits-
Verwaltung
aspekte

14. Grundsätzliche Überlegungen:
Wie entwickeln sich Pilotprojekte?
Warburton (2005): Typische CAA Entwicklungen
Ideal Institutional
Ideal tutor
Ad hoc
Disastrous
Planning Piloting Low Low High Embedded End of
stakes, stakes, stakes life
small large
scale scale
FusszeileGMW-Workshop Warburton (2005) 03.09.2009 / 14

15. JISC Forschungsprojekt
2005 - 2007:
JISC Project: Case Studies Project «Innovative and
effective Use of e-Assessment»
• Good Practice
• Identifikation von Erfolgsfaktoren
• Hilfestellung für Universitäten im Anfangsstadium
Whitelock et al. (2006) / Ruedel et al. (2007)
FusszeileGMW-Workshop 03.09.2009 / 15

16. Ergebnisse:
Maturity and Effectiveness
FusszeileGMW-Workshop 03.09.2009 / 16

17. Organisation-Klassifikation:
3 verschiedene Typen
FusszeileGMW-Workshop 03.09.2009 / 17

18. Typ 1: Departmental Champion
• Wer: Dozent/in
• Motivation: Verbesserung der Lehre/Prüfung
• Software: sehr oft Eigenentwicklungen
• Durchführung: Computerarbeitsräume
• Dokumentation: vorhanden
• Einfluss auf die Gesamtuniversität: gering
• Kommunikation: Innerhalb der Fach-Community aber nicht
innerhalb der Universität
• Finanzierung: Meist aus Eigenmittel finanziert
• Vorteile: sehr individuelle und innovative Lösungen
FusszeileGMW-Workshop
Ruedel et al.(2007b) 03.09.2009 / 18

19. Typ 2: Faculty based Team
• Wer: Kreis von Dozierenden mit dem Support Team innerhalb
einer Fakultät
• Motivation: Meistens auf ein bestimmten Aspekt konzentriert,
z.B. rich feedback
• Software: Eigenentwicklung oder kommerzielle Software
• Durchführung: Computerarbeitsräume
• Dokumentation: langjährige Erfahrung mit vielen Publikationen
• Einfluss auf die Gesamtuniversität: mässig
• Kommunikation: innerhalb Fakultät & ausserhalb der Universität
• Finanzierung: Projektmittel
FusszeileGMW-Workshop
Ruedel et al.(2007b) 03.09.2009 / 19

20. Typ 3: Central Team
• Wer: Zentrales Team unterstützt und koordiniert die E-
Assessment Aktivitäten
• Motivation: Kosten- und Zeitersparnis
• Software: Kommerzielle Software oder Eigenentwicklung mit
hohen Sicherheitsstandard
• Durchführung: Eigene Räumlichkeiten oder
Computerarbeitsräume der Universität
• Dokumentation: sehr gut
• Einfluss auf die Gesamtuniversität: universitätsweite Angebot
• Kommunikation: transparent innerhalb und ausserhalb der
Hochschule
• Finanzierung: Direkte finanzielle Unterstützung von der
Universitätsleitung
FusszeileGMW-Workshop
Ruedel et al.(2007b) 03.09.2009 / 20

21. Was bringen die Forschungsergebnisse?
FusszeileGMW-Workshop 03.09.2009 / 21

22. Einteilung als Entwicklungspfad
Einführung von
E-Assessment
Departmental Faculty based Central Kommerzielle
Champion Team Team Nutzung
Typ 1 Typ 2 Typ 3
Zeit
Müssen alle Stadien durchlaufen werden oder kann E-
Assessment auch gleich in der 3. Stufe eingesetzt
werden?
FusszeileGMW-Workshop
Ruedel et al.(2007b) 03.09.2009 / 22

23. Schlüsselfaktoren für die effektive
Organisation von e-Assessment
• Unterstützung durch Universitätsleitung
• Zentrales Team mit klarer Rollenverteilung
• Effektive Kommunikation mit Dozierenden
• LMS als Katalysator für formatives e-Assessment
• Klare Richtlinien und Arbeitsabläufe
FusszeileGMW-Workshop
Ruedel et al.(2007b) 03.09.2009 / 23

24. Klare Richtlinien und Arbeitsabläufe
FusszeileGMW-Workshop 03.09.2009 / 24

25. 1. Schritt: Identifikation aller
Beteiligten
Erstellung
Stakeholder
Bereitstellung
Curriculum
Reinigung
Autoren
Finanzgeber Rechts-
Bund
Studie- dienst
Editoren Eltern
rende
Rechen-
Kanton Dozierende zentrum
Institute Freunde
E-Assess ID
Aufsicht Netzwerk
E-Assess- ment
Wirtschaft Ment
Meinungs Team
Unterstützung Hörsaal- Mit-
macher Fakultäten Buchung Studie-
E-Learning rende
Medien
Uni- 1. Ebene Hörsaal-
austattung
leitung
Bauten
Verwaltung und
Räume
Senior Management 2. Ebene
FusszeileGMW-Workshop 03.09.2009 / 25
3. Ebene

26. 2. Schritt: Entwicklungskreislauf
(2006)
FusszeileGMW-Workshop Whitelock, et al. (2006) / Ruedel et al. (2007a) 03.09.2009 / 26

27. 3. Schritt: Definition der Arbeitsschritte
- Analyse der Lehre
- Beratungen
Motivation - Lernmaterialien
- Mitarbeiterschulungen
- Festlegung der Prüfungsart und Beurteilungskriterien
- Fragenherstellung nach Vorgaben der Prüfungsinhalte
Planung - Vorrevision der Fragen (sprachlich, inhaltlich)
- Eingeben /Programmieren der Frage in den Frageneditor
- Grafische Umsetzung (z.B. FLASH)
Entwicklung - Revision der Fragen
- Vortest der Fragen
- Zusammenstellung des Fragenpools
- Prüfungsausschreibung
- Informationen über Leistungsnachweis für Studierende
Administration - Anmeldung – Zugang zu Prüfungssystem
- Erstellen der Kandidatenliste
- Reservation des Prüfungsraum
- Test des Lesistungsnachweis
- Probelauf für die Studierende
- Bereitstellen des Leistungsnachweis
Durchführung - Durchführung
- Prüfungsaufsicht
- Datenübermittlung
- Erste elektronische Auswertung/Beurteilung
- Manuelle Auswertung bei Essay-Prüfungen
- Analyse
- Entscheide zur definitiven Bewertung
Auswertung - Definitive elektronische Auswertung/Bewertung
- Nachprüfen der Prüfungsresultate (manuelle Stichproben)
- Feedback an die Kandidaten
- Analyse/Bericht/Evaluation: Überprüfen der Gütekriterien
Rekurse - Bearbeitung von allfälligen Rekursen
- Archivierung der Resultate
Archivierung - Elektronische Aufbewahrung der ganzen Prüfung
- Nachlese und Verbesserungsvorschläge
Evaluation
FusszeileGMW-Workshop 03.09.2009 / 27
Ruedel et al (2007a)

28. 4. Schritte: Schnittstellenanalyse
D F U Z K ID H BUR RD S
Motivation x x x x X
Planung x x x
Entwicklung x
Administration x x x x X x
Durchführung x x x X
Auswertung x
Rekurse x X x
Archivierung x x x X
Evaluation x x x x
FusszeileGMW-Workshop
Ruedel et al (2007a) 03.09.2009 / 28

29. 5. Schritt: Arbeitsmodell mit Risiken
Risikomanagement
• Pädagogische Risiken
• Operationale Risiken
• Technische Risiken
• Web-basierte Risiken
• Finanzielle Risiken
• Sicherheitsaspekte
Ruedel et al (2007a) / Zakrzewski & Steven, C. (2003)
FusszeileGMW-Workshop 03.09.2009 / 29

30. 5. Schritt: Arbeitsmodell mit Risiken
D F U Z K ID H BUR RD S
Motivation P1 P1 P1
Planung
Entwicklung
Administration
Durchführung
FusszeileGMW-Workshop 03.09.2009 / 30
Arbeitsmodell Zürich

31. Zusammenfassung:
Organisatorische Schlüsselfaktoren
• Unterstützung durch Universitätsleitung
• Zentrales Team mit klarer Rollenverteilung
• Effektive Kommunikation mit Dozierenden
• LMS als Katalysator für formatives e-Assessment
• Klare Richtlinien und Arbeitsabläufe
Weitere wichtige Faktoren
• Dozierende
• Prüfungsfragen
FusszeileGMW-Workshop 03.09.2009 / 31

32. Literaturliste:
Bloh, E. (2006) Differenzierung von E-/Online-Assessment, Präsentation bei VCRP-Workshop –
„Möglichkeiten und Probleme des Online Assessments“ in Kaiserslautern am 20.04.2006.
Bull, J. & McKenna, C. (2004) Blueprint for Computer-assisted Assessment London: RoutledgeFalmer
Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007a).Risikomanagement für E-Assessment. In:
Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer,Ivo van den Berk (Hrsg.).
Studieren neu erfinden – Hochschule neu denken. Waxmann Verlag, siehe auch:
http://pruefung.net/?p=439
Ruedel, C., Whitelock, D. and Mackenzie, D. (2007b) Key Factors for Effective Organisation of E-
Assessment, IN: Proceedings of the 11th CAA Conference, Loughborough: Loughborough University, UK
Warburton, B. und Conole, G. (2005) A review of computer-assisted assessment. ALT-J, Research in
Learning Technology Vol. 13, No. 1, March 2005, pp. 17-31
Warburton, W. (2005) Towards a theory of computer-assisted asessment uptake in UK higher education.
Unpublished PhD Thesis, University of Southampton.
Zakrzewski, S. and Steven, C. (2000) A Model for Computer-based Assessment: the catherine wheel
principle, Assessment & Evaluation in Higher Education, 25, 201-215
Zakrzewski, S. & Steven, C. (2003) Computer-based Assessment: quality assurance issues, the hub of the
wheel. Assessment and Evaluation in Higher Education, 30, 603-620
FusszeileGMW-Workshop 03.09.2009 / 32