Ausführlichere Präsentation zum Thema E-Assessments an Universitäten. Neben Chancen und Desideraten zur weiteren Beforschung von E-Assessments werden Erfahrungen an der Universität Bremen bei der Durchführung von E-Klausuren dargestellt.

1. Chancen und Fallstricke bei der Einführung von E-
Assessments an der Universität
Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgebungen
eBologna – eStrategien an den Fakultäten
Friday Lectures, WiSe 2007/08 14.12.2007
Universität Wien
© Karsten D. Wolf 2007

2. Agenda
• Notwendigkeiten & Trends
• Haken & Ösen
• Chancen & Ausblicke
• Implementation
• Organisation
• TestCenter
• Gender Mainstreaming
• Empfehlungen
Karsten D. Wolf ©2007

3. Umstellung
Bachelor-/Master-
Struktur
by: CarbonNYC © Karsten D. Wolf 2007

4. We want
credit points!
© Karsten D. Wolf 2007

5. Quelle: Johannes Hartig & Nina Jude 2007, S.30
© Karsten D. Wolf 2007

6. © Karsten D. Wolf 2007

7. http://tinyurl.com/2esxkd
Martin Ripley 2006
© Karsten D. Wolf 2007

8. mündliche
und „alternative“
Prüfungsformate?
http://tinyurl.com/2esxkd
Martin Ripley 2006
© Karsten D. Wolf 2007

9. mündliche
und „alternative“
Prüfungsformate?
http://tinyurl.com/2esxkd
Martin Ripley 2006
© Karsten D. Wolf 2007

10. +
© Karsten D. Wolf 2007

11. Pro und contra: Studenten
• Sofortige Bereitstellung des • Benachteiligung von Personen mit
geringerer Computerkompetenz
Prüfungsergebnisses
(digital literacy, 10-Finger-
Schreiben)
• Objektive, transparente und
fehlerfreie Klausurbewertung
• Benachteiligung von Personen mit
negativer Einstellung zu
• differenziertes Feedback
Computern
• vereinfachte Vorbereitung durch
• Probleme bei der Konzentration
online-Training unter Verwendung
(Computermonitor, Lüfterlärm,
der gleichen Fragenkataloge
Tastaturgeklapper…) ➙ Stress?
• Datenschutz?
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf

12. Akzeptanz durch Studierende: Benutzbarkeit
Bücking / Schwedes (2005)
© Karsten D. Wolf

13. Akzeptanz durch Studierende: Raum
- Lüftung
- Lautstärke
- Temperatur
- Platzangebot
Bücking / Schwedes (2005)
© Karsten D. Wolf

14. Akzeptanz durch Studierende: Rückmeldung
35,5% Generelle
Zustimmung
4% Totalablehnung
Achtung: FB WiWi
Bücking / Schwedes (2005)
© Karsten D. Wolf

15. Pro und contra: Lehrende / Prüfungsautor(inn)en
• Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur
automatische Auswertungsverfahren Digitalisierung vorhandener Fragen
& Verwaltung und Aufbau eines hinreichend
großen Fragenkataloges
• Effiziente Unterstützung bei
• Prüfungsdesign wird durch
Freitextfragen-Korrektur
Technik beschränkt
• Wiederverwendbare und
„kollaborative“ Fragenkataloge • technische
Manipulationsmöglichkeiten
(während und vor der Prüfung)
• Qualitätssicherung und -
verbesserung
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf

16. Pro und contra: Prüfungsverwaltung
• Vereinfachte • Initiale Zusatzbelastung durch
Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe
und Export von
• Rechtliche Absicherung
• Teilnehmer(innen)listen und
• Durchführungsorganisation
• Ergebnissen
• Datenschutz & -sicherheit
zwischen
Prüfungsverwaltungssoftware
(FlexNow!) und Prüfungssoftware
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf

17. Pro und contra: Allgemein
• Kosteneinsparung • Stabilität & Zuverlässigkeit
• Mögliche Erstellung komplexer • Qualitätsverlust des Studiums
und interaktiver Fragen durch durch reine Wissenstests
Multimediaelemente
in Anlehnung an Bücking / Schwedes 2005
© Karsten D. Wolf

18. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

19. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

20. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

21. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

22. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

23. Simulationsrechnungen: Wann lohnt es?
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

24. Vergleich der drei Szenarien: Break-Even
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

25. Durchführung: Wer ist beteiligt?
• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)
• Aufsichtskräfte (Lehrstühle)
• Verwaltung (Prüfungsamt)
• Editoren für E-Aufgaben (Lehrstühle zentrale Einrichtung)
• E-Assessment Beauftragte (Fachbereiche)
• E-Learning Support (zentrale Einrichtung)
© Karsten D. Wolf

26. Lehrkräfte / Autor(inn)en
• Entwicklung
• Fragen
• Antworten
• Distraktoren
• Beurteilungsschema
• Qualitätskontrolle
• Fragen
• Umsetzung der Fragen
• Endgültige Abnahme des Fragenkataloges
• Analyse und Überarbeiten der Fragen nach Klausuren
© Karsten D. Wolf

27. Lehrkräfte / Autor(inn)en
• Entwicklung
Woh
• Fragen
diese er ko
• Antworten
mmt
Qual
• Distraktoren
ifika
• Beurteilungsschema
tion?
• Qualitätskontrolle
• Fragen
• Umsetzung der Fragen
• Finales Absegnen des Fragenkataloges
• Analyse und Überarbeiten nach Klausuren
© Karsten D. Wolf

28. © Karsten D. Wolf 2007

29. Alternative Assessment
Formative Verfahren
E-Portfolio
© Karsten D. Wolf 2007

30. © Karsten D. Wolf 2007

31. Alternative Assessment
© Karsten D. Wolf 2007

32. Alternative Assessment
Formative Verfahren
© Karsten D. Wolf 2007

33. Alternative Assessment
Formative Verfahren
E-Portfolio
© Karsten D. Wolf 2007

34. Alternative Assessment
Formative Verfahren
E-Portfolio
Learning about
© Karsten D. Wolf 2007

35. Alternative Assessment
Formative Verfahren
E-Portfolio
Learning about
Learning by Assessment
© Karsten D. Wolf 2007

36. Alternative Assessment
Formative Verfahren
E-Portfolio
Learning about
Learning by Assessment
Learning by Design
© Karsten D. Wolf 2007

37. Alternative Assessment
Formative Verfahren
E-Portfolio
Learning about
Learning by Assessment
Learning by Design
Learning by Assessing
© Karsten D. Wolf 2007

38. Alternative Assessment
Formative Verfahren
E-Portfolio
Learning about
Learning by Assessment
Learning by Design
Learning by Assessing
Learning to be
© Karsten D. Wolf 2007

39. Quelle: Falko Rheinberg
© Karsten D. Wolf 2007

40. Innovationsbereiche beim E-Assessment
• Simulation
• Realitätsnähe
• Feedbackkomponenten
• Explorationsmöglichkeiten
• Automatisierte Bewertung von Essays
• Data Mining der Lösungsprozesse von Experten zur Erstellung von
K.modellen / -profilen.
• Autorenwerkzeuge für fachspezifische Tests/Sims
• Einbindung in E-Portfolios
• Kompetenzmessung in Gruppen
© Karsten D. Wolf

41. Innovationsbereiche beim E-Assessment
• Verbesserung der Messmodelle (Rasch Skalierung)
• Tests werden in den Lehr-Lern-Prozess integriert
• Transfer wird durch authentische Aufgaben erleichtert
• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht
werden
• Keine speziellen Prüfungen mehr notwendig
• Durch Testbänke keine festen Prüfungstermine mehr
• Kombination in Form von Blended Assessment
© Karsten D. Wolf

42. © Karsten D. Wolf 2007

43. Collegiate Learning Assessment
(Klein / Benjamin / Shavelson / Bolus 2007)
http://www.cae.org/content/pro_collegiate.htm
© Karsten D. Wolf

44. E-Selection / E-Recruitment & Recrutainment
• Auswahlverfahren für BA und MA
• Uni Bremen WiSe 2006: 2355 Studienanfänger
❖ wachsende Anzahl von Master-Studiengänge
© Karsten D. Wolf

45. © Karsten D. Wolf 2007

46. Implementation
© Karsten D. Wolf 2007

47. Neue Personen
• Editoren
• Entwicklung Fragevorlagen
• Umsetzung der Fragen in Editor
• Qualitätskontrolle
• Fragekatalog pflegen
• E-Assessment Beauftragte
• Projektmanagement (120 Tage Vorlauf!)
• Administration des E-Assessment-Servers (mandantenfähig)
• Einweisung Autoren, Editoren und Aufsichtspersonal
• Testläufe organisieren
© Karsten D. Wolf

48. Änderungen für bestehende Rollen
• Verwaltung (Prüfungsamt)
• Administration der Prüfungen im System (Buchungen, Termine)
• Anpassung des Materials für die Durchführung von Examen
• Archivierung der Examensdaten
• Resultate
• Protokolle
• Logfiles
• Aufsichtspersonal
• Vorbereitung der PC-Pools
• Technische Assistenz und Problembehebung
© Karsten D. Wolf

49. Fülle von Arbeitsplänen: Überblick
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

50. Arbeitsplan „Lehrstuhl“:
Fragenkatalog erstellen
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

51. Arbeitsplan „Prüfungsamt“:
Vorbereitung eines E-Examens
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

52. Beispiel: eExaminations an der Uni Bremen
• Dezember 2004 - April 2006
• 14 E-Examen (11 in BWL/WiWi)
• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)
• ø 20 PCs pro Raum (10–54)
• ø 24 Wiederholungen / Examen (5–64)
• Max. 7 Räume / Tag und 6 „Slots“ pro Tag
• Hoher Organisations-Overhead
Quelle: ZMML Uni Bremen
© Karsten D. Wolf

53. Beispiel: Durchführungsplan
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

54. 30 30
30 30
ZMML Uni Bremen - Realisierung WiSe 2007
© Karsten D. Wolf 2007

55. PC-Pool oder E-Testcenter?
• Starke Reduzierung der Aufsichtsstunden
• Höhere Sicherheit
• Autonome LANs
• Arbeitsabläufe können optimiert werden
• Leichtere Unterstützung z.B. von Simulationen als Testumgebung
• Ggf. Nutzung für Forschungsfragen
• Rückkehr zum „alten“ CIP-Pool?
• Nutzung außerhalb der Prüfungszeiten?
© Karsten D. Wolf

56. © Karsten D. Wolf 2007

57. © Karsten D. Wolf 2007

58. © Karsten D. Wolf 2007

59. © Karsten D. Wolf 2007

60. © Karsten D. Wolf 2007

61. © Karsten D. Wolf 2007

62. © Karsten D. Wolf 2007

63. © Karsten D. Wolf 2007

64. E-Learning Support: ZMML Uni Bremen
• E-Assessment als Dienst einführen und anbieten
• Beratung und Training der beteiligten Personen
• Technische Vorbereitung der PC-Pools
• Anbindung an andere IT-Dienste
• Zusammenarbeit mit Softwarefirma (Anpassung)
• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen
• Implementation zunächst nur mit einem Fachbereich
• Kooperation mit einer Softwarefirma
© Karsten D. Wolf

65. Testumgebung L-Plus
© Karsten D. Wolf 2007

66. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

67. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

68. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

69. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

70. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

71. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

72. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

73. L-Plus Demo (www.lplus.de)
© Karsten D. Wolf 2007

74. Komplexere Aufgabe
Bücking (2006) / ZMML Uni Bremen
© Karsten D. Wolf

75. Zusammenfassung: Wann ist das sinnvoll?
• Mehr als 300 Kandidaten pro Prüfung
• Mehr als 50 Rechner pro Raum
• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)
• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen
• mögliche Alternative: Scanlösung Paper&Pencil MC Test
• Alternativen: Kooperation von Autorinnen und Autoren
• Alternativen: (Vor-)Erstellung von Items durch Studierende
© Karsten D. Wolf

76. Gender Mainstreaming von eAssessment?
© Karsten D. Wolf 2007

77. American Airlines, ca. April 2007

81. Gender spezifische
Computer Einstellungen und Fertigkeiten
nach Whitley 1997

83. PISA 2003 - Gender Differences
Mädchen Jungen
Computerspiele 35% 70%
Software runterladen 25% 51%
Musik runterladen 40% 56%
Informationen suchen 50% 59%
Zusammenarbeit 27% 36%
Kommunikation 55% 56%
Programmieren 16% 30%
Graphikprogramme 26% 34%
Tabellenkalkulation 18% 24%
Textverarbeitung 49% 48%

86. Keine Unterschiede der Internet Expertise
computer expertise computer usage
internet expertise internet usage
n=108 (Wolf 2007)

87. Evaluation der Lernumgebung
Wisse wie…
Kompliziert
Schaue mehr
Spaß andere Arbeiten an
n=108 (Wolf 2007)

88. Prozessunterschiede:
Kommunikation
n=36 (Wolf/Prasser 2006)

89. So wie das Internet eine Alltagstechnologie wird…
Pew Institute 2005

90. Gender-sensitive Sprache und Lernmaterial
(Auszug aus Pravda 2003)
• Sexistische Sprache vermeiden / austauschen
• In Beispielen Gender und deren Reihenfolge abwechseln
• Möglichst Gender-neutrale Begriffe verwenden
• Inhalte aus mehreren Perspektiven beschreiben
• Lebenserfahrung beider Gender integrieren
• Gender Hierarchien und Stereotype entfernen
• Neue Rollenmodelle für beide Gender anbieten

91. Zusammenfassung: Erfahrungen bisher
• Entlastung und Verbesserung
• Uni Bremen als Vorreiterin
• Dauerhaftes Thema an Hochschulen (Trend)
• Technische und organisatorische Professionalisierung
• Verstetigung statt Pilotprojekte
• Hohes Innovationspotenzial für Hochschullehre
• Aktuelles Forschungsthema
• TestCenter bietet ideale Voraussetzungen
© Karsten D. Wolf

92. FB 12 Erziehungs- und Bildungswissenschaften
Didaktische Gestaltung
multimedialer Lernumgebungen
http://www.ifeb.uni-bremen.de/wolf
wolf@uni-bremen.de
http://www.zmml.uni-bremen.de/

93. Literaturempfehlungen
Thomas M. Haladyna (2004).
Developing and Validating Multiple-
Choice Test Items. Lawrence
Erlbaum Associates.
Steven M. Downing & Thomas M.
Haladyna (2006). Handbook of Test
Developing. Lawrence Erlbaum
Associates.
Jürgen Rost (2004). Lehrbuch
Testtheorie – Testkonstruktion.
Huber.
© Karsten D. Wolf

94. Literaturempfehlungen
Trevor G. Bond & Christine M. Fox
(2007) Applying The Rasch Model.
Lawrence Erlbaum Associates.
Mark Wilson (2005). Constructing
Measures. Lawrence Erlbaum
Associates.
Albert Maydeu-Olivares & John J.
McArdle (2005). Contemporary
Psychometrics. Lawrence Erlbaum
Associates.
© Karsten D. Wolf