Workshop at 1. Padday (Saarbrücken, Germany); November 2012

1. Learning Analytics
mit Learning Apps
Martin Schön Martin Ebner
LifeLongLearning Social Learning
Graz University of Technology Graz University of Technology
Mandellstraße 13, A-8010 Graz Münzgrabenstraße 35A/I, A-8010 Graz
+433168734931 +433168738540
martin.schoen@tugraz.at martin.ebner@tugraz.at

2. Apps mit Intelligenz
…
Adaptive Lehrintelligenz
Programme, die situationsangepasst Aufgaben stellen
und Lösungen bewerten: als Beispiel: 1x1-Diagnose

3. Funktionalität- Adaptivität
• Erstkontakt: Zwei Aufgaben zur
Schätzung des Kompetenzniveaus
• Neukalkulation der Kompetenz +
nächsterreichbare Zone –>
Auswahlbereich aus 1x1:
leicht 1, 2, 4, 3, 5, 8, 6, 7, 9 schwer
• Aufgaben 2x prüfen, wenn stabil,
dann nur noch selten
(Leitner-Lernkartei)

4. Was wird gemessen?
(Was man nicht messen kann, kann man nicht verbessern)
• Ziel ist, für jede einzelne Multiplikation der 1x1-Tabelle die
Kenntnisse von einzelnen Schülern festzustellen
• Lehrer sollten durch komprimierte Übersichten die
Möglichkeit bekommen, über Quantitäten zu sprechen:
“Ich habe 4 Schüler, die …

5. Ziele
• das System soll Feedback und Ermunterung
bieten
• das System soll universale Zugänge anbieten
(iOS, Android, Browser)
• das System soll fein aufgegliedert das
Verhalten der Schüler aufzeichnen (jede
gelöste und nicht gelöste Aufgabe, den
aktuell geschätzen Kompetenzgrad) und
unter Berücksichtigung all dieser Daten neue
Aufgaben generieren
• Lehrer sollen von stupider Datenver-
arbeitung /Informationsverarbeitung entlastet
werden

6. Gründe
John Hattie hat 2008 eine Metaanalyse zu mehr als 800 Metaanalysen vorgestellt, die
auf 50,000 Studien basieren und insgesamt über 200 Millionen Schüler repräsentieren
(Visible Learning).
Als Faktoren für entscheidende Veränderungen des Unterrichts verweist er auf
Feedback: Feedback wie z.B. „Prima, gut gemacht“ ist nicht hilfreich. Feedback
sollte beinhalten, was eine Schülerin/ein Schüler gut gemacht haben und was
verbessert werden muss.
Influence Effect Size Source of Influence
Feedback 1.13 Teacher
Student's prior cognitive ability 1.04 Student
Instructional quality 1.00 Teacher
Direct instruction .82 Teacher
Acceleration .72 Student
Remediation/feedback .65 Teacher
Student's disposition to learn .61 Student
Class environment .56 Teacher
Challenge of Goals .52 Teacher
Peer tutoring .50 Teacher
Mastery learning .50 Teacher
Homework .43 Teacher
Teacher Style .42 Teacher
Questioning .41 Teacher
Peer effects .38 Peers
Advance organisers .37 Teacher

7. Hintergründe …
• Mathematik lernen beginnt schon vor der Schule
• Es gibt kulturelle Unterschiede, die in der Sprache
begründet sind
• Linguistische Kompetenz ist Voraussetzung
• Mathematik ist als erste Fremdsprache zu verstehen
• Viele Kinder haben von den grundsätzlichen
mathematischen Zusammenhängen nur vage Vorstellungen
• Die traditionelle und am meisten verbreitete Methode ist
Üben und Routine

8. Was wird gespeichert?
• Anfangs wurden die Aufgabenlösungen für alle
Aufgaben mit 0, 1=gelöst, 2= wiederholt gelöst)
gespeichert
• Das wurde erweitert:
- Dauer der Bearbeitung,
- welches Ergebnis, noch nie präsentiert, …
- Detailprotokoll

9. Prototype

10. Arbeit am Design

11. Indiv. Feedback
• Die Matrix links zeigt die bisherigen Aufgabenlösungen:
hell=wiederholg, orange=gelöst). Das Kanínchen hüpft mit
richtigen Lösungen Richtung Karotte und holt sich eine.

12. Vorstudie
• Die ersten Untersuchungen wurden an der Volksschule in Laubegg
Österreich durchgeführt: 42 Schüler zwischen 9 und 10
• Beginn: Sommer Semester 2011
• Mindestens 4 Wochen Dauer an den Schulcomputern, einige Schüler
arbeiteten noch Monate danach auf verschiedenen Geräten
• Es wurden 12.926 Antworten gegeben, durchschnittlich beantwortete
ein Schüler 308 Fragen (3.4 mal das gesamte 1x1)
• Bedenkt man, dass es keinen wirklichen Druck vom Lehrer gab, ist das
eine beachtliche Aktivitätsrate
• Jedenfalls war es den Schülern nicht langweilig und sie nahmen die
Anforderung an.

13. Analysen
Es sollen ein paar Analysen gezeigt werden – was kommt
denn da so raus? Die Frage ist, was interessiert den Lehrer,
was könnte er vielleicht brauchen? In unseren Interviews
war kurze kompakte Handlungsanleitung erwünscht!
Classified
as
2
id156
10
8
6
4
2
0
1
11
21
31
41
51
61
71
81
91
101
111
121
131
141
151
161
171
181
191
201
211

14. Analysen 2

15. Wir haben keine Ahnung:
Über die Hälfte der Schüler erreichten nicht das 100%-Niveau.
Folglich denken wir über mögliche Hemmungen nach. Vielleicht
• kamen sie mit der Schnittstelle nicht klar
• vielleicht kennen sie die grundlegenden Operationen noch nicht
• vielleicht waren sie häufig abgelenkt durch unbekannte
Umgebungsfaktoren
• vielleicht waren sie aus verschiedensten Gründen unkonzentriert.
Könnten wir irgendwie weitere Informationen gewinnen, um mehr
erklären zu können? Welche Sensoren könnten wir verwenden?

16. Zwischenfazit
• Wir können mehr Details über den Lernprozess unserer
Lerner beobachten als jemals zuvor:
z.B.: Lernen erfolgt nicht so stetig, wie wir es konstruieren
• Lehrer erhalten kompakte und präzise Information über die
Kenntnisse der Klasse und der einzelnen SchülerInnen
• Diese Anwendungen wurden entwickelt als Diagnose-/
Testinstrument. Sie waren vermutlich auch wirksam zum
Lernen und zum Üben
• Es ist so leicht wie nie zuvor, Daten zu sammeln - >
KONSEQUENZEN?

17. Educational Data Mining
• Mit dem Einsatz von Informationstechnik (IT) in den
Erziehungsinstitutionen werden immer mehr Daten gesammelt.
Der Nutzen entwickelt sich erst mit der Zeit, es ergeben sich
neue Fragestellungen und das Bedürfnis noch mehr und
intensiver Daten zu sammeln.
• Educational Data Mining
(EDM) entwickelt Methoden zur
Gewinnung und Behandlung
solcher Daten und Erklärung
relevanter Sachzusammenhänge.

18. Learning Analytics
ist die Interpretation von lernerspezifischen Daten, um den
individuellen Lernprozess gezielt zu verbessern.
Ebner, Martin – Schön, Martin / Stand 2012
Erik Duval 2012:
A really tough problem is figuring out what are meaningful learning traces: Maybe time of day or location are relevant. And
maybe they are not. Maybe whom the learner is with or what device she is using is relevant. Maybe what the teacher has had for
lunch or the background noise level is important. As mobile devices proliferate, and as these devices integrate more sensors,
there are more and more characteristics that we can measure. Still, it is not because we can measure them that they are relevant.
However, it is often difficult to figure out beforehand what will be relevant, why or how.
George Siemens* 2012:
*Connectivismus (Siemens 2005) ist eine
Lerntheorie, die davon ausgeht, dass Wissen
nicht nur in dem Kopf eines Individuums
existiert.

19. aktueller Entwicklungsstand

20. Aktuelle Entwicklungen

21. Mathe-Multi(digit)-Trainer
Auch falsche Lösungen führen zu Ergebnissen:

22. aktueller Stand (1x1):

23. Danke!
Wir bedanken uns bei vielen einzelnen “Lernern” –
vor allem auch den beteiligten Lehrern der
Volksschule in Laubegg (Steiermark, Österreich).
Wir sind auch dankbar für die Unterstützung der
“Internet Foundation Austria (IPA)”, die viele
Entwicklungen wesentlich angestoßen hat.

24. Martin Schön
TU Graz – Austria
mrtnschn@gmail.com
Lehreraccounts für Klasenadmin:
martin.ebner@tugraz.at