„Losing My Religion“ – Einsatz einer Videoannotationsdatenbank in der kunstgeschichtlichen Analyse von Musikvideos
Im diesem Beitrag sollen nun am Beispiel des Musikvideos zum Titel „Losing My Religion“ der US-amerikanischen Rockband „R.E.M.“ – welches 1991 vom Regisseur Tarsem Singh umgesetzt wurde – die Möglichkeiten der „Video Annotation Database“, einer frei verfügbaren, quelloffenen Plattform zur kollaborativen, webbasierten Medienanalyse auf der Basis von „pan.do/ra – Open media archive“, vorgestellt werden.
Das System hat sich in der Form bereits seit längerem im Exzellenzcluster „Asia and Europe in a Global Context“ der Universität Heidelberg (Cluster of Excellence) bewährt, wo es von der Heidelberg Research Architecture (HRA) im Rahmen des Metadatenframeworks „Tamboti“ genutzt und aktiv weiterentwickelt wird.
„Pan.do/ra“ ist eine Online-Applikation, die es mehreren Nutzern gleichzeitig erlaubt, frei gewählte Abschnitte eines Videos mit unterschiedlichen Arten von Annotationen (Layer oder Spuren) zu versehen. Durch diese Annotationen ist es möglich, sowohl einzelne
Sequenzen als auch sämtliche Szenen zu einer Thematik direkt über eine URL zu referenzieren. Jede Spur enthält zeitreferenzierte Annotationen eines bestimmten Typs und neben Text können auch georeferenzierte Ortsinformationen und Bilder hinzugefügt werden. Mit seiner integrierten Rechteverwaltung erlaubt es das System, Filme nur bestimmten Nutzergruppen zugänglich zu machen. So hat jüngst zum Beispiel eine Gruppe Studierender im Rahmen eines Geschichtsseminars die Applikation verwendet, um einen japanischen Propagandafilm aus den frühen 1930er zu analysieren. Dabei wurden gezielt wiederkehrende Themen und Argumente im Film mit Schlagworten versehen, Texttafeln transkribiert und übersetzt, sowie Querverweise zu anderen Quellen hergestellt. Mit Hilfe der Videoannotationsdatenbank konnten die Studierenden die unterschiedlichen Argumentationsstränge im Film verorten und über die integrierte Timeline sichtbar machen, daneben ergab der Vergleich mit einer anderen (später entstandenen) Version
des Filmes Unterschiede in der Narration.
Die Einsatzmöglichkeiten des hier verwendeten Videoannotationssystems „pan.do/ra“ sind breit und generisch angelegt; so haben Max Stille und Jan Scholz beispielsweise islamische Predigtvideos analysiert und erste Ergebnisse davon wurden auf dem Deutschen Orientalistentag 2013 vorgestellt.
Seit geraumer Zeit wird in Heidelberg an einer Integration in das Metadatenframework „Tamboti“ gearbeitet, womit Filmmetadaten gemeinsam mit bibliographischen Metadaten (in MODS XML), Bildmetadaten (in VRA Core 4 XML) und mit TEI ausgezeichneten Texten durchsuchbar gemacht werden sollen. Ziel der Integration ist es „pan.do/ra“ noch weiter für die stark interdisziplinäre Verbundforschung – wie sie z.B. am Exzellenzcluster „Asien und Europa“ betrieben wird – zu öffnen und auch übe
2. Der Exzellenzcluster und die HRA
"Asia and Europe in a Global Context: The Dynamics of Transculturality“
Ziel: „…das Verständnis der vielschichtigen Austauschprozesse zwischen und
innerhalb Asien und Europa zu verbessern.“
Ca. 60 Projekte in 17 interdisziplinären Forschungsgruppen verteilt über 4
Forschungsbereiche
5 neue Lehrstühle, Graduiertenschule, M.A. Transcultural Studies
DH unit: Heidelberg Research Architecture (HRA)
Beratung – Schulung – Entwicklung
Zusammenarbeit mit Partnern auf lokaler, nationaler und internationaler Ebene.
The Karl-Jaspers Centre for Advanced Transcultural Studies, Heidelberg
Photo M. Arnold 2010
Kleines Team: 6 Personen - 3 Programmiererstellen
Eng verbunden mit neu eingerichteter Junior Research
Group “Digital Humanities - Digital Cultural Heritage”
Project databases – Research analysis
Entwicklung: Metadata Framework Tamboti
Webportal: http://hra.uni-hd.de
3. Entwicklung: Tamboti Metadata Framework
A „suite of web applications that forms an integrated environment for
interdisciplinary and internationally distributed studies in transcultural
dynamics.“
•Modular structure, applications within eXist-db
•LDAP integration, granular access control
•Users can store, organise, share, and publish multilingual metadata
records of different media formats: text, image, video, audio
•Different intl. standardized metadata schemas (sustainability, data
exchange); one search for all data/schemas
currently integrated formats: MODS - VRA core - TEI, *Wiki records,
*video annotation records (structured notes in MODS), text extracted
from uploaded PDF files, *name authority files (e.g. MADS)
Source code: https://github.com/eXist-db/tamboti Heidelberg instance: http://tamboti.uni-
hd.de
5. Ein Framework für Metadaten und Annotationen
Bibliographische Informationen
in MODS
Bild-Metadaten in VRA core 4 mit
Ziziphus-Editor
Teil-von-Video und Teil-von-Audio
Annotationen in pan.do/ra
Teil-von-Bild Annotationen in
HyperImage
7. Diverse Anwendungsbereiche
Linguistische Analyse: ELAN, ANVIL, EXMARaLDA
Medienanstalten/Archive: LinkedTV, MediaGlobe
E-Learning, Vortragsportale: Catool, AAV/Opencast Matterhorn, Alexander
Street
Streaming Plattformen/Archivportale: Kaltura, (AV Portal)
Musik/Performance: trAVis, MyStoryPlayer
Video: Mediathread, Pan.do/ra
Interactive storytelling: Klynt, HyperImage
Subtitling: Speedtrans, DotSub
Service based analysis: Semex, Videana
=> Alle Tools bieten Annotationen an. Viele fanden elegante - aber
bereichs-spezifische Lösungen. Keins deckt alle Bereiche ab.
8. VRA 32nd Annual Conference | 2014/03/13 | Session 8: VRA Core 4 Unbound | Matthias Arnold, Heidelberg 8
Liste von über 50 Softwarelösungen mit Bezug zu Video-Annotationen
Auswertung verfügbarer Listen und Online-Recherche:
Zugang (bitte kommentieren / ergänzen!): http://bit.ly/1oUYPNH
Liste von über 50 Softwarelösungen mit Bezug zu Video-Annotationen
Auswertung verfügbarer Listen und Online-Recherche:
Zugang (bitte kommentieren / ergänzen!): http://bit.ly/1oUYPNH
Bamboo http://dirt.projectbamboo.org/tags/video 2011-12
Harvard http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612 2010
Jost et al. 2013
Jost, Christofer, Daniel Klug, Axel Schmidt, Klaus Neumann-Braun, and Armin
Reautschnig. Computergestützte Analyse von audiovisuellen Medienprodukten. Qualitative
Sozialforschung 22. Springer Fachmedien Wiesbaden, 2013.
http://link.springer.com/book/10.1007%2F978-3-531-19459-2. 2013
Linked TV
LinkedTV, Evlampios Apostolidis, Michail Dimopoulos, Vasileios Mezaris, Daniel Stein,
Jaap Blom, Ivo Lasek, et al. State of The Art and Requirements Analysis for Hypervideo.
Pdf. LinkedTV - Television Linked To The Web, September 30, 2012.
http://www.slideshare.net/linkedtv/linked-tv-d11state-of-the-art-and-requirements-analysis-
for-hypervideo. 2012
UCLA-KB http://kb.ucla.edu/articles/video-annotation-tools 28.04.2009
9. Requirements of a Video Annotation System (Annotations at Harvard, 2010)
http://www.annotations.harvard.edu/icb/icb.do?keyword=k80243&pageid=icb.page466612
1 – Annotation of entire video
2 – Sound visualisation
(detail highlights)
3 - User-defined custom
annotation markers
4 - A time range for each
annotation
5 - Automatic captioning of
spoken word as baseline
annotations
6 - Overlays of user-
generated annotation:
• graphics for basic shapes
• stroke and fill properties
• short text tags with
formatting
• placement and positioning
of graphic objects should be
dependent upon the graphed
waveform and zooming level
[MA: Text altered]
10. pan.do/ra in der HRA
Analyse und Verlinkung von (Teilen von) Video/Audio
Materialien
11. Gemeinsames Annotieren von Videos und Bildsequenzen
Verschiedene Ebenen für unterschiedliche Annotationstypen
(description, transcription, keywords, locations), frei erweiterbar
12. Film im Kontext
Insert -> Header/Footer -> check “Slide Number” and “Footer” with the respective line, e.g. Institute | Person | Title
16. Pan.do/ra – Entwicklung/Team
0x2620
Collaborative Archiving and Networked Distribution e.V., Berlin
http://0x2620.org
Pad.ma - Public Access Digital Media Archive,
http://pad.ma/
Start 2008, Material unabhängiger Filmemacher v.a. aus Mumbai und
Bangalore
Weiterentwicklung pan.do/ra (user-client, seit Ende 2011)
Open Source, GNU General Public License
https://wiki.0x2620.org/wiki/pandora
API:
Nutzung über Ox.App (Ox.js) oder pandora_client (Python)
Annotationen in HTML5 (z.B. Einbinden von Bildern)
Video-Formate: WebM, Ogg Theora
22. Weiterentwicklungen in Pan.do/ra
Bereits umgesetzt:
•LDAP Integration
•Client/API Beispiele/Dokumentation
Nächste Features:
•Granularer Annotations-Export (MODS)
•Batch import (Firefogg in read-only directories)
•Anbindung kontrollierter Vokabulare
•Mehrere Audio-Tracks per Video
•verbessertes Gruppenmanagement, Admin-Funktionen
•Gleichberechtigung Video-Sound-Text/Bild-Annotationen
23. Weiterentwicklung in Tamboti
Einbinden von Videos in HyperImage
-> Overlays/Marker,
-> hervorgehobene Objekte
-> item tracking over time
DH Video-Annotation
in Zukunft?
Austauschbarkeit
Notation? Schema?
(z.B. DARIAH-2 Cluster 6)
Automatisierte Inhaltsanalyse?
Semex (HPI)
Videana (Marburg)
24. Kontakt & weiterführende Links
http://vad.uni-hd.de – HRA Videoannotationsdatenbank (pan.do/ra)
http://tamboti.uni-hd.de – HRA Tamboti Metadatenframework
http://hra.uni-hd.de – HRA Web-Portal
https://pan.do/ra – pan.do/ra Website
https://wiki.0x2620.org/wiki/pandora – pan.do/ra SourceCode
Überblick Video Annotations Tools: http://bit.ly/1oUYPNH
hra@asia-europe.uni-heidelberg.de
Notes de l'éditeur
Die Heidelberg Research Architecture, kurz HRA ist die Digital Humanities Unit am Exzellencluster Asien und Europa.
Zum Kerngeschäft der HRA gehört die Entwicklung des modularen Metadaten Framework Tamboti. Es erlaubt das gemeinsame Sammeln, Organisieren und Annotieren von digitalisiertem Forschungsmaterial (Text, Bild, Video, Audio). Das System erlaubt das Teilen der Daten und Metadaten innerhalb von Gruppen, zwischen Forschungsgruppen bis hin zu einer weltweiten Veröffentlichung. Dabei setzt die HRA auf den Einsatz hoch-deskriptiver internationaler Metadatenstandards (derzeit MODS, TEI und VRA Core) und einer modularen Systemarchitektur, die das nachhaltige Erfassen von multilingualen Metadaten nach wissenschaftlichen Standards erlaubt.
Tamboti ist auf Kooperation auf Universitätsebene und darüber hinaus ausgelegt. Kooperationen (im Sinne einer gemeinsam nutzbaren Infrastruktur)
Mit Tamboti entwickelt die HRA eine auf dem XML-Datenbanksystem eXist-DB basierende Open Source-Lösung. Tamboti ist als Application für eXist-db weltweit frei nutz- und erweiterbar. Die HRA arbeitet derzeit an zusätzlichen Applikationen (Bildmodul Ziziphus und das Wiki-Modul), die Tamboti um weitere Funktionsbereiche modular erweitern.
Ein Schwerpunkt der Entwicklungen liegt auf den visuellen Medien. Dabei wurde bereits während der ersten Förderphase des Exzellenzclusters auf die Kombination vorhandener Softwarelösungen mit Eigenentwicklungen gesetzt.
So wurde ein Videoannotationssystem (http://vad.uni-hd.de) eingesetzt, dass im Rahmen des pad.ma Projekts (http://pad.ma) von einem freien Entwicklerteam als Open Source-Plattform entwickelt wurde. Mit einer eigenen Instanz dieser Software konnten am Exzellenzcluster mehrere Videoannotationsprojekte in unterschiedlichen Fachbereichen realisiert werden.
Im Bereich kollaborative Videoannotation hat die HRA bereits in der ersten Förderphase des Clusters in mehreren Projekten Erfahrungen sammeln können. Nach einer Bedarfsanalyse wurden unterschiedliche frei zugängliche Softwarelösungen zur Videoannotation getestet.
Wie in vielen Bereichen nicht nur der Digital Humanities ist auch bei der Software für Videoannotation „ein weites Feld“ gegeben.
Alle Tools bieten Annotationen an. Viele fanden elegante - aber bereichs-spezifische Lösungen. Keins deckt alle Bereiche ab.
Ich habe daher begonnen, eine Übersicht zu erstellen, in der bereits über 50 verschiedene Tools aufgelistet sind. Das Dokument ist auf Google Docs frei zugänglich gemacht und kann und soll ergänzt werden.
Im Rahmen des Harvard Annotation Projektes wurden bereits 2010 eine Reihe von Anforderungen formuliert, die auch den Interessen am Heidelberger Cluster sehr nahe kommen, aber in der Praxis in dieser Art noch nirgends verfügbar sind.
Vielmehr hat sich für uns relativ schnell herausgestellt, dass pad.ma damals die einzige Software war, die es erlaubte beliebige Sequenzen innerhalb eines Videos mit mehreren Nutzern gleichzeitig zu annotieren und zudem über eine ausreichende Nutzer- und Rechteverwaltung verfügte. Zudem konnten die einfache Handhabung von mehreren unterschiedlichen Annotationsspuren überzeugen.