Musik und Sound in der Videospielerfahrung (Daniel Possler)

PLAYING MUSIC.
Musik und Sound in der
Videospielerfahrung
Daniel Possler
HERE THERE. Games-Ringvorlesung 2016 | 19.04.16

http://www.ijk.hmtm-hannover.de
Tetris (1989)
Studio Bullet-Proof Software
Nintendo
Publisher Nintendo
Audio Russisches
Volkslied: Korobeiniki
Link https://youtu.be/
NmCCQxVBfyM
Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 2

Halo: Combat Evolved (2001)
Studio Bungie Studios
Gearbox Software
Publisher Microsoft Game
Studios
Audio Composer: Martin
O'Donnell
I8vaCrVIR-Q

Red Dead Redemption (2010)
Studio Rockstar San
Diego
Publisher Rockstar Games
Audio Composer: José
Gonzales
AUXGW6sWYDY?
t=49s

Super Mario World (1990)
Studio Nintendo EAD
SRD
Publisher Nintendo
wNhCu7F6IK0?
t=1m22s

Tony Hawk’s Pro Skater 2 (2000)
Studio Neversoft
Publisher Activision
U35P1UwgKlg?
t=2m14s

Agenda
§  Von Beeps zu dynamischem 3D-Sound
§  Worum geht es hier eigentlich?
§  Audio-Erfahrungen in virtuellen Welten
§  Affektive Funktion
§  Kognitive Funktion
§  Erfahrung von Videospielmusik außerhalb virtueller Welten

Von Beeps zu dynamischem 3D-Sound
Frühe 70er
§  Videospiele in der
Spielhalle
§  Beeps und Töne zur
Erzeugung von
Aufmerksamkeit
§  Extrem aufwändige
Programmierung
(keine Sound-Chips)
§  Keine ausgebildeten
Musiker, sondern
Programmierer
Beispiel: Space Invaders (Taito / Midway Games; 1978)
https://youtu.be/437Ld_rKM2s?t=20s
(Huiberts, 2010; Collins, 2008)

Anfang 80er
§  PSG Sound Chips
(3 Kanäle + weißes
Rauschen)
§  Sound und Musik
möglich
Frühe 70er
Beispiel: Carnival (Sega / Sega, Gremlin Industries; 1980)
https://youtu.be/437Ld_rKM2s?t=20s

Anfang 90er
§  FM-Chips und PCM-
Chips
§  MIDI
§  Sound, Musik und
Sprache möglich sowie
aufgez. Samples
§  iMuse: dynamische
Komposition
Frühe 70er
Anfang 80er
Beispiel: Monkey Island II (LucasArts / LucasArts, 1991)
https://youtu.be/7N41TEcjcvM

Mitte 90er
§  Etablierung erster
Soundkarten
§  Sound, Musik und
Sprache in CD-Qualität
abspielbar
§  Räumlicher Sound (3D)
Frühe 70er
Anfang 80er
Anfang 90er
Beispiel: Thief: The Dark Project
(Looking Glass Studios / Eidos Interactive; 1998)
https://youtu.be/x12fE1hFW9M?t=46s

Agenda

Worum geht es hier eigentlich?
§  Verschiedenste Kategorisierungen von Game-Audio möglich
Ø  Produktionsbasiert (z.B. Brandon, 2005)
Erweiterung (Folmann, 2004)
Sprache Sound Musik
Vocalisation Sound-FX Ambient-FX Music

Ø  Diegetic and Non-Diegetic Audio (Stockburger, 2003; Huiberts, 2010)
Audio-Quelle in der virt. Welt Audio-Quelle stammt nicht
aus der virt. Welt
Diegetic Non-Diegetic
(Grand Theft Auto V;
Rockstar North / Rockstar Games, 2013)
(Star Wars Battlefront;
EA DICE / Electronic Arts; 2015)

Ø  Interaktivität (Collins, 2008; Bullerjahn, 2011):
Linear
Adaptiv
Interaktiv
diegetic non-diegetic
Linear diagetic
audio
Adaptive diegetic
audio
Interactive diegetic
audio
Linear non-
diegetic audio
Adaptive non-
diegetic audio
Interactive non-
diegetic audio

Ø  IEZA Model (Huiberts, 2010):
diegetic
non-diegetic
ActivitySetting
Zone Effekt
Affect Interface

Agenda

Audio-Erfahrungen in virtuellen Welten
§  Bisher kaum Forschung zu diesem Thema, sondern:
§  Best Practise (bspw. Collins, 2008)
§  Forschung zu Film-Musik (bspw. Cohen, 1990, Boltz, 2004; Bullerjahn &
Güldenring, 1994)
§  Allgemein:
Game-Audio
Emotionale Ebene
Kognitive Ebene
Verstehen
Immersion

Emotionale Wirkung
§  Emotionen in Games
Quelle: Narration
Unsicherheit über Ausgang der
Story und das Schicksal der
Helden
(Schneider, Lang, Shin, & Bradley, 2004;
Schmierbach & Limperos, 2013)
Quelle: Interaktivität
Erfolg oder Misserfolg des
Spielers bei der „Bedienung“
des Spiels
(Klimmt et al., 2007; Tamborini et al., 2010;
Trepte & Reinecke, 2011)
Game-Audio:
-  Emotionale
Impulse
-  Grund-
stimmung
Game-Audio:
-  Motivation
-  Auf- und
Abbau von
Spannung
Zone Effekt
Affect Interface
Zone Effekt
Affect Interface

Kognitive Wirkung
Verstehen
§  Audio in Games wichtig für grundlegendes Verständnis
(Bullerjahn, 2011; Zehnder & Lipscomb, 2006; Huiberts, 2010)
Aktion und
Reaktion
Game-Audio:
-  Feedback
Zone Effekt
Affect Interface
Interpretation von
Kontext und
Umgebung
Game-Audio:
-  Umweltverän-
derungen
-  Thema
-  Leitmotiv
Zone Effekt
Affect Interface

Kognitive Wirkung
Presence
§  „A psychological state in which virtual objects are experienced as
actual objects in either sensory or non sensory ways“
(Lee, 2004)
§  Abhängig von (Hartmann et al., 2016):
Realitätsgrad der
virtuellen Welt
Vorliegen von
Wissensstrukturen
Game-Audio:
-  Detailtiefe
-  Räumliche Wirkung
Zone Effekt
Affect Interface
Game-Audio:
-  Aktivierung von
Schemata
Zone Effekt
Affect Interface

Kognitiv Wirkung
Empathy / Identification
§  Zentrale Elemente
(Cohen, 2001; Klimmt et al., 2009; Wollheim, 1974; Bandura, 1961; Van Looy, 2015)
§  Einnehmen der Avatar-Perspektive
§  (Übernahme von Avatar-Charakteristika)
§  (Ausblenden der Illusion)
§  Abhängig von:
Einfühlungs-
vermögen Game-Audio:
-  Interpretationshilfe
-  Aufwertung
Zone Effekt
Affect InterfaceAttraktivität des
Avatars

Die Wirkung von Videogame-Musik
§  Experiment mit 68 Spielern zur Wirkung von Soundtrack-Musik in
Assassin’s Creed: Black Flag (Klimmt, Possler, Auge, Wolf & Wanjek, 2016)
Congruent
Soundtrack
Music
Video Game
Enjoyment
Positiver Affect
Intensification of
Presence
Intensification of
Identification
Negative Affect
X
X
✔
✔✔
✔
X
X

Agenda

Videospielmusik außerhalb virtueller Welten
§  Videospiele als eigene Kunstform? (Gee, 2006)
§  Videospiel-Musik mit Genrebezogenen Besonderheiten, u.A.
(Collins, 2008; Munday, 2007)
§  Lange Zuwendungszeit
§  Dynamische Komposition und adaptive Anpassung
§  Extrem unterschiedliche Funktionen
§  Videospielmusik als Kunstform?

Videospielmusik fester Bestandteil der Kultur
Beispiel: Symphonic Legends - Super Mario Galaxy Sute
WDR Radio Orchester / Niklas Willén
https://youtu.be/jk_jQB9Iius

Videospielmusik fester Bestandteil der Kultur
Beispiel: Charles Hamilton - Where's My Fucking Genesis
(Sonic the Hamilton Mixtape)
https://www.youtube.com/watch?v=HRjHSXRNIRc

Studie: Wertschätzung von Videospielmusik
§  Wird Videospielmusik als Kunstform oder als funktionales
Element des Game-Designs wahrgenommen?
(Possler, Klimmt, Fellechner & Golombek, 2016)
§  Indikator: Videospiel-Journalismus
§  Journalist als prototypischer Gamer
§  Verkaufsratgeber
§  Analyse und Hintergrundwissen
§  Methode:
§  Inhaltsanalyse der „GameStar“ und
„PC Games“ von 2011 bis 2014 sowie
36 Stunden Let‘s Play Videos

Studie: Wertschätzung von Videospielmusik
Ergebnis:

Videospielmusik außerhalb virtueller Welten
§  Videospielmusik erfüllt Formal die Anforderungen einer Kunstform
§  Aber: In der öffentlichen Wahrnehmung ist Videospielmusik ein
dem Spielspaß dienendes Element:
„Our analysis suggests that game experts and players are
seeing their games rather as sophisticated entertainment
technologies than as aesthetic masterpieces“
(Possler, Klimmt, Fellechner & Golombek, 2016)

Fazit: PLAYING MUSIC.
§  Sound in Games ist längst mehr als Beeps
à wesentlicher Bestandteil des Game-Designs
§  Audio in Games hat vielfältige Wirkungen (1) Emotionen
hervorrufen, (2) die Orientierung in der Welt und das Verstehen der
Story erleichtern, (3) Eintauchen in die Spielwelt ermöglichen
§  Obwohl Komponisten dabei aufwändigste Techniken verwenden
und eine formal eigene Kunstform geschaffen haben, wird Game-
Music vor allem als funktionales Element wahrgenommen

Daniel Possler:
IJK – Hannover.
Daniel.Possler@ijk.hmtm-hannover.de
@keepthecarrun
Vielen Dank.
Daniel.Possler@ijk.hmtm-hannover.de
@keepthecarrun
Daniel Possler
HERE THERE. Games-Ringvorlesung 2016 | 19.04.16

References
§  Bandura, A., & Huston, A. C. (1961). Identification as a process of incidental learning. The Journal of Abnormal and Social Psychology.
doi:10.1037/h0040351
§  Boltz, M. G. (2004). The cognitive processing of film and musical soundtracks. Memory & Cognition, 32(7), 1194-1205.
§  Brandon, A. (2005). Audio for Games, Planning, Process and Production. Berkeley, CA: New riders.
§  Bullerjahn, C. (2011). Musik in Computerspielen. Vermarktungspotenzial, Nutzung und Wirkung. In C. Jost, (Eds.), Populäre Musik,
mediale Musik?: Transdisziplinäre Beiträge zu den Medien der populären Musik (pp. 33-59). Baden-Baden: Nomos-Verl.
§  Bullerjahn, C., & Güldenring, M. (1994). An empirical investigation of effects of film music using qualitative content analysis.
Psychomusicology, 13, 99-118.
§  Cohen, A. J. (1990). Understanding musical soundtracks. Empirical Studies of the Arts, 8(2), 111-124.
§  Cohen, J. (2001). Defining Identification: A Theoretical Look at the Identification of Audiences With Media Characters. Mass
Communication and Society, 4(3), 245–264.
§  Collins, K. (2008). Game sound: An introduction to the history, theory, and practice of video game music and sound design. Cambridge,
Mass. [u.a.]: MIT Press.
§  Folmann, T. (2004). Dimensions of Game Audio. SHHHHHHHHHHHHH audio blog. Retrieved from: http://www.itu.dk/people/folmann/
2004/11/dimensions‐of‐game‐audio.html
§  Gee, J. P. (2006). Why game studies now? video games: A new art form. Games and Culture, 1(1), 58-61. doi:
10.1177/1555412005281788.
§  Hartmann, T., Wirth, W., Schramm, H., Klimmt, C., Vorderer, P., Gysbers, A., Böcking, S., Ravaja, N., Laarni, J., Saari, T., Gouveia, F.
& Sacau, A. (2016). The Spatial Presence Experience Scale (SPES): A short self-report measure for diverse media settings. Journal of
Media Psychology, 28 (1), 1-16.
§  Huiberts, S. (2010). Aptivating Sound - The role of audio for immersion in computer games (doctoral dissertation). Utrecht School of the
Arts. Retrieved from: http://download.captivatingsound.com/Sander_Huiberts_CaptivatingSound.pdf
§  Klimmt, C., Hartmann, T., & Frey, A. (2007). Effectance and control as determinants of video game enjoyment. CyberPsychology &
Behavior, 10(6), 845-847.

References
§  Klimmt, C., Hefner, D., & Vorderer, P. (2009). The video game experience as “true” identification: A theory of enjoyable alterations of
players’ self-perception. Communication Theory, 19, 351–373. doi:10.1111/j.1468-2885.2009.01347.x
§  Klimmt, C., Possler, D., Auge, H., Wolf, A.-L., & Wanjek, L. (2016, Juni). Effects of Soundtrack Music on the Gameplay Experience.
Posterpräsentation auf der 66. Jahrestagung der International Communication Association (ICA), 09.-13. Juni 2016, Fukuoka, Japan.
§  Lee, K. M. (2004). Presence, Explicated. Communication Theory, 14(1), 27–50. doi:10.1111/j.1468-2885.2004.tb00302.x
§  Munday, R. (2007). Music in video game. In J. Sexton (Ed.), Music, Sound and Multimedia: From the Live to the Virtual (pp. 51-67).
Edinburgh: Edinburgh University Press.
§  Possler D., Klimmt, C., Fellechner, F., & Golombek, L. (2016, Juni). Critics’ Appreciation of Digital Games as Art: The Case of
Soundtrack Music. Vortrag angenommen für die Game Studies Division 2016 Pre-Conference der 66. Jahrestagung der International
Communication Association (ICA), 08. Juni 2016, Tokio, Japan.
§  Schmierbach, M., & Limperos, A. M. (2013). Virtual Justice: Testing Disposition Theory in the Context of a Story-Driven Video Game.
Journal of Broadcasting & Electronic Media, 57(4), 526–542. doi:10.1080/08838151.2013.845828
§  Schneider, E. F., Lang, A., Shin, M., & Bradley, S. D. (2004). Death with a story: How story impacts emotional, motivational, and
physiological responses to first-person shooter video games. Human Communication Research, 30(3), 361-375.
§  Stockburger, A. (2003). The game environment from an auditive perspective. In M. Copier, & J. Raessens (Eds.), Level Up, Digital
Games Research Conference. Utrecht: The Netherlands: Faculty of Arts, Utrecht University.
§  Tamborini, R., Bowman, N. D., Eden, A. L., Grizzard, M., & Organ, A. (2010). Defining media enjoyment as the satisfaction of intrinsic
needs. Journal of Communication, 60(4), 758-777. doi:10.1111/j.1460-2466.2010.01513.x
§  Trepte, S., & Reinecke, L. (2011). The pleasures of success: Game-related efficacy experiences as a mediator between player
performance and game enjoyment. Cyberpsychology, Behavior, and Social Networking, 14(9), 555-557.
§  Van Looy, J. (2015). Online games characters , avatars, and identity. In The International Enceclopedia of Digital Communication and
Society. doi:10.1002/9781118290743.wbiedcs106
§  Wollheim, R. (1974). Identification and Imagination: the Inner Structure of Psychic Mechanism. In R. Wollheim (Ed.), Freud – A
Collection of Critical Essays (pp. 172–195). Garden City, NY: Anchor Books.
§  Zehnder, S. M., & Lipscomb, S. D. (2006). The Role of Music in Video Games. In P. Vorderer & J. Bryant (Eds.), Playing Video Games
(pp. 241-258). Mahwah, N.J.: Lawrence Erlbaum Associations.

Musik und Sound in der Videospielerfahrung (Daniel Possler)

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (6)

Dernier

Dernier (8)

Musik und Sound in der Videospielerfahrung (Daniel Possler)