Mémoire de 3e année à L'ESRA portant sur l'évolution des Arts Audiovisuels en lien avec le Sound Design et la Musique. Une réflexion principalement axée sur les Installations Audiovisuelles et les Médias Interactifs, après une partie historique racontant l'évolution parallèle des Arts Visuels et Sonores.

1. Léo Lemberger
ISTS 3 Audiovisuel
2018-2019
Sous la direction de M. Bruno Guiganti
Installations audiovisuelles et médias interactifs :
Le Sound-Design et la musique liés aux arts visuels

2. REMERCIEMENTS :
À mon directeur de mémoire Bruno Guiganti pour l’aide qu’il m’a apporté dans
la construction de ce mémoire, notamment dans la recherche d’ouvrages et
d'œuvres audiovisuelles, ainsi que pour les trois années d’apprentissage culturel
que nous avons pu partager et qui m’ont énormément appris.
À Dino Vicente, ingénieur son brésilien et compositeur de musiques
électroniques pour m’avoir considérablement inspiré par son art et ses
enseignements, qui m’ont à leur manière guidée vers cette réflexion sur la
performance audiovisuelle.
À ma famille pour m’avoir soutenu dans la rédaction de ce mémoire, et pour
leurs relectures qui ont aussi apporté à son écriture.
À mes amis qui ont accepté de se prêter à la discussion et à la critique et m’ont
permis de développer ma réflexion et de trouver de nouvelles idées.
1

3. SOMMAIR​E
INTRODUCTION 3
I) ​Le 20e siècle, berceau de l’art audiovisuel 4
1) Dialogue et convergence des arts : Le cinéma et les arts plastiques, à l’aube des
premières interactions audiovisuelles . 4
1.1)Musique Classique : Wagner et l’Art Total 4
1.2)De la Peinture à la musique : Musique visuelle et synesthésie 5
1.3)Histoire du Cinéma : portée et conséquences 8
1.4)La musique concrète, une révolution pour le monde du sonore 11
1.5)Jordan Belson et les débuts du Live-Cinéma 12
1.6)Fluxus : L’union des arts 13
2) ​L’art vidéo et la question de la relation entre art et technologie 15
2.1)Etude de cas : “Dream House” de La Monte Young et Marian Zazeela 16
2.2)l’Art Vidéo dans la fin du 20e siècle au travers de quelques artistes marquants 18
2.3)Explication des termes techniques 21
2.4)La question de l’évolution technologique vers le numérique 23
II) ​L’apparition des arts numériques : vers de nouveaux langages audiovisuels 24
1) Live et performance audiovisuelle : Le son, l’image et la projection à l’ère du
numérique 24
1.1)Qu’est ce que l’art numérique aujourd’hui ? 24
1.2)Analog/digital, l’importance du choix de l’outil technologique en Art 25
1.3) Logiciels et Temps Réel 29
2) ​Expérience interactive : réalité virtuelle, augmentée et mixte 32
2.1)Emergence de la réalité virtuelle, une nouvelle façon de percevoir 32
2.3)La réalité augmentée 37
2.4)La réalité mixte, une énième révolution ? 37
2.5)Une grande diversité d’expériences proposées, limites, potentiels et enjeux 38
CONCLUSION 42
BIBLIOGRAPHIE 44
WEBOGRAPHIE 45
ANNEXES 47
2

4. INTRODUCTION :
Notre époque est marquée par l’omniprésence des médias audiovisuels ; dans l’art et
dans une part de plus en plus importante de nos divertissements et de nos loisirs. L’art
audiovisuel s’exprime aujourd’hui à travers de multiples formes. En effet, cet art n’a cessé
d’évoluer tout au long du 20e siècle, et continue de se développer à une vitesse exponentielle,
enrichi par le travail d’artistes vidéastes, musiciens, graphistes et plasticiens qui se sont
intéressés aux relations entre son et image et pour qui les innovations technologiques et
techniques sont autant de nouveaux outils pour créer des oeuvres et expériences originales,
avec un espace imaginaire et des possibilités créatives qui paraissent sans fin, renouvelées
sans cesse par les potentialités de l’évolution technologique.
Les premiers spectacles audiovisuels nous font remonter à la fin du 18e siècle, avec les
fantasmagories d'Étienne Gaspard-Robertson, où des images dessinées étaient projetées à
travers une plaque de verre, sur un drap ou un écran de fumée grâce au dispositif de la
“lanterne magique”. Si cette invention est aujourd’hui reconnue comme un des ancêtres du
cinéma actuel, elle témoigne aussi de la réceptivité des individus aux illusions sensorielles
que peuvent provoquer les images ou les sons.
L'ouïe et la vue étant les deux sens principaux nous permettant d’apprécier une oeuvre,
il paraît facile d’affirmer que le potentiel de l’art audiovisuel en matière de sens et de ressenti
ne sera jamais égalé.
La grande diversité des médias A/V à l’aube du 21e siècle et l’histoire vaste et
complexe de cet art ont amené à une sous théorisation de la performance audiovisuelle, qui
paraît aujourd’hui bien plus difficile à définir que les arts multimédias comme le cinéma ou la
télévision.
C’est ce paradoxe de grande diversité et de mystère qui entourent le genre mal
cloisonné de l’audiovisuel qui nous amène ici à nous intéresser à son histoire et à son
actualité, qui voit l’émergence d’une multitudes d’oeuvres transgenres qui immergent le
spectateur dans des vibrations sonores et visuelles et entraînent dans des expériences
sensorielles qui repoussent les limites du réel et de l’imaginaire, explorant l’idée de
synesthésie audio-visuelle.
3

5. Dans quelle mesure les arts sonores et visuels évoluent ils de concert, repoussant
constamment les limites de l’expérience sensorielle ?
Dans notre réflexion, on abordera en premier lieu l’histoire des différents médias
audiovisuels à partir du début du 20ème siècle jusqu’à aujourd’hui, cheminement nécessaire
pour comprendre les différentes formes d’art qui naissent de la collaboration entre les arts et
le progrès technologique. Puis on tentera de définir les nouveaux langages audiovisuels, qui
sont les divertissements de demain, destinés à l’individu plus qu’au groupe, toujours plus
immersifs et interactifs car ils permettent notamment l’exploration de nouvelles réalités dans
lesquelles l’utilisateur peut interagir avec son environnement.
I. Le 20e siècle, berceau de l’art audiovisuel
1. Dialogue et convergence des arts : Le cinéma et les arts plastiques,
à l’aube des premières interactions audiovisuelles .
L’art audiovisuel est un art hybride qui trouve sa source dans les travaux individuels
d’artistes de tous horizons et dans leur collaborations. Avant de s’intéresser au formes d’art
AV récentes, il semble pertinent d’évoquer les artistes qui ont expérimenté les premiers dans
le champ de la performance audiovisuelle.
1.1)Musique Classique : Wagner et l’Art Total
On peut penser en premier lieu à la musique de Bach ou Debussy qui pouvait être
perçue comme entraînant la visualisation d’espaces ou de couleurs grâce à la musique
produite par l’orchestre. On peut aussi s’intéresser à la musique de Richard Wagner qui
introduit le concept d’Art Total, se caractérisant par l’emploi de divers médiums artistiques
en simultané : la musique, les sons et l’espace se répondent pour représenter l’unité de la vie
et immerger le spectateur dans l’oeuvre, avec une portée philosophique, symbolique ou
métaphysique, décuplée par l’entièreté de l’expérience audio-visuelle. Wagner est ainsi le
premier artiste à présenter une oeuvre d‘art totale au festival de Bayreuth en Allemagne en
1876.
4

6. D’autres compositeurs comme Scriabine dans son oeuvre “Prométhée ou le Poème du
Feu”(1910) entre poème symphonique et concerto pour piano, dans laquelle Scriabine choisit
d’intégrer directement à l’orchestre des instruments lumineux comme Le Clavier à lumières
ou “Luce”, qui fut construit dans le processus de réalisation de l’oeuvre.
1.2)De la Peinture à la musique : Musique visuelle et synesthésie
La Synesthésie est un phénomène neurologique involontaire qui caractérise l’action
simultanée de plusieurs sens. Baudelaire décrit cette expérience dans son poème
“Correspondances” ; “​Les parfums, les couleurs et les sons se répondent​” , il existe plusieurs1
synesthésies bien que notre intérêt se porte sur celle qui associe la vue et l’ouïe.
L’idée de correspondance entre un son et une couleur a été théorisée pour la première
fois au 18ème siècle par Isaac Newton, qui a par ailleurs démontré que la lumière blanche
était composée de plusieurs couleurs que l’on pouvait décomposer à l’aide d’un prisme. Ses
recherches sur la lumière l’ont amené à associer à chaque couleur à une note de la gamme
diatonique (do, ré, mi, fa, sol, la, si). On utilise abusivement le terme “d’expérience
synesthésique” aujourd’hui pour désigner le contexte de live audiovisuel dans lequel le
spectateur-auditeur interprète simultanément les signaux visuels et sonores qui sont la
conséquence d’une intention, comme au théâtre, au cinéma, ou à un live de mapping vidéo.
En 1912 apparaît le terme de “musique visuelle”, inventé par Roger Fry pour décrire
le travail de Vassily Kandinsky (peintre, poète et théoricien russe dont on dit qu’il était
synesthète) en référence à l’utilisation de structures musicales dans l’imagerie visuelle. Ses
travaux marquent les débuts de l’abstraction picturale, inspirée par l’immatérialité de la
musique et traitant de la spiritualité dans l’art. L’image, qui était jusqu’alors figée,
s’affranchit de son support et s’anime de mouvements (voir annexe image n°1).
La carrière de Kandinsky est étroitement liée à celle de Paul Klee, peintre et musicien
Allemand avec lequel il a enseigné au Bauhaus, une école d’architecture et d’arts appliqués,
de 1921 à 1931. Paul Klee participe par ses notes compilées dans la “Théorie de la mise en
forme picturale“ au développement de l’art abstrait en Europe. Il va aussi militer pour2
1
Baudelaire, Les Fleurs du Mal (1857)
2
Paul Klee, Claude Riehl (trad.),​ Cours du Bauhaus : Weimar 1921-1922 : contributions à la théorie
de la forme picturale​ / trad. de l'allemand par Claude Riehl, 1922
5

7. l’enseignement de l’art de la performance au Bauhaus, qu’il considère comme
intrinsèquement liée à l’architecture ou aux arts plastiques.
L’oeuvre de Paul Klee marque l’esprit par son originalité, par son exploration de
l’abstraction colorée en peinture. Il se positionne aussi comme un fervent défenseur de
l’intuition dans l’art, tout comme l’école du Bauhaus dont il est issu.
“L’architecture et les arts de la scène permettent tous deux de lier des éléments
constructifs à des éléments plus intuitifs, ils offrent ainsi le moyen de passer de l’artisanat à
l’art. L’architecture et les arts de la scène unissent le savoir technique à la passion créatrice.”3
Le début du 20ème siècle est marqué par cette recherche de correspondances entre peinture et
musique et vice versa. Le cloisonnement des arts est plus diffus et donne lieu à de nouvelles
formes d’art dites transdisciplinaires.
On peut s’intéresser à la relation entre Kandinsky et Schoenberg, qui illustre l’intérêt
mutuel de ces artistes pour leur disciplines respectives et témoigne d’une nouvelle relation
entre les arts : ​“ Je viens d’assister à votre concert ici, et j’ai eu une joie réelle à l’écouter.
Vous ne me connaissez certainement pas, je veux dire mes travaux bien sûr, car j’expose très
peu […]. Mais nos aspirations et notre façon de penser et de sentir ont tant en commun que je
me permets de vous exprimer ma sympathie. Vous avez réalisé dans vos œuvres ce dont
j’avais, dans une forme à vrai dire imprécise, un si grand désir en musique. Le destin
spécifique, le cheminement autonome, la vie propre enfin des voix individuelles dans vos
compositions sont justement ce que moi aussi je recherche sous une forme picturale “ .4
La Notion de musique visuelle se prête aussi au cinéma muet, ainsi qu’au cinéma
d’animation abstrait du début du 20e siècle avec Oscar Fischinger ou Norman Mclaren, deux
réalisateurs qui ont su aussi innover en termes de support, avec la stop motion et les
personnages en pâte à modeler, qui inspireront plus tard Walt Disney avec le long métrage
Fantasia, que Fischinger reprend et revisite avec STUDIE N° 8, une adaptation
contemporaine de fantasia (voir Annexe image n°2). Son cinéma libéré et singulier marquera
l’histoire, et fera de lui le pionnier d’un art qui sera connu plus tard sous l’appellation de
“Live Cinema”.
3
“Paul Klee et le Bahaus”, Creaviva,
https://www.creaviva-zpk.org/fr/saper-vedere/paul-klee-et-l-architecture/paul-klee-et-le-bauhaus
4
​Schoenberg-Kandinsky, Schoenberg-Busoni​, ​ “​Lettre de Kandinsky à Schoenberg du 18 janvier
1911”, ​Editions Contrechamps, 1995
6

8. Mclaren et lui-même se démarquent par leur approche d’un cinéma qui ne ressemble à
rien de connu à cette époque, et par leur manière d’explorer de nouvelles relations entre son
et image. “​Si Walt Disney a défini une certaine forme narrative animée, McLaren a,
davantage que tout autre réalisateur, exploré l’essence de l’art de l’animation sans jamais
commettre l’erreur si tentante de l’enfermer dans un dogme.” 5
On notera la poursuite des travaux de Mclaren sur la synesthésie, avec le
court-métrage “Synchromie” en 1971, dans lequel il dessine des carrés et des lignes, qu’il
photographie ensuite sur bande sonore, rendant possible ce dialogue parfait entre son et
image, c’est la première tentative de création de sons synthétiques à partir de formes
géométriques.
Synchromie apparaît comme le premier film de “son animé” ou l’artiste crée un son et
une image à partir de la même matière première, ce projet marque aussi l’aboutissement des
recherches de Norman Mclaren sur le son optique (voir Annexe image n°3)
Cette ouverture nouvelle des artistes aux interactions entre sons et images, et la
découverte progressive des potentialités de l’expérience synesthésique mène à l’élaboration
de nouveaux instruments dont la particularité est qu’ils permettent de générer simultanément
des sons et des images, comme on a pu le voir avec Scriabine et son orgue de lumière.
Ainsi le projet du Piano Optophonique revisite un concept qui a captivé une
génération entière d’artistes entre 1910 et 1920, ouvrant à la possibilité de synthétiser deux
médias divergents au sein d’une même expression artistique, donnant ainsi vie à un travail
qui s’affranchit des limites inhérentes aux deux médias pris individuellement. Ces
expériences furent accueillies avec beaucoup d’enthousiasme par le public et les artistes du
début du siècle, car donnant un souffle nouveau à la progressivité artistique et explorant les
possibles d’un art original qui transcende le potentiel expressif de ses composantes
individuelles.
Plusieurs pianos spéciaux furent ensuite construits par des artistes comme Vladimir
Baranoff-Rossiné, Zdenek Pesanek et Erwin Schulhoff, dans le but commun de composer
entre domaine du sonore et domaine du visuel. Le piano optophonique de Baranoff-Rossiné
avait pour principe de projeter de la lumière à travers des plateaux de verre peint rotatifs,
pouvant être actionnés manuellement ou mécaniquement (reliés aux notes du clavier), et dont
les couleurs et les rythmes étaient complémentaires de la musique.
5
​Olivier Cotte​, 100 ans de cinéma d’animation, ​Dunod, 2015, 416 p
7

9. “Un jour, les compositeurs écriront leur musique dans une notation qui sera
conceptualisée en termes de sons et de lumières... Et ce jour là, l’union des arts dont nous
parlions sera probablement plus proche de la perfection” 6
Avec l’invention du « Piano-Spectrophon », Zdenek Pesanek et Erwin Schulhoff
s’essayèrent à la création d’une sculpture audiovisuelle, une idée qui fut exploitée par des
artistes plus contemporains comme Christian Marclay avec « Video Quartet » (2002) et
Pierre Huyghe avec « Light Box » (2002). Un autre instrument synesthésique marquant fût le
synthétiseur ANS, dont le nom était inspiré par le pionnier Alexandre Nikolayevich
Scriabine, imaginé en 1938 par l’ingénieur russe ​Yevgeny Murzin, il fût réalisé pour la
première fois en 1958. Le synthétiseur reprend le concept de l’enregistrement sur piste
optique issu du cinéma : n’importe quelle image dessinée sur la plaque de l’instrument
pouvait ainsi être traduite en variations de tension pour générer des sons complexes.
La machine étant extrêmement difficile à manipuler et nécessitant une formation
spécifique pour l’actionner, elle ne sera pas fabriquée en de multiples exemplaires. A ce jour ,
il n’en reste qu’un seul qui réside maintenant dans un musée à Moscou. Ses sonorités
inhabituelles ont séduit plus d’un compositeur qui l’ont intégré à leur oeuvre, notamment
Edward Artemiev qui l’utilisa pour réaliser la bande-son du film Solaris de Tarkovski en
1972, ou plus récemment l’artiste Coil, qui publiera en 2004 un triple album de musique
expérimentale semi-improvisée produite sur l'ANS.
1.3)Histoire du Cinéma : portée et conséquences
C’est au Cinéma que l’on doit les innovations technologiques les plus fondamentales
du début du 20ème siècle. L’inventeur Lee de Forest développe en 1919 son propre processus
de reproduction du son sur film optique, ​qu’il n’arrivera pas à commercialiser de lui même, et
qui fut repris en ​1927 par la ​Fox sous l'appellation “​Movietone​” pour faire ensuite place au
procédé de ​son sur disque “​Vitaphone​”, une exclusivité de la ​Warner Bros qui a joué un
grand rôle dans le succès des premiers ​films chantants avec notamment ​Le Chanteur de jazz
en 1927, qui fut le premier film comprenant des dialogues synchronisés à l’image.
6
​ ​Vladimir Baranoff-Rossiné, 1925, trad. Léo Lemberger,
http://optophoniqueeng.heatherodonnell.info/#idea
8

10. “​La stabilisation du défilement du film à 24 images par seconde, rendue nécessaire
vers la fin des années 1920 par le parlant, a eu en effet des conséquences bien au delà de ce
qu’on pouvait prévoir ; à cause d’elle, le temps du film est devenu non plus une valeur
élastique, plus ou moins transposable selon le rythme de la projection, mais une valeur
absolue [...] Le son a donc temporalisé l’image, non seulement par valeur ajoutée, mais aussi
tout simplement en imposant une normalisation et une stabilisation de la vitesse de
déroulement du film [...] ​C’est au son synchrone que nous devons d’avoir fait du cinéma un
art du temps.“​ 7
Un peu plus tard apparaissent les premières expérimentations sur la forme au cinéma,
avec le film en multi-écran “Napoléon” d’Abel Gance sorti en 1927, dont l’aspect
révolutionnaire était le format d’image : trois caméras projetant sur trois écrans, donnant une
image trois fois plus longue que la normale par juxtaposition, et autorisant par la même
occasion à des jeux de symétrie entre les écrans, de répétition visuelle et de fractionnement
d’image (splitscreen), propres à ce format triptyque qu’Abel Gance nommera “Polyvision”.
“​Dans certains plans de Napoléon​, j'ai superposé jusqu'à seize images, elles tenaient leur
rôle “potentiel” comme cinquante instruments jouant dans un concert. Ceci m'a conduit à la
polyvision ou triple écran présentant à la fois plusieurs dizaines d'images. La partie centrale
du triptyque c'est de la prose et les deux parties latérales sont de la poésie, le tout s'appelant
du cinéma.” 8
Avec ce nouveau concept de représentation de l’espace-temps, Abel Gance,
réalisateur et poète, sait s’affranchir du cadre de l’image qui semblait imposé dès les débuts
du cinéma.
Bien que semblant avoir été un échec au vu de l’histoire globale du cinéma, la polyvision
d’Abel Gance reste dans l’histoire comme un art nouveau et une expérimentation marquante
qui a su inspirer quelques cinéastes de la deuxième moitié du siècle, comme Nelly Kaplan, ou
Philippe Arthuys avec son long métrage en triple-écran “Des Christs par Milliers”(1969);
l’idée d’Abel Gance de faire dialoguer des images ou « splitscreen » sera utilisée à de
nombreuses reprises dans d’autres films par Henri Chomette avec le Chauffeur de
7
Michel Chion, L’Audio-Vision, Editions Armand Collins, 1ère édition en 1990, p 24
8
​C. Tufféry​, “​Napoléon : la polyvision​ d’Abel Gance”,​ in Spacefiction​,
https://spacefiction.wordpress.com/2014/03/10/napoleon-la-polyvision-dabel-gance-able-gances-polyv
ision/​, 10 mars 2014
9

11. Mademoiselle (1927), René Clair dans les Deux Timides (1929), Inauguration of the
Pleasure Dome (Kenneth Anger, 38 min, 1954) ou The Pillow Book (Peter Greenaway, 120
min, 1996).
Les grands plans panoramiques qui avaient étés saisissants dans Napoléon mènent
aussi à l’invention du Cinémascope (ratio de projection 2,39:1), un format qui naît dans les
années 20 grâce à la lentille hypergonar (anamorphoseur) de Henri Chrétien et est développé
en 1952 en Amérique devant la nécessité de redonner sa grandeur au cinéma qui rassemble de
moins en moins de fidèles à cause de l’arrivée de la télévision dans les foyers. Le
cinémascope acquiert au fil des années une renommée certaine qui fait que certains
réalisateurs actuels revendiquent encore son utilisation comme Tarantino, avec Les 8
Salopards (2016), ou Damien Chazelle, qui l’utilise dans sa scène d’introduction de lalaland
en 2017; d’autres formats semblables virent le jour comme le Todd AO (ratio de projection
2,20:1) ou le cinérama qui avait la particularité d’avoir un écran extra large recourbé à 146°.
Toutes ces évolutions du cinéma en terme d’images sont interdépendantes de ses
évolutions sonores : pour Napoléon, Abel Gance utilise la musique d’un orchestre pour ses
représentations en plus du son optique.
En termes de format audio et de spatialisation, les films resteront en mono jusque
dans les années 70, avec quand même quelques oeuvres innovantes comme Fantasia, de Walt
disney, diffusé sur 3 canaux; le cinémascope s’équipe quant-à lui de 5 canaux disposés
derrière l’écran, et d’un canal d’ambiance censé apporter à l’immersion du spectateur dans
l’oeuvre.
Le cinéma multipistes arrive (dans les années 70) avec la révolution du système 5.1 imaginé
par le sound designer Walter Murch pour le film Apocalypse Now de Francis Ford Coppola
(1979), ce format audio est caractérisé par sa facultée à englober le spectateur dans l’espace
sonore du film, grâce à 3 canaux écran (deux latéraux et un central pour le vococentrisme)
ainsi que deux canaux surround placés dans les coins au fond de la salle, et un caisson de
basses aussi placé derrière l’écran. L’espace sonore est ainsi un véritable prolongement du
cadre visuel, et peut être modelé à profusion pour correspondre à l’espace induit par l’image.
A partir de la fin des années 90, Dolby et DTS jouent un grand rôle dans la démocratisation
du système 5.1 en salles.
“Le fait que l’homme, depuis des milliards d’année, passe huit heures chaque nuit
dans un état de rêve « cinématographique », constitue, j’en suis persuadé, l’un des moteurs
10

12. secrets qui permettent au cinéma de fonctionner et d’avoir sur nous ce pouvoir fabuleux. Car
le rêve nous familiarise avec cette vision particulière de la réalité qu’est le cinéma” 9
1.4)La musique concrète, une révolution pour le monde du sonore
Dans les années 1940 a lieu une révolution essentielle pour le monde de la musique,
qui semble avoir été amorcée en 1926 par un texte prophétique du poète et dramaturge
Antonin Artaud qui fait preuve ici d’un certain esprit d’anticipation : “Les bruits, les sons
seront choisis, placés dans des silences significatifs. Ils auront en eux-même un rythme. Ils
seront construits : toute voix, toute rumeur aura sa place, son importance, s'intègrera dans un
tout. De plus, ces bruits auront toute l'ampleur désirable. On se servira pour cela des bruits
réels enregistrés sur disques et dont on règlera à son gré l'intensité et le volume par le moyen
d'amplificateurs et de haut-parleurs distribués dans tous les endroits de la scène et du théâtre​”
10
D’autres artistes montrèrent plus tard leur intérêt pour la musique de bruits comme
l’italien Luigi Russolo (1885-1947), premier à explorer la présence de bruits dans la musique
avec plusieurs concerts de bruitages organisés au début du 20e siècle. Il y eut ensuite Walter
Ruttman avec son film sonore sans images “Weekend” sorti en 1921, qui prend le parti
d’exploiter une grande diversité d’objets sonores comme des sons frottés ou percutés, des
sons de machines, des chants, du piano, etc, ce qui témoigne d’un début de recherche sur la
nature des sons.
C’est Pierre Schaeffer, un ingénieur et chercheur Français qui théorise le concept de
musique concrète, il fonde en 1944 le Studio d’Essai au sein de l’ORTF dans lequel il se
consacre à ses recherches sur le domaine du sonore, à cette époque le son était soit imprimé
sur support photoélectrique (son optique), soit gravé sur disque (medium sonore uniquement);
“C'est d'ailleurs à l'occasion d'un disque rayé qui répétait sans cesse le même fragment sonore
que Schaeffer s'aperçut que le son, pour peu qu'on l'écoute en dehors du contexte purement
musical possédait un espace intérieur inexploré, comme une vie propre. C'est à partir de cette
constatation que la phrase sonore pouvait être écoutée pour elle-même, sans nécessairement
rappeler son origine et qu'elle pouvait être ensuite manipulée à des fins musicales.” 11
9
Michael Ondaatje, ​Conversations avec Walter Murch​, Editions Ramsay, 2009, p.243.
10
Antonin Artaud,1926,
11
Jean-Baptiste Favory, ​(​http://eljibi.free.fr/IMG/pdf/La_musique_concrete.pdf​)
11

13. La musique concrète est une révolution en soi car elle marque une rupture avec la
musique instrumentale, composée, qui a toujours eu pour principe d’aller de l’abstrait
(partition), au concret (musique jouée) ici l’artiste s’intéresse à la nature concrète des corps
sonores, à leur développement, leur timbre, etc, dans une position d’écoute instantanée et
réelle qui est indissociable de l’environnement du studio, de l’enregistrement et de la
manipulation des sons en temps réel ainsi que de la diffusion de l’oeuvre pendant un concert
au moyen de hauts parleurs.
“Nous avons appelé notre musique “concrète” parce qu'elle est constituée à partir
d'éléments préexistants, empruntés à n'importe quel matériau sonore, qu'il soit bruit ou
musique habituelle, puis composée expérimentalement par une construction directe,
aboutissant à réaliser une volonté de composition sans le secours, devenu impossible, d'une
notation musicale ordinaire”( P.Schaeffer, 1949)
1.5) Jordan Belson et les débuts du Live-Cinéma
En 1957, le cinéaste Jordan Belson, ancien peintre à succès est directeur visuel,
collabore avec Pierre Schaeffer pour sa musique ainsi qu’avec le sound designer Henry
Jacobs dans l’organisation des Vortex concerts au planétarium de San Francisco, des
performances live dans un contexte assez particulier qui permet à ces artistes de créer un
spectacle immersif d’expérimentations sur le mouvement, la couleur et les sons; alliant
images projetées par des moyens divers et films préparés, ainsi que son spatialisé sur
hauts-parleurs multiples, ce qui permettait entre autres au son de se mouvoir
indépendamment dans toute la salle. Ces évènements eurent lieu jusqu’en 1959 deux années
de prestations qui témoignent de l’intérêt des artistes et du public pour ces spectacles
kinétiques grandioses, et de l’importance de l’espace de diffusion qui catalyse la performance
audiovisuelle.
Jordan Belson est un cinéaste à part. Sa recherche entre technique et abstraction laisse
entrevoir un cinéma cosmique synesthésique au sein duquel “on ne sait plus si l’on voit ou si
l’on entend” . Le cinéma de Belson ne pourrait s’expliquer sans parler des outils de sa12
production audiovisuelle. En effet, il synthétise lui même ses images et ses sons : “les images
12
​Gene Youngblood, « Le cinéma cosmique de Jordan Belson », ​1895, ​30 juillet 2008, consulté le 30
mai 2019, http://journals.openedition.org/1895/3232 ; DOI : 10.4000/1895.3232
12

14. existent devant sa caméra, souvent en temps réel, et ne sont donc pas produites par animation.
Il réalise ses images à partir de matériaux réels sur un banc-titre spécial installé dans son
studio de North Beach, à San Francisco. Il s'agit d'un cadre en contreplaqué qui entoure une
vieille machine à rayons X équipée de tables rotatives, de moteurs tournant à différentes
vitesses et de lumières de différentes intensités.” 13
Dans les années 60, Belson se lancera dans la création de plusieurs séries de films,
toujours liés à l’expérience simultanée de sons et de couleurs et à leur manipulation en temps
réel, son travail reste singulier dans la position qu’il prend, entre physique et métaphysique,
par ses performances transcendantes qui peuvent rappeler les expériences synesthésiques
liées à la prise d’hallucinogènes comme le lsd ou la mescaline, il devient un des pionniers
d’une discipline qui sera appelée plus tard le “live cinéma”, Jordan Belson est donc un artiste
qui se démarque par sa volonté d’explorer les limites sensibles des outils techniques qu’il
s’approprie, “C'est l'interprétation ultrasensible que donne Belson de cette technologie qui
fait son art.” 14
1.6)Fluxus : L’union des arts
Dans les années 60 apparaît un nouveau mouvement d’art contemporain qui englobe
les arts visuels, la musique, la littérature. C’est le mouvement Fluxus, nommé et fondé par
George Maciunas et Dick Higgins, qui prend ses sources dans le dadaïsme de René Clair ou
Marcel Duchamps, dans le surréalisme d’André Breton ainsi que dans la musique de John
Cage, et qui réunit une grande diversité d’artistes de tous bords comme George Brecht (artiste
pluridisciplinaire), La Monte Young (musicien), ou Yoko Ono, personnalité importante de
l’avant garde New Yorkaise explorant les champs de la ​poésie​, de la performance, du ​cinéma
et de la musique expérimentale.
Les principaux initiateurs du mouvement se rencontrent sous l’égide de John Cage qui
enseigne alors à la New School for Social Research, à New York, un cours destiné autant aux
plasticiens, qu’aux musiciens ou aux écrivains. C’est pendant ces cours que J. Cage leur
transmet une idée fondamentale qui lui tient particulièrement à coeur, et qui deviendra la
ligne directrice de la pensée de Fluxus : l’abolition des frontières entre l’art et la vie, entre
13
Ibidem
14
​Ibidem
13

15. public et artistes, par le rejet des dogmes et des institutions ainsi que par la remise en question
du statut “d’oeuvre d’art”, avec le but intime “d’abandonner la notion d’oeuvre d’art sacrée
pour inclure l’art, une fois pour toutes, dans la vie de tous les jours “ 15
Dans sa galerie, George Maciunas organisera les évènements-performances qui
permettent au mouvement de se développer. En 1962 est donné le premier des concerts
Fluxus, des évènements qui gagneront rapidement en popularité, en alternant entre lives
audiovisuels et performances, avec un emploi de la musique de bruits trouvant ses
inspirations dans la musique concrète de Schaeffer ou dans les recherches sur hasard et
silence de John Cage.
Le manifeste de Fluxus datant de 1963 décrit avoir pour objectif de promouvoir “ un
raz de marée révolutionnaire dans l’art”, de “purger le monde de la maladie bourgeoise, de la
culture commerciale et intellectualisée, purger le monde de l’art mort, imitation, art artificiel,
art abstrait, art illusionniste, art mathématique, purger le monde de l’”Européanisme”, dans
“une révolution culturelle, sociale et politique” qui promeut l’art vivant, l’anti-art, et la réalité
du non-art , pour un art accessible à tous et non pas accaparé par les critiques, dilettantes et
professionnels.“ (voir Annexe image n°4)
Fluxus reste un mouvement très dense qui réunit tellement d’artistes différents,
d’idées et de concepts qu’il est impossible de tous les retracer. C’est l’exemple parfait pour
décrire l’ouverture progressive des artistes à l’art dans son entièreté, à la transdisciplinarité.
“ La transdisciplinarité est complémentaire de l’approche disciplinaire. Elle fait
émerger de la confrontation des disciplines de nouvelles donnés qui les articulent entre elles ;
et elle nous offre une nouvelle vision de la nature et de la réalité. La transdisciplinarité ne
recherche pas la maîtrise de plusieurs disciplines mais l’ouverture de toutes ces disciplines à
travers ce qui les dépasse.” 16
On se rappellera de Dick Higgins, écrivain, et co-fondateur du mouvement Fluxus, un artiste
prolifique qui continue de s’investir dans le mouvement après le décès de son ami George
Maciunas. Il fût un des premiers à utiliser un ordinateur dans son art, notamment pour
15
​PÉRIERS-DENIS Juliette, “ FLUXUS, L’INDESCRIPTIBLE ÉCOLE DES ARTS
CONTEMPORAINS”
“, ​in Contemporain.com
, ​https://www.contemporain.com/art/mouvements-artistiques/fluxus.html
16
​Nicolescu Basarab, La Transdisciplinarité, Manifeste, Editions du Rocher, 1996
14

16. générer des textes aléatoirement qu’on peut retrouver dans son livre “A Book About Love &
War & Death”. 17
2. L’art vidéo et la question de la relation entre art et technologie
“A partir des années 60-70, l'oeuvre devient un dispositif de perception global
plongeant le spectateur lui-même dans l'expérience physique des vibrations sonores et
lumineuses. Se référant à la suspension de la conscience propre au rêve, certains artistes
invitent par là même à une expérience méditative : les ondes, qu'elles soient sonores ou
lumineuses, définissent le vocabulaire d'un nouveau paysage audiovisuel, ouvert à la
plénitude de l'expérience sensorielle. D'autres artistes, en revanche, utilisent l'énergie et la
force de pression des ondes acoustiques jusqu'aux limites de la tolérance des sens. A cette
époque, l'idée d'écriture du son est relayée par les premières oeuvres d'art vidéo, qui tirent un
parti audacieux des interférences entre les signaux sonores et visuels, marquant l'avènement
de nouveaux langages audiovisuels.” 18
L’Art Vidéo ne peut être abordé sans évoquer l’invention de la télévision dans les
années 1950, la propagation du petit écran en amérique puis en europe contribue au
développement d’une certaine forme de culture audiovisuelle ; les artistes de l’art vidéo
rompent avec ce modèle commercial et vont bien au delà des simples préoccupations
informatives ou distrayantes de la télévision, par le biais de productions essentiellement
privées qui peuvent être catégorisées ainsi : la bande vidéo enregistrée au préalable, et
l’installation vidéo dans laquelle l’artiste crée son oeuvre et la visionne en simultané.
On peut aussi citer l’invention du Portapack de Sony en 1967, la première caméra portative
qui permet aux artistes de filmer en toutes circonstances, et entraîne la naissance d’oeuvres
comme “le coyote enfermé” de Joseph Beuys en 1974, qui n’auraient pu exister sans ce
nouvel outil technologique.
Les artistes de la vidéo vont s’interroger sur les effets physiques du son, ainsi qu’à la notion
d’oeuvre art audiovisuelle intrinsèquement liée à son contexte de diffusion, chacun de ces
artistes s’appropriant la technique et les technologies qui vont définir l’originalité de leur art.
17
Dick Higgins, ​“A Book About Love & War & Death​”​Something Else Press; First Edition edition
(1972)
18
Valentine Cruse, “Sons et Lumières, une histoire du son dans l'art du 20ème siècle“,​ in Centre
Pompidou​, ​https://www.centrepompidou.fr/cpv/resource/c7Gojxn/rgAr4E​, 2004
15

17. Je me propose d’aborder cette réflexion au travers de quelques artistes de la fin du 20ème
siècle qui ont fondamentalement participé au développement de l’art vidéo.
Nam June Paik est le premier à utiliser abondamment des téléviseurs comme matière
première de son art. Au travers duquel il va explorer la déformation d’images par des sons, il
expose en 1963 à la galerie Parnasse en Allemagne une oeuvre constituée de 13 télévisions,
d’un tube cathodique et de gros aimants, entraînant des distorsions colorée et des
déformations de l’image. Ses recherches l’amènent à découvrir comment linéariser le
comportement libre des électrons de ses téléviseurs cathodiques, il permet ainsi au flux visuel
de se mouvoir en continu, maintenu par des sources magnétiques ou électriques.
2.1)Etude de cas : “Dream House” de La Monte Young et Marian Zazeela
Ce courant artistique va voir sa puissance sensorielle explorée par le couple formé de
La Monte Young et de l’artiste multidisciplinaire Marian Zazeela,
“Ma première oeuvre de lumière remonte à 1962. Cette même année marque le début
d’une longue collaboration avec le compositeur La Monte Young ; je créais le matériel
lumineux et graphique de ses concerts et je chantais dans ses ensembles.[...]” 19
Leur première oeuvre à succès fut probablement “Ornemental Lightyears Tracery”
(Entrelacs Ornemental d’années-lumière), une oeuvre qui fait interagir un mélange de
diaporamas, de dessins et lumières, avec la musique enregistrée de La Monte. Commencée en
1964, l’oeuvre sera présentée en de multiples occasions en amérique, en france dans des
“Dream House” expérimentales entre 1969 et 2005, bien que l’idée de base de rendre
l’oeuvre accessible sur le long terme ne put être envisagée qu’en 1975 avec la construction de
bâtiments spécialement réalisés pour accueillir certaines performances du couple,
commanditée par la Dia Art Fondation.
En 1962, La Monte Young invente le concept de “Dream House”, une installation
audiovisuelle continue, dans laquelle le public peut se déplacer, rester statique, sortir et
rentrer, “existant dans le temps, tel un organisme en évolution doté d’une vie et d’une histoire
propres”(voir Annexe image n°5).
Un an plus tard, le couple emménage dans un loft à New York, un lieu qui connaîtra
les répétitions et concerts privés de leur groupe “ Le Théâtre de la Musique Éternelle”. C’est
19
Marian Zazeela, “Biographical Narrative”, Polling, Kunst im Regenbogenstadl, 2000, p 41-42
16

18. dans cet appartement qu’ils créent leur premier environnement audiovisuel véritablement
continu.
“A notre connaissance, personne n’avait étudié les effets à long terme de formes
d’ondes sonores composites continues, périodiques ou quasi périodiques sur les êtres
humains, le travail réalisé par La Monte sur les sons de longue durée nous a conduit
progressivement dans cette direction, jusqu’à ce que nous puissions utiliser des oscillateurs
électroniques d’ondes sinusoïdales, des oscilloscopes, des amplificateurs et des hauts parleurs
pour créer des environnements de fréquences continues. Nous avons ainsi maintenu un
environnement sonore de formes d’ondes périodiques constantes de manière quasi continue,
entre septembre 1966 et janvier 1970. [...] Nous chantions, travaillions et vivions dans cet
environnement acoustique accordé en harmoniques, et nous en étudiions les effets sur nous
mêmes et sur les divers groupes de personnes invitées à venir passer du temps dans ces
fréquences “ 20
Pour définir la notion d’environnement dans cet union du son et de la lumière, La
Monte et Marian créent le concept d’”environnement sonore et lumineux”, qui pose la
question de l’influence de l’espace de diffusion sur l’oeuvre. Les performance sonores et
visuelles devraient ainsi être pensées pour et en fonction du lieu d’exposition dans lequel
elles vont être diffusées, “chaque environnement sonore et lumineux étant une oeuvre unique,
avec sa forme et ses dimensions propres.” 21
Le concept de Dream House continuera d’évoluer dans le temps, avec des lieux
toujours plus grandioses mis à disposition des artistes, comme en 1979 au 6 Harrison Street,
NY, un bâtiment de 6 étages avec une tour de 9 étages, ou au Musée d’art contemporain de
Lyon en 1999, deux lieux qui accueilleront leurs installations les plus abouties et sur de très
longue durée. Marian Zazeela utilisera aussi certaines de ses oeuvres de lumière commencées
en 1966 comme Primary Light, Still Light ou Neon, entre autres, qu’elle incorporera à la
Dream House, créant des entités individuelles mouvantes projetant ombres et lumière sur les
murs et les plafonds, transcendant la notion d’univers audiovisuel, par le déplacement de
sons, de couleurs et de formes dans l’espace, et ce de façon constante, suspendue…
20
Valentine Cruse, “​Sons et Lumières, une histoire du son dans l'art du 20ème siècle​“, Editions du
Centre Pompidou, 2004, p 226-227
21
​Ibidem
17

19. 2.2)l’Art Vidéo dans la fin du 20e siècle au travers de quelques artistes marquants
Bill Viola est un vidéaste américain internationalement reconnu qui a énormément
participé à la reconnaissance de l’art vidéo comme art contemporain. Sa recherche d’une
esthétique originale commence dans les années 1970. Dès ses débuts, Viola a toujours suivi
voire même anticipé le développement révolutionnaire des technologies audiovisuelles et
numériques. Ses travaux se distinguent généralement par leur précision, leur simplicité, par
leur mode d’expression très direct.
Dans ses premières oeuvres, on peut évoquer L’installation “Hallway of
nodes”(1973), réalisée en 1973, lorsque Viola ne s’intéresse essentiellement qu’au son.
L’oeuvre exploite la pression d’ondes sonores de 50hz (basses fréquence à la limite de
l’inaudible) diffusées aux deux extrémités d’un couloir au dimensions correspondant à la
longueur d’onde de ces sons (vitesse du son dans l’air /fréquence). La pression est ainsi
beaucoup plus forte aux extrémités du couloir, ce qui incite l’auditeur à se positionner en
fonction du flux sonore, en phase ou en opposition de phase. “Ceci crée des densités variables
de “résonnance” dans l’espace - c’est-à-dire des point nodaux qui (à cette fréquence) seront
“ressentis” autant que entendus” .22
Bill Viola va ensuite s’intéresser à la vidéo, avec l’oeuvre “information”, datant aussi
de 1973. L'oeuvre s’inspire à l’origine d’une boucle visuelle survenue lors d’une erreur de
branchement d’un magnétoscope, entraînant des perturbations électroniques colorées ainsi
que des sons qui pouvaient être manipulés en actionnant le commutateur vidéo de l’appareil,
ce qui lui permettait d’être utilisé comme instrument audiovisuel. Le caractère continu de ces
interférences fascinent Bill Viola, qui positionne sa réflexion du point de vue du signal
électronique plus que de l’image. Il crée au fur et à mesure un genre d’expression vidéo qui
se différencie par ses images qui se veulent pures, non déformées, en opposition aux oeuvres
de Nam June Paik ou d’autres artistes de la même époque.
Pendant plus de 40 ans, il se consacre à la création de bandes vidéo, d’environnements
sonores architecturaux, de vidéos pour écran plat ou destinées à être diffusées à la télévision.
Il va même organiser des concerts de musique électronique. Son art se distingue surtout par la
création d’environnements sonores qui enveloppent le spectateur dans le son et l’image, des
installations monumentales qui ont un puissant impact émotionnel sur le public.
22
​Ibid.​, p 238
18

20. Par son approche très poétique qui reprend des thématiques artistiques essentielles,
Bill Viola amène à une réflexion sur la contemplation, la vie et la mort, sur le monde qui nous
entoure ou sur l’écoulement du temps. En 2014, une rétrospective sur l’oeuvre de Bill Viola
eu lieu au Grand Palais à paris, explorant une sélection de ses différents travaux produits
depuis 1977.
Dans les artistes vidéo de la même époque, l’américain Gary Hill a lui aussi participé
à sa manière aux expérimentations sur le sens et la forme de l’art audiovisuel à l’ère de
l’électricité. Avec ​Electronic Linguistics en 1978 - Gary Hill “explore la relation structurelle
et organique qui existe entre les phénomènes linguistiques et les phénomènes électroniques“
. Cette oeuvre explore elle aussi la question de la narrativité dans une oeuvre ou son et23
image interagissent entre eux : l’oeuvre s’ouvre sur un crescendo audiovisuel liant formes
pixellisées qui emplissent l’écran progressivement et pulsations de hautes fréquences qui
voient leur tonalité baisser lorsqu’une image fixe vient se positionner à l’écran. S'en suivent
plusieurs séquences visuelles qui vont brutalement faire évoluer les fréquences sonores
lorsque les images changent. Enfin, une séquence stroboscopique mène à une image fixe
silencieuse. Electronics Linguistics est une des premières oeuvres de Gary Hill. Par son
exploration de la narration et du langage audiovisuel, elle préfigure d’autres de ses oeuvres
plus tardives et plus complexes ; comme Mesh, une installation présentée de 1978 à 1979, qui
avait pour but d’”opérer une fusion entre le matériau physique et les concepts en une sorte de
résonance tactile unificatrice“ et qui faisait intervenir des maillages métalliques disposés24
aux murs dans lesquels étaient placés des oscillateurs diffusant des fréquences-différentes
selon l’épaisseur du maillage-à travers 4 hauts parleurs de petite taille. Lorsque le spectateur
entrait dans la pièce, il activait l’oeuvre qui résonnait à son passage, une caméra filmait son
entrée dans l’installation et transmettait l’image au premier des quatres moniteurs présents
dans la salle, qui étaient programmés numériquement pour produire un grillage sur l’écran,
dès qu’une autre personne entrait, la caméra transmettait l’image originale au premier
moniteur pendant que l’image précédente allait vers le deuxième moniteur, et ainsi de suite…
Cette installation se caractérise par sa dimension interactive et autonome, “Dans cette oeuvre,
je n’ai pas utilisé de canaux multiples séparés, pas plus que dans ​Primarily Speaking ou dans
Glass Onion. ​Tout est dynamiquement contrôlé et lié, si bien qu’on prend les informations et
23
​Ibid.​, p 244
24
​Ibidem, ​p 245
19

21. qu’on les déplace dans l’espace, ce qui est vraiment intéressant. Je veux approfondir cette
idée.” On peut parler de “stratification” des divers niveaux de sens dans l’oeuvre, qui25
conduit à des interrogations sur le concept de langage dans l’art vidéo, Gary Hill joue avec
les notions de sens, de signifié et de signifiant, comme dans son oeuvre “Soundings” en 1979,
où il fait intervenir un haut parleur émettant des vibrations sur lequel du sable était versé, puis
de l’eau, jusqu’à brûler le haut parleur, créant des variations sonores et visuelles par les
dégradations successives perpétrées sur le haut parleur et sur le son émis. Soundings évoluera
dans les années 80 pour donner lieu à Mediations en 1986, une oeuvre dans laquelle une voix
émise à travers un haut parleur est progressivement enterrée sous une couche de sable, la voix
narrant le processus destructif avec poésie, donnant à l’oeuvre une certain humanité et
plusieurs niveaux de sens qui émanent des mots prononcés par la voix, des différences de
textures sonores que le sable fait émerger, et de la vidéo filmée par l’artiste qui verse en
même temps le sable sur la membrane du haut parleur.
Les travaux de gary Hill témoignent d’une recherche sur la narration dans la vidéo, en
explorant lui aussi le concept de non-narrativité à sa façon.
Dans la deuxième partie de 20ème siècle apparaît un nouveau genre d’art vidéo : le
mapping vidéo. Il consiste en la projection d’images et de sons sur une surface en relief (le
plus souvent la façade d’un bâtiment), voir la création d’univers audiovisuels à 360°.
Le pionnier de ce genre est sans nul doute l’artiste polonais ​Krzysztof Wodiczko, qui
se démarque par une cinquantaine de projections en extérieur depuis les années 80 jusqu’à
aujourd’hui, et ce dans plus d’une dizaine de pays différents. L’art de Krzysztof Wodiczko se
veut profondément populaire, par un engagement social social et culturel qui le caractérise.
Krzysztof Wodiczko est donc un activiste culturel qui s’exprime au travers d’un
théâtre architectural épique, le sens de ses projections est intrinsèquement lié aux bâtiments
sur lequel les projections ont lieu. Il va donc préférer les lieux sacrés qui existent dans la
mémoire collective, comme les édifices gouvernementaux et religieux. Dans les années 80,
ses projections sont d’abord fixe, comme au Whitney Museum of American Art, New York
(1989), ou au Lenin Monument, Berlin (1990). Elles ont la particularité de révéler le lourd
passé des lieux ciblés, souvent symboles de pouvoir ou de triomphe, Wodiczko détourne ces
lieux de leur fonction sociale établie, en invitant par la métaphore visuelle à la
25
Lucinda Furlong, “ A manner of speaking. An interview with Gary Hill”, Afterimage (Rochester, NY),
vol. 10, n°8, mars 1983, p. 11-12
20

22. compréhension des réalités historique qui habitent ces monuments. Par cela il livre bataille à
l’oubli, en militant pour la justice et pour la vérité.
A partir de 1990, Krzysztof Wodiczko commencera à intégrer des vidéos dans ses
projections, sa renommée grandissante lui assurant le soutien et la participation des
communautés des lieux sur lequel il projette. Il commence alors à incorporer des témoignages
dans ses projections, comme on peut en entendre lors de l’installation au mémorial de la paix
d’Hiroshima en 1999, un des rares monuments encore debout après l’explosion, sur lequel
étaient projetées les main d’un survivant de la bombe atomique; ou à la City Hall Tower, à
Kraków en 1996.
“Il intervient surtout dans l’​espace public pour détourner, modifier et manipuler le
message initial établi par les « vainqueurs ». De cette façon, il choque, dénonce et transforme
l’​opinion publique​” 26
2.3)Explication des termes techniques
Dans les années 80 apparaît le terme vjing, qui désigne l’activité de VJ (Video ou
Visual Jockey). Celle ci se résume à la création d’images par mélange de sources visuelles,
l’ensemble étant bien sur synchronisé à la musique. Le VJ collabore la plupart du temps avec
le DJ, généralement dans les milieux spécifiques du club ou de la rave party, ce qui fait du
Vjing un art à part, dont la gratuité ou l’aspect de simple plus value visuelle au DJ set éloigne
du reste de l’art audiovisuel.
A la fin du 20ème siècle, l’Art vidéo commence à peine à être reconnu comme un
genre artistique à part, la diversité des artistes et des expériences proposées amène à une
certaine difficulté à définir la performance à laquelle on assiste, un éclairage sur les termes
techniques apparaît donc comme nécessaire.
“Ce qui compte c’est bien la mise en scène de l’image et du son en situation de spectacle et la
naissance d’une nouvelle forme de spectacle vivant car utilisant de nouveaux media. Pour
conceptualiser la performance audiovisuelle en gardant à l’idée les origines (et leurs
héritages) de la performance audiovisuelle, il faudrait revenir à la question du sens. Nous
avons déjà abordé les attentes du public en se demandant « quel type de performance m’est
26
​JEKOT Barbara, “Reinterpreting public places and spaces: a selection of Krzysztof ​Wodiczko’s
public artwork”, 2008
21

23. proposé ? ». Il s’agit maintenant de se demander « quel sens puis-je donner à cela ? ». Cette
question se fonde sur l'hypothèse selon laquelle la performance audiovisuelle n’est pas
purement « décorative », qu'il doit y avoir un propos derrière cette débauche souvent
impressionnante de technologie. Il faut aussi envisager que l’absence de sens, autrement dit
l’absurdité peut-également être un sens à donner. En fait la performance audiovisuelle par ses
aspects spectaculaires n’apparaît pas comme être destinée à faire sens. Pourtant elle y
parvient parfois même dans sa dimension abstraite : ce qui en soi est une sorte de sens car elle
repose sur une intention de confondre ou de refuser le sens.“ 27
On s’intéressera donc en particulier aux différences entre VJing, Performance
audiovisuelle, et Live Audiovisuel.
Cette dénomination est liée autant à l’environnement de diffusion qu’à la durée de
l’oeuvre : une Performance audiovisuelle est une oeuvre d’art pensée pour être diffusée dans
un contexte précis, dans un environnement choisi à l’avance qui influence nécessairement
l’oeuvre. En ce qui concerne la performance audiovisuelle, la définition de Gilles Alvarez me
paraît la plus concise et la moins sujette à débat : “une véritable performance audiovisuelle
est un spectacle d’auteur, d’une durée fixe, avec une construction précise, une dramaturgie
même abstraite, et une scénographie pensée et réalisée dans les meilleures conditions” 28
Le Live A/V est un genre artistique par médiation technologique qui évolue encore à
notre époque, bien que trouvant ses racines dans le cinéma synesthésique de Jordan Belson
ou dans la musique visuelle, le terme de Live audiovisuel désigne aujourd’hui la performance
audiovisuelle dans laquelle l’artiste est libre d’expérimenter et d’improviser avec une
sélection de différents matériaux : des vidéos préparées, des échantillons d’image ou par des
logiciels générant des images à partir d’un code numérique (exemple : VDMX).
“Si l’on peut comprendre aisément la volonté de ne pas hiérarchiser les pratiques, il
est malgré tout utile de faire un distingo entre différents contextes. Ana Ascensio,
programmatrice du Mapping festival, m’a confirmé l’importance de nommer le plus
justement possible ce que le public vient voir, “ ce que l’on essaye de différencier par
performance audiovisuelle, par son nom correspondant à un format dont la durée n’excède
27
BLANCHET Cyriaque, “Performances audiovisuelle, du décloisonnement des arts à l’émergence de
nouvelles formes artistiques dans le contexte spécifique de l’Art numérique” , 8 novembre 2013, p 27,
https://fr.slideshare.net/cybht/performances-audiovisuelles-du-dcloisonnement-des-arts-lmergence-de
-nouvelles-formes-artistiques-dans-le-contexte-spcifique-de-lart-numrique
28
​Ibidem, p 27
22

24. pas la demie-heure ou 45 minutes et qui diffère du live audio-visuel et qui diffère de la scène
clubbing où un DJ et un VJ sont associés. Le live A/V est aussi une performance qui se
différencie par le lieu : club ou pas club, mais la finalité est fondamentalement la même. Il est
vrai que mettre un nom sur ces formes hybrides est parfois difficile pour nous jusque dans
notre communication” .29
2.4)La question de l’évolution technologique vers le numérique
Les artistes de la fin du 20ème siècle semblent avoir foi en le progrès scientifique,
c’est l’époque de l’émergence de la science-fiction et du genre d’anticipation dans la
littérature, la bande dessinée ou le cinéma.
De toutes les évolutions technologiques, l’apparition du numérique est fort
probablement celle qui a eu le plus de répercussions sur nos sociétés et sur le monde de l’art,
conduisant à l’invention de nouvelles formes d’expressions audiovisuelles comme on a pu le
voir chez Bill Viola ou Gary Hill. L’apparition du numérique a inspiré une quantité
significative d’artistes par l’interrogation qu’elle ouvre sur l’avenir de nos sociétés,
robotisées, informatisées, transformées de l'intérieur par le progrès technologique.
Il est difficile de dater précisément l’invention du numérique, on peut considérer que
la date correspond à l’invention de l’ordinateur, dans les années 1960. Après l’arrivée du
circuit intégré, la miniaturisation des composants et le développement des premiers langages
de programmation, les ordinateurs sont utilisés de façon globale depuis les années 70, avec la
popularisation progressive des jeux vidéos. Le microprocesseur est inventé par la firme Intel
en 1971, la même année sont mis en réseaux plusieurs ordinateurs pour la première fois.
La démocratisation des ordinateurs personnels s’opère dès 1971, avec les premiers PC
commercialisés par Apple, en 1984 sortait le premier baladeur numérique Sony, en 1985
naissait aussi la console NES, de la société japonaise Nintendo, qui connaît un franc succès
auprès des marchés vidéoludiques.
29
​Ibidem, p 28
23

25. II. L’apparition des arts numériques : vers de nouveaux langages audiovisuels
Il existe deux formes d’immersion sensorielle : “Celle de l’implication de l’individu
dans un environnement médiatique holistique, et la seconde, celle de la dissolution du
sentiment de l’individu de leur individualité par la création d’une expérience collective et
intra-subjective” 30
“Le processus créatif à l’ère du numérique se caractérise par cette double postulation
du virtuel et du réel. Les technologies numériques étant depuis quelques années
communément vues comme ce qui favorise les échanges entre les disciplines et dont l’espace
scénique – réel – serait le catalyseur” 31
Comment l’apparition du numérique a t-elle impacté la performance audiovisuelle ?
Comment peut on caractériser ce genre ?
1) Live et performance audiovisuelle : Le son, l’image et la
projection à l’ère du numérique
1.1)Qu’est ce que l’art numérique aujourd’hui ?
“Les progrès des technologies de l'information et de la communication reposent pour
l'essentiel sur une innovation technique fondamentale : la ​numérisation​. Dans les systèmes
traditionnels - dits analogiques - les signaux (​radio​, télévisions, etc.) sont véhiculés sous la
forme d'ondes électriques continues. Avec la numérisation , ces signaux sont codés comme
des suites de nombres, eux-mêmes souvent représentés en ​système binaire par des groupes de
0 et de 1. Le signal se compose alors d'un ensemble discontinu de nombres : il est devenu un
fichier de nature informatique.” 32
Aujourd’hui, l’appellation d’art numérique, bien que couramment utilisée, reste
controversée. En effet, il n’existe pas de mouvement artistique numérique, ni de limites
conceptuelles aux formes d’art liées au numérique. Le terme désigne donc un matériel
30
Cooke Grayson, “Start Making Sense, Live Audiovisual Media Performance in International Journal
of performance Arts and Digital Media”, 2010
31
BLANCHET Cyriaque, “Performances audiovisuelle, du décloisonnement des arts à l’émergence de
nouvelles formes artistiques dans le contexte spécifique de l’Art numérique” , 8 novembre 2013
32
“Numérique”, ​In Futura- Tech​,
https://www.futura-sciences.com/tech/definitions/informatique-numerique-584/
24

26. technologique plus qu’un art en soi. On peut néanmoins se demander comment cette
révolution a impacté le monde de l’art après un demi-siècle d’utilisation du numérique. Peut
on dégager des notions artistiques fondamentales liées aux médiums numériques ? On
s’intéressera en particulier aux thématiques du réel et du virtuel, de la mémoire collective, ou
encore de l’interactivité.
1.2)Analog/digital, l’importance du choix de l’outil technologique en Art
La technologie numérique est en train d’avaler tous les aspects de nos sociétés
contemporaines, le monde de l’art n’y fait pas exception. Les formes d’art dites analogiques
comme la peinture, la sculpture la musique ou la photographie sont très souvent combinées
avec ou remplacées par des processus digitaux. On peut aujourd’hui peindre en trois
dimensions grâce à la réalité virtuelle, imprimer des objets en 3D grâce à des imprimantes
numériques, ou créer et manipuler des images et des sons à partir de logiciels spécialisés.
En matière de médium, on peut considérer que nombre d’artistes se sont intéressés
aux potentialités des outils numérique dès leur apparition, ce qui s'avère être une constante
dans les domaines artistiques (les artistes s'appropriant continuellement les découvertes
technologique les plus récentes). Cependant, l’analogique reste un élément essentiel des
pratiques artistiques sonores et visuelles dans l’actualité, et ce surtout dans le domaine de
l’art vidéo. En effet, peu d’oeuvres sont réalisées uniquement à partir de moyens numériques,
dans le contexte de la performance audiovisuelle, sauf exceptions : comme l’artiste Japonais
Ryoji Ikeda, que nous aborderons plus tard.
La tendance à partir de cette période va vers une hybridation des pratiques, chaque
technologie donnant des résultats très différents en matière d’esthétique et de sens, les outils
numériques étant très souvent utilisés pour synchroniser son et image, pour programmer un
spectacle de nature sonore ou visuelle, ou encore pour leur forme purement esthétique,
comme les pixels en photo ou le son artificiel d’un synthétiseur numérique. À partir d’un
simple ordinateur, on a la possibilité de générer tous types de médias simultanément et de
façon synchrone. Il va sans dire que de ce point de vue, l’outil numérique favorise
considérablement l’hybridation des techniques et l’ouverture des artistes à la
transdisciplinarité.
25

27. Il serait intéressant d’aborder l’art Vidéo du 21ème siècle à travers une sélection
d’artistes hybrides, ou puristes de l’art numérique.
Robert Henke alias Monolake est un artiste Allemand exerçant dans les champs de la
musique électronique, de l’installation audiovisuelle et de la performance, d’abord ingénieur,
Henke se fascine pour la technologie, sous le couvert d’une musique très “dance floor” dans
ses débuts, il va développer lui même ses propres instruments ainsi que ses propres
algorithmes, qui vont progressivement donner forme à son art.
Ses outils sont généralement le son et l’image générés par ordinateur, le “field
recording”, la photographie et la lumière; modulés dans une esthétique reposant sur des règles
mathématiques, sur la notion d’aléatoire contrôlé et sur une interaction homme-machine en
temps réel. Il va lui aussi accorder une importance cruciale à l’environnement de diffusion de
ses œuvres, qui font souvent intervenir des sons spatialisés à l’aide de multiples
haut-parleurs, ainsi que des projections de lumière, voire de lasers très puissants qui lui
permettent de créer des formes stroboscopiques très stables (non-vacillantes). On ne peut que
constater le grandiose de la chose lors de la projection de « lumière 2 » au théâtre Rinnovati,
à Sienne, en Italie (voire Annexe image n°6) ; un live audiovisuel d’une heure environ
mettant en scène projections de dessins géométriques au laser et musique répétitive. L’oeuvre
commence avec la pulvérisation de fumées dans l’espace fermé de la salle qui restent en
suspension pendant toute la durée de celle-ci, donnant à la lumière une dimension solide, les
lasers et la musique électronique sculptant l’espace vaporeux, dans une oeuvre hypnotique
puissante et abstraite, une ode à l’ère technologique ?
Dans une interview menée par le site web étapes.com , Robert henke répond en ces
termes à une question sur la relation qu’il entretient avec la création numérique : “Nous
avançons toujours à petit pas avec les systèmes numériques. Il existe uniquement le oui ou le
non. Il n’y a rien au milieu. Quand on travaille avec des contenus numériques, il faut être
précis et clair. Il n’y a pas de place pour l’incertitude. Les bons travaux numériques doivent
refléter cela. Mais on rencontre aussi des problèmes. Certaines personnes assurent que les
techniques analogiques donnent de meilleurs résultats. Je suis sûr que si on transfère cette
connaissance dans la sphère visuelle, on peut prouver que cela s’applique aussi aux peintures.
26

28. Pour ​Lumière​, spectacle de living room faisant intervenir des lasers, nous installons un studio
analogique dans la salle pour ajouter un peu d’ambiance colorée.” (voir Annexe image n°7).33
Ryoji Ikeda est un artiste sonore et visuel japonais vivant et travaillant actuellement à
paris, la musique très minimale d’Ikeda est généralement focalisée sur des sons purs
(sinusoïdaux), qui contrastent avec des sons très “noise” (bruits blancs), et fait souvent
intervenir des fréquences à la limite de l’audible, comme dans son album +/-, ainsi que des
rythmes extrêmement rapides qui peuvent être de l’ordre du sample (1/44100 sec en
musique); sa musique est une personnification du monde numérique : froid et violent,
constant.
Ryoji Ikeda semble très inspiré par les transformations technologiques qui ont vu
changer sa terre natale, le japon, ainsi que le reste du monde, tels que le raz de marée des
informations, l’omniprésence des écrans et des ordinateurs résultant de la numérisation. “Né
en 1966, Ryoji Ikeda en fait son affaire. Il a bien compris que les mathématiques,
l’algorithme et le code allaient re-configurer en profondeur nos existences. Désireux de
mettre à jour les mécanismes et enjeux de l’informatisation, il s’insère au coeur même de ce
système complexe, déterritorialisé et automatisé qui traite et transmet les données. Il les
détourne et les sculpte à travers des albums d’électro minimal et des installations multimédia
et sensorielles.Les oeuvres de ce pionnier de l'art numérique rendent en fait tangible un objet
si difficile à appréhender car si vaste : le Big Data. Aux dernières nouvelles, 2,5 trillions
d’octets de données sont produites par jour selon IBM. A l'heure où une déferlante de
données souffle en ce début de XXIe siècle, le travail de Ryoji Ikeda n’a jamais paru aussi
actuel.” 34
De ses oeuvres les plus marquantes, on peut évoquer son installation nommée “Test
Pattern”, imaginée en 2008 et présentée à de multiples reprises aux quatres coins du globe
jusqu’à aujourd’hui. Elle consiste en la projection stroboscopique ultra-rapide de barres
blanches et noires en mouvement au sein d'une expérience synesthésique dans laquelle la
musique minimale d’Ikeda accompagne parfaitement l’image avec une précision millimétrée.
33
“Robert Henke met en « lumière » le Scopitone“, in Etapes.com,
https://etapes.com/robert-henke-met-en-lumiere-le-scopitone/
34
​Julie Ackermann​, “Qui est Ryoji Ikeda, le pape techno de l’art contemporain ?“, ​ in Les
Inrockuptibles​, 1er juin 2018
https://www.lesinrocks.com/2018/06/01/arts/arts/4-oeuvres-pour-comprendre-limportance-de-ryoji-ike
da-le-pape-techno-de-lart/
27

29. Le public est ainsi invité à se mouvoir en fonction du déplacement des lignes, du flux
d’information binaire diffusé en temps réel car convertissant des données (sons, images,
texte…) tout au long de la pièce. Si cette oeuvre symbolise de façon évidente la binarité du
langage informatique et du code barre, elle a aussi une portée interactive et participative sur
le public qui va venir donner d’autres sens à l’oeuvre, comme les interactions sociales dans
les médias actuels à l’ère du numérique, l’échange et le le déplacement d’informations,
éprouvant les perceptions des spectateurs.
On peut aussi évoquer l’artiste multimédia Yann Nguema, qui opère en solo depuis
2017 ainsi qu’avec son groupe EZ3kiel (fondé en 1993) dans lequel il est d’abord bassiste,
puis dont il va gérer tout l’aspect graphique, des covers d’albums aux performances visuelles
live. Nguema se distingue par une Victoire de la musique en 2008, pour son
album/DVD/CDROM ​Naphtaline​, qui permettait entre autres à l’auditeur d’interagir avec les
sources sonores en explorant un univers virtuel onirique. “Depuis 2014, Yann Nguema crée
également des mapping vidéos. Il se démarque très vite en développant, pour chaque fresque,
son propre logiciel et redessine une à une chacune des pierres de l’édifice (20000 à Prague,
25000 à Metz), utilisées comme un pixel en 3D. Il ne s’agit plus de simples projections. Les
images prennent du volume. Elles respirent, se déforment, interagissent avec la musique.” 35
À partir 21ème siècle, on peut constater la montée en popularité du mapping vidéo,
genre artistique dont Krzysztof Wodiczko était le pionnier, cet art s’est bien développé depuis
les années 80. Grâce à l’arrivée de l’ordinateur, certains artistes comme Olivier Ratsi -qui
utilise des murs à angle droit pour créer des illusions d’optique avec ses projections- se sont
d’abord amusés à détourner des logiciels de vidéo pour leurs installations, puis des logiciels
spécialisés ont vu le jour, comme Millumin ou HeavyM, permettant de programmer un
light-show à partir des données issues de l’environnement sur lequel on veut projeter.
Le mapping vidéo consiste aujourd’hui en la projection sur des matières en volume,
les faisceaux des projecteurs étant contrôlés par ordinateur pour épouser parfaitement les
formes de l’architecture. En effet, les artistes vont utiliser les façades de monuments ou les
corps présents dans l’espace de l’oeuvre comme support pour leurs projections, qui peuvent
avoir une vocation contemplative ou interactive. Certains utilisent uniquement l’architecture
35
​Thierry Voisin​, Yann Nguema, “L’algorithme dans la peau”, ​in télérama​,
https://www.telerama.fr/sortir/yann-nguema,-lalgorithme-dans-la-peau,n5698452.php​, 20/06/2018
28

30. des lieux, lorsque d’autres utilisent la présence et le mouvements d’objets physiques,
d’acteurs ou de danseurs.
Le 10 décembre 2016, Yann Nguema reçoit le trophée des Lumières pour son
mapping ​Évolutions à la fête des Lumières de Lyon. Une oeuvre synesthésique faisant
intervenir projecteurs,lasers et musique électronique et acoustique, dans une installation
monumentale qui montre la cathédrale st Jean sous un autre jour(voir Annexe image n°8).
Les nouveaux médias ont contribué de manière essentielle à la popularité du mapping
vidéo, qui s’est créé une place centrale au sein de la performance audiovisuelle, et marque les
esprits par d’impressionnantes démonstrations technologiques d’une sensibilité certaine, où
les sons et les couleurs explosent et interagissent avec harmonie et précision avec leur
environnement.
1.3) Logiciels et Temps Réel
L’ère du numérique apporte son lot de nouveaux outils pour contrôler des flux
audiovisuels, voire les deux médias de façon concomitante. Certains artistes développent
leurs propres machines et logiciels pour manipuler le son et l’image, en exploiter les
correspondances et trouver de nouvelles sonorités. L’UPIC naît en 1977, inventé par le
compositeur, ingénieur et architecte Iannis Xenakis, qui explore l’idée de performance
audiovisuelle dans ses oeuvres ​Polytope de Montréal (1967), qui était un spectacle de lumière
et sons pour 4 orchestres de 15 musiciens, et ​Persepolis (1971), pour lumière et sons inscrits
sur bande magnétique.
L’UPIC prend la forme d’une tablette graphique reliée à un ordinateur, sur laquelle
l’utilisateur doit d’abord dessiner des formes d’ondes que la machine enregistre, pour enfin
composer en temps réel en dessinant sur la tablette. Le dessin fonctionne de manière
vectorielle, l’axe des ordonnées correspondant aux fréquences du son, et l’axe des abscisses
étant l’évolution temporelle. L’UPIC sera utilisé par Xenakis en 1978 pour son oeuvre
Mycènes Alpha​, ainsi que par de multiples compositeurs, comme Jean-Claude Risset avec
Saxatile en 1992 ou plus récemment Aphex twin, qui faisait la promotion de la version
numérique de l’UPIC (pour Windows 98) dans une interview pour Future Magazine, en
avançant que ce système de synthèse sonore serait au dessus de tout, malgré son faible poids
en dessous de 1 MB. Certains travaux de Iannis Xenakis comme l’UPIC évolueront plus tard
29

31. pour intégrer des formes d’ondes numériquement échantillonnées, puis aller vers un format
totalement numérique, avec l’apparition de logiciels comme IanniX, qui est un séquenceur
graphique disponible en open-source, et qui permet entre autres de synchroniser des
évènements et de dessiner des courbes et automations en temps-réel.
Les artistes programmeurs ont considérablement apporté au monde de l’art
contemporain. Le musicien et graphiste très prolifique Eric Wenger en fait sans conteste
partie, développant des outils numériques de création graphique et audiovisuelle
principalement destinés aux utilisateurs de Macintosh depuis la fin des années 80, son
premier Software ​est Artmixer, un logiciel de création d’images numériques en 2D que l’on
pouvait manipuler à l’aide de simples outils 3D sur une base vectorielle, il développe à la
même époque le logiciel GraphistPaint ainsi que VideoPaint, un outil de création
“rotoscopique” . En 1994, il sort un logiciel de création de paysages en trois dimensions36
Bryce 3D, qui lui apporte une reconnaissance internationale. Un peu plus tard, il lance
Metasynth, un logiciel qui deviendra vite un outil reconnu de création musicale et de
sound-design, ayant pour principe de transformer des images en sons, et qui sera utilisé par
Aphex twin dans son morceau "Δ​M​i​⁻¹ = −​α​Σ​n​=1​
N​
D​i​[​n​][Σ​j​∈C[​i​]​F​ji​[​n − 1] + ​F​ext​i​[​n​⁻¹]],", ou dans
le sound-design de coups de feu et de balles en slow motion dans le film Matrix. Il développe
aussi d’autres outils de synthèse visuelle comme ArtMatic, un logiciel produisant des images
d’abord destinées à être utilisées dans Metasynth, puis plus communément utilisées pour
créer et faire évoluer des visuels dans les domaines du live audiovisuel et le Vjing.
Le développement croissant de l’Art vidéo et du Vjing, et l’engouement des artistes
pour la création live de visuels synchronisés à la musique mène à la création de langages de
programmation visuelle conçus pour accompagner la musique, comme Max, qui est un
programme modulaire permettant de créer des interactions sonores et visuelles pour des
vidéos, ou de programmer l’aspect sonore et visuel d’une performance live. Max était à
l’origine un logiciel de création musicale assistée par ordinateur développé par Miller
Puckette depuis 1985 à l’Institut de Recherche et Coordination Acoustique/Musique
(IRCAM); commercialisé en 1990, il connaîtra de nombreuses améliorations avec les années,
comme l’extension Max MSP, sortie en 1997 et directement inspirée du travail de Puckette
sur son nouveau software de programmation musicale par interface graphique, qui permettait
36
La rotoscopie étant une forme d’art cinématographique se basant sur la superposition de dessins à
des images filmées, créant des films d’animation issus de scènes de la vie réelle.
30

32. de contrôler en temps réel une création audio-numérique et de créer ses propres patchs de
synthétiseurs et d’effets. En 1999, le collectif de programmeurs Netochka Nezvanova met en
ligne nato.0+55, une extension de Max dédiée au contrôle en temps-réel de visuels
synchronisés à la musique, cette dernière deviendra vite populaire et conduira notamment à
l’invention de Jitter en 2003, une autre extension proposant des mises à jours et des
optimisations graphiques. Max autorise aujourd’hui la spatialisation du son à travers de
multiples hauts parleurs, l’intégration est aussi facilitée pour le DAW Ableton Live, on peut
programmer le logiciel grâce au langage Javascript ou utiliser le langage nodal de Max.
A partir des années 2000, nombre de logiciels spécifiquement dédiés au Vjing se
développent ,comme Resolume, Modul8, ou VDMX, des programmes permettant la
programmation de visuels à l’avance ou en temps réel, et une synchronisation simple et
efficace avec n’importe quelle source sonore, souvent via le protocole OSC (Format de
transmission qui permet l’interaction entre machines diverses, synthétiseurs, robots,
projecteurs, etc.. entres autres : la communication en temps réel entre signaux sonores et
visuels).
La diversité des programmes mis à disposition des artistes de l’art vidéo nous prouve
donc l’importance croissante des outils numériques dans les performances ou live
audiovisuels; avec de plus en plus de programmes mis en open-source, le monde entier
contribue ainsi à l’évolution de certains logiciels comme Pure Data, un programme de
création multimédia évoqué précédemment dans la genèse des logiciels de création
multimédia, et autorisant la création de sons et d’images, ainsi que le contrôle d’une grande
diversité de matériels externes, du haut parleur au projecteur. Le Pure Data est sans
équivoque le symbole de la révolution numérique qui a transformé le monde de la création
artistique en profondeur, en offrant aux artistes de nouveaux outils qui restent en perpétuelle
évolution, enrichis par des idées issues de réflexions individuelles, laissant des voies grandes
ouvertes à l’invention de nouvelles oeuvres par l’infini potentiel qu’offre la programmation.
Il semble que le concept de temps réel soit d’une importance capitale dans l’Art vidéo peu
importe l’époque, et indissociable des notions d’interactivité et de comportement à l’ère du
numérique. On distingue ainsi plusieurs sortes de live audiovisuel : celui qui met en scène un
artiste qui interagit directement avec le média de son choix dans une performance artistique,
comme c’était souvent le cas avec les live audiovisuels analogiques, où la ​notion d’erreur
était possible et synonyme d’interprétation, d’intention et de rapprochement vers le public ; ​et
31

33. celui qu’on peut qualifier de “faux live numérique” avec par exemple les prestations de Ryoji
Ikeda qui programme ses oeuvres à l’avance pour qu’elles traitent des données en temps réel,
devenant interactives par leur fonctionnement dans l’instant. Qu’il soit autonome ou qu’il
nécessite l’intervention de l’artiste, le live audiovisuel existe dans l’instant présent, et est
caractérisé par son évolution.
“Ce que l’on entend par concept, c’est la notion d’intention : auteuriale ou artistique.
C’est précisément cette notion d’intention dont il est question lorsque nous parlons de temps
réel pour une performance audiovisuelle, et surtout si nous rapprochons cette idée du live
avec la longue tradition artistique du hasard et de l’aléatoire.​[...] les spectacles ​multimédia
sont vivants , ils se produisent dans l’instant, “à la volée”, et dans ce qui est souvent appelé le
“temps réel”. Il n’y a pas de script, juste une feuille de route que l’artiste suit plus ou moins à
la lettre. Comme le note Adrian Mackenzie le temps réel survient “lorsque l’intervalle entre
le déclenchement d’un événement et son traitement/réception tombe sous le seuil de la
perception sensible“.En temps réel, “l’événement est structuré par son traitement “.”
2) Expérience interactive : réalité virtuelle, augmentée et
mixte
Dans ce chapitre, nous aborderons les questions de réalité et d’interactivité
principalement dans les nouveaux médias audiovisuels avec l’apparition de la réalité
virtuelle, on s’appliquera à démontrer que l’artisanat du jeu vidéo peut devenir un art si les
différents acteurs du projet : développeur, graphiste, sound-designer et compositeur,
collaborent créativement et inscrivent leur démarche dans une réflexion artistique ; on
montrera aussi les nouvelles applications pratiques ou progressistes liées à l’utilisation des
nouveaux degrés de virtualité, qui ont nécessairement besoin de son pour exister, comme un
grand nombre de médias numériques actuels.
2.1)Emergence de la réalité virtuelle, une nouvelle façon de percevoir
La réalité virtuelle (VR) apparaît avec la science fiction et la poésie du 20ème siècle,
dans son recueil d'essais Le Théâtre et son double (1938), ​Antonin Artaud utilise le premier
l'expression “réalité virtuelle” pour caractériser cet espace dans lequel le Théâtre place ses
32

34. acteurs, les premières expérience de création de casque de réalité augmentée ont eu lieu dans
les années 70-80 en Amérique, avec la première interface dédiée appelée DataGlove créé en
1982. Dans les années 90, nombre d’entreprises se mettent au casque de réalité virtuelle, avec
la NASA qui l’utilise pour piloter ses robots sur mars, ou plus communément les leader
naissant du marché des jeux vidéos comme Sega avec son Sega VR-1 datant de 1994 qui
comprenait les mouvements de la tête du joueur , ou le Virtual Boy de Nintendo,
commercialisé en 1990.
Le projet qui fait le plus parler de lui dans les débuts de ce nouveau média est Second
Life. Mis en ligne en 2003, cette simulation de vie virtuelle qui peut ressembler à un jeu est
en fait un ​métavers​, un univers entièrement virtuel en trois dimensions dans lequel les
utilisateurs sont invités à créer leur avatar, et à évoluer dans ce nouveau monde de façon
libre, un monde dans lequel les individus peuvent évidemment communiquer entre eux,
construire leur propre univers et vivre une vie fictive à l’image de la vie réelle, comme
acheter un appartement, aller en boite de nuit, au restaurant… Une monnaie virtuelle a même
été inventée pour gérer les échanges marchands du jeu, un système financier à part qui est
maintenant taxé par les Etats-Unis d’Amérique. Philip Rosedale, l’américain qui a inventé le
jeu s’exprime en ces termes : "SecondLife n'était pas le premier monde virtuel mais il a été
celui dont on a le plus parlé, notamment dans les années 2006/2007. Nous comptions alors
chaque jour plusieurs centaines d'articles qui nous étaient consacrés sans avoir pratiquement
jamais investi en publicité. La raison principale de cette popularité est selon moi intimement
liée à l'idée même de l'existence d'un monde virtuel. Il s'agit d'une question fondamentale liée
au développement de l'humanité." Le jeu compte encore aujourd’hui un demi million37
d’utilisateurs encore actifs, ce qui témoigne de l’impact du jeu sur le grand public, après plus
d’une dizaine d’années d’existence, on commence à comprendre un peu mieux les questions
éthiques qui entourent la question de l’immersion totale dans le virtuel. Second Life connaîtra
un succès éphémère qui prendra fin avec l’arrivée des nouveaux médias comme Facebook,
Twitter et les autres jeux en ligne. En 2016 sont commercialisés l’Oculus Rift, le HTC Vive
et le Playstation VR, ce sont les premiers casques de VR à proposer des expériences virtuelles
réalistes et immersives en haute définition sonore et visuelle, qui nous immergent totalement
37
Adrien Tsagliotis, ​in Le Journal du Net​,
https://www.journaldunet.com/ebusiness/le-net/1110537-les-mondes-virtuels-contribueront-a-rendre-n
otre-monde-meilleur/​, 17/04/13
33

35. dans un monde parallèle. Ces nouvelles expériences immersives et interactives marquent le
public par une illusion garantie, une nouvelle porte ouverte aux artistes de l’audiovisuel pour
créer de nouvelles oeuvres, au plus proche des sensations et de l’interaction ?
2.2)Moteurs de jeux/moteurs audio et son binaural
Les premiers jeux vidéos apparus dans les années 80 avec l’ordinateur sont d’abord en
2D, avec uniquement des sons mono et stéréo sans spatialisation réelle. La notion de
profondeur de champs et de 3D est maintenant monnaie courante dans les jeux actuels, alors
que la VR se démocratise et se construit un avenir radieux. Les logiciels de développeurs de
jeux vidéos connaissent un essor au 21ème siècle. Il existe à l’heure actuelle une grande
diversité d’outils permettant d’inventer un jeu, on s’intéressera particulièrement à la VR.
On appelle “moteur de jeu” un logiciel dédié à la création de jeux vidéos, on appelle par voie
de conséquence “moteur audio” un logiciel ou plugin dédié à la création sonore pour jeu
vidéo. Dans l’actualité de la conception de jeux, la VR est déjà bien représentée, avec une
dizaine de moteurs de jeu permettant de créer une expérience en réalité virtuelle jouable sur
les casques les plus récents, la majorité étant gratuits. On peut en évoquer les principaux, tels
que Unity 3D (2005), qui est probablement le plus utilisé du marché avec son “asset store” au
contenu payant (ou non), ou encore Unreal Engine 4(1998), qui se démarque par son système
de blueprint et contenu additionnel gratuit, poussant les jeunes développeurs à s’approprier
leur software, qui à une courbe d’apprentissage relativement rapide, notamment grâce à
l’emploi du langage nodal qui permet une avancée généralement plus intuitive dans le
processus de fabrication d’un jeu que les autres langages de programmation. Unreal Engine
offre en outre la possibilité de coder en C++.
Autour de la même époque paraissent les logiciels CryEngine (2002), et des logiciels
d'infographie tels que Blender (1998)-qui est un outil multifonction permettant de faire de
l’animation 3D, 2D ou VR, avec de multiples possibilités comme le ​Motion Tracking ou le
Rigging​-, Maya ou encore Zbrush. En 2015, Amazon lance son moteur de jeu
multiplateforme Amazon Lumberyard, qui permet de créer des jeux pour toutes les
plateformes actuelles, du smartphone au PC, en passant par les consoles de salon. En plus de
34

36. l’existence d’un important contenu en ligne marchand ou non marchand comprenant assets et
templates qui facilitent le développement des jeux et du ​cross-plateformes​. Ce moteur de jeu
se distingue aussi par le soutien qu’offre Amazon en terme de services en ligne, qui met à
disposition des serveurs pour héberger les modes en réseau des jeux créés sous Lumberyard,
le moteur est gratuit si le jeu se joue en solo et ne nécessite aucun hébergement de serveurs
sur le cloud. D’autres moteurs de jeu VR seront développés plus tard, comme Oculus
Medium en 2016, ou AppGameKit VR en 2017 ; chacun se démarquant par son style de
programmation, sa compatibilité avec les différents casque VR du marché et avec les
différents accessoires complémentaires comme les manettes ou les capteurs, ou son rendu
purement esthétique…
L’arrivée de la 3D dans le monde des jeux vidéos à vu évoluer leur mode de
conception. On peut facilement imaginer à quoi ressemble un environnement graphique en
trois dimensions mais c’est surtout l’invention du son binaural qui marque les esprits en
recréant avec précision la sensation de déplacement des sources sonores autour de la tête de
l’auditeur. C’est au français André Charlin que l’on doit les prémices de ce format audio,
avec son invention de l’enregistrement par tête artificielle dans les années 70/80, le principe
était de recréer un système d’écoute fonctionnant de la même manière qu’une tête humaine,
en remplaçant chaque oreille par un haut parleur, Charlin était ainsi capable d’enregistrer
comme il entendait ! Le son binaural est un format audio peu utilisé aujourd’hui même si son
efficacité est prouvée et reconnue, principalement dans le monde du jeu vidéo et de la VR.
Néanmoins, cette nouvelle façon de diffuser des sons comporte ses limites, inhérentes à son
principe même ; en effet, le son binaural ne peut fonctionner que si l’on porte un casque sur
les oreilles, car se basant sur les concepts de différence interaurale de temps et de différence
interaurale de niveau grâce auxquels l’oreille humaine et capable de comprendre la
localisation d’une source dans l’espace. Le son binaural est généralement paramétré à partir
d’une moyenne des dimensions relevées sur des têtes humaines, chaque individu ayant des
caractéristiques physiques plus ou moins différentes.
Le son binaural permet ainsi de placer et de localiser des sources sonores monophoniques qui
de ne portent aucune information spatiale en eux dans l’espace virtuel du jeu pour construire
et simuler un environnement réel ou imaginaire, avec une sensation réaliste d’éloignement
par rapport aux sources qu’on a souvent la possibilité de gérer dans le moteur de jeu et dans
35

37. le moteur audio. Une autre dimension influençant significativement la qualité et la précision
de l’écoute en situation de réalité virtuelle est la technologie de ​head tracking utilisée dans la
conception du casque VR, qui a une influence sur la latence et la stabilité de la localisation du
casque dans l’espace et de la vue à la première personne en réalité virtuelle. On part aussi du
principe que l’être humain va intuitivement tourner sa tête pour “accommoder”son ouïe, et
tenter de comprendre d’où vient le son, ce qui donne une importance essentielle au
développement des techniques de head tracking dans la recherche d’une expérience
sensorielle la plus ergonomique possible. Chaque casque VR se démarque ainsi par sa
technologie et ses caractéristiques propres, avec un scanning laser pour le HTC Vive, des
caméras infrarouges pour l’Oculus Rift, une technologie de positionnement optique actif pour
le Playstation VR, toutes ces technologies ayant leur limites propres, le HTC Vive est par
exemple le seul casque du marché à proposer une immersion en VR ou l’utilisateur peut
regarder autour de lui à 360°.
Du côté des moteurs audio, on distingue deux outils principaux : Fmod Studios, qui
offre une interface plus facile d’accès car plus proche de l’interface des DAW actuels et
permettant notamment le mixage en temps réel d’un jeu auquel on joue, et Wwise, qui est
d’apparence plus complexe mais a ses propres atouts. Ces deux softwares sont destinés à la
création d’assets sonores en collaboration directe avec les moteurs de jeu, ainsi que de
variables qui font évoluer le son de manière dynamique en fonction des mécaniques du jeu et
des interactions personnage-environnement. En situation d’entreprise, le Sound Designer est
amené à échanger régulièrement avec le développeur pour créer un gameplay fluide et
immersif répondant aux attentes du jeu. Dans les jeux vidéos, le processus de création sonore
est généralement celui-ci : enregistrement, montage et traitements, création du système audio
in-game, puis implémentation des sons dans le jeu et balances. Le ​mixage son​, qui consiste en
la répartition des niveaux et à l’équilibrage fréquentiel prend toute son importance plus on
avance dans la création d’un univers sonore virtuel et plus on a de sources à répartir et
équilibrer entre elles. En effet, ce qui est spécifique aux jeux vidéos en tant qu’art multimédia
est leur potentiel interactif et immersif, l’environnement n’est pas stable et fixe comme dans
un morceau de musique, il est constamment en évolution, obéissant aux règles fixées par le
développeur et aux actions exécutées par le joueur.
36

38. 2.3)La réalité augmentée
L’arrivée de la réalité augmentée (AR) était annoncée il y a quelques années comme
la prochaine révolution technologique voire industrielle nous plongeant encore plus
profondément dans l’océan d’informations numériques. Le terme est apparu à la fin du 20ème
siècle et désigne aujourd’hui la superposition d’un corps virtuel comme une page internet en
2D ou 3D à notre environnement réel, le casque de réalité augmentée mémorisant la position
des objets virtuels dans l’espace, on connaît cette technologie aujourd’hui grâce aux Google
Glass lancées en 2012, ainsi qu’avec la popularité de certains jeux en AR de degré 0 comme
le jeu Pokémon Go, sorti en 2016 sur Android et IOS, dans lequel on devait se déplacer dans
le monde réel pour chasser les pokémons, qui apparaissent de façon plus ou moins aléatoire
sur la carte du jeu, synchronisée aux déplacement du joueur grâce à la localisation instantanée
du téléphone, c’est un des symboles de la réussite de l’AR à ses débuts, bien que ne montrant
pas de signes convaincants d’interactivité. Ce concept peut aussi être rapprochée du Mapping
vidéo, qui superpose des projections numériques visuelles et sonores à notre environnement
3D, ce qui correspond bien à un degré de réalité augmentée.
2.4)La réalité mixte, une énième révolution ?
Commercialisé en 2016, le casque Hololens développé par Microsoft en collaboration
avec la NASA est le premier casque dit de réalité mixte (MR), successeur logique de la
réalité augmentée, qui ne permettait pas d’interaction véritable entre environnement réel et
virtuel. En effet, l’aspect révolutionnaire de la réalité mixte repose sur l’idée de symbiose
entre analogique et numérique, entre environnement réel et informations numériques
visualisée à travers le casque. Celui-ci a la faculté de comprendre l’environnement qui nous
entoure pour mieux interagir avec lui. Le Hololens est en fait un casque de simulation
holographique qui dispose d’un système de reconnaissance gestuelle et vocale, et peut
synthétiser du son binaural.
Bien que les concepts de réalité augmentée et mixte semblent concerner surtout les
domaines de l’usage et de l’industrie, on peut leur deviner un futur vertigineux avec la
réduction des coûts de production et la démocratisation de telles technologies.
37

39. On peut supposer que Sound Design et musique auront grand rôle à jouer pour donner
réalité aux effets spéciaux et à tous les visuels générés par les casques, de quelque nature
qu’ils soient; la VR, l’AR et la MR nous transportent à des niveaux de réalité différents, qui
sont autant d’outils et d’inspirations nouvelles pour les jeunes artistes et inventeurs de notre
temps.
2.5)Une grande diversité d’expériences proposées, limites, potentiels et enjeux
La réalité virtuelle et la réalité mixte sont des concepts chargés de promesses pour
l’avenir de l’art, de la science et de la recherche, autorisant l’immersion d’un individu dans
une réalité partiellement ou totalement virtuelle par la mystification des sens principaux de
l’ouïe et de la vue, qui autorisent à eux seuls l’illusion d’appartenir à une réalité différente,
qu’elle prenne une forme réaliste ou abstraite. On peut rapprocher ce type d’expérience au
rêve lucide, un état de conscience dans lequel le rêveur peut expérimenter ce qu’il veut en
terme d’interactions, de mouvements, de sensations… La réalité virtuelle tend à se rapprocher
de ce genre de sensations, avec nombre d’essais et d’innovations pensées pour ajouter à
l’expérience sensorielle, comme l’accessoire Feelreal VR Mask, qui peut recréer les
sensations du vent, des vagues ou du soleil ainsi que 255 odeurs différentes par synthèse de
parfums.
La réalité virtuelle a déjà de nombreux adeptes, on compte déjà des centaines de jeux
vidéos permettant de se glisser dans la peau d’un personnage fictif et d’explorer de nouvelles
sensations, avec des idées plutôt expérimentales, plaisantes ou choquantes. Comme vivre une
expérience de téléportation sur une île paradisiaque en restant physiquement à l'hôtel Mariott
de Londres, participer à une attraction de montagnes russes reproduisant fidèlement les
sensations d’accélération et de mouvement, voler comme un oiseau dans un paris dans lequel
la nature a repris ses droits, s’immiscer dans la peau d’un schizophrène pour mieux
comprendre son rapport au monde, ou enfin vivre une simulation de mort et de sortie du
corps, des américains ont même inventé un casque de réalité virtuelle destiné à simuler un
environnement ouvert et aéré plus agréable pour les poulets d’élevages intensifs qui ne voient
pas la lumière du jour.
Avec l’arrivée des nouveaux casques de réalité virtuelle proposant des sensations
immersives convaincantes, le potentiel de ces médias s’affirme, et les artistes audiovisuels
38

40. s’emparent ces technologies. La VR est ainsi exploitée de façon originale avec l’expérience
synesthésique qu’est “​Empty Room", une oeuvre interactive qu’on pouvait venir essayer
pendant quelques temps au Cube en 2016 et imaginée par la Sound Designer et compositrice
Christine Webster, qui va développer son oeuvre en utilisant singulièrement l’outil de
localisation spatiale, spécifique au processus de réalisation sonore du jeu vidéo en 3D, et qui
était jusqu’alors réservé uniquement à la répartition des bruitages dans la construction de
l’environnement virtuel des jeux. Christine Webster va passer plus d’une dizaine d’années à
expérimenter avec ce système de spatialisation du son par hauts parleurs virtuels pour
diffuser des sons à caractère musical(voir Annexe image n°9 et n°10).
Dans Empty Room, l’utilisateur se déplace librement dans un espace virtuel plane de
40m2, au milieu d’un cube géant en orbite autour de la terre, à l’intérieur et à l’extérieur de
cet espace est disposé un système de 64 hauts parleurs combiné à un environnement
graphique qui est constamment en évolution et explore trois différents modes de perception :
un espace ouvert et aéré à l’horizon infini dans lequel l’auditeur respire, un espace occlusif en
mouvement perpétuel qui désoriente l’utilisateur et le pousse à s’équilibrer grâce à un petit
cube visuel et sonore qui est le seul élément stable du décor, et un espace synonyme de
danger que Christine Webster appelle la “Panic Room”, qui est un espace confiné dans lequel
l’utilisateur se sent oppressé, agressé...
Dans sa recherche, ​Christine Webster s’interroge sur la question des espaces sonores
que peut nous faire ressentir le système de spatialisation du son des jeux vidéos, une réflexion
qui est aussi technologique, avec l’utilisation de formats audio de pointe comme le binaural
ou l’ambisonic, elle montre le potentiel véritable des emplois du son dans les expériences de
réalité virtuelle, aussi par une recherche esthétique sur les sons choisis.
D’autres artistes comme Hayoun Kwon vont s’intéresser à d’autres aspects de la
réalité virtuelle, au travers des thématiques du rêve ou du souvenir, qui semblent pouvoir être
étudiées au travers de l’immersion dans un monde imaginaire. Avec son oeuvre en VR
“l’Oiseleuse” que l’on pouvait venir découvrir en fin 2017 au Palais de Tokyo à Paris,
Hayoun Kwon nous emmène dans un monde monde virtuel très coloré, dans un manoir qui
est une véritable volière avec une multitude d’oiseaux volant en tous sens au dessus de la tête
de l’utilisateur, celui ci est invité à explorer cet espace onirique en regardant autour de lui
pour saisir l’ampleur du spectacle qui se déroule sous ses yeux. Le voyage narratif est
entrecoupé de cinématiques qui voient évoluer le décor, comme si l’on était dans la mémoire
39