Tesi finale triennio musica elettronica

1. Conservatorio di Musica “V. Bellini” di Palermo
Diploma Accademico di I Livello in
Musica Elettronica
INTELLIGENZA ARTIFICIALE E INTERAZIONE CIBERNETICA
NELLA MUSICA ELETTRONICA
Interactive Synesthesia - composizione musicale interattiva
Candidato
Francesco Corsello
Relatori
M° Giuseppe Rapisarda
M° Emanuele Casale
Correlatori
M° Marco Betta
M° Fabio Correnti
ANNO ACCADEMICO 2015/16

2. 4

3. 1
Indice
Capitolo 1: La robotica nell’arte 4
.! 1.1 Automi e androidi 4
.! 1.2 I robot musicali 7
Capitolo 2: Il progetto “Nao Music” 10
.! 2.1 Il sistema 10
.! 2.2 L’applicazione Android 11
.! 2.3 La rappresentazione delle emozioni 12
.! 2.4 Analisi audio intelligente 14
.! 2.5 Interazione robotica 16
Capitolo 3: Pensiero compositivo 17
.! 3.1 Comporre la musica elettronica 17
.! 3.2 Voce ed emozioni 20
.! 3.3 Organizzazione strutturale 22
.! 3.4 Esempio parti 24
Capitolo 4: Produzione della musica elettronica 26
.! 4.1 Materiali, tecniche e software utilizzati 26
.! 4.2 Red 28
.! 4.3 Blue 28
.! 4.4 Yellow 29
.! 4.5 Green 29
Capitolo 5: Gestione Live della musica elettronica 30
.! 5.1 Ableton Live 30
.! 5.2 Max 4 Live 31

4. 2
Elenco delle figure
Figura 1.1. L’organo automatico di Athanasius Kircher. 5
Figura 1.2. Gli automi di Vaucanson. 7
Figura 1.3. “Le mécanisme de la parole” di Kemplen. 7
Figura 1.4. I robot musicisti sviluppati da Toyota. 8
Figura 1.5. “Robodanza”. 9
Figura 2.1. Il sistema “Nao Music”. 10
Figura 2.2. Da destra verso sinistra: La schermata iniziale e principale dell’applicazione. 11
Figura 2.3. Il circonflesso di James Russell. 12
Figura 2.4. La relazione tra i quattro colori scelti per le emozioni e il circonflesso di Russell. 13
Figura 2.5. Un esempio dell’albero decisionale. 14
Figura 2.6. Interfaccia grafica di controllo dell’andamento dell’esibizione musicale. 15
Figura 2.7. I quattro gesti del robot. 16
Figura 3.1. Synchronisms No. 6 di Davidovsky. 18
Figura 3.2. Studie II di Stockhausen. 20
Figura 3.3. Uno schema riassuntivo di tutte le possibilità di “Interactive Synesthesia”. 23
Figura 4.1. L’interfaccia del sample editor di Ableton Live. 27
Figura 5.1. La schermata del progetto di Ableton live, sulla destra le scene con ID univoco. 30
Figura 5.2. Un esempio di percorso della Live Object Model. 31
Figura 5.3. La patch di Max Msp in edit mode. 32
Figura 5.4. L’interfaccia grafica della patch con una simulazione dello spettacolo. 32
Figura 5.5. Gli oggetti all’interno di p_launcherableton utilizzati per lanciare le scene. 33

5. 3
Introduzione
Il lavoro oggetto di questa tesi nasce in seguito al primo incontro avvenuto nell’estate del 2014, che
coinvolse il “RoboticsLab” del Dipartimento dell’Innovazione Industriale e Digitale dell’Università di
Palermo e il Conservatorio Vincenzo Bellini. Il progetto coinvolge le scuole di Musica Elettronica e
Composizione ed è stato presentato nel 2015, in seguito alla collaborazione di Francesco Corsello, studente
di Musica Elettronica, e Vincenzo Caravello, studente di Composizione. Ciascuno dei compositori ha
composto quattro brani e successivamente arrangiato lo spettacolo per la spettante competenza (Musica
Elettronica, Musica Strumentale). La parte informatica è stata sviluppata dagli Ingegneri Samuele Vinanzi e
Claudio Zito in qualità di tesisti magistrali in robotica. Il prototipo iniziale dello spettacolo si è evoluto ed è
stato ampliato grazie al contributo e alla cooperazione tecnica e creativa di tutte le persone coinvolte. L’idea
sperimentale iniziale, ovvero, la creazione di una composizione dinamicamente variabile dal punto di vista
musicale grazie all’ausilio dell’intelligenza artificiale che si avvalesse del connubio di musica elettronica e
strumentale, è stata ampliata dall’introduzione di un’applicazione per smartphone, che slega il pubblico dal
ruolo passivo e gli permette di interagire con lo spettacolo. È stato introdotto, inoltre, un modello
psicologico sul quale è basato il concetto dello spettacolo stesso, che ne alimenta il carattere
interdisciplinare.

6. 5
Capitolo 1
La robotica nell’arte
1.1 Automi e androidi
Da quanto esistono la robotica e l'intelligenza artificiale?
Molti potrebbero rintracciare le loro origini alla metà del XX secolo, grazie al lavoro di persone
come Alan Turing, considerato una dei padri dell’informatica. Turing alla fine degli anni '40
sposta i suoi interessi verso neurologia e la fisiologia esplorando la relazione tra computer e
natura, o l'ingegnere del MIT Norbert Wiener, uno dei fondatori della cibernetica. Ma questi
campi hanno una loro tradizione.
La parola "robot" ha fatto la sua prima apparizione in un dramma utopico fantascientifico nel
1920 grazie allo scrittore ceco Karel Čapek intitolato R.u.r. (Rossum’s Universal Robots),
derivando il suo neologismo dalla parola ceca "robota," che significa "fatica" o "servitù". Čapek
ha usato "robot" per fare riferimento a una razza di esseri umani artificiali che sostituiscono i
lavoratori umani in una distopia futurista. (In realtà, gli esseri umani artificiali nel dramma sono
più simili a cloni rispetto a quello che potremmo considerare un robot, coltivati in vasche
piuttosto che costruiti da parti meccaniche).
In precedenza, tuttavia, veniva utilizzata un'altra parola per gli esseri umani e gli animali
artificiali: "automa". Derivata dalle radici greche che significano "semovente". Questa
etimologia era in linea con la definizione degli esseri viventi di Aristotele. Le macchine
semoventi erano oggetti inanimati che sembravano prendere in prestito la caratteristica distintiva
degli esseri viventi: la capacita di muoversi (Riskin Jessica). Gli automi nel mondo ellenistico
erano concepiti come giocattoli, idoli religiosi per impressionare i fedeli o strumenti per la
dimostrazione dei basilari principi scientifici, come quelli costruiti da Ctesibio, Filone di
Bisanzio (III secolo a.C.) ed Erone di Alessandria (I secolo).
Quando gli scritti di Erone su idraulica, pneumatica e meccanica, conservati a opera degli arabi e
dei bizantini, furono tradotti in latino ed italiano nel Cinquecento, i lettori iniziarono a ricostruire

7. 6
le sue macchine, tra cui sifoni, un idrante, un organo idraulico, l'eolipila e, appunto, gli automi,
sulla cui costruzione Erone aveva scritto uno dei suoi trattati di maggior successo, Automata, in
cui egli illustra teatrini automatici dotati di moto autonomo, rettilineo o circolare, per tutta la
durata dello spettacolo. Gli automi erano divenuti una vera mania in Europa, soprattutto nei
circoli nobiliari. Già in tempi molto antichi, automi idraulici venivano spesso installati nei
giardini dei palazzi per divertire i visitatori. Ancor di più che in giardini reali e tenute nobiliari,
gli automi medievali e del primo Rinascimento sono apparsi in chiese e cattedrali. Un automa di
Cristo era diventato molto popolare. Si potevano trovare anche diavoli meccanici. Avevano facce
orribili, ululavano, tiravano fuori la lingua, agitavano le braccia e le ali, alcuni addirittura
avevano corna mobili e corone. Queste macchine hanno contribuito a ispirare l'idea che forse gli
automi potevano avere uno scopo più profondo rispetto a essere semplicemente dei trucchi
divertenti: forse davvero erano modellati sul funzionamento della natura.
Il filosofo Cartesio sostenne con forza nel corso del 1640, che il mondo intero, compresi gli
organismi viventi, erano essenzialmente una macchina composta da parti in movimento e che
potevano essere comprese nello stesso modo in cui un orologiaio comprende il funzionamento di
un orologio. Con l'avvento del "pinned cylinder" nel XVI secolo (un cilindro con perni o barre
sporgenti, come quelli che troveremmo in un “music box”) anche le macchine più complesse e
realistiche divennero realizzabili. In questo periodo, sorse una nuova parola per descrivere
macchine con caratteristiche umane: "Androide".
Figura 1.1. L’organo automatico di Athanasius Kircher

8. 7
Questa nuova tecnologia è usata come dispositivo di programmazione di automi e organi
automatici già a partire 1600. Nel 1650, il poliedrico tedesco Athanasius Kircher concepisce il
prototipo di un organo idraulico con automi, governato da “pinned cylinders” che comprende
uno scheletro danzante.
Naturalmente, è un anacronismo chiamare i "pinned cylinders" del XVI e XVII secolo dispositivi
di programmazione. A dire il vero, però, c'è una linea continua di sviluppo che collega questi
cilindri alle schede perforate utilizzate nei telai automatici ottocenteschi e nei primi computer, ad
un chip di silicio (Riskin Jessica). Ingegneri e meccanici cercarono di creare automi che, una
volta caricati, si muovessero per conto proprio. Questo cambiamento può essere contestualizzato
in un’epoca in cui, a partire dal tardo Settecento/inizio Ottocento, le teorie meccanicistiche si
erano andate diffondendo (Giovanni Fontana).
Il Suonatore di Flauto di Vaucanson, per esempio, suonava un flauto vero, soffiando aria nello
strumento grazie a polmoni meccanici e muovendo le dita. All’inizio del Novecento, inoltre, un
modellino con le sembianze di Napoleone venne esibito nel Regno Unito: il pupazzetto
respirava, ed era coperto di un materiale che imitava la consistenza della pelle.
La sua esibizione alla Dublin’s Royal Arcade veniva pubblicizzata così: una “splendida opera
d’arte” che “produce una sorprendente imitazione della natura umana, nella sua forma, colore, e
consistenza, animata dall’atto della respirazione, dalla flessibilità degli arti, dall’elasticità della
pelle, tale da indurre a pensare che questa piacevole e meravigliosa figura sia un essere vivente,
pronto ad alzarsi e parlare” (Jennifer Walls).
Il tentativo di ricreare processi naturali artificialmente includeva altre funzioni oltre al
movimento. Nel 1779, l’Accademia delle Scienze di San Pietroburgo indisse un concorso per
meccanizzare la più umana di tutte le facoltà, il linguaggio, premiando chi avesse costruito una
macchina capace di pronunciare le vocali. Kempelen, l’inventore del famoso Giocatore di
Scacchi, costruì nel 1791 una macchina che pronunciava 19 consonanti (almeno stando a quanto
affermava Kempelen stesso) (John P. Cater).

9. 8
Figura 1.2. Gli automi di Vaucanson. Figura 1.3. “Le mécanisme de la parole” di
Kemplen.
Nei primi anni del 1960 vengono creati i robot industriali programmabili. Tuttavia la sfida
ingegneristica più grande, ovvero, lo sviluppo di un robot con forma simile a quella umana
necessita ancora di ulteriori progressi tecnologici. Grazie ai progressi in molte aree tematiche
interessate come la tecnologia dei robot, l'intelligenza artificiale, la potenza di calcolo, il primo
robot antropomorfo, Waseda Robot No.1 (WABOT-1), è stato sviluppato dal prof. Ichiro Kato
durante i primi anni 1980. Dopo questo successo, il primo tentativo di sviluppare un robot
antropomorfo musicale è stato condotto presso l'Università Waseda nel 1984. Waseda Robot No.
2 (WABOT-2) era in grado di suonare un organo da concerto. Un anno dopo, nel 1985, Waseda
Sumimoto Robot (WASUBOT), costruito anche dalla Waseda University, era in grado di suonare
un repertorio di 16 brani su uno strumento a tastiera e di leggere uno spartito. Il Prof. Kato
sosteneva che la capacità di suonare uno strumento a tastiera avrebbe richiesto un'intelligenza e
una destrezza simile a quella umana (Solis Jorge, Ng Kia).
1.2 I robot musicali
La robotica musicale è oggi una realtà nota al grande pubblico anche grazie all’esperimento di
Pat Metheny, il famoso chitarrista jazz, con l’Orchestrion, un complesso sistema costituito da
diversi robot musicali costruiti dal LEMUR, un gruppo di artisti dediti alla costruzione di robot,
e controllato dal musicista stesso. Pat Metheny ha anche prodotto un CD e fatto dei tour con
l’Orchestrion. Un altro esempio nostrano è “RoboDanza”, sviluppato da ICAR-CNR di Palermo,
dall’associazione ARCI Tavola Tonda e dal RoboticsLab dell’Università di Palermo. Suoni,

10. 9
facce, movimenti influiscono sulle scelte del robot che in tempo reale decide l’esecuzione dei
movimenti in base alla sua esperienza e i suoi processi artificiali di creatività. Le danzatrici
umane dell’ARCI Tavola Tonda hanno creato con il robot una coreografia per lo più
improvvisata, basata sui ritmi, i vocalizzi e le movenze eseguite dalle artiste. Il modello
cognitivo di creatività artificiale studiato ed implementato dal laboratorio di sistemi cognitivi e
robotica dell’ICAR-CNR di Palermo, è impiegato anche in altri campi artistici quali la pittura e
la musica e rappresenta un valido ed innovativo strumento a supporto della “co-creazione”,
consentendo nuove sinergie tra artisti, agenti software artificiali e robot.
Figura 1.4. I robot musicisti sviluppati da Toyota Motor Corp.
La robotica musicale è un settore di ricerca particolarmente interessante in quanto estremamente
multidisciplinare, in cui si fondono competenze meccaniche e informatiche con quelle musicali e
artistiche. Gli aspetti di ricerca dei robot musicali riguardano essenzialmente l’uso della fisicità
del robot per la produzione di musica: il robot è un artefatto dotato di corpo, in grado di
percepire informazioni sull’ambiente esterno mediante telecamere ed altri sensori, ed in grado di
produrre suoni mediante movimenti di braccia meccaniche e altri attuatori. I robot musicali
rappresentano quindi una nuova opportunità per la composizione musicale, in quanto offrono
nuove potenzialità espressive: la produzione di musica avviene, a differenza di un normale
computer, tramite una macchina “incarnata” che percepisce e agisce.
E’ possibile classificare i robot musicali secondo le seguenti categorie peraltro non delimitate in
maniera netta:

11. 10
- Robot come strumento musicale: in questa categoria ricadono i robot che eseguono,
passivamente o attivamente, una composizione predefinita precedentemente.
- Robot come musicista: in questo caso il robot è in grado di generare musica autonomamente in
base al suo programma di controllo. Il ruolo del compositore è quello di definire i “parametri”
del programma di controllo del robot in modo che esso generi la musica desiderata dal
compositore.
Ognuna di queste due categorie si divide a sua volta in due sotto categorie:
- Robot guidato dallo spartito: in questo caso il compositore ha predeterminato l’esecuzione del
robot e quindi, nel caso del robot strumento musicale, questa verrà eseguita con l’espressività
consentita dal robot. Nel caso del robot musicista, il compositore individuerà le modalità per la
generazione libera di musica o l’improvvisazione da parte del robot.
- Robot guidati dall’esecuzione: in questo caso il robot produce musica sulla base delle
interazioni con altri musicisti, il direttore o il compositore stesso. Il compositore ha quindi il
compito di di definire le modalità di interazione tra il robot e gli altri musicisti, ed i relativi
eventi musicali. Ad esempio, certi movimenti del direttore, percepiti dal robot mediante
telecamere, possono essere associati ad opportuni eventi musicali (Antonio Chella).
Figura 1.5. “Robodanza” sviluppato da ICAR-CNR, Tavola Tonda, Roboticslab

12. 11
Capitolo 2
Il progetto “Nao Music”
2.1 Il Sistema
Figura 2.1. Il sistema “Nao Music”.
Prima di entrare nello specifico della musica elettronica, ho ritenuto necessario, sia per la
corretta comprensione dell’intero progetto, che della connessione col ruolo da me svolto,
sintetizzare in questo capitolo il lavoro degli ingegneri. Nello specifico, gli estratti di questo
capitolo provengono dalla tesi magistrale “I robot umanoidi e la composizione musicale
algoritmica” dell’ingegnere Samuele Vinanzi. Le connessioni in figura sono semplici
collegamenti Ethernet centralizzate da un router a cui è collegato, sempre tramite lo stesso

13. 12
canale, l’ensemble elettronico verso cui vengono inoltrati i comandi per la riproduzione della
musica elettronica. Inoltre, il computer che fa da server è connesso al web server tramite internet,
attraverso quello stesso router o grazie alla presenza di una seconda scheda di rete. Anche i
dispositivi mobili sono connessi al web server tramite internet, sfruttando le loro reti.
2.2 L’applicazione Android
Figura 2.2. Da destra verso sinistra: La schermata iniziale e principale dell’applicazione
L’applicazione Android riveste un ruolo importante all’interno del progetto, in quanto è lo
strumento che riesce a conferire un ruolo attivo al pubblico, svincolandolo dalla passività
dell’osservatore. La totalità dei voti registrati da tutti gli utenti al termine di ogni atto verrà
utilizzata nel calcolo dell’emozione. Inizialmente, l’utente possessore dello smartphone dovrà
aprire l’applicazione ed eseguire la registrazione all’evento: questo significa che verrà incluso tra
i partecipanti e attraverso l’infrastruttura GCM potrà ricevere le notifiche push provenienti dal
server che gli notificheranno la possibilità di una nuova votazione atto per atto durante lo
svolgimento dello spettacolo. L’insieme dei dati ricevuti servirà al robot per decidere quale sarà
il prossimo atto da far suonare all’ensemble strumentale e alla musica elettronica. L’applicazione
si avvale dell’utilizzo di Google Cloud Messaging (GCM, Nato nel 2013 in sostituzione
dell’ormai deprecato servizio Android Cloud to Device Messaging), un sistema che sfrutta alcuni
servizi cloud. La scelta del cloud, si rivela fondamentale per interessanti prospettive future,
permettendo la delocalizzazione del pubblico. Utilizzando un servizio di streaming video, per
esempio, si potrebbero avere partecipanti da ogni parte del mondo in tempo reale.

14. 13
2.3 La rappresentazione delle emozioni
Figura 2.3. Il circonflesso di James Russell.
Per semplificare le possibilità di scelta e per venire incontro alle esigenze del sistema di
intelligenza artificiale, le emozioni sono state racchiuse in quattro macro-categorie e ad ognuna
di esse è stato associato un colore. In particolar modo, si è deciso di corre
lare la felicità al giallo, la rabbia al rosso, la tristezza al blue e la serenità al verde. La scelta dei
colori non è stata casuale: essi sono il frutto di alcuni studi psicologici già presenti in letteratura
e sono quelli che, in base agli esperti, sono più frequentemente associati alle emozioni che qui si
vuole rappresentare. Ogni brano musicale utilizzabile nel concerto porta con sé le informazioni
sul suo contenuto emotivo, fornitogli dal modulo di intelligenza emozionale attraverso cui è stato
elaborato. Per la precisione, come spazio per la rappresentazione emozionale è stato scelto il
circonflesso di James Russell, un modello psicologico sviluppato negli anni ’70. Esso assegna
alle emozioni un punto in uno spazio bidimensionale strutturato come in Figura 2.3.
Attraverso la conoscenza dei valori di valenza e di attivazione di ogni brano, è possibile assegnar
esso una posizione precisa all’interno del circonflesso e di conseguenza sapere esattamente qual
è il contenuto emozionale che veicola: dato che le quattro emozioni utilizzate in questo lavoro
provengono dalla divisione del circonflesso in quadranti, tutto ciò che bisogna fare è determinare
in quali di essi ricade. In particolar modo, il primo quadrante contiene le emozioni felici, il
secondo quelle più irritate, il terzo le emozioni tristi mentre il quarto quelle serene.

15. 14
Figura 2.4. La relazione tra i quattro colori scelti per le emozioni e il circonflesso di Russell.

16. 15
2.4 Analisi audio intelligente
Il modulo di riconoscimento emozionale è addestrato per effettuare un processo di regressione a
partire da un insieme di dati di addestramento (training set) costituito da tracce musicali annotate
con i loro valori di valenza e attivazione. Queste ultime sono state prelevate da una collezione
pubblica frutto di una ricerca scientifica effettuata nell’anno 2013: “1000 songs for emotional
analysis of music”, contenente 744 brani. Ognuno dei nodi rappresenta un brano musicale: ve ne
sono uno di introduzione che fa da radice, uno conclusivo e un certo numero di nodi intermedi.
Ogni livello di profondità dell’albero rappresenta un atto del concerto e il passaggio attraverso
un nodo implica la riproduzione dello stesso da parte dell’ensemble elettronico e l’esecuzione di
un brano orchestrale ad esso collegato da parte dei musicisti.
Con l’eccezione della radice e della foglia, ogni nodo non è collegato con tutti quelli del livello
sottostante. Il sistema di intelligenza artificiale si occupa della gestione in tempo reale del
concerto e prende decisioni sul brano successivo da far eseguire ai due ensemble. Lo scopo di
questa parte del sistema è quello di riuscire a trovare un percorso dalla radice fino all’unica
foglia che produca un effetto quanto più coinvolgente per gli spettatori sulla base del loro
responso emozionale.
Figura 2.5. Un esempio dell’albero decisionale
Ad ogni atto musicale si notificherà l’applicazione mobile in modo tale che essa possa
memorizzare correttamente i voti, dunque si lascerà il tempo necessario all’ensemble elettronico
e a quello orchestrale di svolgere le proprie esecuzioni. Poco prima della terminazione, il sistema
svolgerà un’interrogazione al database di voti per recuperarne il totale. Questa informazione sarà
utilizzata per calcolare l’emozione predominante nel pubblico, specificata tramite una coppia di

17. 16
valori di valenza ed attivazione. La conoscenza della posizione del pubblico nello spazio delle
emozioni, unita con le informazioni sul contenuto emotivo della musica candidata ad essere
eseguite all’atto successivo vengono impiegate in un algoritmo di ricerca euristica per
determinare il brano più appropriato da far subentrare al corrente. L’obbiettivo è quello di
scegliere una traccia musicale che con più probabilità possa indurre un cambiamento emozionale
negli spettatori, pur evitando stalli o variazioni troppo brusche (ad esempio, passare da un brano
triste ad uno euforico). Una volta scelto il successivo, il modulo di controllo robotico si occuperà
di veicolare questa informazione verso i robot e quindi verso l’ensemble e verso la musica
elettronica, dunque il brano verrà mandato in esecuzione ricominciando il ciclo.
Figura 2.6. Interfaccia grafica di controllo dell’andamento dell’esibizione musicale.

18. 17
2.5 Interazione robotica
Lo scopo principale di questo modulo è dunque di gestire i movimenti e le azioni del robot,
ovvero implementare i comportamenti robotici che permetteranno al Nao di interagire con le
persone che si trovano coinvolte nello spettacolo, siano esse spettatori o musicisti, in accordo
con i risultati dell’intelligenza artificiale. In particolar modo, il robot da prima sarà presentatore,
in grado di gesticolare e dialogare con il pubblico, mentre successivamente eseguirà dei
movimenti per istruire l’ensemble che attende le sue disposizioni. Questi movimenti sono
illustrati di seguito, in Figura 2.6. Ognuno di questi quattro movimenti rispecchia una delle
possibili scelte dell’intelligenza artificiale. Essi sono il frutto dell’analisi effettuata sullo stato
emotivo del pubblico e sui quattro brani musicali che possono essere eseguiti nell’atto
immediatamente successivo a quello corrente. Essendo ognuno di questi brani rappresentativo di
un’emozione diversa, il robot utilizza questa convenzione per comunicare con i musicisti quale
tra di essi è quello scelto per essere eseguito. Inoltre, dato che ognuna di queste gamme di
sentimenti è stata associata ad un colore, il robot modifica le luci dei suoi occhi e del suo torace
in relazione allo stesso, per dare un riferimento all’ensemble anche dopo che egli abbia terminato
di eseguire il gesto.
Figura 2.7. I quattro gesti del robot.

19. 18
Capitolo 3
Pensiero compositivo
3.1 Comporre la musica elettronica
La musica elettronica affonda le proprie radici nella musica classica della seconda metà del ‘900.
Un ramo dal quale nascevano nuove forme di musica sperimentale con e senza l’ausilio
dell’elettronica. I primi pionieri modellarono una direzione iniziale e influenzarono fortemente la
diffusione di nuove idee e linguaggi musicali.
“Nonostante la musica elettronica, di fatto, è il risultato di decenni di sviluppo tecnologico, è
solo nei tempi più recenti che ha raggiunto una fase nella quale può essere considerata parte
legittima della sfera musicale”. Questo è ciò che scriveva Herbert Eimert nel 1955, appena 4
anni dopo la fondazione della Westdeutscher Rundfunk Köln (WDR). Con “parte legittima della
sfera musicale” Eimert si riferiva all’utilizzo di suoni elettronici puri per la creazione di opere
serialiste nello stile di Anton Webern. Lo studio tedesco, era infatti impegnato, nella
realizzazione di una serie di pezzi ispirati alla corrente serialista nei quali venivano impiegati
suoni elettronici puri. In netto contrasto erano i lavori pioneristici per nastro di musique concrète
creati allo studio GRM sotto la guida di Pierre Schaffer.
La corrente francese componeva liberamente, modificando e ricontestualizzando i suoni in
montaggi sonori che sfidavano qualsiasi corrente stilistica precedente. Lo scontro sul piano
estetico delle due scuole ebbe vita breve. Era chiaro che, dato che la musica elettronica faceva
affidamento sulla tecnologia, la musica stessa sarebbe diventata un banco di prova per nuove
idee estetiche sull’arte del suono musicale. Proprio come un suono elettronico può essere
sostenuto fino a quando abbiamo elettricità, il mezzo estende efficacemente i suoi limiti di
concezione e manipolazione a cinque elementi basilari che costituiscono ogni suono musicale:
altezza, ampiezza, inviluppo, durata e timbro.

20. 19
Nel 1970, dopo 20 anni di sperimentazione, il campo della musica elettronica si basava su tre
prospettive culturali:
-! La tecnologia porta naturalmente alla sperimentazione ed alla eventuale accettazione di
nuovi suoni, stili e tecniche musicali.
-! In confronto ad altre forme musicali, la musica elettronica avrà successo, anche se questo
confronto non è necessario per accettare la musica elettronica come una forma musicale a
se stante.
-! Comporre e ascoltare la musica elettronica richiede nuove abilità.
L’età d’oro dei sintetizzatori (1968 - 78) offre inoltre un controllo ulteriore su: altezza, ampiezza,
inviluppo, durata e timbro. La musica elettronica permea tutta la cultura musicale e influenza il
lavoro dei compositori più sperimentali in ogni genere, dal rock al jazz al pop.
Figura 3.1. Synchronisms No. 6 di Davidovsky
Ogni compositore ha un metodo per lo sviluppo di un brano musicale e i compositori elettronici
non fanno eccezione. La musica elettronica presenta i suoi problemi specifici per il compositore.
Ancora oggi, per esempio, non esiste uno standard notazionale. La maggior parte dei lavori
elettronici non hanno una partitura. Avere una partitura sarebbe irrilevante per molti compositori,
poiché si tratta pur sempre di registrazioni su supporto fisico piuttosto che di trascrizioni che

21. 20
dovranno essere eseguite da esecutori. Tenendo in considerazione ciò è anche vero, però, che
molta importanza è stata data ai processi organizzativi relativi alla composizione. Si potrebbero
racchiudere questi metodi compositivi nelle seguenti categorie:
Montaggio sonoro: questo metodo è il più intuitivo e il meno specifico per la creazione di un
brano di musica elettronica. Il compositore lavora direttamente sul materiale sonoro e sul
concept strutturale che sarà il più generale possibile. Una rappresentazione grafica del suono è
stata creata per esempio per Poème électronique di Varèse. Potrebbe essere stata utilizzata per
aiutare il compositore ad organizzare il lavoro e fare dei macro cambiamenti all’interno del
brano. Il montaggio sonoro è l’approccio più comunemente utilizzato per comporre la musica
elettronica. Ha avuto origine grazie ai primi lavori di Pierre Schaeffer alle fine degli anni ’40.
Partitura tecnica: Una partitura specifica i parametri tecnici dei suoni. Questo tipo di approccio
dovrebbe consentire l‘esecuzione del brano a terzi. Antiphonie (1952), partitura grafica di Pierre
Henry per esempio riportava svariati dati riguardo la durata e l’inviluppo dei suoni presenti nella
composizione, con possibilità di variazioni. La dettagliate specifiche grafiche di Studie I e Studie
II non lasciavano spazio all’interpretazione, fornendo tutti i parametri necessari per ricreare il
lavoro utilizzando qualsiasi generatore di onda sinusoidale (Figura 3.1).
Elettronica e strumento: Suoni elettronici, sia pre-registrati che eseguiti dal vivo possono
essere combinati insieme a strumentisti classici. Kontakte di Stockhausen uno dei primi e più
importanti di questa categoria. Un altro esempio che combina entrambi i mondi è Synchronisms
No. 6 for Piano and Electric Sounds (1970) di Mario Davidovsky, dove le istruzioni per inizio e
fine della riproduzione del nastro magnetico sono inserite nella partitura (Figura 3.1). Il brano
Superior Seven (1988) di Robert Ashley, per flauto solo e orchestra MIDI (1988), prevede una
partitura per gli strumenti e l’interazione di uno strumentista elettronico.
Composizioni basate su istruzioni: Alcuni lavori elettronici sono realizzati seguendo una
dettagliata sequenza di istruzioni scritte che non specificano una particolare fonte sonora ma
specificano un dettagliato susseguirsi di eventi per eseguire il brano. Williams Mix di Cage, per
esempio, fornisce un elenco di istruzioni per editare ed assemblare parti di nastro magnetico.
Ogni realizzazione di questo lavoro utilizzerà le stesse caratteristiche di inviluppi e durate,
mentre le sorgenti sonore possono variare (Tom Holmes).

22. 21
Figura 3.2. Studie II di Stockhausen
3.2 Voce ed emozioni
Una parte del materiale concreto di partenza per la creazione della musica elettronica consiste
nell’utilizzo della voce umana. Ho utilizzato diverse registrazioni che sono state poi elaborate.
La voce è senza dubbio un indicatore degli stati emotivi dell’individuo. Per ogni emozione è
possibile rilevare un modello vocale significativo: sostiene Corrado Bologna che “la voce
denuncia la verità dell’anima, lascia spirare il cuore messo a nudo”. Dogana, nei suoi studi sul
linguaggio, espone un’ampia parte sulle sinestesie in cui è presente anche un’analisi del rapporto
tra suono e senso, tra qualità espressive dei suoni del linguaggio ed emozioni. Nel riportare i
risultati di una ricerca sui tratti caratteristici di questo rapporto che definisce di isomorfismo,
Dogana elenca una serie di indicatori acustico-articolatori, proposti da Trojan, che coinvolgono
per molti versi anche gli aspetti prosodici del parlato e che, per questo motivo, pensiamo possa
essere interessante menzionare:
-! 1. Pressione espiatoria e tensione della muscolatura articolatoria.
-! 2. Apertura faucale.

23. 22
-! 3. Registro.
-! 4. Nasalità.
-! 5. Quantità di fiato.
Prendiamo anche in considerazione voce disarmonica e voce armonica. Tali definizioni,
nonostante il loro riferimento esplicito alla voce, sono in qualche modo indice di una situazione
interiore di disarmonia o di armonia che si manifesta anche all’esterno e fanno pensare ad una
possibile suddivisione degli aggettivi a seconda che si riferiscano più propriamente al rapporto
con sé o alla relazione con l’altro, o ad entrambi. Se prendiamo in esame ciò che viene detto
della voce paurosa come di quella dell’ansia o dell’angoscia, notiamo che termini ricorrenti
come interna, scura, grave, opaca, pesante, manifestano una particolare sensazione del proprio
vissuto rispetto a emozioni che si vorrebbero fuggire (via da), o collegate a situazioni di ostilità.
Il rapporto con gli altri che è caratterizzato da un senso di sfiducia, di timore di essere
abbandonati, e di particolare aggressività nelle emozioni, viene esplicitato da voci spigolose,
ruvide, rigide, ecc. L’aggettivo lontana, peculiare qui dell’espressione di disprezzo e
indifferenza, rende bene l’idea della distanza che specialmente queste emozioni creano nella
relazione. Significativa sembra anche la definizione di voce chiusa, che può riferirsi sia al
rapporto con sé che con gli altri. A livello relazionale appare la voce fredda, lontana, sul piano
del rapporto con se stessi vengono ripresi il senso di chiusura citato prima, la pesantezza,
l’opacità. Tipiche di questo gruppo sono la voce lenta, la voce piccola e piatta, che possono
richiamare la scarsità di interesse e di slancio tipiche della depressione, della noia e della
tristezza.
Un accenno ai colori. Ogni cultura ha sicuramente dei modi di dire che collegano i colori alle
emozioni; pensiamo solo all’italiano “vedere rosso” quando si è sopraffatti dall’ira, “essere verdi
d’invidia”, o all’inglese “be off colour” (essere giù di tono), “feel blue” (sentirsi tristi).
E’appurato che i colori in un certo senso riflettano gli affetti: essi sono oggetto di studio per il
loro effetto su umori e stati d’animo, sono utilizzati come strumento di terapia. Anche in alcuni
test psicodiagnostici, come il Rorschach (il test delle macchie), i colori sono uno strumento di
valutazione sul modo di trattare gli affetti, gli impulsi e le azioni: ad esempio, se il soggetto
rileva solo il colore e non le forme, può essere indice di un’incapacità di controllare le proprie
emozioni o, al contrario, se è solo la forma ad essere presa in considerazione senza alcuna
attenzione al colore, questo rivela una possibile rigidità della percezione della realtà (Gabriella
Greco).

24. 23
3.3 Organizzazione strutturale
L’obbiettivo compositivo prefisso era la creazione di una composizione dinamicamente variabile
grazie all’ausilio dell’intelligenza artificiale che si avvalesse del connubio della musica
elettronica unita alla musica strumentale. Per raggiungere questo scopo sono stati composti
quattro brani volutamente “scomponibili” in organici differenti e collegabili tra loro. Ogni volta
che l’emozione corrispondente al brano è riproposta, quindi, lo stesso viene eseguito con una
differente variante strumentale ed elettronica. Particolare attenzione è stata posta nella
composizione di quest’ultima in riferimento alle combinazioni dell’organico strumentale.
Sono state composte cinque differenti versioni di musica elettronica per emozione. Questo
aspetto “modulare” è stato poi tradotto e implementato dagli ingegneri all’interno della parte
informatica sotto forma dell’albero decisionale illustrato nel capitolo 2, Figura 2.4.
Di seguito l’elenco degli organici stabiliti:
A = Elettronica
B = Piano + Percussioni + Elettronica
C = Viola + Violoncello + Percussioni + Elettronica
D = Tutti Archi + Elettronica
E = Tutti
Ogni volta che l’emozione viene selezionata, il brano è ripetuto due volte con due organici
differenti (Es. AB). Questa ripetizione costituisce un atto. La successione di quattro atti
costituisce un ciclo.
La composizione è costituita da cinque cicli più un’introduzione e una coda, le uniche due parti
ad essere prestabilite (ovvero la “radice” e la “foglia” di cui si parla nel capitolo precedente). Il
susseguirsi delle combinazioni degli organici è stato scelto in modo da creare un crescendo e un
diminuendo strumentale durante lo sviluppo dello spettacolo. Lo schema dei cicli e i movimenti
dei robot sono inseriti nella partitura. Tramite un segno di spunta all’interno delle caselle che

25. 24
costituiscono l’andamento della composizione brano per brano, gli strumentisti, sapranno quando
dovranno suonare. Lo schema prescinde dalla scelta dell’emozione e quindi del brano. Durante
lo svolgimento dello spettacolo sarà scelta una possibilità per colonna.
Di seguito una figura riassuntiva delle possibilità totali e delle combinazioni scelte per
l’organico:
I Ciclo II Ciclo III Ciclo IV Ciclo V Ciclo
Figura 3.3. Uno schema riassuntivo di tutte le possibilità di “Interactive Synesthesia”.
3.4 Esempio parti
A seguire un esempio di parte strumentale contenete schema e gesti del robot.

26. 25

27. 26

28. 27
Capitolo 4
Produzione della musica elettronica
La musica elettronica di Interactive Synesthesia racchiude sia elementi concreti che elettronici
puri. Sono state composte cinque differenti versioni per brano in relazione a gli organici scelti.
Tutto è stato elaborato digitalmente.
4.1 Materiali, tecniche e software utilizzati
Come accennato precedentemente una parte della musica elettronica è basata su materiali
concreti, editati ed elaborati. Nello specifico la parte di textures e pads utilizzate nei singoli pezzi
è basata sull’elaborazione di frasi scelte secondo i criteri illustrati nel capitolo precedente. Altri
materiali concreti utilizzati sono: legno, vetro, polistirolo e plastica. Per l’elaborazione dei
materiali sono state utilizzate diverse tecniche. Le voci sono state trattate col time stretching, un
processo audio che riguarda il cambio di velocità o della durata di un segnale audio senza che
tale effetto influenzi la sua intonazione, a volte lo troviamo sotto la dicitura "playback speed
control". In questo caso non si tratta di un vero time stretching, che invece altera sia la velocità
che l'intonazione del brano. Per questo tipo di elaborazione ho usato “PaulStretch”. Per gli altri
materiali è stata usata la sintesi granulare. Questo tipo di sintesi consiste nel creare suoni
complessi a partire da una grande quantità di suoni semplici. I grani sono di durata compresa tra
1 e 50 millisecondi e possono essere combinati e riprodotti insieme a velocità, fase e volume
variabili. Per alcuni suoni ho utilizzato AudioMulch per altri il lettore di campioni di Ableton
Live. Successivamente alcuni suoni sono stati distorti tramite l’utilizzo di plugins quali GRM
Tools e Waves per enfatizzarne le caratteristiche armoniche. Tutto il materiale concreto è stato
quindi utilizzato per create un’atmosfera indefinita, ma è stato intonato tramite pitch correction
nella tonalità del brano, è stato poi collocato nello spazio tramite l’utilizzo di effetti di ritardo,
filtri e panning.

29. 28
Figura 4.1. L’interfaccia del sample editor di Ableton Live.
Per le parti armoniche e melodiche invece sono state utilizzate oltre alla sintesi granulare, sintesi
additiva, (che consente la creazione di timbriche complesse, sommando insieme singole onde
con inviluppo a scelta) e sintesi FM (dove il timbro di una forma d'onda semplice viene
modificato modulando la sua frequenza con una frequenza di modulazione, ottenendo una forma
d'onda più complessa ed un tono con un suono differente). Per fare ciò mi sono avvalso di
sintetizzatori virtuali, nello specifico Omnisphere 2 e Alchemy, entrambi consentono sia
l’utilizzo di suoni campionati all’interno del sintetizzatore stesso, sia la creazione di suoni
puramente elettronici da zero. Montaggio, editing, missaggio e mastering sono avvenuti
all’interno di Logic Pro X. In seguito sono stati creati tutti bounces multitraccia per le alternative
e gli organici scelti. Questa parte gestionale e l’integrazione della musica elettronica nello
spettacolo sarà affrontata nel prossimo capitolo.

30. 29
4.2 Red
Red è il brano che rappresenta sentimenti come la paura, l’ansia e l’angoscia. Per raggiungere
questo risultato sonoro la base di partenza è consistita in materiali concreti che sono stati
processati attraverso diversi tipi di elaborazioni, e miscelati successivamente con suoni
sintetizzati. In principio sono state create quattro diverse fasce e droni tramite l’utilizzo del time
stretching. Ogni fascia ricopre un range frequenziale ben preciso all’interno dello spettro. Come
in un comune equalizzatore avremo: bassi, medio bassi, medio alti ed alti. In questo modo
l’entrata/uscita dei droni, che all’interno del brano hanno il compito di ricoprire il ruolo di
textures/elementi di disturbo sarà via via conseguenziale all’organico strumentale. Da un lato
andrà a sostenere l’eventuale mancanza degli strumenti che non suoneranno, dall’altra eviterà
inutili sovrapposizioni. Un’altra parte dei materiali concreti è stata processata con sintesi
granulare, fm e altri plugins come saturatori, equalizzatori e compressori ed è stata poi
posizionata nella timeline di Logic Pro X in modo da interagire ritmicamente con la parte
strumentale. Per la composizione di ogni brano sono state creati dei mockups della parte
strumentale in modo da avere un riferimento più fedele possibile al risultato finale. All’interno
del brano sono presenti anche arpeggiatori di sonorità gravi e cori sintetizzati.
4.3 Blue
Blue è il brano collegato alla tristezza, la parte del circonflesso passiva negativa. Per rendere
questo senso di freddezza e alienazione sono stati utilizzati suoni gravi e avvolgenti che
rendessero dal punto di vista sonoro l’aspetto di lontananza e solitudine, pesantezza e opacità.
Come in Red, troviamo una divisione dei registri dei droni. In questo caso però la parte alta e
molto riverberata e spostata indietro nel mix, in modo da trasmettere una sensazione
destabilizzante. Troviamo inoltre diversi suoni sintetizzati che raddoppiano l’armonia
strumentale come per esempio un coro e un synth bell anch’essi largamente riverberati.

31. 30
4.4 Yellow
Yellow è il brano rappresentativo della felicità, è collocato nella parte attiva positiva del
circonflesso. Come nei brani precedenti sono presenti delle textures che si evolvono nel tempo.
Alcuni sono sintetizzatori altri materiali concreti elaborati con time stretching e sintesi granulare.
Enfatizzare il ritmo è stato fondamentale per trasmettere una sensazione attiva. Sono stati
utilizzati diversi arpeggiatori divisi per quarti, ottavi e sedicesimi che si incastrano con la parte
percussiva della marimba e ritmica del pianoforte. Anche in questo brano l’uso di ritardi è stato
massiccio, in particolare vi sono diversi delay per strumento in modo da creare un ulteriore
varietà ritmica e sovrapposizioni ritmico melodiche.
4.5 Green
Green è il brano della serenità. Sono stati utilizzati diversi pad, alcuni sono droni altri si
mischiano con l’armonia degli archi creando variazioni ritmiche. Anche qui il mix utilizzato è di
materiali concreti elaborati con sintesi granulare, time stretching e sintetizzatori. Sono presenti
inoltre diverse parti melodiche, come ad esempio un raddoppio del glockenspiel ottenuto da un
synth bell che ne allunga il rilascio ammorbidendone un po’ il suono e diversi arpeggiatori che
intervengono quando il pianoforte viene escluso dall’organico per favorire un sostegno ritmico.

32. 31
Capitolo 5
Gestione live della musica elettronica
5.1 Ableton Live
Per la gestione della musica elettronica dal vivo la scelta è ricaduta su Ableton live, nello
specifico è stata utilizzata la session view. Dopo aver effettuato i bounces, i diversi brani in
multitraccia sono stati montati su Ableton. Data la natura non temporalmente lineare della
composizione, la session view, si è rivelata adatta a queste esigenze. Questa caratteristica di
Ableton è stata utilizzata come una matrice. Dopo avere creato tutte le alternative su Logic X,
tutti i brani sono stati raggruppati per organico. Com’è possibile notare la figura in basso
rispecchia il I ciclo dello schema (riferimento allo schema del capitolo 3, figura 3.2) e ogni scena
ha un numero identificativo univoco poiché ognuna è diversa dalla successiva. Inoltre, gli
strumentisti sono forniti di cuffia con riferimento metronomico e sonoro della musica elettronica.
Ogni atto ha la medesima durata. Nella cuffia degli strumentisti è presente una voce registrata
che li avverte della fine di ogni atto e del cambio di ogni ciclo. In questo modo si richiama
l’attenzione sul robot e sullo schema in partitura, il tutto avviene in sincronia col sistema ed è
gestito tramite Max Msp.
Figura 5.1. La schermata del progetto di Ableton live, sulla destra le scene con ID univoco.

33. 32
5.2 Max 4 Live
Uno dei motivi principali della scelta di Ableton Live è stata la possibilità di portelo affiancare a
Max 4 Live, la versione di Max Msp per Live. Esso è un linguaggio di programmazione
orientato agli oggetti che permette la creazione di strumenti ad hoc per la gestione di Live stesso.
L’API di Live, infatti, è controllabile tramite Max 4 Live grazie all’utilizzo del Live Object
Model, una classe di oggetti con rapporti gerarchici che permette una maggiore flessibilità. Live
Object Model è essenzialmente una mappa dei parametri di Live accessibili tramite Max 4 Live
che tramite l’utilizzo di oggetti dedicati consentono una profonda personalizzazione dell’utilizzo
di Live stesso.
Figura 5.2. Un esempio di percorso della Live Object Model.
La patch creata per la gestione della musica elettronica è concepita per funzionare come un
meccanismo automatizzato su base temporale. E’ suddivisa in moduli e potremmo paragonarla a
un lontano pronipote digitale dei meccanismi che governavano i primi automi di cui si parla nel
capitolo 1. Nel corso delle prossime pagine entrerò nel dettaglio dei moduli e ne illustrerò il
funzionamento.

34. 33
Figura 5.3. La patch di Max Msp in edit mode.
Come anticipato precedentemente le connessioni tra server e musica elettronica avvengono
tramite ethernet. La patch in questo modo è in grado di scambiare dati con l’intelligenza
artificiale attraverso l’oggetto mxj.net.udp. I dati in questione sono semplici numeri
corrispondenti agli ID delle varie scene di Live. Nel momento in cui viene avviato il sistema, il
robot farà la sua presentazione. Successivamente l’intelligenza artificiale manderà il numero “0”
ovvero lo start della musica che avvierà in contemporanea la scena 0 di Ableton (la “radice” e la
“foglia”) e diversi timer interni ottenuti tramite l’oggetto metro che gestisce la riproduzione a un
intervallo stabilito di tempo di tutti gli atti successivi. La scena 0 contiene l’introduzione e la fine
della composizione. Essa è un drone asettico il cui unico scopo è quello di sancire l’inizio e la
fine dello spettacolo e dare il tempo al pubblico di poter esprimere la propria preferenza per
l’atto successivo. Il resto della selezione dei brani è basato sulle interazioni dei moduli o
subpatches presenti.
Figura 5.4. L’interfaccia grafica della patch con una simulazione dello spettacolo.

35. 34
Nel momento in cui mxj.net.udp riceverà un numero da 1 a 80 l’ID passerà all’interno di
p_sel_ethernet, verrà selezionato il toggle univoco collegato all’ID e l’informazione sarà passata
al p_choiceselector e successivamente all’oggetto gate che custodirà l’informazione fino all’atto
successivo.
Figura 5.5. Gli oggetti all’interno di p_launcherableton utilizzati per lanciare le scene.
Il timer farà partire la clip al momento giusto trasferendo l’informazione a p_launcherableton
(Figura 5.5) che contiene tutti gli oggetti costruiti sfruttando il Live Object Model. Per capire
fino in fondo il funzionamento di questo meccanismo bisogna immaginare che tutti gli oggetti
con lo stesso ID all’interno delle diverse subpatches siano collegati da un unico filo conduttore.
(Il passaggio del toggle è superfluo per il sistema, ma questa impostazione della patch mi ha
permesso di creare un’interfaccia che mi consentisse di gestire le selezioni manualmente in
modo da simulare il sistema durante le prove con gli strumentisti). Come anticipato, all’interno
di p_intro esistono diversi timer. Abbiamo quello principale settato sulla durata esatta di ogni
atto che gestisce il lancio delle clip che vengono selezionate dall’intelligenza artificiale. Altri due
che attivano e disattivano una mandata con riverbero utilizzata da ogni traccia, esattamente
cinque secondi prima della fine di un atto e cinque secondi dopo in modo da favorire una
transizione tra le scene più fluida possibile. L’ultimo timer, è stato creato per evitare problemi di
latenza tra musica elettronica e server. Esso è settato per posticipare di qualche secondo la voce
registrata che avverte gli strumentisti del cambio emozione e inoltra al server a intervalli di
tempi regolare il comando per far muovere il robot.

36. 35
Bibliografia
Riskin Jessica. Frolicsome Engines: The Long Prehistory of Artificial
Intelligence, 2016. University Of Chicago Press.
Giovanni Fontana. The Devil as Automaton: Giovanni Fontana and the
Meanings of a Fifteenth-Century Machine. University of Chicago Press.
Jennifer Walls. Captivating Respiration: the “Breathing Napoleon.
diseasesofmodernlife.org
John P. Cater. Electronically Speaking: Computer Speech Generation.
Sams Publishing.
Solis Jorge, Ng Kia. Musical Robots and Interactive Multimodal
Systems. Springer-Verlag.
Antonio Chella. I Robot Musicali.
Tom Holmes. Electronic and Experimental Music. Routledge.
Gabriella Greco – PHONE’. Tesi di musicoterapia.

37. 36