fred voisin

(smart (music (engines)))

La musique de Last Manoeuvres in the Dark

20 mars 2009

Last manoeuvres in the Dark (LMD) est une installation « 300 masques de terre cuite et intelligence artificielle » de Fabien Giraud et Raphaël Siboni présentée lors de l’exposition SUPERDOME du 29 mai au 24 août 2008 au Centre d’Art du Palais de Tokyo.

Introduction

Au début de l’année 2008, Robin Meier et moi-même avons créé un système musical capable d’apprendre un répertoire constitué d’un millier de fragments musicaux de diverses origines, depuis le Requiem de Fauré au genre « techno hardcore », afin de générer de manière autonome « le tube le plus obscur de tous les temps ».
Ce système musical est constitué d’une groupe - un orchestre - constituée de 300 microprocesseurs, et autant d’agents, émulant des comportements naturels : doté d’un réseau de neurones artificiels chaque agent est capable d’interagir avec les agents voisins, d’apprendre depuis une base de données musicale et de générer, par incidence et de manière immédiate, un matériau musical original : sans intervention humaine, cette communauté d’agents évolue continument dans un style de musique pop-rock « gothique », en contrôlant différents synthétiseurs audio-numériques.
Le réalisation de ce système original relève de différents domaines de recherche, concernant notamment l’étude des structures temporelles a court-terme et l’analyse musicale (représentations, analyse harmonique, analyse stylistique...). Ici, ces aspects analytiques ont été automatisés et intégrés au sein d’un système informatique autonome fonctionnant, en public, pendant plusieurs mois.

Structures mélodiques

L’un des principes essentiels de ce système musical automatique repose sur la manipulation des structures musicales à court-terme que nous réalisée à l’aide d’architectures neuronales bien connues que nous avons adaptées, notamment les cartes auto-organisatrices (SOM, ROSOM), elles-mêmes inspirées des cartes topologiques du cerveau et de systèmes d’oscillateurs couplés souvent observés dans la nature, tels que les cellules du coeur, les oscillations neuronales, communautés de lucioles...).
Adaptés à nos besoins, de tels réseaux neuronaux artificiels étaient capables de générer des variations continues inspirées des thèmes musicaux préalablement choisis. Ces variations pouvaient être influencées par l’ajout de nouveaux fragments musicaux qui étendaient ainsi la « connaissance » et, par conséquent, l’activité musicale du système, et la richesse des séquences ainsi générées.
D’autres paramètres tels que, notamment, l’activité et le choix des agents voisins, leurs taux d’apprentissage, leur sensibilité aux aspects cycliques où mélodiques, étaient à même d’influencer la production musicale du système.

Représentations musicales

Il existe diverses manières de représenter la musique au moyen des technologies numériques, comme signal acoustique (par exemple, les fichiers mp3, wav, etc.) ou de représentations symboliques (les fichiers MIDI, Music XML, etc.). Aspect particulièrement critique pour la production du système, la représentation de l’information musicale défini le mode selon lequel s’effectue la « perception » des agents et, par incidence, la nature des paramètres qui seront pris en compte, évalués et rendus. Pour LMD, en choisissant une approche symbolique plutôt que spectrale fondée sur le signal acoustique, nous avons consciemment écarté l’information concernant le timbre et la sonorité des thèmes musicaux choisis, retenant seulement hauteurs, durées et l’intensité des notes de musique, nous laissant ainsi la liberté de déterminer nous-mêmes les timbres et instruments utilisés pour le rendu, au moyen d’un ensemble de synthétiseurs réalisé en collaboration avec Olivier Pasquet.
<i>Last Manoeuvres in the Dark</i>, 2008
Ainsi, dès lors que la structure des vecteurs est définie de manière pertinente, l’ensemble des fragments musicaux choisis constituait le corpus d’apprentissage - le répertoire ou base de « connaissance » - à partir duquel le système pouvait apprendre et imiter : cette base définissait entièrement le style musical de toute la production du système (pour une liste des titres choisis pour cette base de données, cf. infra).

Analyse harmonic et rythmic

Pour LMD, nous avons choisi de répartir les agents générateurs en six groupes - pupitres - correspondants au fonctions des musiciens dans une formation traditionnelle « pop-rock » : soliste (« lead », généralement chant), basse, 1er accompagnement (en général : guitare), 2nd accompagnement (deuxième guitare, clavier ou cuivres), ambiance (synthés) et percussions. Chacun de ces groupes pouvaient apprendre et générer à la volée les structires musicales propres à leur fonction. Il était alors stratégique - tel était notre pari pour la bonne conduite de cette expérience - que chacune des parties ainsi réalisées par les différents agents soient cohérentes tant rythmiquement qu’harmoniquement.
Pour ce faire, nous avons fait appel, là encore, aux propriétés d’une vaste carte auto-organisatrice SOM qui nous a permis d’organiser et de catégoriser de manière automatique les centaines de fragments préalablement encodés sur un espace à deux dimensions (correspondant au plan constitué par les neurones formels).

Une fois cette carte établie, nous pouvions choisir au hasard et de manière automatique un fragment quelconque, une partie de basse par exemple, et trouver dans le voisinage sur cette carte des fragments musicaux « similaires » en quelque aspect dû à la catégorisation automatique, correspondant aux autres parties (chant, guitares, claviers, percussions...).
Par ailleurs, en élargissant le rayon du voisinage dans lequel les nouveaux fragments pouvaient être choisis pour l’apprentissage et le jeu des agents, nous pouvions graduellement ajuster le degré de liberté « tonale » ou rythmique de l’ensemble rendu par les différents agents, allant ainsi d’un style plutôt homophone à un style dodécaphonique ou complètement libre...

Bien que cette méthode repose sur les proximités topologiques plutôt que sur des similarités harmoniques, elle est particulièrement flexible et pertinente dans notre cas dans la mesure où elle s’applique, de manière holistique, à l’ensemble de l’information préalablement encodée - tant explicitement qu’implicitement - pour chacun des fragments du répertoire (structure rythmique, structure harmonique, densité, registres, etc.) : la topologie « neuronale » reflétant l’apprentissage d’un SOM constitue l’espace symbolique structuré dans lequel évoluaient les agents pour leur propre production, en relation aux autres agents.

Vocabulaire de l’obscur

Si le style musical généré et sa variété est principalement déterminé par le répertoire choisi pour l’apprentissage du système génératif, les sonorités rendues par les synthétiseurs et les effets sonores jouent aussi un rôle prépondérant. En collaboration avec des musiciens de la scène électronique française, Franck Rivoire - DANGER (Ekleroshock records) et Klement (Contre Coeur records), nous avons cherché et réalisé des sonorités électroniques « sataniques », sombres et saturées tout en essayant de formaliser leurs techniques personnelles et intuitives de mixage (effets de filtres, compresseurs, réverbérations, etc.) lors de séances de travail spécialement dédiées à ces aspects musicaux particuliers au rendu sonore.
Durant ces sessions, nous enregistrions non seulement le mixage sonore réalisé par ces musiciens, mais aussi et surtout l’ensemble des paramètres de contrôle des synthétiseurs et des effets mis à disposition. De plus, les valeurs de paramètres enregistrés étaient accompagnés de leurs propres commentaires stylistiques et de leurs évaluations quantifiées quant à la noirceur du rendu effectué.
Bien que l’aboutissement de cette recherche sur les techniques de mixage dépassait le temps imparti pour la réalisation de LMD, nous avons pu intégrer au système une sélection des techniques utilisées pour le control du rendu sonore de la production des agents neuronaux.
Ainsi, pour LMD, nous avons choisi la forme d’un « mix » évoluant selon une période pouvant s’étendre à quarante minutes, commençant dans un style « ambient » dominé par de longues et lentes phrases de basse et de percussions intermittentes plongées dans différents effets de réverbération. Ce mix allait ensuite en se densifiant avec des lignes mélodiques émergent progressivement sur des motifs variés pour atteindre progressivement une alternance de type couplet-refrain où les périodes, de plus en plus courtes aboutissaient à des sons de plus en plus saturés qui pouvaient donner place, enfin, à une nouvelle texture annonçant le cycle suivant.

Principe général


Les segments musicaux et les données de mixage constituant le corpus d’apprentissage ont été selectionnés, segmentés et formatés à l’aide de scripts shell (UNIX) et de programmes common-lisp. La grappe de processeurs est constituée de 300 ordinateurs embarqués (Calao Systems), processeur ARM (Atmel) et une mémoire (RAM) de 256Mb chacun. Chaque unité fonctionne à l’aide d’un système GNU-Linux (Uclibc) qui exécute des scripts shell instanciant un agent neuronal écrit en langage C (Java pour les tests). Des scripts en langage Python assurent
la communication entre les agents et l’ensemble du système au moyen du protocole TCP/IP, en UDP. Par ailleurs, un serveur GNU-Linux (Debian) contrôle, au moyen du logiciel PureData, l’ensemble des agents et le routage de leus activations neuronales vers la synthèse audio, celle-ci étant réalisée dans MaxMSP (Cycling’74) au moyen d’un greffon (plug-in) VST Reaktor
(Native Instrument) sur un ordinateur Apple Max OS X (Intel DualCore), avec une diffusion sur 6 canaux (Meyer Sound).
Des enregistrements témoins ont été réalisés sur un serveur GNU-Linux dédié à l’aide de PureData et la maintenance locale ou distante à travers un troisième serveur GNU-Linux.
L’ensemble du code original a été écrit par Frédéric Voisin and Robin Meier en Lisp, Python, Korn-shell, PureData, MaxMSP. Des adaptations en C en Java pour les plateformes Uclibc
et MaxMSP réalisées par John Mac Callum. L’ensemble du code développé est destiné à être dans le domaine public et explicité au cours des futures publications des auteurs.

Extrait de la liste des artistes constituant le répertoire d’apprentissage

Alisée,
Alphaville,
Bauhaus,
Beastie Boys,
Black Sabbath,
Blondie,
Carpenter,
The Cure,
Daftpunk,
David Bowie,
Depeche Mode,
The Doors,
Eurythmics,
Indochine,
Ironmaiden,
Jean-Michel Jarre,
Kraftwerk,
Linkin Park,
Madonna,
Metallica,
Nine Inch Nails,
Pink Floyd,
PJ Harvey,
Tangerinedream, ...

Mentions

Musique, conception et réalisation du système « IA » :

Robin Meier (http://robin.meier.free.fr)
Frédéric Voisin (http://fredvoisin.com)

Last Manoeuvres in the Dark

Fabien Giraud
Raphael Siboni (http://raphaelsiboni.com)

Développement

John Mac Callum

Synthesiseurs

Olivier Pasquet (http://opasquet.net)

Mixers

DANGER (Ekleroshock) (http://www.myspace.com/2emedanger)
Klement (Contre Coeur) (http://www.myspace.com/klement666)


Cet article est une traduction de (Robin Meier & Frédéric Voisin) :

PDF - 2.4 Mo
Music for Last Manœuvres in the Dark
(pdf)

A propos

Last Manoeuvres in the Dark
On Analytical vs. Schizophrenic Procedures for Computing Music