Neurojackson (ROSOM)

La transcription d’un fichier MIDI d’une ligne de basse d’une chanson bien connue de Michael Jackson, réencodée de manière « had-hoc », est “apprise” par un réseau neuronal de type ROSOM (Recurrent Oscillatory Self-Organising Map).

Dans cet extrait vidéo, filmé à la fin de l’apprentissage, chaque petit carré représente l’activation d’un neurone formel, le réseau, lui-même carré, étant constitué de 10 x 10 neurones. L’activation du réseau, jouant ici de manière autonome (le réseau ROSOM est ici en mode « recall »), est directement convertie (décodée) en notes envoyées à un simple synthétiseur MIDI (SimpleSynth).

L’intensité du noir est proportionnel au taux d’activation des neurones : plus un carré est noir, plus l’activité du neurone qu’il représente est forte ; on peut y observer un parcours quasi-circulaire des neurones les plus actifs, indiquant un apprentissage plus ou moins bien intégré, comme on peut l’entendre et le voir ici...

Le réseau de neurones se comporte comme un système dynamique complexe.
L’étude et la maîtrise de l’évolution de l’activation des neurones dans le temps, au fur et à mesure de l’apprentissage nous permet d’apprendre le comportement d’une mémoire à structure connexionniste ; elle permet aussi, mise en relation avec les fragments musicaux, de mettre en évidence des relations internes à la musique et permet d’effectuer, d’une certaine manière, une analyse musicale au moyen d’une sorte de “scanner” neuronal.

Ce réseau neuronal a été implémenté en Java, dans MaxMSP, sur un ordinateur Apple « Powerbook G4 », OSX, processeur IBM PPC 1 GHz.
Le code Java a été développé par John Mac Callum, d’après les indications de Robin Meier et de moi-même, pour le projet Last Manoeuvres in The Dark.