Imitation du chant du Pouillot Fitis par un réseau de neurones ROSOM

A l’occasion du projet Amplification / Synaptique, réalisé en collaboration avec Jean-Luc Hervé, j’ai eu l’occasion d’expérimenter l’apprentissage, par un réseau de 300 neurones ROSOM (Recurrent Oscillatory Self-Organizing Map), de différents chants d’oiseaux habitant le Diois.
Pour la deuxième partie de ce concert électroacoustique, diffusé au moyen de huit haut-parleurs camouflés, en plein air, à flanc de montagne et face au massif du Vercors, j’ai proposé une mise en scène de ces séances d’apprentissage, réalisées sur un unique ordinateur portable lors d’une résidence à St-Pierre, dans la Drôme, non loin du fabricant artisanal d’appeaux Quelle est Belle Company (le concert a été produit par lux, Scène Nationale de Valence et Musiques Inventives d’Annecy, remerciements chaleureux à Marie et Philippe Bissières).
La résolution temporelle du chant des oiseaux est bien supérieure que celle de l’audition humaine ; de même leur analyse, apprentissage et resynthèse requièrent une grande définition temporelle, dépassant, en 2008, les capacités de calcul de l’ordinateur : le calcul de l’apprentissage a été effectué en temps différé et à vitesse ralentie de moitié au moins.
Les sonagrammes et les exemples sonores suivant montrent différentes étapes de l’apprentissage du chant du Pouillot Fitis (Phylloscopus trochilus) par ce petit ROSOM.
L’analyse acoustique des chants a été réalisée dans le logiciel MaxMSP, v. 4.6 (Cycling.74) à l’aide de l’algorithme « fiddle  » (Miller Puckette, UCSD), avec une FFT de 512 échantillons.
Le prototype de ROSOM, exécuté dans MaxMSP, a été développé en collaboration avec Robin Meier et John McMac Callum (CNMAT) en langage java.
La resynthèse audio est effectuée également dans MaxMSP au moyen d’un seul oscillateur sinusoïdal modulé en fréquence et en amplitude par les activations neuronales du ROSOM.
L’ensemble a été réalisé sur un ordinateur Apple Powerbook (IBM PPC 1 GHz).

Extrait du chant d’un Pouillot Fitis (3 strophes) : on notera, au delà de leur profil mélodique général, la variabilité tant en durée qu’en hauteur, des strophes originales qui doivent être apprises par le ROSOM :

Extrait de la fin de l’apprentissage du ROSOM

apprentissage du ROSOM (suite)

Cette première expérimentation - dont la finalité était ici essentiellement artistique - laisse par ailleurs entrevoir la possibilité d’une étude systématique - scientifique - des productions vocales du Pouillot Fitis au moyen de réseau de neurones artificiels, selon une méthode expérimentale combinant celles de la psycho-acoustique et de l’éthologie...

A propos de Amplification / Synaptique