Projet « Brain Music » : immersion dans la musique
POLYTECH NANTES INFOS
N°14 - JUIN 2013
N°14 - JUIN 2013
Les étudiants de 5e année de Polytech Nantes mènent un projet de fin d'études lors du semestre précédant leur stage final. Entre septembre 2012 et janvier 2013, Pablo Arias Sarah et Tom Donon, étudiants du département Electronique et Technologies Numériques (ETN) ont ainsi réalisé un projet mêlant création musicale et interfaces homme machine proposé et supervisé par le professeur Patrick Le Callet, enseignant ETN mais aussi responsable de l'équipe IVC de l'IRCCyN.
Lors de la phase d'intégration, le binôme a également pu bénéficier du support du laboratoire IRCCyN notamment de Romuald Pépion, ingénieur de recherche et Matthieu Perreira chercheur sur les interactions multimodales. L'objectif était de créer de la musique en lien avec les émotions à partir d'un casque électroencéphalographe « grand public » mesurant non seulement l'activité électrique du cerveau mais aussi quelques mouvements du visage.
Après une phase d'études bibliographiques complétée par une journée sur les interfaces neuronales au Stéréolux de Nantes, les deux étudiants ont identifié une solution originale. Pablo Arias commente : « Beaucoup de projets ont été réalisés dans le même esprit. Ils traitent de la modélisation en temps réel et de musique mais le résultat ne sonne pas toujours très bien». Ils ont alors défini un système proposant de nouvelles modalités d'interaction afin de générer des atmosphères musicales cohérentes.
Ingénieurs mais aussi musiciens, ils ont d'abord composé une librairie de phrases musicales, reflétant plusieurs émotions et combinables entre elles avec une harmonie continue. Les mouvements du visage commandent le changement de phrase. L'activité électrique du cerveau, reflétant les émotions de l'utilisateur, pilote non seulement le choix de phrases mais aussi la modulation d'effets appliquée sur toutes les phrases en cours de lecture. Le résultat est un tout nouveau type d'immersion et d'interaction musicale « BRAIN MUSIC ».
C'est une véritable innovation dans l'approche de la musique autant pour les utilisateurs que pour les compositeurs. Chaque écoute devient une expérience unique initiant une nouvelle forme d'interaction entre créateur et utilisateur au travers du ressenti immédiat.
Pascal Chargé, Directeur du département ETN, commente : « Le projet technique du semestre 9 de la formation ETN a pour objectif de révéler les capacités d'innovation des élèves ingénieurs. Il s'agit aussi de mettre en œuvre les technologies les plus récentes du domaine. Les sujets traités sont en général proposés par les laboratoires de recherche supports de l'Ecole thématiquement liés à ETN : IETR, IMN et IRCCyN. Le projet "Brain Music" est en ce sens une illustration exemplaire des compétences et de la créativité de nos élèves ingénieurs ; il démontre aussi l'importance et le rôle des laboratoires de recherche dans la formation des ingénieurs».
Lors de la phase d'intégration, le binôme a également pu bénéficier du support du laboratoire IRCCyN notamment de Romuald Pépion, ingénieur de recherche et Matthieu Perreira chercheur sur les interactions multimodales. L'objectif était de créer de la musique en lien avec les émotions à partir d'un casque électroencéphalographe « grand public » mesurant non seulement l'activité électrique du cerveau mais aussi quelques mouvements du visage.
Après une phase d'études bibliographiques complétée par une journée sur les interfaces neuronales au Stéréolux de Nantes, les deux étudiants ont identifié une solution originale. Pablo Arias commente : « Beaucoup de projets ont été réalisés dans le même esprit. Ils traitent de la modélisation en temps réel et de musique mais le résultat ne sonne pas toujours très bien». Ils ont alors défini un système proposant de nouvelles modalités d'interaction afin de générer des atmosphères musicales cohérentes.
Ingénieurs mais aussi musiciens, ils ont d'abord composé une librairie de phrases musicales, reflétant plusieurs émotions et combinables entre elles avec une harmonie continue. Les mouvements du visage commandent le changement de phrase. L'activité électrique du cerveau, reflétant les émotions de l'utilisateur, pilote non seulement le choix de phrases mais aussi la modulation d'effets appliquée sur toutes les phrases en cours de lecture. Le résultat est un tout nouveau type d'immersion et d'interaction musicale « BRAIN MUSIC ».
C'est une véritable innovation dans l'approche de la musique autant pour les utilisateurs que pour les compositeurs. Chaque écoute devient une expérience unique initiant une nouvelle forme d'interaction entre créateur et utilisateur au travers du ressenti immédiat.
Pascal Chargé, Directeur du département ETN, commente : « Le projet technique du semestre 9 de la formation ETN a pour objectif de révéler les capacités d'innovation des élèves ingénieurs. Il s'agit aussi de mettre en œuvre les technologies les plus récentes du domaine. Les sujets traités sont en général proposés par les laboratoires de recherche supports de l'Ecole thématiquement liés à ETN : IETR, IMN et IRCCyN. Le projet "Brain Music" est en ce sens une illustration exemplaire des compétences et de la créativité de nos élèves ingénieurs ; il démontre aussi l'importance et le rôle des laboratoires de recherche dans la formation des ingénieurs».
Page Soundcloud de Pablo Arias Sarah, étudiant 5e année ETN
Lettre d'informations n°14
- Retour aux articles
Mis à jour le 18 juin 2013.