L’intelligence artificielle (IA) dans le studio de production audio (1/6)

plugin audio IA intelligent

Qu'est-ce que la technologie IA dans les outils de production audio?

L’intelligence artificielle (IA ou AI en anglais) n’est plus une caractéristique spéculative de la science-fiction. Elle a un effet transformateur sur une vaste gamme d’industries* et l’audio ne fait pas exception.

* Selon une étude (Source: Mckinsey Global Institute), l’IA devrait générer 13 billions (mille milliards!) de dollars supplémentaires de revenus d’ici 2030.

Cette technologie révolutionnaire devrait créer 58 millions de nouveaux emplois d’ici 2022 (dont la grande majorité sont des emplois que l’on ne connaît pas à l’heure actuelle)

(Source: https://www.forbes.com/sites/amitchowdhry/2018/09/18/artificial-intelligence-to-create-58-million-new-jobs-by-2022-says-report/?sh=3f393ff74d4b)

J’ai repéré trois grands domaines de l’audio où l’IA s’est bien implantée et fait déjà ses preuves:

1) L’IA au service de l’écoute personnalisée

Cela inclut tout le domaine de la reconnaissance musicale et la recommandation personnelle (Smart Speaker, Droits d’auteur, MIR: Music Information Retrieval…) en plein boom sous l’impulsion des diverses plateformes de streaming.

C’est aussi le domaine de la synthèse vocale (TTS: Text To Speech recognition) et du traitement de la parole, de dialecte ou de langue.

Et enfin, cela inclut aussi le choix individuel d’un mode d’écoute au casque (émulation de sources ou d’espaces réels et spatialisation 3D).

2) L’IA comme assistant de composition et de sound design

On retrouve ici tout ce qui concerne les services ou outils de génération de musique automatique (Generative Music).

Cela concerne aussi tous les nouveaux plugins d’assistance au Beatmaking (Beats machine, Générateur automatique de pattern MIDI, d’accords dans la tonalité…), à la synthèse sonore et au son à l’image.

3) L’IA comme assistant en post-production audio

On y retrouve tous ces nouveaux plugins « intelligents » dans le mixage assisté, ainsi que dans la réparation, nettoyage et séparation des sources audio.

Mais aussi et enfin, cela concerne tous les services en ligne de Mastering assisté.

Sommaire de la série d'articles à venir

Ce qui suit dans cette série de 6 articles ne concerne que le point n°3 (je me restreint à ce thème pour ne pas faire trop long, peut être que d’autres articles suivront).

A travers un tour d’horizon des outils audio actuels et en développement, ce dossier en six parties s’attache à montrer l’impact et le rôle de l’IA dans le studio de production audio:

  1. Dans cet article, j’illustre ce que représente la technologie à intelligence artificielle et montre notamment en quoi elle diffère d’un algorithme classique.
  2. Le prochain article traitera des services en ligne en Mastering audio qui est le domaine où l’IA a d’abord fait ses preuves;
  3. Le troisième article commence un état des lieux des logiciels ou plugins audio innovants sortis ces dernières années. J’aborde d’abord l’exemple de ces nouveaux « EQ intelligents » qui n’intègrent pas forcément encore de l’intelligence artificielle mais en prennent le chemin et la philosophie;
  4. La quatrième partie fera un tour d’horizon des bundles de plugins intégrant de l’IA pour le mixage et le mastering assisté, comme par exemple ceux d’iZotope ou les Smart de Sonible;
  5. La cinquième partie traitera d’un domaine particulièrement propice à l’utilisation de l’IA en post-production audio: la restauration sonore, la réduction de bruit et la séparation des sources audio.
  6. Enfin, dans le dernier article, je conclue le dossier en m’interrogeant sur l’impact de l’IA sur les métiers de la production audio et musicale, et comment je vois le secteur évoluer à plus long terme.

Mais d’abord, pour bien comprendre la tendance présente et à venir, intéressons-nous à définir exactement ce qu’est une IA et son rôle dans nos outils numériques de production musicale (logiciels MAO, plugins, …).

L’intégration progressive de l’IA dans nos outils audio contribue grandement à faciliter le travail du producteur/ingénieur du son. C’est du moins un objectif clair de remplacer les tâches ennuyeuses et répétitives par un logiciel qui ferait tout le « sale boulot » à la place de l’homme. Comme un assistant dévoué sur des tâches qui peuvent être automatisées.

Néanmoins l’évolution du studio de production jusqu’à l’ère du numérique montre déjà cette tendance:

De l’automatisation mécanique des tâches à l’arrivée du numérique

Mis à part l’évolution de la qualité sonore, beaucoup d’innovations majeures ont eu aussi pour but de faciliter le travail d’enregistrement et de traitement audio.

Si on remonte aux années 50-60, l’équilibrage des différentes sources sonores devait se faire dès la prise de son!

Il faut attendre les années 70 pour que le métier d’ingénieur de mixage devienne un nouveau concept.

Ceci sera facilité dans les années 80 par l’intégration d’outils de traitement audio (dynamique dédiée compresseur/expandeur/gate + EQ full paramétrique) sur chaque tranche d’une console analogique.

des consoles analogiques à l'IA

La fonction « Total Recall » Automation sur les consoles SSL est une véritable révolution. On est désormais capables de sauver et restituer entièrement un mixage, autant par ses réglages fixes que par ses évolutions en cours de morceau!

Les faders motorisés deviendront un élément central de l’enregistrement musical, permettant aux réglages d’égalisation et aux positions des faders d’être chargés dans un système ou un ordinateur directement connecté à la station de travail audio de mixage et appelés plus tard sur la ligne lorsque cela est nécessaire.

faders motorisés

Les consoles de plus en plus riches en fonctionnalités ont permis aux producteurs d’explorer de nouvelles techniques créatives et de donner naissance à des productions toujours plus modernes et sophistiquées.

A la fin des années 90’s, le DAW (Digital Audio Workstation), devient le centre névralgique numérique du studio. Le nombre de pistes et de traitements illimités permet alors à l’ingénieur de mix de prendre de plus en plus de pouvoir et agir directement sur la performance de l’artiste.

Modern studio with central DAW

Puis les années 2000 et 2010 verront la tendance croissante à réduire les machines au simple ordinateur. L’ère du home-studio, du « mix in the box » et de la démocratisation des outils à tout un chacun interroge déjà sur le véritable rôle de l’ingénieur du son aujourd’hui.

En quoi l’IA diffère-t’elle d’un simple algorithme: l’exemple du compresseur de la dynamique

Si on prend l’exemple du compresseur, son invention a d’abord permis l’automatisation mécanique pour le contrôle des volumes.

Avec cet outil, l’ingénieur du son n’avait plus besoin de suivre et régler manuellement le volume d’une source audio à la dynamique trop changeante.

Depuis, l’évolution du compresseur en plugin numérique lui permet d’être un outil omniprésent et démocratisé dans le traitement de la dynamique, de l’enregistrement jusqu’au mastering audio.

Pourtant, encore aujourd’hui, son utilisation reste complexe et largement incomprise par tout amateur ou novice des traitements audio.

compression dynamique du son (plugins Waves audio)

Par exemple, lorsque nous utilisons un plug-in de compression pour traiter un enregistrement vocal, le plug-in répond à nos réglages et à la dynamique du matériau de manière prévisible. Cela peut être très utile, mais son efficacité dépend entièrement de la façon dont nous configurons les paramètres de compression et notre capacité à écouter finement les différences.

Un enregistrement vocal différent peut nécessiter un ratio de compression différent, voire une chaîne de traitement complètement différente. Au-delà des presets fournis que nous pouvons essayer, les plugins conventionnels ne peuvent pas nous aider à prendre cette décision. Au lieu de cela, nous nous appuyons sur nos propres expériences passées et nos compétences acquises pour décider des paramètres du nouvel enregistrement vocal.

Là où l’intelligence artificielle intervient c’est qu’elle va supprimer le besoin d’un individu, ou plutôt, le besoin d’un cerveau humain à acquérir cette expérience.

Potentiellement, un algorithme de compresseur IA pourrait analyser la performance d’un chanteur particulier, la comparer avec une bibliothèque d’autres performances et générer des paramètres de compression appropriés.

schéma IA

Un logiciel IA pourrait émuler ces compétences cognitives. Plutôt que d’offrir simplement un réglage nécessitant des compétences, un compresseur basé sur l’IA pourrait déterminer par lui-même quel pourrait être le meilleur réglage. Grâce à l’analyse d’un grand nombre d’enregistrements vocaux existants, le logiciel construirait un modèle mathématique de ce à quoi ressemble une « bonne compression vocale ». Il appliquerait ce modèle à de nouveaux enregistrements en les comparant aux modèles de réglages qu’il a appris, sur la base de sa propre expérience acquise, plutôt que de la nôtre.

Par exemple, un musicien n’ayant pas les compétences nécessaires pour mixer une chanson pourrait compter sur un mixage assisté par l’IA; plutôt que d’avoir à apprendre à utiliser les commandes de compresseur telles que le ratio, le seuil, l’attack et le release, il pourrait simplement dire qu’il veut les voix plus fortes et plus consistantes, ou que la guitare doit être plus proéminente que le piano.

La technologie IA dans les studios aujourd’hui

Le contrôle de la plage dynamique et l’utilisation de compresseurs est une modeste illustration théorique, dans une certaine mesure, de ce que peut apporter l’intelligence artificielle.

Car pour que des algorithmes fassent le travail à notre place, l’IA est basée sur l’analyse de données, le Big Data. On entendra souvent les termes de « Machine learning » ou « Deep learning » et on parlera d’architectures de code DNN (Deep Neural Networks) ou encore C/RNN (Convolutional / Recurrent Neural Networks).

IA Machine et Deep learning

Ces concepts informatiques sont également applicables à de nombreux autres scénarios de production musicale et pourraient profondément changer la façon dont nous produisons de la musique.

En fait, l’IA a déjà un impact significatif dans des domaines tels que le mastering et la composition. A mesure que l’assistance IA prend de l’ampleur, les créateurs et les machines continuent de s’entremêler de plus en plus, les flux de travail créatifs prenant de nouvelles formes.

Dès lors, cela nous amène à s’interroger sur l’avenir du métier de producteur/ingénieur du son.

  • Comment la technologie IA l’impacte t’elle et comment est-elle susceptible de se développer à plus long terme?
  • Nos chers DAW vont-ils tomber en désuétude? Sont-ils déjà has been?
  • Quel avenir pour les métiers de la production musicale, à la fois sur le plan technique et créatif?

Rendez-vous la semaine pour la suite 😉

Catégories
Bienvenue sur Arsonor!

Tu cherches à maîtriser les outils modernes de la production musicale, traiter ton son comme il le mérite, en finir avec les blocages et finaliser tes morceaux une bonne fois pour toute?

Tu es au bon endroit! Je m’appelle Martin, et je partage avec toi toutes mes connaissances et expérience en ingénierie du son.

De nos jours, il est possible de faire (presque) tout depuis chez soi! Avec les bonnes connaissances, de l’abnégation et de la passion, je suis convaincu que la création musicale est accessible à tous. Je suis prêt à partager ici avec le plus de pédagogie possible, tous les conseils et astuces qui te seront d’une aide précieuse pour arriver à tes fins.

Partager l'article:
  •  
  •  
  •  

0 Replies to “L’intelligence artificielle (IA) dans le studio de production audio (1/6)”

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée.