Table des matières
On continue notre exploration de l’apport de l’IA dans le studio de post-production audio. Cette fois, je m’intéresse à l’IA intégrée au sein même d’un logiciel audio ou plug-in de mixage et/ou mastering.
On va voir que de plus en plus de plug-ins audio modernes font appel à la technologie de « machine/deep learning » afin de se comporter comme un véritable assistant. Cet « assistant virtuel » est alors capable de nous suggérer des réglages appropriés ou alors de résoudre facilement des tâches correctives et répétitives de manière beaucoup plus rapide et précise qu’un humain.
L’IA dans les logiciels d’assistance en mixage et mastering audio
A peu près à la même époque où Landr débarquait sur le marché avec son service de mastering en ligne, c’est iZotope qui fit aussi parler de lui avec la sortie de Neutron: une suite de plug-ins de mixage audio « tout-en-un » intégrant la technologie IA. On peut utiliser les divers outils de mixage proposés de manière classique (EQ, Compresseur, …), sauf qu’on a en plus la possibilité de faire appel à un « assistant virtuel ».
La compagnie iZotope est alors déjà surtout connue pour ses applications « standalone » et plug-ins « tout-en-un »: Ozone pour le Mastering et RX pour la réparation audio (voir ci-après). Neutron venait donc compléter le panel dans le domaine du mixage audio. Et par la même, iZotope devenait l’un des pionniers de la technologie IA dans le monde des plug-ins audio.
Car à ma connaissance, c’est la première fois (hors services en ligne) qu’un plug-in audio grand public exploitait le potentiel de l’intelligence artificielle. Et comme pour Landr, cela fit grand bruit à sa sortie parce qu’encore une fois, on s’interrogeait sur la capacité d’un algorithme à supplanter le travail d’un ingénieur du son humain…
Neutron: une assistance fiable pour votre mixage?
La nouveauté est de taille: un simple bouton « Mix Assistant » permet au logiciel d’analyser votre piste audio, puis de proposer automatiquement en retour les réglages des plug-ins Neutron (EQ, Compresseur, Transient Shaper, etc…) adaptés au contenu audio.
Personnellement, je n’ai jamais été très fan du résultat apporté par la seule action du bouton « Mix Assistant ». Evidemment, tout est loin d’être parfait. Et d’ailleurs l’objectif de Neutron n’a jamais été de remplacer complètement le travail d’un ingénieur du son. Néanmoins, l’IA intégrée dans ce plug-in de mixage assisté apporte un certain nombre d’avantages:
- Tout d’abord, à défaut de résultats pertinents, beaucoup d’utilisateurs reconnaissent que « l’assistant intelligent » fournit au moins un bon point de départ. On est ensuite libre de modifier légèrement à notre goût tel ou tel paramètre. Pour un utilisateur novice en mixage, c’est une aubaine de pouvoir profiter d’un exemple de traitement et ainsi ne pas partir de zéro.
- Une autre fonction efficace est le bouton « Masking ». Ainsi, avec plusieurs instances de Neutron sur toutes les pistes à mixer, il devient très simple de repérer les zones de masquage en fréquence d’une piste par rapport à une autre. L’exemple classique est celui d’une piste de grosse caisse (Kick) par rapport à celle de la basse. En appuyant sur « Masking » et en réglant le niveau d’intensité de détection, Neutron détecte directement les zones problématiques le long du spectre audio.
Sans rentrer dans des débats sans fins, on peut dire que Neutron est un plug-in innovant dans l’approche du mixage, du moins à l’époque de sa sortie.
Grâce au « deep learning », ces nouveaux algorithmes sont « formés » pour faire des « choix » en toute autonomie. Ils s’apparentent de plus en plus aux choix qu’un opérateur humain expérimenté utiliserait constamment pendant son travail.
Car souvent, bon nombre de traitements à effectuer proviennent de problèmes techniques évidents qui sont presque toujours détectés et résolus de la même manière. En prenant en charge une grande partie du travail initial, des outils comme celui-ci peuvent être extrêmement bénéfiques pour les utilisateurs moins expérimentés.
Ce n’est certes pas encore la révolution dans le mixage assisté mais c’est le principe du « deep learning » de s’améliorer avec le temps et les données d’expérience. Ce genre de plug-in a le mérite de donner un bon aperçu de ce que l’IA pourrait être capable de faire dans les années à venir (voir plus bas avec le projet de Acustica Audio).
Le bouton « Assistant » des plugins iZotope
Depuis, iZotope n’a cessé d’uniformiser tous ses autres logiciels (Ozone, RX, …) autour du même principe ainsi que l’interface visuelle (GUI).
Par exemple, Ozone (qui n’est plus à présenter) est La référence depuis de nombreuses années en logiciel de Mastering audio. Dans sa dernière version, un bouton « Master Assistant » active l’IA pour obtenir des pré-réglages, exactement comme le « Mix Assistant » de Neutron.
Après un simple clic puis la mise en lecture de la partie « la plus forte » de notre morceau à traiter, l’IA va analyser puis proposer les traitements appropriés suivant certaines consignes qu’on lui donne au préalable (style « modern » ou « vintage », intensité en loudness ou par rapport à une référence, support final pour le streaming ou CD).
Une fois l’analyse terminée, similaire à Neutron, Ozone choisit un ensemble de traitements qu’il juge appropriés parmi l’EQ dynamique, divers compresseurs, l’exciter, le spectral shaper, l’imager stéréo et le limiteur Maximizer.
Il définit les paramètres du traitement choisi en fonction de ce qu’il « pense » approprié pour le morceau.
L’autre plug-in « standalone », tout-en-un, emblématique de la marque, c’est iZotope RX. J’en parlerai plus en détail dans le prochain article qui traitera des logiciels de réparation/nettoyage audio.
Juste pour dire ici que le bouton « Assistant » s’invite aussi dans RX avec le « Repair Assistant ».
Ainsi, sans être un expert du logiciel, on peut très rapidement et efficacement réparer un fichier présentant par exemple du bruit de fond ou quelques clicks intempestifs. C’est aussi un bon moyen d’apprentissage des différents modules que propose RX.
Nectar est un autre plug-in de iZotope, cette fois spécialisé dans le traitement de la voix. Il propose aussi dans sa dernière version un « Vocal Assistant » mais aussi, comme Neutron, la possibilité de réduire les zones de masquage si on fait l’analyse par rapport à une autre piste.
Enfin, le dernier né de la marque, Neoverb, un plug-in de reverb utilisant aussi l’IA. Depuis que iZotope s’est associé à Exponential Audio, spécialiste des reverbs logicielles, il ne s’en est pas fallu longtemps pour que sorte sur le marché son premier plug-in de reverb « intelligente ».
Bien sûr, comme tous les autres plug-ins de iZotope dorénavant, Neoverb utilise donc l’IA avec ici le « Reverb Assistant ». On peut donc obtenir directement un résultat suivant les consignes que l’on choisit au préalable comme le style (de réaliste à plus « dramatique »), la longueur de reverb ou la couleur sonore (« Clean », « Dark », « Bright » ou « Airy »).
La série « Smart » de Sonible
Après iZotope, Sonible est certainement le nom à retenir parmi les précurseurs des plug-ins de mixage à intelligence artificielle. Avec d’abord Smart:EQ, la firme autrichienne a su tirer son épingle du jeu.
Cet EQ « intelligent » allait en effet s’installer dans la liste de ces « EQ » d’un nouveau genre, avec le Gullfoss ou autre Soothe.
Mais, à la différence de ces derniers, Smart:EQ est une sorte d’EQ hybride qui intègre l’IA dans son fonctionnement. Par la suite, Sonible a confirmé avec de nouveaux plug-ins à intelligence artificielle pour le mixage audio: un compresseur Smart:Comp, puis une reverb Smart:Reverb.
Quel que soit le type d’outil (EQ, Compresseur, Reverb), les plug-ins de Sonible reposent sur les mêmes principes:
- Ils peuvent tous être utilisés avec les commandes familières d’un plug-in « standard », avec en plus une assistance IA « en un clic », comme pour Neutron.
- Après un clic de souris, ils sont capables « d’écouter » votre son. Selon le développeur, le système d’intelligence artificielle est conçu à partir des statistiques de signal, des principes psycho-acoustiques et une expérience pratique par rapport à des profils spécifiques de sources sonores.
- Puis après analyse, ils restituent un traitement pertinent, conçu pour s’adapter aux «caractéristiques spectrales et temporelles du signal d’entrée». Le plug-in sait résoudre automatiquement les résonances indésirables et les conflits de fréquences pour un meilleur équilibre spectral.
Il est bien sûr possible ensuite d’affiner les paramètres à sa guise en utilisant le plug-in de manière « classique ». Le profil IA proposé peut facilement être réinitialisé pour permettre une ré-analyse de l’audio si nécessaire.
L’algorithme du Smart:Comp analyse en permanence le signal d’entrée sur plus de 2000 bandes, promettant de servir de compresseur multi-bande intelligent à ultra-haute résolution, qui lisse dynamiquement les déséquilibres spectraux.
Sonible ouvre la voie des plug-ins à intelligence artificielle, plus seulement dans les EQ, mais également dans les compresseurs et les reverbs.
Comme iZotope, Sonible continue d’innover puisque, dans sa dernière version, le Smart:EQ 3 se présente comme « le premier égaliseur multi-piste au monde ».
En analysant les informations spectrales de toutes les pistes (jusqu’à 6) que vous avez ajoutés à votre groupe, les algorithmes s’assurent que chaque piste obtient son espace assigné dans votre mixage. Il vous suffit de déterminer la hiérarchie sonore en fonction de votre vision.
Revoice Pro, Melodyne…Les corrections de pitch et timing en quelques secondes
Le travail de post-production audio c’est aussi très souvent de corriger la justesse de la tonalité (pitch) et de la synchronicité (timing) entre différentes pistes.
Dans ce domaine, Synchro Arts est devenu incontournable. Leur célèbre plug-in VocAlign permettait déjà d’aligner des parties vocales en quelques secondes, ce qui prenait des heures d’édition autrefois.
Plus récemment, leur produit Revoice Pro est une solution plus complète. L’application permet non seulement les ajustement en timing et pitch entre plusieurs pistes, mais offre aussi de nombreuses possibilités de tuning et doublages vocaux.
Leur technologie APT (Audio Performance Transfer) est unique en son genre. Elle permet à l’utilisateur de cloner les fonctions de synchronisation, de hauteur, de vibrato et de niveau d’une piste audio à d’autres pistes en quelques secondes!
Revoice Pro est un exemple frappant de ce que les logiciels ou plug-ins audio sont capables aujourd’hui: des tâches d’édition complexes réalisées à la fois rapidement et intuitivement, le tout en quelques clics de souris.
L’autre logiciel phare quand on parle d’ajustement en pitch (et bien plus encore), c’est Melodyne de Celemony.
Dans sa dernière version, l’algorithme détecte la présence et l’étendue des composantes non tonales (semblables au bruit) du son vocal ainsi que des respirations, qu’il traite ensuite séparément des composantes tonales. Cela conduit à de meilleurs résultats, à moins de temps passé à éditer et à un son plus naturel.
Cette façon d’aller au coeur du son fait également de Melodyne un logiciel très performant dans le domaine de séparation des sources audio d’un même fichier (comme isoler les composantes d’une voix du reste de l’audio). Je traiterai de ce domaine en plein essor grâce à l’IA plus en détail dans le prochain article.
De plus, Melodyne représente bien la catégorie du « logiciel qui prend tout en charge à notre place afin de libérer notre créativité ». En effet, il intègre la reconnaissance automatique de tonalité et d’accords pour que n’importe quel sample audio s’harmonise instantanément avec votre musique.
C’est parfait pour les auteurs-compositeurs mais aussi les remixeurs qui veulent s’assurer que leur contenu audio est bien adapté à la structure harmonique et aux accords de leurs propres compositions et chansons. Et ce sans forcément aucune connaissance en théorie musicale.
La suite de plug-ins Alex Audio Butler pour le son à l’image
Dans un autre registre (la post-production audiovisuelle), la suite de plug-ins Alex Audio Butler devrait ravir les utilisateurs de Premiere Pro ou encore DaVinci Resolve.
Développé par Unimule, une jeune startup néerlandaise, Alex Audio Butler se compose de 4 plug-ins tirant pleinement parti de la technologie IA afin de mixer la plupart, sinon tous les types de projets vidéo.
Chaque piste audio de votre projet (y compris la piste Master) contiendra exactement une instance « Alex Audio Butler » en fonction du type d’audio de la piste (Voice, Music, Sound FX, Master).
Toutes ces instances fonctionnent ensemble en écoutant votre audio et en partageant leurs analyses internes pour créer une série de paramètres audio qui rendront votre son aussi bon que possible.
- Voice: auto-ducking, assure que les voix et dialogues soient toujours intelligibles
- Music: quelque soit la source des musiques utilisées (librairie libre de droit, commercial, ou vos propres créations), le plug-in s’assure que tout se retrouve au même niveau de loudness.
- Sound FX: tout ce qui n’est pas de la musique ou des voix automatiquement ajusté au volume choisi.
- Master: Ajuste le niveau de compression et le loudness selon le support final (Youtube, TV, réseaux sociaux…)
Alternatives et projets à suivre
Tonebooster Equalizer 4
Parmi d’autres plug-ins de post-production audio utilisant l’IA, on peut citer l’Equalizer 4 de Tonebooster. C’est d’abord un égaliser dynamique moderne ultra-complet qui n’aurait presque rien à envier au fameux Fabfilter Pro-Q3.
Mais surtout, il propose également une fonction d’assistance IA, comme une seconde paire d’oreille à votre disposition, ne souffrant pas de la fatigue auditive. Elle vous apporte des suggestions de paramétrages selon le type d’audio à traiter (Pop acoustic, Drums, Dialog…). A comparer au Smart:EQ de Sonible.
Le Mastering Bundle Elevate de Eventide
Dans le domaine du Mastering, Elevate de Eventide (développé par Newfangled Audio) vient sérieusement concurrencer Ozone de iZotope.
L’EQ graphique (EQuivocate), le transient designer (Punctuate) et le limiteur multi-bandes de ce Bundle tirent parti de 26 filtres à bande critique modélisés sur la réponse de l’oreille humaine. Ainsi, le gain, la vitesse et les transitoires du son s’adaptent en temps réel à la musique analysée. Ce n’est pas sans rappeler les plug-ins « intelligents » évoqués dans l’article précédent.
Acustica Audio IRIS™ PROJECT
« Last but not least », le fameux développeur italien de plug-ins audio à émulation analogique, Acustica Audio, a la ferme intention de faire rentrer le « deep learning » dans ses plug-ins.
Certes toujours à l’état de projet (le « IRIS™ PROJECT »), l’ambition ici est toute autre comparé à tous les plug-ins à intelligence artificielle évoqués jusqu’ici.
En effet, l’idée n’est plus d’implémenter un mixage « automatique » selon le type d’audio entrant (violon, drums, voix,…) mais plutôt de « échantillonner/sampler » l’approche créative de ce que ferait un vrai ingénieur du son. Pas moins que ça!
Le « deep learning » dans les plug-ins: comment ça marche?
Pour faire court, l’ingénieur du son dont on voudrait « répliquer le comportement » reçoit une version prototype du plug-in. Il l’utilise pendant un certain temps sur diverses sources, pistes et mixages complets, comme n’importe quel plug-in ordinaire. Mais sous le capot, le plug-in enregistre des données psycho-acoustiques et spectrales du son en fonction des choix de l’ingénieur et apprend à répéter ces choix. Après cette étape, ces données sont rassemblées afin que le plug-in se souvienne de ce qu’il faut faire et quand le faire.
Nous pouvons littéralement « enseigner » au plug-in les « mouvements secrets » du pro afin qu’ils puissent être facilement reproduits et puissent servir de points de départ pour d’autres ingénieurs ou musiciens à la recherche d’un son particulier.
Acustica Audio précise qu’ils utilisent déjà la technologie « machine learning » de l’IA dans l’émulation analogique de leurs compresseurs. Mais l’association du « deep learning » à leur technologie actuelle pourrait faire passer leurs plug-ins au stade supérieur. De vrais « game-changer » disent-ils.
Conclusion
Voilà qui donne un bon aperçu de ce que pourraient devenir des plug-ins de mixage et mastering dans le futur.
Avec l’IA et le « deep learning », le simple concept de « presets » disparaîtrait au profit d’un « assistant » qui s’adapte en continu au contenu sonore afin de répondre directement à nos questions telles que:
- Comment puis-je traiter idéalement cet instrument pour qu’il s’intègre correctement dans le mix ?
- Comment cet ingénieur traiterait-il cette piste ?
- Quel type de compression utiliserait-il ?
- Comment obtenir la même sonorité que dans ce morceau ?, etc…
On voit que l’IA s’intègre progressivement dans les plug-ins audio. Elle a d’abord fait ses preuves dans des plug-ins d’EQ (Smart:EQ, Neutron, etc…). Mais le même principe s’applique de plus en plus dans d’autres outils de traitement audio comme les compresseurs ou les reverbs, surtout sous l’impulsion de iZotope et Sonible.
Le prochain article continuera l’exploration de l’apport de l’IA, cette fois dans les logiciels en vogue de réparation/nettoyage et séparation des sources audio.
Catégories
Derniers articles publiés
Tu cherches à maîtriser les outils modernes de la production musicale, traiter ton son comme il le mérite, en finir avec les blocages et finaliser tes morceaux une bonne fois pour toute?
Tu es au bon endroit! Je m’appelle Martin, et je partage avec toi toutes mes connaissances et expérience en ingénierie du son.
De nos jours, il est possible de faire (presque) tout depuis chez soi! Avec les bonnes connaissances, de l’abnégation et de la passion, je suis convaincu que la création musicale est accessible à tous. Je suis prêt à partager ici avec le plus de pédagogie possible, tous les conseils et astuces qui te seront d’une aide précieuse pour arriver à tes fins.
0 Replies to “L’intelligence artificielle (IA) dans le studio de production audio (4/6)”