Ce que c’est
La séparation de stems prend un mix stéréo terminé et estime les sources individuelles qui le composent : en général la voix, la batterie, la basse et tout le reste. Vous envoyez un fichier et vous en récupérez plusieurs, chacun contenant sa meilleure estimation d’une partie de l’enregistrement.
Le mot « estime » pèse lourd dans cette phrase. Quand un mix a été réalisé, les pistes séparées ont été sommées sur deux canaux, et la sommation est une opération avec perte et irréversible : à partir de la seule somme, une infinité de combinaisons auraient pu la produire. Un séparateur ne défait pas la sommation. Il s’appuie sur ce qu’il a appris de l’allure et du comportement des instruments pour produire la décomposition la plus plausible, et plausible ne veut pas dire original.
Toute la différence entre ce que la séparation peut faire et ce qu’on espère d’elle tient à cette distinction. Elle est très bonne, et ce n’est pas le multipiste.
Comment ça marche, dans les grandes lignes
La plupart des séparateurs modernes travaillent sur une représentation temps-fréquence : un spectrogramme, qui montre la quantité d’énergie présente à chaque fréquence, à chaque instant. Un réseau de neurones, entraîné sur de nombreux milliers de chansons dont on disposait à la fois du mix et des vrais stems, apprend à prédire quelle part de l’énergie, en chaque point, appartient à chaque source.
Il applique ensuite cette prédiction comme une sorte de masque, en gardant les parties du mix qu’il attribue à une source et en supprimant le reste, avant de reconvertir le tout en audio. Les modèles plus récents travaillent en partie ou entièrement sur la forme d’onde elle-même, ce qui aide pour l’information de phase qu’une approche par spectrogramme doit reconstruire.
Ce qu’il a appris, c’est au fond une idée très détaillée de l’allure d’une caisse claire quand elle n’est pas seule, de ce que fait une voix au fil d’une phrase, et de la façon dont l’énergie de la basse se répartit. Rien dans le processus ne consiste à récupérer un fichier qui existerait encore quelque part. Ce fichier n’existe pas.
Deux, quatre, cinq ou six stems ?
Plus de stems n’est pas mieux, et c’est l’erreur la plus courante que l’on commet avec ces outils.
- Deux stems, la voix et l’instrumental. Le résultat le plus propre possible, parce que le modèle n’a qu’une décision à prendre en chaque point du spectrogramme. Si vous voulez un instrumental ou une acapella, demandez cela et rien de plus : notre outil gratuit Suppression de voix fait exactement cette séparation : vous pouvez en entendre la qualité sur votre propre morceau avant de décider quoi que ce soit.
- Quatre stems, voix, batterie, basse, autres. La séparation standard, et celle qu’il vaut la peine d’utiliser si vous reconstruisez un mix. « Autres » est un vrai fourre-tout : guitares, claviers, cordes et tout ce que le modèle n’a pas été chargé d’identifier.
- Cinq stems, ajoute le piano. Utile quand le morceau a une partie de piano marquée, et franchement pire quand ce n’est pas le cas, parce que la sortie piano du modèle doit bien prendre sa matière quelque part, et elle trouvera quelque chose à appeler piano.
- Six stems, ajoute la guitare, aux mêmes conditions que le piano : utile quand le morceau a une partie de guitare dont vous avez besoin seule, et une sortie qui trouvera quelque chose à appeler guitare quand il n’en a pas.
Chaque sortie supplémentaire est une occasion de plus d’envoyer de la matière au mauvais endroit. Demandez le plus petit nombre de stems qui réponde à votre question.
Là où elle peine, et pourquoi
- Les queues de réverb. Une voix noyée dans la réverb est, acoustiquement, en partie voix et en partie pièce. Le modèle doit décider si la queue appartient au stem de voix, et il n’y a pas de bonne réponse : la réverb a été inscrite dans la voix, donc les deux réponses se défendent et aucune ne correspond à ce que vous imaginiez.
- Une forte compression de bus. Quand le mix a été soudé par un compresseur placé sur l’ensemble, chaque source module le niveau de toutes les autres. Les sources ne sont plus indépendantes, et un séparateur qui suppose leur indépendance hérite de cet enchevêtrement.
- Un bas-médium chargé. La basse, le kick, le bas du piano et le bas d’une guitare occupent tous le même territoire. C’est précisément la zone où un ingénieur de mixage doit travailler le plus dur, et pour la même raison.
- Les doublages et les panoramiques larges. Une voix doublée et panoramiquée à fond à gauche et à droite, ce sont deux interprétations que le modèle risque de traiter comme une seule source, placée bizarrement dans l’image stéréo.
- Tout ce qui sort de l’ordinaire. Les séparateurs sont entraînés sur la distribution de musique qu’on leur a montrée. Un instrument rare dans cette distribution (un sitar, un synthétiseur inhabituel, une voix non formée et mal enregistrée) obtient une moins bonne estimation, parce que le modèle sait moins bien ce qu’il regarde.
Les artefacts, quand ils apparaissent, sont reconnaissables : un son aqueux, avec un effet de phasing dans l’aigu ; de brefs gargouillis là où le masque a changé brusquement d’une trame à l’autre ; et les fuites (bleed), où le léger fantôme d’une source hante le stem d’une autre.
Comment juger un séparateur
Ne le testez pas sur une chanson qui se sépare facilement. Les enregistrements dépouillés, avec une voix claire et un arrangement simple, font paraître excellent n’importe quel outil : et c’est exactement pour cela que les démonstrations les utilisent.
Testez-le sur les cas difficiles, et écoutez des choses précises :
- Écoutez chaque stem en solo, en cherchant ce qui ne devrait pas s’y trouver. Les fuites sont l’échec le plus courant, et le plus facile à entendre isolément.
- Additionnez les stems et comparez le résultat à l’original. Leur somme devrait être très proche de ce que vous aviez au départ. Si de la matière a disparu, l’outil a jeté ce qu’il ne savait pas classer.
- Vérifiez la fréquence d’échantillonnage de ce qui revient. Certains outils séparent en interne à 44,1 kHz quoi que vous leur ayez donné, puis suréchantillonnent. Le résultat a une bande passante limitée, d’une façon évidente sur un analyseur de spectre et subtile à l’écoute : une coupure franche, là où le contenu s’arrête tout simplement, voilà l’indice.
- Écoutez les consonnes de la voix et les cymbales. C’est sur les transitoires aigus que les artefacts de masquage apparaissent en premier.
À quoi on l’utilise vraiment
- Des instrumentaux et des acapellas pour la scène, le karaoké ou l’entraînement.
- Le remix et le sampling, où une partie de batterie ou de voix exploitable compte plus qu’une fidélité parfaite.
- Sauver un mix quand la session a disparu et que seul l’export stéréo subsiste. C’est plus courant qu’on ne le croit : les disques durs lâchent, et les studios ferment.
- Alimenter d’autres traitements. La séparation est l’étape qui rend possibles la spatialisation, qui a besoin de sources individuelles à placer, la correction de justesse d’une voix qui n’existe qu’à l’intérieur d’un mix, et le traitement d’un élément abîmé sans toucher au reste.
- L’étude. Entendre comment un disque que vous aimez a réellement été équilibré, une partie après l’autre, en apprend plus que de lire à ce sujet.
La question des droits
Séparer un enregistrement ne crée aucun droit sur le résultat. Une voix extraite d’une sortie commerciale reste la voix de cette sortie, et elle appartient à qui la possédait avant que vous lanciez l’outil ; l’utiliser dans quelque chose que vous diffusez demande la même autorisation qu’avant.
Cela vaut la peine d’être dit clairement, parce que la technologie donne l’impression du contraire. Ce que vous avez fabriqué avec un logiciel, sur votre propre ordinateur, vous semble intuitivement vous appartenir. Le droit d’auteur ne fonctionne pas ainsi, et cette intuition a déjà fait capoter plusieurs sorties.
S’exercer sur un disque, apprendre de lui, ou créer quelque chose que vous ne diffusez jamais, c’est une autre affaire, et c’est généralement sans problème. La limite, c’est la publication. Notre Politique d’utilisation acceptable indique où nous la plaçons, et les titulaires de droits peuvent nous joindre directement.
Poursuivre la lecture