Was Stem-Separation eigentlich macht

Was sie ist

Stem-Separation nimmt einen fertigen Stereomix und schätzt die einzelnen Quellen, die in ihn eingeflossen sind: typischerweise Gesang, Schlagzeug, Bass und alles andere. Du gibst eine Datei hinein und bekommst mehrere zurück, und jede enthält die beste Schätzung für einen Teil der Aufnahme.

Das Wort „schätzt“ leistet in diesem Satz echte Arbeit. Als der Mix entstand, wurden die einzelnen Spuren zu zwei Kanälen summiert, und Summieren ist ein verlustbehafteter, unumkehrbarer Vorgang: Kennt man nur die Summe, gibt es unendlich viele Kombinationen, die sie ergeben haben könnten. Ein Separator macht das Summieren nicht rückgängig. Er nutzt, was er darüber gelernt hat, wie Instrumente aussehen und sich verhalten, um die plausibelste Zerlegung zu erzeugen: und plausibel ist nicht dasselbe wie original.

In dieser Unterscheidung liegt der ganze Unterschied zwischen dem, was Separation kann, und dem, was sich viele von ihr erhoffen. Sie ist sehr gut, und sie ist nicht die Mehrspuraufnahme.

Wie sie funktioniert, grob gesagt

Die meisten modernen Separatoren arbeiten mit einer Zeit-Frequenz-Darstellung: einem Spektrogramm, das zeigt, wie viel Energie zu jedem Zeitpunkt auf jeder Frequenz vorhanden ist. Ein neuronales Netz, trainiert mit vielen Tausend Songs, bei denen sowohl der Mix als auch die echten Stems vorlagen, lernt vorherzusagen, welcher Anteil der Energie an jedem Punkt zu welcher Quelle gehört.

Diese Vorhersage wendet es dann als eine Art Maske an: Es behält die Teile des Mixes, die es einer Quelle zuordnet, unterdrückt den Rest und wandelt das Ergebnis zurück in Audio. Neuere Modelle arbeiten teilweise oder ganz direkt mit der Wellenform, was bei der Phaseninformation hilft, die ein Spektrogramm-Ansatz rekonstruieren muss.

Was es gelernt hat, ist im Grunde ein sehr genaues Gespür dafür, wie eine Snare aussieht, wenn sie nicht allein ist, was eine Stimme über eine Phrase hinweg tut und wie Bassenergie verteilt ist. Nichts an diesem Vorgang besteht darin, eine Datei zurückzuholen, die irgendwo noch existiert. Eine solche Datei gibt es nicht.

Zwei, vier, fünf oder sechs Stems?

Mehr Stems sind nicht besser: und das ist der häufigste Fehler, den Leute mit diesen Tools machen.

Zwei Stems, Gesang und Instrumental. Das sauberste Ergebnis, das es gibt, weil das Modell an jedem Punkt im Spektrogramm nur eine einzige Entscheidung treffen muss. Wenn du ein Instrumental oder ein Acapella willst, verlang genau das und nicht mehr: unser Vocal Remover macht genau diese Trennung, sodass du die Qualität an deinem eigenen Track kostenlos anhören kannst, bevor du irgendetwas entscheidest.
Vier Stems, Gesang, Schlagzeug, Bass, Sonstiges. Die Standardaufteilung, und die richtige, wenn du einen Mix neu aufbauen willst. „Sonstiges“ ist wirklich ein Sammelbecken: Gitarren, Keys, Streicher und alles, was das Modell nicht erkennen sollte.
Fünf Stems, dazu kommt Klavier. Nützlich, wenn der Track eine markante Klavierstimme hat, und spürbar schlechter, wenn nicht: denn der Klavier-Ausgang des Modells muss sein Material trotzdem irgendwoher nehmen und wird etwas finden, das er Klavier nennt.
Sechs Stems (dazu kommt Gitarre, zu denselben Bedingungen wie beim Klavier: lohnend, wenn der Track eine Gitarrenstimme hat, die du für sich brauchst) und wenn nicht, findet der Gitarren-Ausgang eben etwas, das er Gitarre nennt.

Jeder zusätzliche Ausgang ist eine weitere Gelegenheit, Material an der falschen Stelle einzusortieren. Verlang so wenige Stems, wie deine Frage braucht.

Wo sie sich schwertut: und warum

Hallfahnen. Ein Gesang, der in Hall getränkt ist, ist akustisch teils Gesang, teils Raum. Das Modell muss entscheiden, ob die Fahne zum Gesangs-Stem gehört, und es gibt keine richtige Antwort: der Hall wurde fest auf den Gesang gelegt, also sind beide Antworten vertretbar, und keine entspricht dem, was du dir vorgestellt hast.
Starke Bus-Kompression. Wurde der Mix mit einem Kompressor über das Ganze zusammengeklebt, moduliert jede Quelle den Pegel jeder anderen. Die Quellen sind nicht mehr unabhängig, und ein Separator, der Unabhängigkeit voraussetzt, erbt diese Verflechtung.
Dichte untere Mitten. Bass, Kick, tiefes Klavier und das untere Ende einer Gitarre belegen alle denselben Bereich. Genau dort muss auch ein Mixing-Engineer am härtesten arbeiten: aus demselben Grund.
Doubles und breites Panning. Ein gedoppelter Gesang, hart nach links und rechts gepannt, sind zwei Performances, die das Modell womöglich als eine Quelle an einer seltsamen Stereoposition behandelt.
Alles Ungewöhnliche. Separatoren werden mit der Verteilung von Musik trainiert, die man ihnen gezeigt hat. Ein Instrument, das in dieser Verteilung selten ist (eine Sitar, ein ungewöhnlicher Synthesizer, eine ungeschulte, schlecht aufgenommene Stimme), bekommt eine schlechtere Schätzung, weil das Modell weniger Ahnung hat, was es da vor sich hat.

Die Artefakte, wenn sie auftreten, sind gut zu erkennen: ein wässriger, phasiger Klang in den Höhen; kurze blubbernde Geräusche, wo sich die Maske zwischen zwei Frames abrupt geändert hat; und Übersprechen, bei dem ein schwacher Geist der einen Quelle im Stem einer anderen herumspukt.

So beurteilst du einen Separator

Teste ihn nicht an einem Song, der sich leicht trennen lässt. Spärliche Aufnahmen mit klarem Gesang und einfachem Arrangement lassen jedes Tool hervorragend aussehen: und genau deshalb werden sie für Demos verwendet.

Teste ihn an den schwierigen Fällen und hör auf ganz bestimmte Dinge:

Hör dir jeden Stem solo an und achte auf das, was nicht da sein sollte. Übersprechen ist der häufigste Fehler und isoliert am leichtesten zu hören.
Summiere die Stems wieder und vergleiche mit dem Original. Sie sollten etwas ergeben, das dem Ausgangsmaterial sehr nahekommt. Ist Material verschwunden, hat das Tool verworfen, was es nicht zuordnen konnte.
Prüf die Samplerate dessen, was zurückkommt. Manche Tools trennen intern mit 44,1 kHz, egal, was du ihnen gegeben hast, und rechnen dann auf eine höhere Samplerate hoch. Das Ergebnis ist auf eine Weise bandbegrenzt, die auf einem Spektrum-Analyzer offensichtlich und im Raum subtil ist: eine harte Kante, an der der Inhalt einfach aufhört, verrät es.
Hör auf die Konsonanten des Gesangs und auf die Becken. Hochfrequente Transienten sind die Stelle, an der Masken-Artefakte zuerst auftauchen.

Wofür sie tatsächlich genutzt wird

Instrumentals und Acapellas für Live-Auftritte, Karaoke oder zum Üben.
Remixen und Sampeln, wo eine brauchbare Drum- oder Gesangsspur wichtiger ist als vollkommene Klangtreue.
Einen Mix retten, wenn die Session verloren ist und nur der Bounce übrig. Das kommt häufiger vor, als man denkt: Festplatten gehen kaputt, und Studios schließen.
Andere Bearbeitung möglich machen. Separation ist der Schritt, der die räumliche Platzierung erst ermöglicht, die einzelne Quellen braucht, um sie zu positionieren; ebenso das Tunen eines Gesangs, der nur in einem Mix existiert; und die Behandlung eines einzelnen beschädigten Elements, ohne den Rest anzutasten.
Lernen. Zu hören, wie eine Platte, die du liebst, tatsächlich ausbalanciert wurde, Teil für Teil, bringt dir mehr bei, als darüber zu lesen.

Der Teil über Rechte

Wer eine Aufnahme trennt, erwirbt dadurch keinerlei Rechte am Ergebnis. Ein Gesang, der aus einer kommerziellen Veröffentlichung herausgelöst wurde, ist immer noch der Gesang dieser Veröffentlichung, und er gehört dem, dem er gehörte, bevor du das Tool laufen lassen hast. Ihn in etwas zu verwenden, das du verbreitest, braucht dieselbe Erlaubnis wie immer.

Das lohnt sich, deutlich zu sagen, weil die Technik ein anderes Gefühl vermittelt. Etwas, das du mit Software auf deinem eigenen Rechner gemacht hast, fühlt sich intuitiv wie deins an. So funktioniert das Urheberrecht nicht, und diese Intuition hat schon so manches Release zu Fall gebracht.

An einer Platte zu üben, von ihr zu lernen oder etwas zu machen, das du nie verbreitest, ist etwas anderes und in der Regel in Ordnung. Die Grenze ist die Veröffentlichung. Unsere Nutzungsrichtlinie sagt, wo wir sie ziehen, und Rechteinhaber erreichen uns direkt.