Cos’è
La separazione degli stem prende un mix stereo finito e stima le singole sorgenti che lo compongono: di solito voce, batteria, basso e tutto il resto. Inserisci un file e ne ottieni diversi, ciascuno con la sua migliore ipotesi su una parte della registrazione.
In quella frase, la parola «stima» ha un peso preciso. Quando un mix viene realizzato, le tracce separate vengono sommate in due canali, e la somma è un’operazione con perdita e irreversibile: data solo la somma, esistono infinite combinazioni che potrebbero averla prodotta. Un separatore non annulla la somma. Usa ciò che ha imparato su come appaiono e si comportano gli strumenti per produrre la scomposizione più plausibile, e plausibile non vuol dire originale.
Tutta la differenza tra ciò che la separazione sa fare e ciò che si spera che faccia sta in questa distinzione. È molto buona, e non è il multitraccia.
Come funziona, a grandi linee
La maggior parte dei separatori moderni lavora su una rappresentazione tempo-frequenza: uno spettrogramma, che mostra quanta energia c’è a ogni frequenza in ogni momento. Una rete neurale, addestrata su molte migliaia di canzoni di cui erano disponibili sia il mix sia gli stem veri, impara a prevedere quale parte dell’energia in ogni punto appartiene a ciascuna sorgente.
Poi applica quella previsione come una sorta di maschera, tenendo le parti del mix che attribuisce a una sorgente e sopprimendo il resto, prima di riconvertire in audio. I modelli più recenti lavorano in parte o del tutto direttamente sulla forma d’onda, il che aiuta con l’informazione di fase che un approccio basato sullo spettrogramma deve ricostruire.
Ciò che ha imparato è, in sostanza, un’idea molto dettagliata di come appare un rullante quando non è da solo, di cosa fa una voce lungo una frase e di come si distribuisce l’energia del basso. In nessun punto il processo consiste nel recuperare un file che esiste ancora da qualche parte. Quel file non esiste.
Due, quattro, cinque o sei stem?
Più stem non vuol dire meglio, ed è l’errore più comune che si fa con questi strumenti.
- Due stem, voce e base strumentale. Il risultato più pulito possibile, perché il modello deve prendere una sola decisione per ogni punto dello spettrogramma. Se vuoi una base o un’acapella, chiedi questo e nient’altro: la nostra rimozione voce gratuita fa esattamente questa divisione, così puoi sentire la qualità sul tuo brano prima di decidere qualsiasi cosa.
- Quattro stem, voce, batteria, basso, altro. La divisione standard, e quella da usare se stai ricostruendo un mix. «Altro» è davvero un contenitore per tutto: chitarre, tastiere, archi e tutto ciò che al modello non è stato chiesto di identificare.
- Cinque stem, si aggiunge il pianoforte. Utile quando il brano ha una parte di pianoforte in evidenza, e decisamente peggio quando non ce l’ha, perché l’uscita del modello dedicata al pianoforte deve comunque prendere il suo materiale da qualche parte, e troverà qualcosa da chiamare pianoforte.
- Sei stem, si aggiunge la chitarra, alle stesse condizioni del pianoforte: vale la pena quando il brano ha una parte di chitarra che ti serve da sola, e quando non ce l’ha c’è un’uscita che troverà qualcosa da chiamare chitarra.
Ogni uscita in più è un’altra occasione perché del materiale finisca nel posto sbagliato. Chiedi il minor numero di stem che risponde alla tua domanda.
Dove fa fatica, e perché
- Code di riverbero. Una voce immersa nel riverbero è acusticamente in parte voce e in parte stanza. Il modello deve decidere se la coda appartiene allo stem della voce, e non c’è una risposta corretta: il riverbero è stato impresso sulla voce, quindi entrambe le risposte sono difendibili e nessuna corrisponde a ciò che immaginavi.
- Compressione pesante sul bus. Quando il mix è stato tenuto insieme con un compressore su tutto, ogni sorgente modula il livello di tutte le altre. Le sorgenti non sono più indipendenti, e un separatore che presuppone l’indipendenza eredita quell’intreccio.
- Medio-bassi densi. Basso, cassa, il registro grave del pianoforte e la parte bassa di una chitarra occupano tutti lo stesso territorio. È proprio la zona in cui anche un fonico di mix deve faticare di più, e per lo stesso motivo.
- Raddoppi e panoramiche larghe. Una voce raddoppiata e aperta tutta a sinistra e tutta a destra è fatta di due esecuzioni che il modello può trattare come una sola sorgente in una strana posizione stereo.
- Qualsiasi cosa insolita. I separatori sono addestrati sulla distribuzione della musica che è stata loro mostrata. Uno strumento raro in quella distribuzione (un sitar, un sintetizzatore insolito, una voce non impostata registrata male) riceve una stima peggiore, perché il modello ha meno idea di cosa sta guardando.
Gli artefatti, quando compaiono, sono riconoscibili: una qualità acquosa, con un effetto di phasing, sulle alte frequenze; brevi gorgoglii dove la maschera è cambiata bruscamente da un frame all’altro; e i residui, quando un debole fantasma di una sorgente infesta lo stem di un’altra.
Come giudicare un separatore
Non provarlo su una canzone che si separa facilmente. Le registrazioni scarne, con una voce chiara e un arrangiamento semplice, fanno sembrare eccellente qualsiasi strumento, ed è esattamente per questo che le dimostrazioni le usano.
Provalo sui casi difficili, e ascolta cose precise:
- Metti in solo ogni stem e ascolta cosa non dovrebbe esserci. I residui sono il difetto più comune e il più facile da sentire in isolamento.
- Risomma gli stem e confronta il risultato con l’originale. Dovrebbero dare qualcosa di molto vicino a ciò da cui sei partito. Se del materiale è sparito, lo strumento ha scartato tutto ciò che non riusciva a classificare.
- Controlla la frequenza di campionamento di ciò che ti torna indietro. Alcuni strumenti separano internamente a 44,1 kHz qualunque cosa tu gli abbia dato, poi ricampionano verso l’alto. Il risultato ha una banda limitata in un modo che è evidente su un analizzatore di spettro e sottile all’ascolto: la spia è un gradino netto in cui il contenuto semplicemente si interrompe.
- Ascolta le consonanti della voce e i piatti. I transienti ad alta frequenza sono il punto in cui gli artefatti di mascheramento si sentono per primi.
Per cosa la si usa davvero
- Basi e acapella per esibizioni dal vivo, karaoke o per esercitarsi.
- Remix e campionamento, dove una parte di batteria o di voce utilizzabile conta più di una fedeltà assoluta.
- Salvare un mix quando la sessione non c’è più e resta solo il bounce. È più comune di quanto sembri: i dischi rigidi si rompono, e gli studi chiudono.
- Alimentare altre elaborazioni. La separazione è il passaggio che rende possibili la spazializzazione, che ha bisogno di sorgenti singole da posizionare; l’intonazione di una voce che esiste solo dentro un mix; e il trattamento di un singolo elemento danneggiato senza toccare il resto.
- Studiare. Sentire come è stato davvero bilanciato un disco che ami, una parte alla volta, insegna più che leggerne.
La questione dei diritti
Separare una registrazione non crea alcun diritto sul risultato. Una voce estratta da un’uscita commerciale resta la voce di quell’uscita, di proprietà di chi la possedeva prima che tu usassi lo strumento, e usarla in qualcosa che distribuisci richiede lo stesso permesso di sempre.
Vale la pena dirlo chiaramente perché la tecnologia fa sembrare il contrario. Una cosa che hai fatto con un software sul tuo computer, d’istinto, sembra tua. Il diritto d’autore non funziona così, e quell’intuizione ha già fatto saltare diverse uscite.
Esercitarsi su un disco, impararne qualcosa o creare qualcosa che non distribuirai mai è un’altra faccenda, e in genere non è un problema. Il confine è la pubblicazione. La nostra politica di uso consentito dice dove lo tracciamo noi, e i titolari dei diritti possono contattarci direttamente.
Continua a leggere