O que a separação de stems realmente faz

O que é

A separação de stems pega uma mixagem estéreo pronta e estima as fontes individuais que entraram nela: normalmente voz, bateria, baixo e todo o resto. Você coloca um arquivo e recebe vários de volta, cada um com o melhor palpite do modelo sobre uma parte da gravação.

A palavra “estima” está fazendo um trabalho de verdade nessa frase. Quando uma mixagem foi feita, as trilhas separadas foram somadas em dois canais, e somar é uma operação com perdas e irreversível: tendo só a soma, existem infinitas combinações que poderiam tê-la produzido. Um separador não desfaz a soma. Ele usa o que aprendeu sobre como os instrumentos são e se comportam para produzir a decomposição mais plausível, e plausível não é o mesmo que original.

Essa distinção é toda a diferença entre o que a separação consegue fazer e o que as pessoas esperam que ela faça. Ela é muito boa, e não é o multitrack.

Como funciona, em linhas gerais

A maioria dos separadores modernos trabalha sobre uma representação tempo-frequência: um espectrograma, que mostra quanta energia existe em cada frequência a cada momento. Uma rede neural, treinada com muitos milhares de músicas para as quais havia tanto a mixagem quanto os stems verdadeiros, aprende a prever que parte da energia em cada ponto pertence a cada fonte.

Depois ela aplica essa previsão como uma espécie de máscara, mantendo as partes da mixagem que atribui a uma fonte e suprimindo o resto, antes de converter de volta para áudio. Modelos mais novos trabalham em parte ou totalmente direto sobre a forma de onda, o que ajuda com a informação de fase que uma abordagem por espectrograma precisa reconstruir.

O que ela aprendeu é, essencialmente, uma noção muito detalhada de como é uma caixa quando ela não está sozinha, do que uma voz faz ao longo de uma frase e de como a energia dos graves se distribui. Nada nesse processo envolve recuperar um arquivo que ainda exista em algum lugar. Esse arquivo não existe.

Dois, quatro, cinco ou seis stems?

Mais stems não é melhor, e esse é o erro mais comum que as pessoas cometem com essas ferramentas.

• •Dois stems, voz e instrumental. O resultado mais limpo disponível, porque o modelo só precisa tomar uma decisão por ponto do espectrograma. Se você quer um instrumental ou uma acapella, peça isso e nada mais: o nosso removedor de voz, que você ouve grátis, faz exatamente essa separação, então você pode avaliar a qualidade na sua própria faixa antes de decidir qualquer coisa.
• •Quatro stems, voz, bateria, baixo, outros. A separação padrão, e a que vale a pena usar se você vai remontar uma mixagem. “Outros” é mesmo uma categoria para tudo o que sobra: guitarras, teclados, cordas e tudo o que o modelo não foi instruído a identificar.
• •Cinco stems, acrescenta o piano. Útil quando a faixa tem uma parte de piano em destaque, e francamente pior quando não tem, porque a saída de piano do modelo continua precisando tirar o seu material de algum lugar, e vai encontrar alguma coisa para chamar de piano.
• •Seis stems, acrescenta a guitarra, nos mesmos termos do piano: vale a pena quando a faixa tem uma parte de guitarra que você precisa isolada, e é uma saída que vai encontrar alguma coisa para chamar de guitarra quando não tem.

Cada saída a mais é mais uma chance de algum material ir parar no lugar errado. Peça o menor número de stems que responda à sua pergunta.

Onde ela tem dificuldade, e por quê

• •Caudas de reverb. Uma voz encharcada de reverb é, acusticamente, parte voz e parte sala. O modelo precisa decidir se a cauda pertence ao stem de voz, e não existe resposta certa: o reverb foi impresso na própria voz, então as duas respostas são defensáveis, e nenhuma corresponde ao que você imaginou.
• •Compressão pesada no bus. Quando a mixagem foi colada com um compressor sobre o todo, cada fonte modula o nível de todas as outras. As fontes deixam de ser independentes, e um separador que pressupõe independência herda esse emaranhado.
• •Médios-graves densos. Baixo, bumbo, a região grave do piano e o fundo de uma guitarra ocupam o mesmo território. É exatamente a região em que um engenheiro de mixagem humano precisa trabalhar mais, e pelo mesmo motivo.
• •Dobras e pan aberto. Uma voz dobrada e aberta totalmente para a esquerda e para a direita são duas performances que o modelo pode tratar como uma única fonte, numa posição estéreo estranha.
• •Qualquer coisa incomum. Os separadores são treinados na distribuição de música que lhes foi mostrada. Um instrumento raro nessa distribuição (uma cítara, um sintetizador incomum, uma voz sem treino mal gravada) recebe uma estimativa pior, porque o modelo tem menos noção do que está vendo.

Os artefatos, quando aparecem, são reconhecíveis: uma qualidade aguada, com efeito de phasing, nos agudos; breves borbulhas onde a máscara mudou bruscamente de um quadro para outro; e o vazamento, em que um fantasma fraco de uma fonte assombra o stem de outra.

Como avaliar um separador

Não o teste numa música que se separa com facilidade. Gravações esparsas, com uma voz clara e um arranjo simples, fazem qualquer ferramenta parecer excelente, e é exatamente por isso que as demonstrações as usam.

Teste nos casos difíceis, e preste atenção em coisas específicas:

• •Ouça cada stem em solo e procure o que não deveria estar ali. O vazamento é a falha mais comum e a mais fácil de ouvir isoladamente.
• •Some os stems de novo e compare com o original. Eles devem somar algo muito próximo do que você tinha no começo. Se algum material sumiu, a ferramenta descartou o que não conseguiu classificar.
• •Confira a taxa de amostragem do que volta. Algumas ferramentas separam internamente a 44,1 kHz, não importa o que você enviou, e depois fazem upsampling. O resultado tem a banda limitada de um jeito que é óbvio num analisador de espectro de áudio e sutil na sala: um degrau abrupto, em que o conteúdo simplesmente acaba, é o que denuncia.
• •Ouça as consoantes da voz e os pratos. É nos transientes de alta frequência que os artefatos da máscara aparecem primeiro.

Para que as pessoas realmente a usam

• •Instrumentais e acapellas para apresentações ao vivo, karaokê ou prática.
• •Remixes e samples, em que uma parte de bateria ou de voz utilizável importa mais que uma fidelidade perfeita.
• •Salvar uma mixagem quando a sessão se perdeu e só sobrou o bounce. Isso é mais comum do que parece: HDs falham, e estúdios fecham.
• •Alimentar outros processamentos. A separação é a etapa que torna possível a espacialização, que precisa de fontes individuais para posicionar; a afinação de uma voz que só existe dentro de uma mixagem; e o tratamento de um elemento danificado sem mexer no resto.
• •Estudo. Ouvir como um disco que você ama foi de fato equilibrado, uma parte de cada vez, ensina mais do que ler sobre isso.

A parte sobre direitos

Separar uma gravação não cria nenhum direito sobre o resultado. Uma voz extraída de um lançamento comercial continua sendo a voz daquele lançamento, de propriedade de quem já era dono dela antes de você usar a ferramenta, e usá-la em algo que você distribui exige a mesma permissão de sempre.

Vale a pena dizer isso com todas as letras, porque a tecnologia dá a impressão contrária. Uma coisa que você fez com um software no seu próprio computador parece, intuitivamente, sua. O direito autoral não funciona assim, e essa intuição já acabou com vários lançamentos.

Praticar com um disco, aprender com ele ou fazer algo que você nunca distribui é outra coisa, e em geral não tem problema. A linha é a publicação. A nossa política de uso aceitável diz onde traçamos essa linha, e os titulares de direitos podem nos contatar diretamente.