ステム分離とは
ステム分離は、完成したステレオミックスから、その中に入っている個々の音源を推定します。典型的には、ボーカル、ドラム、ベース、そしてそれ以外のすべてです。1つのファイルを入れると複数のファイルが返ってきて、それぞれに、録音の一つのパートについての最善の推測が収められています。
この文の「推定」という言葉には、大事な意味があります。ミックスが作られたとき、個々のトラックは2つのチャンネルに合算されました。合算は情報が失われる、元に戻せない操作です。合計だけが与えられても、それを生み出しえた組み合わせは無数にあります。分離ツールは合算を元に戻すわけではありません。楽器がどう見え、どう振る舞うかについて学習したことを使って、最ももっともらしい分解を作り出します。そして、もっともらしいことは、オリジナルと同じではありません。
分離にできることと、人々が分離に期待することの違いは、すべてこの区別にあります。分離はとても優れていますが、マルチトラックではありません。
仕組みのあらまし
現代の分離ツールの多くは、時間-周波数表現、つまりスペクトログラムの上で動作します。スペクトログラムは、各瞬間の各周波数にどれだけのエネルギーがあるかを示すものです。ミックスと本物のステムの両方がそろった何千もの曲で学習したニューラルネットワークが、各点のエネルギーのうちどれだけがどの音源に属するかを予測できるようになります。
次に、その予測を一種のマスクとして適用し、ある音源に属すると判断したミックスの部分を残して、それ以外を抑えてから、オーディオに戻します。より新しいモデルは、一部または全部を波形の上で直接処理します。スペクトログラムによる方法では再構築しなければならない位相の情報を扱うのに、それが役立ちます。
学習しているのは、要するに、ほかの音と一緒に鳴っているときのスネアがどう見えるか、声がフレーズの中でどう動くか、ベースのエネルギーがどう分布しているか、といったことについての非常に細かな感覚です。この処理のどこにも、どこかにまだ存在するファイルを取り戻すという工程はありません。そんなファイルは存在しないのです。
2ステム、4ステム、5ステム、6ステムのどれにするか
ステムが多ければいいわけではありません。これは、こうしたツールで最もよくある間違いです。
- 2ステム：ボーカルとインスト。スペクトログラムの各点でモデルが下す判断が一つだけなので、得られる中で最もクリーンな結果になります。インストやアカペラが欲しいなら、これだけを選んでください。無料で試聴できる私たちのボーカル除去はまさにこの分離なので、何かを決める前に、自分の曲で品質を確かめられます。
- 4ステム：ボーカル、ドラム、ベース、その他。標準的な分け方で、ミックスを組み立て直すなら使う価値があります。「その他」は文字どおりの寄せ集めで、ギター、キーボード、ストリングス、そのほかモデルが識別を求められなかったすべてが入ります。
- 5ステム：ピアノが加わります。曲にピアノのパートが目立って入っているなら役に立ちますが、そうでなければ、かえって悪くなります。ピアノ用の出力ヘッドはどこかから素材を取ってこなければならず、ピアノと呼べる何かを見つけてしまうからです。
- 6ステム：ギターが加わります。条件はピアノと同じです。単独で必要なギターのパートが曲にあるなら価値がありますが、なければ、このヘッドはギターと呼べる何かを見つけてしまいます。
出力が一つ増えるたびに、素材が間違った場所に割り当てられる機会も一つ増えます。目的を果たせる、最も少ないステム数を選んでください。
苦手なところと、その理由
- リバーブの余韻。リバーブにどっぷり浸かったボーカルは、音響的には、半分はボーカルで半分は部屋です。モデルは余韻がボーカルのステムに属するかどうかを決めなければなりませんが、正解はありません。リバーブはボーカルに焼き付けられているので、どちらの答えにも言い分があり、どちらも思い描いていたものとは一致しません。
- 強いバスコンプ。ミックス全体にコンプレッサーをかけてまとめた場合、すべての音源が、ほかのすべての音源のレベルを揺り動かします。音源はもはや独立しておらず、独立を前提とする分離ツールは、その絡み合いを引き継ぎます。
- 密集した中低域。ベース、キック、ピアノの低音、ギターの最低域は、どれも同じ領域を占めています。人間のミックスエンジニアが最も苦労する帯域もまさにここで、理由も同じです。
- ダブルと大きなパンニング。ダブリングして左右いっぱいに振ったボーカルは2つのテイクですが、モデルはそれを、奇妙なステレオ位置にある1つの音源として扱うことがあります。
- 珍しいものすべて。分離ツールは、見せられた音楽の分布で学習しています。その分布の中で珍しい楽器（シタール、変わったシンセサイザー、訓練されていない声のひどい録音など）は、推定が悪くなります。モデルが、何を見ているのかをあまりわかっていないからです。
アーティファクト（処理による不自然な音）が出るときは、それとわかります。高域の水っぽい、フェイザーのような質感。フレーム間でマスクが急に変わった箇所の、短いブクブクという音。そしてかぶり、つまりある音源のかすかな幽霊が、別の音源のステムに取り憑く現象です。
分離ツールの見極め方
簡単に分離できる曲で試してはいけません。ボーカルがはっきりしていてアレンジがシンプルな、音数の少ない録音なら、どのツールでも優秀に見えます。デモでそうした曲が使われるのは、まさにそのためです。
難しいケースで試し、具体的に次の点を聴いてください。
- 各ステムをソロで聴き、そこにあるべきでない音を探す。かぶりは最もよくある失敗で、単独で聴くと最も聞き取りやすいものです。
- ステムを合算し直して、オリジナルと比べる。合計は、元の音にごく近いものになるはずです。素材が消えているなら、そのツールは分類できなかったものを捨てています。
- 返ってきたもののサンプルレートを確認する。ツールの中には、何を渡しても内部では44.1 kHzで分離し、そのあとでアップサンプリングするものがあります。その結果は帯域が制限されていて、スペクトラムアナライザーでは一目瞭然ですが、部屋で聴くとわかりにくいものです。中身がぷっつり途切れる急な段差が、それを見抜く手がかりです。
- ボーカルの子音とシンバルを聴く。マスク処理によるアーティファクトが最初に現れるのは、高域のトランジェントです。
実際の使い道
- インストとアカペラ。ライブ、カラオケ、練習のために。
- リミックスとサンプリング。完全な忠実さより、使えるドラムやボーカルのパートが大事な場面です。
- ミックスの救出。セッションが失われ、書き出したミックスしか残っていないときです。これは思ったよりよくあることです。ハードディスクは壊れ、スタジオは閉鎖します。
- ほかの処理への入力。分離は、配置するために個々の音源を必要とする空間オーディオ化、ミックスの中にしか存在しないボーカルのピッチ補正、そしてほかに触れずに損傷した一つの要素だけを処理することを可能にする第一歩です。
- 研究。好きな作品が実際にどうバランスを取っていたのかをパートごとに聴くと、それについて読むより多くを学べます。
権利について
録音を分離しても、その結果に何の権利も生まれません。市販の作品から抽出したボーカルは、今もその作品のボーカルであり、ツールを使う前にそれを所有していた人のものです。配布するものにそれを使うには、以前とまったく同じ許諾が必要です。
これをはっきり言っておく価値があるのは、技術のせいで、そうではないように感じられるからです。自分のコンピューターでソフトウェアを使って作ったものは、直感的には自分のもののように感じられます。著作権はそういう仕組みではありません。そしてその直感が原因で、これまでにいくつものリリースが取り下げになっています。
作品を使って練習したり、そこから学んだり、決して配布しないものを作ったりするのは別の話で、一般的には問題ありません。線を引くのは公開です。私たちがどこに線を引いているかは利用ポリシーに記載しています。また、権利者の方は私たちに直接連絡できます。
続けて読む