3つのステップ。難しいのは2つ目
有名な製品から無料のものまで、ピッチ補正ツールはどれも同じ3つのことをしています。声が各瞬間にどのピッチで歌っているかを割り出し、どのピッチであるべきかを決め、新しいピッチでオーディオを再合成します。
1つ目のステップは、工学的にはすでに解決済みの問題です。3つ目も、信号処理としては解決済みです。2つ目、つまりその音がどうあるべきかを決めることは音楽的な判断であり、ソフトウェアはデフォルトのままではこれをうまくこなせません。ピッチ補正をかけたボーカルの聞こえ方が悪いとき、その原因はほぼすべてこのステップにあり、ほかの2つではありません。
ステップ1：ピッチを見つける
ピッチ検出器は、声の基本周波数を推定します。通常は1秒に数百回です。古典的な手法では自己相関を使っていました。波形を自分自身に対してずらしていき、最もよく一致する周期を見つける方法です。現代のピッチ検出器は、注釈付きのオーディオで学習したニューラルネットワークを使い、難しいケースで明らかに優れています。息の多い歌い方、がなり声、ビブラート、音の立ち上がりの瞬間などです。
出力されるのは音符のリストではなく、連続したピッチカーブです。この違いは重要です。優れたツールは、そのカーブを音符に区切り、両方を表示して編集できるようにします。ピッチカーブが見えないなら、ツールの区切り方をやみくもに信頼していることになります。そしてメリスマ（1音節に複数の音を当てる歌い回し）を間違えるのは、この区切りの段階です。
ピッチ検出器が失敗するパターンは決まっています。1オクターブずれた音を報告するオクターブエラーと、はっきりした単一の声ではない素材です。ダブリングしたボーカルや、かぶりの多いボーカルを入力すると、選ぶべき基本周波数が2つになり、どちらを意図したのかを知る手段がありません。素材が完成したミックスしかない場合は、まずボーカルを分離することで、ようやくピッチ検出が可能になります。
ステップ2：目標を決める
次に、ツールは各音がどうあるべきかを決めなければなりません。素朴な答えであり、ほとんどのソフトウェアのデフォルトでもあるのが、クロマチックスケールで最も近い音です。
そのデフォルトは、たいてい間違っています。理由はこうです。曲がAマイナーで、歌い手がCを狙ったものの少しフラットしたとします。クロマチックで最も近い音はBかもしれません。補正ツールは迷わずその音をBに引っ張り、何とも合っていない音を作ります。しかもその間違いは、元のフラットよりはるかに目立ちます。
だからこそ、キーは必ず指定してください。さらに良いのは、次のようにすることです。
- 実際のスケールを設定し、キーの外にある音が目標にならないようにする。
- メロディーで使わない音を除外する。歌い手が一度もF♯を歌わないなら、目標の候補からF♯を外すだけで、ある種類のエラーがまるごとなくなります。
- ツールが対応していればコードトラックを使い、目標が固定のスケールではなくハーモニーに沿うようにする。3小節目で正しい音が、11小節目でも正しいとは限りません。
- 意図的な音は守る。ブルーノート、ベンドした音、わざと下からしゃくった音。これらこそが演奏です。スケールに固定したピッチ補正ツールは、その一つひとつを「直して」しまいます。
ステップ3：ピッチを動かす
目標が決まったら、長さを変えずに、新しいピッチでオーディオをレンダリングし直す必要があります。これを行う手法には、大きく2つの系統があります。
時間領域の手法（PSOLAとその派生手法）は、波形をピッチの周期に合わせた短いグレインに切り分け、間隔を変えて組み立て直します。間隔を詰めればピッチが上がり、広げれば下がります。グレインを繰り返したり間引いたりすることで、長さは変わりません。計算コストが低く、モノフォニックな素材をわずかにずらす場合には非常に良い音がします。それこそがピッチ補正の場面です。
ボコーダーやモデルベースの手法は、信号をスペクトル包絡と励振源に分解し、励振源の周波数を変えてから再合成します。処理負荷は大きいものの柔軟性が高く、大きなピッチ移動や、フォルマントを独立して操作することに優れています。
ピッチ補正の作業の大半を占める、数十セント程度の小さな補正では、どちらの手法を選ぶかよりも、ステップ2で何を指示したかのほうがはるかに重要です。
重要なのはリチューンスピード
こうしたツールについて理解しておくべきことの中で、これが最も役に立つ一点です。そして、補正の強さとしょっちゅう混同されます。
強さは、音が目標に向かってどこまで動くか。リチューンスピード（補正の速さ）は、ツールが動かすと決めてから、どれだけ速くそこに到達するかです。
人の声は、一瞬でピッチに到達するわけではありません。滑らかに入り、少し行き過ぎ、落ち着き、そこにビブラートが加わります。こうした移り変わりが、演奏の表現の非常に大きな部分を担っています。2つの音の間のポルタメントは、フレーズの中で最も人間らしい部分であることが少なくありません。
リチューンスピードを遅くすると、補正ツールは待ちます。音の滑りは自然に任せ、伸ばしている部分だけを少し動かします。結果は自然で、補正したことに気づかれません。歌い手のピッチは合って聞こえ、それ以外は何も変わりません。
リチューンスピードを0にすると、すべての移り変わりがクオンタイズされます。声は滑らかさをまったく持たずに、正確なピッチの間を跳び移ります。人の声は決してそうならないので、耳はすぐにそれを処理された音だと聞き分けます。これが有名なあの効果（ケロケロボイス）です。そしてそれは意図して使われる効果であり、補正をかけすぎた副作用ではありません。
つまり、強い補正でもリチューンが遅ければ目立たず、弱い補正でもリチューンが瞬時なら明らかに処理された音になります。補正したボーカルが意図せずロボットのように聞こえるなら、変えるべきはリチューンスピードです。
フォルマント、そして補正したボーカルがヘリウムを吸ったような声になる理由
声の中では、2つの独立したことが起きています。声帯が基本周波数、つまりピッチを生み出します。そして喉、口、鼻がその音をフィルターのように加工し、フォルマントと呼ばれる特定の周波数帯を強調します。「イー」と「アー」が違って聞こえるのはフォルマントのおかげで、その位置から、聴き手は話し手のおおよその体の大きさも感じ取ります。
信号全体の周波数を上にずらすと（単純に再生速度を変えた場合のように）、フォルマントもピッチと一緒に動きます。すると聴き手には、高い音ではなく、小さな人の声に聞こえます。これが、ヘリウムを吸ったような声になる現象（チップマンク効果）です。
優れたピッチ補正はフォルマントを保持します。基本周波数を動かし、スペクトル包絡は元の位置に残すので、同じ人が別の音を歌っているように聞こえます。普段のピッチ補正程度の小さなずらしでは、ほとんど問題になりません。数半音ずらす場合は非常に重要で、フォルマント保持のないツールはその用途には使えません。
フォルマントシフトは、意図して使う独立したコントロールとしても用意されています。ピッチとは関係なく、声をわざと大柄な人や小柄な人のように聞かせるには、これを使います。
アーティファクト（処理による不自然な音）はどこから来るのか
- ピッチ検出の誤り。検出器がピッチを読み違えると、補正は間違った読み取り値を基準にかかり、結果は迷いなく間違ったものになります。息の多い部分や、非常に小さな部分がよくある原因です。
- 大きなピッチ移動。どの再合成の手法も、動かす幅が大きいほど劣化します。半音なら問題ありませんが、伸ばしている音を5半音動かすと人工的に聞こえ始めます。テイク全体が大きく外れているなら、歌い直してください。
- 子音。歯擦音や破裂音には、ピッチと呼べるものがほとんどありません。それを補正しようとするツールは、特有のにじみを生みます。優れたツールは無声の部分を検出し、そのままにしておきます。耳に痛い歯擦音はまた別の作業で、ピッチ補正の前ではなく後、修復の段階で扱います。
- かぶり。部屋の音が漏れ込んだボーカルトラックや、ミックスから抽出したボーカルは、検出器に2つのものを同時に渡すことになります。大きいほうを補正すると、もう一方も引きずられます。
- ビブラートとの衝突。ビブラートは意図的なピッチの揺れです。速いリチューンはそれを誤差と読み取り、平らにしてしまいます。ビブラートとピッチのずれを分けて扱い、一方を補正して他方を残せるツールもあります。それが正しい設計です。
上手な使い方
- できるかぎり最高のテイクから始める。補正で直るのはピッチです。フレージング、タイミング、声色、説得力は直りません。ボーカルを本当に良いものにするのは、そちらです。そしてマイクの前で起きる失敗の多くは、後からまったく直せません。
- キーとスケールは必ず設定する。クロマチックのデフォルトが、悪い結果の大半の原因です。
- リチューンは遅めにする。あの効果をあえて狙う場合は別です。
- 補正するのは外れた音だけ。すべての音ではない。ほとんどのツールはテイク全体でも喜んで処理しますが、たいていのテイクで補正が必要なのは4つか5つの音です。
- ミックスの中で聴く。ソロにしたボーカルでは、あらゆるアーティファクトが聞こえます。ミックスの中のボーカルなら、実際に人の耳に届くのがどれかがわかります。ピッチ補正がきれいに済んでもまだなじまないなら、それはたいていEQの問題です。
- 手を加えていないテイクを残す。1週間後に比べたくなりますし、元のほうが良いと思うこともあります。
最後に名前について。この技術はピッチ補正であり、それを行うツールはピッチ補正ツールです。Auto-Tuneではありません。Auto-Tune（検索ではたいてい「autotune」や「オートチューン」と書かれます）はAntaresの特定の製品であり、その名前をカテゴリー全体に使うのは不正確なうえ、同社の商標でもあります。その製品そのものについてはAuto-Tune（オートチューン）とは何かで扱っています。どこから生まれたのか、そして有名なロボットのような声が、強く補正した音ではなく速さの設定によるものである理由です。
続けて読む