Beat This!: DBN 終了なしのビート追跡
音楽情報検索/論文解釈
音楽情報検索／技術ノート
ビート追跡が問うのは、拍がいつ現れるかである。音符採譜が問うのは、どの楽器がどの音高を演奏したかだ。Beat This!は前者を解き、以前は動的ベイズ後処理に委ねられていた構造の多くを、学習済み系列モデルに取り込む。
シフト許容型教師信号
人手による拍注釈はサンプル精度では一致しない。目標インパルスを y_t、フレーム確率を p_t とすると、通常のフレーム単位BCEは、数フレームずれただけの音楽的に妥当な予測も罰する。シフト許容型目的関数は簡潔に次のように表せる。
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
許容幅は学習に属し、事後的なグリッドへの吸着処理ではない。拍とダウンビートのヘッドは系列表現を共有するが、頻度の低いダウンビートには固有の判定経路が必要である。
DBNを主要経路から外す
従来システムはDBNでテンポの連続性と拍子遷移を課してきた。Beat This!は、データセット向けに調整されたその段階がなくても、主要モデルが安定した拍とダウンビートの系列を生成できることを示す。秒単位の拍イベント、ダウンビート、間隔から求めたBPMは、なお別々の3出力である。
再現可能な受け入れ評価
公式の final0.ckpt はSHA-256で固定され、タスクはオフラインで実行される。最終モデルは学習中に複数の公開ビートデータセットを見ているため、それらに対するスコアは楽観的になり得る。したがって受け入れ評価には実際の完全な1曲を含め、DAWグリッド、スライス、後段のMIDIクオンタイズ用に生のタイミング表を出力する。
採譜手法の進化
従来のビート追跡ではニューラルネットワークで活性値を予測し、動的ベイズネットワークに系列を選ばせてきた。Beat Thisは、より強力な系列モデリングとシフト許容型教師信号によって安定した拍とダウンビートを直接生成し、DBNを標準経路から外す。
後処理を除いても音楽的事前知識が消えるわけではない。拍子、テンポ範囲、注釈様式はデータに残る。ISMIRの結果はデータセットと指標ごとに読む必要があり、ルバート、ドラムのない区間、複合拍子は依然としてロングテール事例である。
シフト許容損失が注釈境界を扱う
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δ許容される小さなフレームシフトΔ注釈許容ウィンドウBCE活性値に対する二値交差エントロピー
人手の拍注釈は数フレーム異なる場合がある。シフト許容型教師信号は小さな整列窓を探索し、曲全体の任意なずれを許さずに注釈の揺らぎへの罰則を軽減する。
拍、ダウンビート、BPM、MIDI音符は異なる出力である。予測を波形と小節グリッドに重ね、半テンポ／倍テンポ、弱起、ドラムのない区間を確認する。
論文、コード、重みはBeat Thisのソースと重み／ISMIR 2024論文から確認できる。
イベント定義を揃えてから比較する
各行は出典のアーキテクチャ、指標、タスク定義を維持し、共通プロトコルのない結果は分けて扱う。
| モデル | アーキテクチャまたは根拠 | 対象範囲 |
|---|---|---|
| DBNなしのBeat This | エンドツーエンドの拍とダウンビート | 標準経路と長区間の安定性 |
| 任意後処理付きBeat This | 特殊なテンポ制約 | 隠れた変更を避けるためパラメータを記録 |
| 活性値 + DBN | 明示的なテンポ／遷移事前分布 | 堅牢だが誤ったテンポに固定され得る |
音符イベントの聴覚評価
予測を波形と小節グリッドに重ね、半テンポ／倍テンポ、弱起、テンポ変化、ドラムのない区間を確認する。平均F値は、曲全体が1拍ずれている状態を隠すことがある。
シフト許容損失は注釈境界付近で妥当な勾配を与えるが、任意の時刻ずれを認めるものではない。
MIDIが保持しない音楽情報
拍時刻だけでは完全な楽譜にならない。セグメンテーション、グルーヴ、スウィング比、拍子変化には上位レベルの解析が必要である。
データセットごとにウィンドウ、連続性規則、ダウンビート重み付けが異なるため、ランキングにはプロトコル名を残す必要がある。
Beat Thisのソースと重みに関する論文・公開ファイル
モデル名、数値、制限は、以下の論文、リポジトリ、モデルカードに基づく。