特殊なオーディオから MIDI: 5 つのモデル、5 つの異なる F1 試験用紙

自動音楽採譜

GAPS、FiloSax、FiloBass、VioPTT、SwiftF0はいずれもMIDIを出力するが、入力分布もラベルもマッチング許容誤差も異なる。まず楽器で振り分け、比較は対応するデータセットの内側だけで行う。

イベントF1

オンセット許容誤差の内側でノートを照合した上で、P=TP/(TP+FP)、R=TP/(TP+FN)、F1=2PR/(P+R)と計算する。オフセットを考慮する照合はより厳格なので、どのF1にも許容誤差とマッチング定義の明記が必要だ。

3つのモデリング系統

GAPS はクリーンな、または分離済みのギター独奏を音符イベントと MIDI に変換します。弦番号、フレット、連続 F0、Pitch Bend は出力しません。原音と比較して MIDI のベロシティを調整してください。 FiloSax は単旋律のジャズ・サックス独奏向けで、離散的な音高・開始・終了イベントを MIDI で出力します。連続音高、スライド、ビブラートの軌跡は出力しません。 FiloBass は単旋律のジャズ・コントラバス（double bass / upright bass）向けで、汎用ベースやエレキベース用ではありません。クリーンまたは分離済み stem を使ってください。キックや低域の漏れは誤検出を生みます。 VioPTT はバイオリンの音符イベントと、détaché、flageolet、spiccato、pizzicato の 4 技法または技法なしを出力します。MIDI ベロシティは固定値で、演奏強度の実測値ではありません。 SwiftF0 は単旋律の連続 F0 を追跡します。TelkNet が輪郭を音符に分割し、MIDI、フレーム単位の音高 CSV、図を出力します。複音のフルミックス転写には対応しません。

処理チェーン

クリーンまたは分離済みのギター独奏、ジャズ・サックス、ジャズ・コントラバス、バイオリン独奏、単旋律を、それぞれ対応する専用モデルに送ります。

採譜手法はどう進化してきたか

オーディオtoMIDIに、あらゆる楽器と指標を網羅する単一モデルは存在しない。GAPSはギターを対象とし、FiloSax、FiloBass、VioPTTは楽器固有の音域とアーティキュレーションを利用し、SwiftF0は汎用のピッチ追跡に近い。ファイル形式が共通でも、学習分布が等価になるわけではない。

この分野はフレーム単位のピッチ検出から、オンセット・オフセット・ピッチ・ベロシティの同時予測へ、さらに完全なノートイベントの系列デコードへと進んできた。進歩は連打、サステイン、スライド、ヴィブラートに表れており、F1の増加だけではない。許容誤差の窓とマッチング規則が異なる限り、論文間のスコアに互換性はない。

**GAPS論文のデータセット作成フローチャート**YouTubeの音声とギタースコアは、アライメント、人手による検証、再アライメント、採譜フィルタリングを経て、特化型データセットへと仕上がる。公式出典:Figure 1 / figs/GAPS_flowchart.png

イベント採譜はオンセットとオフセットの両方を採点する必要がある

F1=2PR/(P + R), P=TP/(TP + FP), R=TP/(TP + FN)

TPその論文の許容誤差に合致したイベント
FP余分に予測されたイベント
FN取りこぼしたイベント

真陽性の定義は論文ごとに異なる。オンセット許容誤差だけを要求するものもあれば、オフセット、ピッチ、奏法まで要求するものもある。マッチング規則を取り除いたF1の値は比較できない。

GAPS、FiloSax、FiloBass、VioPTT、SwiftF0では、対象楽器もアノテーションの粒度も異なる。無関係なデータセットの最大値を寄せ集めるより、正しい振り分けのほうが重要になる。

論文・コード・重みは、Unified specialist runtime / GAPS論文 / VioPTTからたどれる。

**GAPS論文のフレットボード分布ヒートマップ**弦とフレットの組み合わせがロングテール分布になる事実が、ギター採譜を単一の集約イベントF1に還元できない理由を示している。公式出典:figs/fret_heatmap.png

イベント定義が一致してから比較する

各行は出典となるアーキテクチャ・指標・タスク定義をそのまま保持する。共通プロトコルのない結果は別々のままにしてある。

モデル	ネイティブまたは派生出力	正確な適用範囲
GAPS	MIDI · pitch/onset/offset	GAPS はクリーンな、または分離済みのギター独奏を音符イベントと MIDI に変換します。弦番号、フレット、連続 F0、Pitch Bend は出力しません。原音と比較して MIDI のベロシティを調整してください。
FiloSax	MIDI · pitch/onset/offset	FiloSax は単旋律のジャズ・サックス独奏向けで、離散的な音高・開始・終了イベントを MIDI で出力します。連続音高、スライド、ビブラートの軌跡は出力しません。
FiloBass	MIDI · pitch/onset/offset	FiloBass は単旋律のジャズ・コントラバス（double bass / upright bass）向けで、汎用ベースやエレキベース用ではありません。クリーンまたは分離済み stem を使ってください。キックや低域の漏れは誤検出を生みます。
VioPTT	MIDI + technique CSV	VioPTT はバイオリンの音符イベントと、détaché、flageolet、spiccato、pizzicato の 4 技法または技法なしを出力します。MIDI ベロシティは固定値で、演奏強度の実測値ではありません。
SwiftF0	F0 CSV → note segmentation → MIDI	SwiftF0 は単旋律の連続 F0 を追跡します。TelkNet が輪郭を音符に分割し、MIDI、フレーム単位の音高 CSV、図を出力します。複音のフルミックス転写には対応しません。

ノートイベントの試聴レビュー

ピアノはサステインと連打の確認が必要で、サクソフォンとヴァイオリンはスライド、装飾音、ヴィブラートを見る。ベースはキックドラムや低次倍音と混同されやすい。シンセサイザー再生はタイミング誤差を隠すことがあるため、ピアノロールは波形と突き合わせて確認する。

イベントF1は許容誤差の窓によって変わる。50 msのオンセット照合、厳密なオンセット照合、オフセット考慮のノートスコア、フレームF1は、それぞれ別の問いに答える。結果を再計算できるよう、ツールはモデル・閾値・量子化を記録する。

MIDIが保持しない音楽情報

MIDIが保存するのは記号イベントであり、元の音色、部屋の響き、タッチではない。ミックス内での楽器の同定ミスは、アレンジや制譜へと波及する。

共通データセットと整合した許容誤差規則がない限り、出典固有の指標は別々のまま残り、論文横断の人工的な勝者は生まれない。

Unified specialist runtimeの論文と公開ファイル

モデル名・数値・制約事項は、以下の論文、リポジトリ、モデルカードに照合できる。