MuScriptor-large を使用して、混合録音をマルチ楽器 MIDI に変換します。
MuScriptor-large を使用して、混合録音をマルチ楽器 MIDI に変換します。
入力
mp3 / wav / flacなどのフォーマットでの入力をサポートしています。
対応フォーマット
出力
MuScriptor-large を使用して、混合録音をマルチ楽器 MIDI に変換します。
ユースケース
MuScriptor-large を使用して、混合録音をマルチ楽器 MIDI に変換します。
MuScriptor-large を使用して、混合録音をマルチ楽器 MIDI に変換します。
この経路は最上位の MuScriptor-large checkpoint のみを提供し、small・medium・量子化版への fallback はありません。
オープンソースでローカル導入可能な範囲：ダウンロード可能な重みまたは設定とローカル導入手順を確認できた行だけを掲載しています。SOTA と「最良」は表示中の確認済み行の中での評価であり、ホスト型、API 専用、商用のシステムを含まず、全モデル共通の総合順位ではありません。
論文は同一の非公開 D_Test 上で、CFG=1 の最終モデルと YourMT3+ を比較しています。独立再現はなく、MIROS や別の評価プロトコルとは直接比較できません。
| 評価条件 | モデル | 多楽器 F1 (%) | 詳細指標 |
|---|---|---|---|
| D_Test / CFG=1 | MuScriptor-largeTelkNetPaper Table 1 | 48.20SOTA | オンセット F1 (%)60.40最良フレーム F1 (%)73.30最良オフセット F1 (%)49.00最良ドラム F1 (%)50.20最良 |
| D_Test / YPTF.MoE+Multi (noPS) | YourMT3+Paper Table 1 | 21.90 | オンセット F1 (%)32.52フレーム F1 (%)45.54オフセット F1 (%)17.79ドラム F1 (%)41.40 |
論文表2は、双方の学習データに含まれない8データセットで、公開済みかつローカル導入可能な2モデルを評価しています。SOTA と「最良」はデータセットごとに算出します。同じプロトコルの MIROS 結果は報告されていないため追加しません。
| 評価条件 | モデル | 多楽器 F1 (%) | 詳細指標 |
|---|---|---|---|
| Bach10 | YourMT3+Paper Table 2 | 26.4 | オンセット F1 (%)59.8最良フレーム F1 (%)66.0オフセット F1 (%)48.0最良 |
| Bach10 | MuScriptor-largeTelkNetPaper Table 2 | 34.7SOTA | オンセット F1 (%)43.1フレーム F1 (%)85.0最良オフセット F1 (%)36.0 |
| Dagstuhl ChoirSet | YourMT3+Paper Table 2 | 2.6 | オンセット F1 (%)22.3最良フレーム F1 (%)51.0オフセット F1 (%)10.8 |
| Dagstuhl ChoirSet | MuScriptor-largeTelkNetPaper Table 2 | 11.5SOTA | オンセット F1 (%)14.4フレーム F1 (%)80.7最良オフセット F1 (%)11.5最良 |
| PHENICX-Anechoic | YourMT3+Paper Table 2 | 12.2 | オンセット F1 (%)56.7最良フレーム F1 (%)58.9オフセット F1 (%)18.7 |
| PHENICX-Anechoic | MuScriptor-largeTelkNetPaper Table 2 | 25.7SOTA | オンセット F1 (%)56.1フレーム F1 (%)74.6最良オフセット F1 (%)32.6最良 |
| RWC-P | YourMT3+Paper Table 2 | 19.1 | オンセット F1 (%)36.1フレーム F1 (%)51.6オフセット F1 (%)20.6ドラム F1 (%)36.5 |
| RWC-P | MuScriptor-largeTelkNetPaper Table 2 | 25.6SOTA | オンセット F1 (%)46.1最良フレーム F1 (%)61.2最良オフセット F1 (%)25.6最良ドラム F1 (%)42.1最良 |
| RWC-C | YourMT3+Paper Table 2 | 40.5SOTA | オンセット F1 (%)71.7最良フレーム F1 (%)71.3最良オフセット F1 (%)44.3最良ドラム F1 (%)8.7 |
| RWC-C | MuScriptor-largeTelkNetPaper Table 2 | 36.0 | オンセット F1 (%)67.7フレーム F1 (%)70.5オフセット F1 (%)36.9ドラム F1 (%)23.7最良 |
| RWC-G | YourMT3+Paper Table 2 | 17.2 | オンセット F1 (%)36.9フレーム F1 (%)49.4オフセット F1 (%)20.5ドラム F1 (%)25.6 |
| RWC-G | MuScriptor-largeTelkNetPaper Table 2 | 23.7SOTA | オンセット F1 (%)44.7最良フレーム F1 (%)58.7最良オフセット F1 (%)24.4最良ドラム F1 (%)29.2最良 |
| RWC-J | YourMT3+Paper Table 2 | 26.4 | オンセット F1 (%)52.9フレーム F1 (%)57.2オフセット F1 (%)31.1ドラム F1 (%)30.6 |
| RWC-J | MuScriptor-largeTelkNetPaper Table 2 | 31.8SOTA | オンセット F1 (%)59.4最良フレーム F1 (%)62.7最良オフセット F1 (%)33.9最良ドラム F1 (%)31.3最良 |
| RWC-R | YourMT3+Paper Table 2 | 23.1SOTA | オンセット F1 (%)46.1フレーム F1 (%)61.5オフセット F1 (%)28.6最良ドラム F1 (%)51.3最良 |
| RWC-R | MuScriptor-largeTelkNetPaper Table 2 | 20.3 | オンセット F1 (%)47.1最良フレーム F1 (%)68.6最良オフセット F1 (%)24.8ドラム F1 (%)36.5 |
論文の表4は D_Real のみで学習し、同じ非公開 D_Test を使用します。行の規模は論文上の表記であり、公開チェックポイントの正確なパラメータ数ではありません。
| 論文およびベンチマークノート | モデル | 多楽器 F1 (%) | 詳細指標 |
|---|---|---|---|
| D_Real only / conditioning on | MuScriptor 60MPaper Table 4 | 35.2 | オンセット F1 (%)47.7フレーム F1 (%)65.7オフセット F1 (%)35.3ドラム F1 (%)39.8 |
| D_Real only / conditioning on | MuScriptor 100MPaper Table 4 | 38.2 | オンセット F1 (%)51.2フレーム F1 (%)67.2オフセット F1 (%)38.7ドラム F1 (%)41.5 |
| D_Real only / conditioning on | MuScriptor 300MPaper Table 4 | 39.7 | オンセット F1 (%)52.4フレーム F1 (%)68.0オフセット F1 (%)40.3ドラム F1 (%)42.0 |
| D_Real only / conditioning on | MuScriptor 1.3BPaper Table 4 | 40.5 | オンセット F1 (%)53.2フレーム F1 (%)68.7オフセット F1 (%)41.0ドラム F1 (%)42.5 |
公開紙のリンクは掲載されていません。公式リポジトリやruntime実装をソースとして使いましょう。
ご提案やご要望をこちらに入力して送信してください。すべての声を真摯に受け止め、良いアイデアを実際の機能として実現できるよう努めています。