モデル
MuScriptor-large: マルチトラック MIDI への完全なミックスの 13 億 6,600 万パラメーターの実測値と限界
自動音楽転写
自動音楽転写
© 2026 TelkNet。無断転載を禁じます。
自動音楽採譜
MuScriptor-large は公開されている MuScriptor チェックポイントの最大版であり、モデルカードでもフラッグシップかつ最高品質の選択肢と位置づけられている。16 kHz モノラル音声を 5 秒のセグメントに切り分け、512 ビンのメル特徴として表現し、48 層のデコーダ専用 Transformer でピッチ・オンセット・オフセット・楽器・ドラムのイベントを生成する。公開チェックポイントの F32 パラメータは正確に 1,366,399,488 個で、safetensors ファイルは 5,465,642,136 バイトだ。
ファミリー内での最大と、普遍的な SOTA は同じ主張ではない。論文は非公開の D_Test で YourMT3+ を大きく上回ったと報告し、8 つの外部データセットの結果も公表しているが、そこで MuScriptor はすべての指標を制しているわけではない。D_Real、D_RL、D_Test は非公開であり、MIROS とは同一の音声・指標・後処理プロトコルでの比較が行われていない。擁護できる結論はより狭い。MuScriptor-large は汎用マルチ楽器 AMT における最強クラスの新しいオープンウェイト候補のひとつであり、それは著者報告による先行結果に支えられている、というものだ。
MuScriptor は small、medium、large のチェックポイントを公開している。リポジトリのメタデータが示す正確なパラメータ数は 102,968,832、307,030,528、1,366,399,488 だ。large は medium の約 4.45 倍で、フラッグシップかつ最高品質のリリースと明記されている。論文のスケールアブレーションでは 60M、100M、300M、1.3B というラベルが使われるが、これらの実験ラベルを公開 3 チェックポイントの正確なパラメータ数に置き換えてはならない。
リビジョン 8809fdfbed2affa7ade94a7059e746e3880720e7 の重みリポジトリには、5,465,642,136 バイトの model.safetensors と少数の設定ファイルが収められている。ソースは別途コミット 302343e8992bdfc619f77f1988168374ed5d675d に固定されている。これらの識別子がそろって、アーキテクチャ・トークナイザー・推論デフォルト・重みを一意に縛る。実装が暗黙に medium を読み込んだり、移動する main ブランチに追従したりしうるなら、「large」と書かれたラベルだけでは不十分だ。
F32 で保存されているからといって、すべての演算を F32 で行わなければならないわけではなく、非公式の低ビット派生版と品質が同等であることを示すものでもない。リリースには、代替の量子化チェックポイントに対する同一プロトコルの品質検証が付属していない。したがって品質最優先の経路は、正確な large の同一性を要求し、読み込めない場合は小さい層へ切り替えるのではなく、明確に失敗させることができる。
入力は 16 kHz モノラルに変換される。短時間フーリエ変換は 2,048 点のウィンドウと 160 サンプルのホップで毎秒 100 フレームを生成し、512 のメルビンへ射影する。したがって 5 秒のセグメントには約 500 の音響フレームが含まれる。これらの特徴は、幅 1,536、24 のアテンションヘッド、48 層のデコーダ専用 Transformer に入力される。ミックスをあらかじめ固定されたステム群に分解し、それぞれに独立した採譜器を回すのではなく、時間・楽器・ノートのイベントが共有のシーケンスとして生成される。
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)x5 秒の音声セグメントのメル表現c任意の楽器条件。空集合は自動検出を意味するyn時間・楽器・ピッチ・終端のいずれかのイベントトークン自己回帰的な因数分解により、先に生成された楽器や和音が後の判断に情報を与える。フルミックス内で楽器をまたぐ文脈を扱うのに有利だが、誤差も伝播する。タイムシフトの誤りは後続のノートをずらし、欠落したノートオフはぶら下がった音を残し、楽器トークンのドリフトは正しいピッチを誤ったトラックに置く。
現在の公式サンプルは、バッチサイズ 1、ビームサイズ 1、cfg_coef=1、プレリュードフォーシングを使う。ビームサイズ 1 は決定論的な argmax 経路だ。ビームを広げれば保持するプレフィックスは増えるが、消費メモリも増える。管理されたアブレーションなしに、ビーム 4 を単純に「最高品質」と呼び替えることはできない。
Classifier-free guidance は条件付きと無条件のロジットを組み合わせて条件を鋭くする：ℓ=ℓu+s(ℓc−ℓu)。論文の最終表は、CFG=1 で Multi F1 が 48.2、CFG=2 で 47.8 と報告している。ガイダンスの値が大きいほど良いと決めつけず、公開デフォルトは 1 のまま維持されている。
論文は学習素材を 3 層に分けている。D_Synth には Lakh MIDI と商用データプロバイダ由来の約145万の MIDI ファイルが含まれ、250 を超える SoundFonts でレンダリングされる。移調・テンポ・ベロシティ・楽器のランダム化・デチューンにより、同じ記号素材をより広い音色域に晒す。合成レンダリングは正確なイベント境界を与えるが、マイクブリード、マスタリング、演奏者ノイズ、実制作のロングテールを完全には再現できない。
D_Real には約 170,000 の内部録音、合計約 11,000 時間が含まれる。ノートラベルはサンプルレベルの手作業アノテーションではなく、音声と記号のアライメントから得られる。実ミックスは制作分布を広げる一方、タイトルマッチング、バージョン差異、プラグイン遅延、アライメント誤差も持ち込む。続く D_RL では、人がレビューした高品質な採譜 300 件を選び、GRPO/REINFORCE 系のポストトレーニングに充てる。3 段階はカバレッジ・ドメインシフト・系列の選好に対応するが、実音声データセットと報酬データセットは非公開だ。
教師あり学習はトークンレベルの負の対数尤度を最小化し、ポストトレーニングはオンセット・オフセット・フレーム・ドラム・マルチ楽器の尺度から組み立てた報酬を使う。系列レベルの最適化は、独立したトークン分類が見落とす構造的な失敗にペナルティを与えられる。ただしレビュー済み報酬セットは 300 トラックしかなく、稀少な楽器、極端なテンポ、非西洋の伝統へのカバレッジは、依然として公開の外部評価を必要とする。
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFT教師あり学習時の系列クロスエントロピーR(y)完成した採譜への結合報酬D_RLレビュー済み採譜 300 件。公開ベンチマークではないMuScriptor は 128 の General MIDI プログラムを MT3_FULL_PLUS の楽器グループに写像する。モデルは 36 のグループを学習するが、公開デモで選択できるのは 35 の名前で、アコースティックとエレクトリックのピアノ、3 つのギターグループ、アコースティックとエレクトリックのベース、ストリングス、ブラス、ウッドウィンズ、シンセサイザー、ボイス、ドラムなどが含まれる。この差は内部表現と選択可能なインターフェースの境界を反映したもので、35 のインターフェース選択肢を学習済みカテゴリの総数として報告してはならない。
楽器フィールドが空なら、モデルはサポートされる任意のグループを検出できる。ひとつ以上の名前が選択された時点で、デコーダは他のすべての楽器トークンをハードマスクする。これは緩やかな優先ではなく、厳格なホワイトリストだ。編成が分かっていれば楽器の漏れを減らせるが、ユーザーが含めなかった実在のパートを消してしまうこともある。ピアノ・ベース・ドラムは既知のトリオには良い制約だが、編成が不確かなら自動検出のほうが安全だ。
制約はインターフェースからトークナイザーのトークンマスクまで届かなければならない。選択されたチップが API に破棄されれば偽の制御となり、無制限の文字列はスペルミスを実行時まで先送りする。忠実な契約は公式の 35 識別子のみを受け入れ、重複を拒否し、空配列を自動検出と定義する。
論文の表 1 は、同じ非公開 D_Test 上で YourMT3+ YPTF.MoE+Multi (noPS) と MuScriptor の学習段階を比較している。CFG=1 の最終 large モデルは Onset 60.4、Frame 73.3、Offset 49.0、Drums 50.2、Multi 48.2 を報告する。YourMT3+ は 32.52、45.54、17.79、41.4、21.9 だ。この差は大きく、著者らのより大きなデータ・モデル・ポストトレーニングのレシピが、彼らの実ミックス分布とアノテーションプロトコルの下で性能を実質的に向上させたという主張を裏づける。
| 同一の非公開 D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 は楽器・ピッチ・オンセット・オフセットがマッチング規則を同時に満たすことを要求するため、より少ないフィールドしか検査しないスコアと交換できない。MIROS は 2025 AMT Challenge で 0.5998 を記録したが、それは別セットの約 20 秒の合成抜粋 76 件に対する program + pitch + onset の Multi Onset F1 だ。MuScriptor はこの同一プロトコルのテストに参加していない。48.2 と 0.5998 を並べて順位づければ、異なる分母と異なるイベント定義を比較することになる。
D_Test には内部素材から選ばれた 372 のマルチ楽器作品が含まれ、タイトルフィルタリングで学習・テスト間のリークを減らす意図がある。タイトルフィルタリングは有用だが、公開された再現可能な重複排除の監査と同等ではない。音声、アノテーション、バージョン選択、オーバーラップ除去の規則は利用できない。したがって見出しの数値は、著者報告による非公開セットの結果というラベルを維持しなければならない。
8 つの外部データセットが示すのは、より不均一な姿だ。YourMT3+ に対し、MuScriptor は Frame F1 で 7/8 のデータセット、Multi F1 で 6/8 で勝るが、Onset F1 で勝つのは 4/8 にとどまる。RWC-C では onset・frame・offset・multi、RWC-R では offset・drums・multi、Bach10 では onset・offset で劣っている。強い持続ピッチの活動やトラック全体の内容が、あらゆるトランジェント・楽器ファミリー・録音分布での優位を意味しない。
トークナイザーには具体的な表現上の限界がある。同じ楽器・同じピッチで同時に重なるノートは、両方をきれいに表現できない。論文は主要な D_Test 評価で短いほうのオーバーラップを除去している。その除去がない場合、Onset F1 は 60.4 から 51.8 に、Offset は 49.0 から 41.9 に、Multi は 48.2 から 42.0 に低下する。ペダル下でのピアノの同ピッチ連打、弦のユニゾン、レイヤーされたギターは、いずれもこの衝突に遭遇しうる。
モデルスケールのアブレーションは最終比較とは別の図表で扱うべきだ。論文の表 4 は D_Real のみで楽器条件付きの学習を行っている。Multi F1 は 60M、100M、300M、1.3B のラベルに沿って 35.2 から 38.2、39.7、40.5 へと上昇する。その設定下で継続的なスケールの恩恵を示すが、最終段階の合成事前学習と強化学習は含まれておらず、公開の small・medium・large ファイルを直接測るベンチマークでもない。
| 論文のスケールラベル | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
聴取レビューは、密なユニゾン、ドラムとベースが共有するトランジェント、歪んだギター、合唱、稀少な音色、強いリバーブに集中すべきだ。トラックに短い断片、トラック間の漏れ、途中で切れたサステイン、1 楽器の複数チャンネル化が生じていても、集計スコアは良好なままに見えることがある。平均値は集団の振る舞いを記述するものであり、ピアノロールの点検と再合成による再生確認に取って代わらない。
現在のライターは Type-1 MIDI を生成する。メタデータは独立したトラックを占め、各楽器トラックは名前・プログラム・チャンネル・ノートオン・ノートオフのイベントを持つ。ドラムは General MIDI のチャンネル 10 の慣例に従う。すべてを Type-0 に平坦化するのに比べ、この構造は DAW でミュート・ソロ・編集がしやすく、楽器のドリフトも見えやすくなる。
出力は演奏された強弱を復元しない。公開コードはノートベロシティを 100 と書き込む。MIDI 内のベロシティフィールドはファイル形式を満たすだけで、モデルが録音から表現を推論した証拠ではない。ドラムはオンセットのみを提供する。また、モデルは曲のテンポマップ・拍子・ビートグリッドを推論しない。ライターは固定の 120 BPM テンポイベントを使ってイベントの秒をティックに写像する。「120 BPM に固定」を「120 BPM を検出」と提示してはならない。
連続的なタイミングは近似的に保持できるが、譜面ソフトが表示する記譜値は固定テンポと後段の量子化に依存する。ルバート、スウィング、フリータイムのパッセージ、テンポチェンジには別途のビート・構造解析が必要だ。演奏可能なイベント、編集可能なトラック、出版可能な記譜は 3 つの異なる層であり、ボイシング、タイ、ペダリング、異名同音の表記、反復、表情付けには依然として音楽的な判断が求められる。
長い音声をオーバーラップするセグメントとして処理する場合、オンセットの所有権はグローバルな秒で割り当て、境界をまたいで開いたままのノートは繰り越さなければならない。セグメントの MIDI ファイルを連結すると、境界のアタックが重複し、サステインが切れ、トラック名・プログラム・ドラムチャンネルが失われることがある。受け入れ時には、ぶら下がったノート、保持されたトラックメタデータ、セグメント接合部での系統的なタイミングドリフトの不在を確認すべきだ。
MuScriptor のコードは MIT ライセンスを使う。large の重みは CC BY-NC 4.0 で、ゲート付きの Hugging Face ページを通じて配布される。アクセスにはログイン済みアカウント、ページの条件への同意、採譜対象の楽曲について必要な権利をユーザーが保持していることの確認が必要だ。
コードと重みは別々のライセンスを持つ。重みファイルへのアクセスは NonCommercial 条件を変更しない。許諾される利用については、固定されたモデルカードとライセンス条項が第一の参照である。
MuScriptor-large の価値は具体的だ。1.366B パラメータの公開ファミリー最大版であり、実際のフルミックスを対象とし、厳格な楽器ホワイトリストをサポートし、編集可能な Type-1 マルチトラック MIDI を生成し、非公開 D_Test で YourMT3+ を大きく上回る著者報告のゲインがある。限界も同様に具体的だ。見出しのデータは非公開で、外部指標は全勝ではなく、同ピッチのオーバーラップノートはトークナイザーで衝突し、ベロシティと実際のテンポマップは欠けており、重みは非商用ライセンスだ。
「最高品質の MuScriptor チェックポイント」は裏づけられる。「独立に確認された普遍的な audio-to-MIDI の SOTA」は裏づけられない。公開された再現が、同一の録音・イベント定義・マッチング許容差・オーバーラップ方針で MuScriptor-large・YourMT3+・MIROS を比較したとき、この評価は変わりうる。