Google Magenta RealTime 2：音楽モデルが演奏できる楽器に近づくとき

Magenta RealTimeとLyria RealTime APIから、演奏可能なローカルモデルへ

MRT2は、同じ研究プログラムの先行する2つの系統、Magenta RealTimeモデルとホスト型のLyria RealTime APIを受け継いでいる。これらのシステムは連続生成と操作可能な音楽スタイルを確立したが、以前のモデルは約2秒のフレームを用いるチャンク単位の自己回帰だった。ノート、スタイル変更、新しい参照音声は、現在のチャンクが完了するまで音に反映できなかった。

MRT2はSpectroStreamとMusicCoCaを維持しつつ、生成の中核をフレーム単位で自己回帰するdecoder-only Transformerへ変更した。フレームは40 msとなり、MIDIの状態、スタイルトークン、音声コンテキストが新しいフレームごとに再び読み取られる。Googleが報告する制御レイテンシは、約3秒から約200 msへ短縮された。以前は1つのチャンクを生成していた2秒間に、新モデルは音の方向を変える機会を50回持つ。

このリリースは、ホスト型デモと、音楽家が自分のツール内に組み込めるモデルも切り分けている。Lyria RealTime APIはサービスとしての対話型生成を示したが、MRT2はオンデバイス利用に向けてウェイト、Pythonライブラリ、MLX C++エンジン、DAWの例、スタンドアロンアプリケーションを公開する。演奏環境、ゲームのサウンドトラックシステム、インスタレーションに組み込めるため、操作を「プロンプト、待機、ダウンロード」に縮小せずに済む。

技術的根拠：単に大きなモデルではない

公式モデルカードはMRT2を、SpectroStream、MusicCoCa、decoder-only Transformer LLMという3つの中核要素に分けている。SpectroStreamは48kHzのステレオ音楽をトークンへ変換する離散オーディオコーデックである。MusicCoCaはテキストと音楽音声を共通の埋め込み空間へ写像する。LLMは、コンテキスト音声トークン、MusicCoCaスタイルトークン、MIDIトークンを条件として次の音声フレームを生成する。

この構造により、MRT2がテキスト、音声、MIDIを同時に受け取れる理由が分かる。テキストはスタイルを記述し、音声は音色や音楽上の参照を与え、MIDIは演奏状態の制御を担う。入力は単純に連結されるのではなく、リアルタイム生成ループ内でそれぞれ異なる役割を持つ。

公式の2つのモデル構成も示唆的だ。2.4Bパラメータのベースモデルと230Mパラメータの小型モデルがある。ベースモデルは品質を重視し、小型モデルはローカル実行の敷居を下げる。モデルカードには、ベースが25フレーム（1s）、小型が41フレーム（約1.6s）のwindowed attentionを使い、どちらも有効受容野は20sと記載されている。これは有限のコンテキストによる連続生成であり、楽曲全体を対象とするオフライン推論ではない。

低レイテンシが実際に意味するもの

Googleが掲げる主な変更の1つは、前世代と比べてモデルのフレームサイズを2sから40msへ、制御レイテンシを約3sから約200msへ短縮したことだ。この数字は魅力的だが、公式に示された境界を踏まえる必要がある。エンドツーエンドの反応時間はモデル推論だけではない。入力バッファ、出力バッファ、オーディオインターフェース、ホストソフトウェア、外部コンポーネントも含まれる。

音楽家にとって約200msは、ハードウェアキーボードやドラムトリガーのほぼ瞬時の応答とは異なる。しかし、モデルを「オフライン生成器」から「対話型システム」へ移すには十分だ。MRT2は、ミリ秒精度のドラムマシンやピアノ楽器の代替というより、スタイルの変形、伴奏の延長、テクスチャへの応答、ライブコーディング、インスタレーション、ゲーム音楽に適していると見るべきだ。

ワンショットの楽曲生成との違い

MRT2公式資料から読み取れる主要な事実

このリリースが対話型音楽にもたらす変化