Google Magenta RealTime 2: wenn ein Musikmodell zu einem spielbaren Instrument wird

Von Magenta RealTime und der Lyria RealTime API zum spielbaren lokalen Modell

MRT2 setzt zwei frühere Zweige desselben Forschungsprogramms fort: das Magenta-RealTime-Modell und die gehostete Lyria RealTime API. Diese Systeme etablierten fortlaufende Erzeugung und steuerbaren Musikstil, doch das Vorgängermodell arbeitete blockweise autoregressiv mit einem Zeitfenster von ungefähr zwei Sekunden. Ein Ton, ein Stilwechsel oder eine neue Audioreferenz konnten den Klang erst beeinflussen, wenn der laufende Block abgeschlossen war.

MRT2 behält SpectroStream und MusicCoCa bei, ersetzt aber das erzeugende Rückgrat durch einen Decoder-only Transformer mit bildweiser Autoregression. Ein Frame dauert nun 40 ms; MIDI-Zustand, Stil-Token und Audiokontext werden deshalb für jeden neuen Frame erneut gelesen. Die von Google angegebene Steuerlatenz sinkt von rund drei Sekunden auf etwa 200 ms. In dem Zwei-Sekunden-Intervall, in dem das ältere Modell einen Block erzeugte, kann das neue Modell den Klang fünfzigmal neu ausrichten.

Die Veröffentlichung trennt außerdem eine gehostete Demonstration von einem Modell, das Musiker in ihre eigenen Werkzeuge einbauen können. Die Lyria RealTime API zeigte interaktive Erzeugung als Dienst; MRT2 veröffentlicht Gewichte, eine Python-Bibliothek, eine MLX-C++-Engine, DAW-Beispiele und eigenständige Anwendungen für den Einsatz auf dem Gerät. Es lässt sich in ein Bühnen-Setup, ein Spielmusiksystem oder eine Installation integrieren, ohne die Interaktion auf Prompt, Warten und Herunterladen zu reduzieren.

Technische Belege: nicht einfach nur ein größeres Modell

Die offizielle Modellkarte gliedert MRT2 in drei Kernkomponenten: SpectroStream, MusicCoCa und ein Decoder-only-Transformer-LLM. SpectroStream ist ein diskreter Audiocodec, der Stereomusik mit 48 kHz in Token umwandelt. MusicCoCa bildet Text und Musikaudio in einem gemeinsamen Embedding-Raum ab. Das LLM erzeugt den nächsten Audioframe aus den Audio-Kontext-Token, den MusicCoCa-Stil-Token und den MIDI-Token.

Dieser Aufbau erklärt, warum MRT2 Text, Audio und MIDI gleichzeitig verarbeiten kann. Text beschreibt den Stil, Audio liefert eine klangliche oder musikalische Referenz und MIDI steuert den Aufführungszustand. Die Eingaben werden nicht bloß aneinandergereiht, sondern übernehmen unterschiedliche Aufgaben in der Echtzeit-Erzeugungsschleife.

Auch die beiden offiziellen Modellkonfigurationen sind aufschlussreich: ein Basismodell mit 2,4 Milliarden Parametern und ein kleines Modell mit 230 Millionen. Das Basismodell legt mehr Gewicht auf Qualität, während das kleine Modell die Hürde für lokalen Betrieb senkt. Die Modellkarte nennt außerdem fensterbasierte Attention über 25 Frames (1 s) für base, 41 Frames (rund 1,6 s) für small und ein effektives rezeptives Feld von 20 s für beide. Das ist kontinuierliche Erzeugung mit begrenztem Kontext, kein Offline-Durchdenken eines gesamten Songs.

Was geringe Latenz tatsächlich bedeutet

Zu den wichtigsten Änderungen zählt laut Google die Verkleinerung des Modellframes von 2 s auf 40 ms gegenüber der vorherigen Generation sowie die Verringerung der Steuerlatenz von ungefähr 3 s auf rund 200 ms. Die Zahl ist eindrucksvoll, braucht aber die offizielle Einordnung: Die Ende-zu-Ende-Reaktionszeit besteht nicht nur aus Modellinferenz. Dazu kommen Eingabe- und Ausgabepuffer, Audioschnittstellen, Host-Software und externe Komponenten.

Für Musiker sind rund 200 ms nicht die nahezu unmittelbare Reaktion einer Hardware-Tastatur oder eines Drum-Triggers. Es reicht jedoch, um ein Modell vom „Offline-Generator“ zum „interaktiven System“ zu machen. MRT2 eignet sich eher für Stilübergänge, erweiterte Begleitung, Reaktionen auf Klangtexturen, Live-Coding, Installationen und Spielmusik als als Ersatz für Drumcomputer oder Klaviere mit Millisekundengenauigkeit.

Unterschiede zur einmaligen Erzeugung eines vollständigen Songs

Zentrale Angaben aus offiziellen MRT2-Quellen

Was die Veröffentlichung für interaktive Musik verändert