Google Magenta RealTime 2: gdy model muzyczny staje się grywalnym instrumentem

Od Magenta RealTime i Lyria RealTime API do grywalnego modelu lokalnego

MRT2 rozwija dwie wcześniejsze gałęzie tego samego programu badawczego: model Magenta RealTime i hostowane Lyria RealTime API. Systemy te umożliwiły ciągłe generowanie i sterowanie stylem muzycznym, lecz poprzedni model korzystał z autoregresji fragment po fragmencie, z ramką trwającą około dwóch sekund. Nuta, zmiana stylu lub nowy wzorzec audio nie mogły wpłynąć na brzmienie, dopóki bieżący fragment nie został ukończony.

MRT2 zachowuje SpectroStream i MusicCoCa, ale zastępuje rdzeń generujący architekturą decoder-only Transformer z autoregresją dla każdej ramki. Ramka trwa teraz 40 ms, dlatego stan MIDI, tokeny stylu i kontekst audio są ponownie odczytywane przy każdej nowej ramce. Według danych Google opóźnienie sterowania spada z około trzech sekund do około 200 ms. W dwusekundowym okresie, w którym wcześniej powstawał jeden fragment, nowy model ma pięćdziesiąt okazji, by zmienić kierunek brzmienia.

Wydanie oddziela również hostowaną demonstrację od modelu, który muzycy mogą umieścić we własnych narzędziach. Lyria RealTime API prezentowało interaktywne generowanie jako usługę; MRT2 udostępnia wagi, bibliotekę Python, silnik MLX C++, przykłady dla DAW i samodzielne aplikacje do uruchamiania na urządzeniu. Model może działać w zestawie koncertowym, systemie muzyki do gier lub instalacji, bez sprowadzania interakcji do polecenia, oczekiwania i pobrania pliku.

Dowody techniczne: nie tylko większy model

Oficjalna karta modelu dzieli MRT2 na trzy główne komponenty: SpectroStream, MusicCoCa oraz model LLM decoder-only Transformer. SpectroStream to dyskretny kodek audio, który przekształca stereofoniczną muzykę 48kHz w tokeny. MusicCoCa odwzorowuje tekst i muzykę w postaci audio we wspólnej przestrzeni osadzeń. LLM generuje następną ramkę audio na podstawie kontekstowych tokenów audio, tokenów stylu MusicCoCa i tokenów MIDI.

Taka struktura wyjaśnia, dlaczego MRT2 może jednocześnie przyjmować tekst, dźwięk i MIDI. Tekst opisuje styl, dźwięk dostarcza odniesienia brzmieniowego lub muzycznego, a MIDI steruje bieżącym stanem wykonania. Dane wejściowe nie są po prostu łączone; pełnią odmienne role w pętli generowania w czasie rzeczywistym.

Wiele mówią też dwie oficjalne konfiguracje: model bazowy z 2.4B parametrów i mały model z 230M parametrów. Model bazowy skłania się ku jakości, a mały obniża próg uruchomienia lokalnego. Karta modelu podaje również attention w oknie 25 ramek (1s) dla wersji bazowej, 41 ramek (~1.6s) dla małej oraz efektywne pole recepcyjne 20s dla obu. To ciągłe generowanie z ograniczonym kontekstem, a nie rozumowanie offline nad całym utworem.

Co naprawdę oznacza niskie opóźnienie

Jedną z najważniejszych zmian wskazanych przez Google jest zmniejszenie rozmiaru ramki modelu z 2s do 40ms względem poprzedniej generacji oraz skrócenie opóźnienia sterowania z około 3s do około 200ms. Liczba robi wrażenie, ale trzeba uwzględnić oficjalne zastrzeżenie: czas reakcji od wejścia do wyjścia nie zależy wyłącznie od inferencji modelu. Obejmuje także bufory wejściowe i wyjściowe, interfejsy audio, oprogramowanie hosta oraz komponenty zewnętrzne.

Dla muzyków ~200ms nie oznacza niemal natychmiastowej reakcji klawiatury sprzętowej czy wyzwalacza perkusyjnego. Wystarcza jednak, by model przeszedł z kategorii „generator offline” do „systemu interaktywnego”. MRT2 lepiej sprawdza się w płynnym przekształcaniu stylu, rozwijaniu akompaniamentu, reagowaniu na fakturę, live codingu, instalacjach i muzyce do gier niż jako zamiennik automatów perkusyjnych lub instrumentów fortepianowych wymagających milisekundowej precyzji.

Czym różni się od jednorazowego generowania utworu

Najważniejsze fakty z oficjalnych źródeł MRT2

Co to wydanie zmienia w muzyce interaktywnej