Google Magenta RealTime 2: kada muzički model postane instrument koji se može svirati

Od Magenta RealTime i Lyria RealTime API do svirljivog lokalnog modela

MRT2 nastavlja dvije ranije grane istog istraživačkog programa: model Magenta RealTime i hostovani Lyria RealTime API. Ti sistemi omogućili su neprekidno generisanje i usmjeravanje muzičkog stila, ali je prethodni model koristio autoregresiju po segmentima, s okvirom od približno dvije sekunde. Nota, promjena stila ili nova zvučna referenca nisu mogle uticati na zvuk dok se trenutni segment ne završi.

MRT2 zadržava SpectroStream i MusicCoCa, a zatim mijenja generativnu osnovu u decoder-only Transformer s autoregresijom po pojedinačnim okvirima. Okvir sada traje 40 ms, pa se MIDI stanje, tokeni stila i zvučni kontekst ponovo čitaju za svaki novi okvir. Prema Googleovim podacima, kašnjenje upravljanja smanjeno je s približno tri sekunde na oko 200 ms. Tokom intervala od dvije sekunde, u kojem je ranije nastajao jedan segment, novi model ima pedeset prilika da preusmjeri zvuk.

Izdanje također odvaja hostovanu demonstraciju od modela koji muzičari mogu ugraditi u vlastite alate. Lyria RealTime API pokazao je interaktivno generisanje kao uslugu; MRT2 objavljuje težine, Python biblioteku, MLX C++ mehanizam, DAW primjere i samostalne aplikacije za korištenje na uređaju. Može biti dio koncertne postavke, sistema muzike za igre ili instalacije, bez svođenja interakcije na unos prompta, čekanje i preuzimanje.

Tehnički dokazi: nije riječ samo o većem modelu

Zvanična kartica modela dijeli MRT2 na tri osnovne komponente: SpectroStream, MusicCoCa i decoder-only Transformer LLM. SpectroStream je diskretni audio kodek koji stereo muzički zvuk od 48kHz pretvara u tokene. MusicCoCa preslikava tekst i muzički zvuk u zajednički prostor ugrađivanja. LLM generiše sljedeći zvučni okvir na osnovu kontekstualnih audio tokena, MusicCoCa tokena stila i MIDI tokena.

Ovakva struktura objašnjava zašto MRT2 može istovremeno primati tekst, zvuk i MIDI. Tekst opisuje stil, zvuk daje zvučnu ili muzičku referencu, a MIDI pruža kontrolu nad stanjem izvođenja. Ulazi nisu samo spojeni; imaju različite uloge u petlji generisanja u stvarnom vremenu.

Dvije zvanične konfiguracije modela također su znakovite: osnovni model sa 2.4B parametara i mali model sa 230M parametara. Osnovni model daje prednost kvalitetu, dok mali model snižava prag za lokalno pokretanje. Kartica modela navodi i prozorski attention od 25 okvira (1s) za osnovni model, 41 okvir (~1.6s) za mali model te efektivno receptivno polje od 20s za oba. To je neprekidno generisanje s ograničenim kontekstom, a ne zaključivanje izvan mreže nad cijelom pjesmom.

Šta malo kašnjenje zaista znači

Jedna od ključnih promjena koje Google ističe jeste smanjenje veličine okvira modela sa 2s na 40ms u odnosu na prethodnu generaciju i smanjenje kašnjenja upravljanja s približno 3s na oko 200ms. Ta brojka je uvjerljiva, ali joj treba dodati zvaničnu granicu: vrijeme reakcije od početka do kraja ne čini samo inferencija modela. Ono obuhvata i ulazne i izlazne međuspremnike, audio interfejse, host softver i vanjske komponente.

Za muzičare ~200ms nije gotovo trenutan odziv hardverske klavijature ili okidača bubnja. Ipak, dovoljno je da model pređe iz „generatora izvan mreže“ u „interaktivni sistem“. MRT2 je prikladniji za postepenu promjenu stila, produžavanje pratnje, reakciju na teksturu, kodiranje uživo, instalacije i muziku za igre nego kao zamjena za ritam-mašine ili klavirske instrumente koji traže preciznost u milisekundama.

Po čemu se razlikuje od jednokratnog generisanja pjesme

Ključne činjenice iz zvaničnih izvora o MRT2

Šta ovo izdanje mijenja za interaktivnu muziku