Google Magenta RealTime 2: når en musikmodel bliver et spilbart instrument
Opdateret briefing med officielle Google-figurer om lav latenstid, MIDI/tekst/lyd-kontrol, 2.4B/230M-struktur, hardwarekrav og praktiske grænser for MRT2.
Modelnyheder / Google Magenta
Google Magenta RealTime 2 (MRT2) er ikke en traditionel musikgenerator, hvor man "skriver en prompt og venter på et færdigt nummer". Google beskriver udgivelsen som en kombination af en åben model, en inferensmotor i realtid og eksempelapplikationer: en basismodel med 2.4B parametre, en lille model med 230M parametre, SpectroStream-lydcodec, MusicCoCa-stilrepræsentation, styring via MIDI, tekst og lyd samt en lokal oplevelse til musikgenerering i realtid.
Denne opdaterede artikel inddrager officielle figurer fra Google og dokumentation fra modelkortet for at forklare MRT2's særlige position. Modellen forsøger ikke at erstatte arrangement, mixning eller produktion af hele sange. Den fører musikmodeller i retning af spilbar, styrbar og DAW-venlig live-interaktion. I praksis minder den mere om en samarbejdspartner i realtid end om en maskine til offline sangproduktion.
Fra Magenta RealTime og Lyria RealTime API til en spilbar lokal model
MRT2 følger efter to tidligere grene af det samme forskningsprogram: Magenta RealTime-modellen og den hostede Lyria RealTime API. Disse systemer etablerede kontinuerlig generering og styrbar musikalsk stil, men den tidligere model brugte stykvis autoregression med en ramme på omkring to sekunder. En tone, en stilændring eller en ny lydreference kunne ikke påvirke lyden, før det aktuelle stykke var færdigt.
MRT2 beholder SpectroStream og MusicCoCa, men ændrer den genererende kerne til en decoder-only Transformer med autoregression for hver enkelt ramme. En ramme er nu 40 ms, så MIDI-tilstand, stiltokens og lydkontekst læses igen for hver ny ramme. Googles oplyste styreforsinkelse falder fra omtrent tre sekunder til omkring 200 ms. I det interval på to sekunder, som tidligere gav ét stykke, har den nye model halvtreds muligheder for at ændre lydens retning.
Udgivelsen adskiller også en hostet demonstration fra en model, som musikere kan placere i deres egne værktøjer. Lyria RealTime API viste interaktiv generering som en tjeneste; MRT2 udgiver vægte, et Python-bibliotek, en MLX C++-motor, DAW-eksempler og selvstændige applikationer til lokal brug på enheden. Den kan indgå i et live-setup, et system til spilmusik eller en installation uden at reducere interaktionen til prompt, vent og download.
Teknisk dokumentation: Ikke blot en større model
Det officielle modelkort opdeler MRT2 i tre kernekomponenter: SpectroStream, MusicCoCa og en decoder-only Transformer-LLM. SpectroStream er en diskret lydcodec, der omdanner stereomusik ved 48kHz til tokens. MusicCoCa afbilder tekst og musiklyd i et fælles indlejringsrum. LLM'en genererer den næste lydramme ud fra kontekstuelle lydtokens, MusicCoCa-stiltokens og MIDI-tokens.
Denne struktur forklarer, hvorfor MRT2 kan modtage tekst, lyd og MIDI samtidig. Tekst beskriver stilen, lyd leverer en klanglig eller musikalsk reference, og MIDI styrer den aktuelle udførelsestilstand. Inputtene sammenkædes ikke blot; de udfylder forskellige roller i genereringssløjfen i realtid.
De to officielle modelkonfigurationer er også sigende: en basismodel med 2.4B parametre og en lille model med 230M parametre. Basismodellen prioriterer kvalitet, mens den lille model sænker tærsklen for lokal kørsel. Modelkortet angiver desuden vinduesbaseret attention over 25 rammer (1s) for basismodellen, 41 rammer (~1.6s) for den lille model og et effektivt receptivt felt på 20s for begge. Det er kontinuerlig generering med afgrænset kontekst, ikke offline ræsonnement over en hel sang.
Hvad lav latenstid faktisk betyder
En af Googles vigtigste ændringer er, at modelrammens størrelse reduceres fra 2s til 40ms sammenlignet med den forrige generation, mens styreforsinkelsen reduceres fra omtrent 3s til omkring 200ms. Tallet er overbevisende, men den officielle afgrænsning er vigtig: Reaktionstiden fra ende til ende består ikke kun af modelinferens. Den omfatter også inputbuffere, outputbuffere, lydgrænseflader, værtssoftware og eksterne komponenter.
For musikere er ~200ms ikke den næsten øjeblikkelige respons fra et hardwarekeyboard eller en trommetrigger. Men det er tilstrækkeligt til at flytte en model fra "offlinegenerator" til "interaktivt system". MRT2 egner sig bedre til stiltransformation, forlængelse af akkompagnement, respons på teksturer, live coding, installationer og spilmusik end som erstatning for trommemaskiner eller klaverinstrumenter med millisekundnøjagtighed.
Sådan adskiller den sig fra engangsgenerering af sange
| Dimension | Magenta RealTime 2 | Almindelige generatorer fra prompt til musiknummer | Praktisk betydning |
|---|---|---|---|
| Interaktionsrytme | Lyt, spil, juster, og fortsæt genereringen. | Indtast en prompt, og vent på et færdigt resultat. | MRT2 passer til eksperimenter og optræden i realtid; prompt-til-nummer passer til hurtige, færdige udkast. |
| Styringsinput | MIDI, tekst og lyd sammen. | Som regel tekstprompter samt begrænsede strukturelle styremuligheder. | MIDI gør det muligt for modellen at reagere på musikerens bevægelser. |
| Placering af kørsel | Officielt centreret om lokale løsninger med åbne vægte, Apple Silicon-apps og DAW-plugins. | Ofte cloudhostede tjenester. | MRT2 er mere oplagt til forskning, plugins og integration i lokal musiksoftware, men kræver lokal hardware. |
| Outputmål | Kontinuerlig musiklyd, der kan styres. | Færdige sange eller færdige klip. | MRT2 fungerer mere som et instrument eller en akkompagnatør i realtid end som en fabrik for færdige sange. |
| Kreativ afgrænsning | Modelkortet fokuserer på instrumentalmusik og nævner begrænsninger ved ikke-leksikalske vokallyde. | Markedsføres ofte med fokus på generering af sange med vokal. | MRT2 forstås bedst i forbindelse med instrumentalmusik, teksturer, akkompagnement og interaktive musikscener. |
Centrale fakta fra officielle MRT2-kilder
| Dimension | Officiel kilde | Korrekt fortolkning |
|---|---|---|
| Licens | Kode under Apache-2.0, modelvægte under CC-BY 4.0. | Det er ikke en udgivelse med én samlet licens; integrationer bør læse vilkårene for kode, vægte og brug i sammenhæng. |
| Modelopdeling | 2.4B base / 230M small. | Base og small afspejler forskellige afvejninger mellem kvalitet og lokal kørsel. |
| Lydcodec | SpectroStream omdanner stereolyd ved 48kHz til tokens med en billedfrekvens på 25Hz, en RVQ-dybde på 64, 10-bit-koder og 16kbps. | Realtidsadfærden kommer fra modellen sammen med codec- og streamingrepræsentationen, ikke fra samplingsfrekvensen alene. |
| Styringsinput | Tekstprompter, lydeksempler og MIDI. | De tre input repræsenterer stil, kontekst og styring af udførelsestilstand. |
| Træningsdata | Omtrent 71k timers katalogmusik, hovedsageligt instrumental. | Forventninger til sungne tekster bør være forsigtige; modelkortet bemærker, at vokallyde har tendens til at være ikke-leksikalske. |
| Evaluering | Ifølge modelkortet vil målinger og resultater blive delt i en kommende teknisk rapport. | Opfind ikke ranglister eller upublicerede resultater; henvis kun til den offentliggjorte arkitektur og de beskrevne begrænsninger. |
Hvad udgivelsen ændrer for interaktiv musik
MRT2's nøgleord er kontinuerlig generering og styring med lav latenstid. Den er skabt til at blive spillet og styret, ikke kun til at modtage kommandoer via en prompt.
Modelkortet har fokus på interaktiv musikskabelse og hovedsageligt instrumental katalogmusik. Færdige sange, sangtekster, vokaler og udgivelsesklar produktion kræver stadig en menneskelig arbejdsgang.
Åbne vægte og lokal inferens gør forskning, plugins og DAW-integration mere praktisk, men hardware, buffere, værtssoftware og lydgrænseflader former alle oplevelsen.
Alle billeder og GIF'er i denne artikel er officielle udgivelsesaktiver fra Google Magenta, ikke erstatningstegninger eller genskabte diagrammer.