Google Magenta RealTime 2: når en musikkmodell blir et spillbart instrument
Oppdatert briefing med offisielle Google-figurer om lav latenstid, MIDI/tekst/lyd-kontroll, 2.4B/230M-struktur, maskinvare og grenser for MRT2.
Modellnytt / Google Magenta
Google Magenta RealTime 2 (MRT2) er ikke en vanlig musikkgenerator der man skriver inn en ledetekst og venter på et ferdig spor. Google presenterer lanseringen som en kombinasjon av en åpen modell, en inferensmotor for sanntid og eksempelapplikasjoner: en basismodell med 2,4 milliarder parametere, en liten modell med 230 millioner parametere, lydkodeken SpectroStream, stilrepresentasjonen MusicCoCa, styring med MIDI, tekst og lyd samt en lokal opplevelse for musikkgenerering i sanntid.
Denne oppdaterte gjennomgangen bruker offisielle figurer fra Google og dokumentasjon fra modellkortet for å forklare MRT2s særegne posisjon. Modellen forsøker ikke å erstatte arrangering, miksing eller produksjon av komplette låter. Den flytter musikkmodeller i retning av spillbar, kontrollerbar, DAW-vennlig og levende samhandling. I praksis minner den mer om en sanntidspartner enn en frakoblet låtmaskin.
Fra Magenta RealTime og Lyria RealTime API til en spillbar lokal modell
MRT2 følger to tidligere grener av det samme forskningsprogrammet: Magenta RealTime-modellen og den driftede Lyria RealTime API-tjenesten. Disse systemene etablerte kontinuerlig generering og styrbar musikalsk stil, men den tidligere modellen brukte blokkvis autoregresjon med en ramme på omtrent to sekunder. En tone, stilendring eller ny lydreferanse kunne ikke påvirke lyden før den pågående blokken var ferdig.
MRT2 beholder SpectroStream og MusicCoCa, men bytter ut den genererende kjernen med en dekoderbasert Transformer som arbeider autoregressivt ramme for ramme. Hver ramme er nå 40 ms, slik at MIDI-tilstand, stiltokener og lydkontekst leses på nytt for hver nye ramme. Googles oppgitte kontrollforsinkelse går fra omtrent tre sekunder til rundt 200 ms. I det tosekundersintervallet som tidligere ga én blokk, får den nye modellen femti muligheter til å endre lydens retning.
Lanseringen skiller også mellom en driftet demonstrasjon og en modell musikere kan legge inn i egne verktøy. Lyria RealTime API viste interaktiv generering som tjeneste; MRT2 publiserer vekter, et Python-bibliotek, en MLX C++-motor, DAW-eksempler og frittstående applikasjoner for lokal bruk. Modellen kan inngå i et konsertoppsett, et system for spillmusikk eller en installasjon uten at samhandlingen reduseres til å skrive en ledetekst, vente og laste ned.
Teknisk dokumentasjon: ikke bare en større modell
Det offisielle modellkortet deler MRT2 i tre hovedkomponenter: SpectroStream, MusicCoCa og en dekoderbasert Transformer-LLM. SpectroStream er en diskret lydkodek som konverterer stereomusikk ved 48 kHz til tokener. MusicCoCa plasserer tekst og musikklyd i et felles representasjonsrom. LLM-en genererer neste lydramme ut fra konteksttokener for lyd, stiltokener fra MusicCoCa og MIDI-tokener.
Denne oppbygningen forklarer hvorfor MRT2 kan ta imot tekst, lyd og MIDI samtidig. Tekst beskriver stil, lyd gir en klanglig eller musikalsk referanse, og MIDI leverer styring av framføringstilstanden. Inndataene settes ikke bare etter hverandre; de har ulike roller i genereringssløyfen for sanntid.
De to offisielle modellkonfigurasjonene er også opplysende: en basismodell med 2,4 milliarder parametere og en liten modell med 230 millioner. Basismodellen prioriterer kvalitet, mens den lille modellen senker terskelen for lokal kjøring. Modellkortet oppgir dessuten vindusbasert oppmerksomhet på 25 rammer (1 s) for base, 41 rammer (omtrent 1,6 s) for small og et effektivt reseptivt felt på 20 s for begge. Dette er kontinuerlig generering med avgrenset kontekst, ikke frakoblet resonnering over en hel låt.
Hva lav forsinkelse faktisk betyr
En av Googles hovedendringer er at modellens rammestørrelse reduseres fra 2 s til 40 ms sammenlignet med forrige generasjon, mens kontrollforsinkelsen går fra omtrent 3 s til rundt 200 ms. Tallet er slående, men må leses innenfor den offisielle avgrensningen: reaksjonstiden fra ende til ende består ikke bare av modellinferens. Den omfatter også inn- og utbuffere, lydgrensesnitt, vertsprogramvare og eksterne komponenter.
For musikere er rundt 200 ms ikke den nærmest umiddelbare responsen fra et maskinvaretastatur eller en trommetrigger. Det er likevel nok til å flytte en modell fra «frakoblet generator» til «interaktivt system». MRT2 passer bedre til stiloverganger, utvidet akkompagnement, respons på teksturer, livekoding, installasjoner og spillmusikk enn som erstatning for trommemaskiner eller pianoinstrumenter med millisekundpresisjon.
Forskjellen fra låtgenerering i ett forsøk
| Dimensjon | Magenta RealTime 2 | Vanlige generatorer fra ledetekst til spor | Praktisk betydning |
|---|---|---|---|
| Samhandlingsrytme | Lytt, spill, juster og fortsett å generere. | Skriv inn en ledetekst og vent på et fullstendig resultat. | MRT2 passer til sanntidseksperimenter og framføring; ledetekst-til-spor passer til raske, ferdige utkast. |
| Styringssignaler | MIDI, tekst og lyd samtidig. | Vanligvis tekstledetekster med begrensede strukturvalg. | MIDI lar modellen reagere på bevegelser i framføringen. |
| Kjørested | Offisielt innrettet mot lokale applikasjoner og DAW-programtillegg med åpne vekter på Apple Silicon. | Ofte skydriftede tjenester. | MRT2 passer mer naturlig til forskning, programtillegg og lokal integrasjon i musikkprogramvare, men krever lokal maskinvare. |
| Mål for utdata | Kontinuerlig musikalsk lyd som kan styres. | Komplette låter eller klipp. | MRT2 oppfører seg mer som et sanntidsinstrument eller en akkompagnatør enn en fabrikk for ferdige låter. |
| Kreativ avgrensning | Modellkortet konsentrerer seg om instrumentalmusikk og beskriver begrensninger for vokallyder uten ord. | Markedsføres ofte med vekt på generering av vokallåter. | MRT2 forstås best i sammenheng med instrumentalmusikk, teksturer, akkompagnement og interaktive musikkscener. |
Nøkkelopplysninger fra offisielle MRT2-kilder
| Dimensjon | Offisiell kilde | Presis tolkning |
|---|---|---|
| Lisens | Kode under Apache-2.0, modellvekter under CC-BY 4.0. | Dette er ikke en utgivelse med én lisens; integrasjoner bør lese vilkårene for kode, vekter og bruk samlet. |
| Modellinndeling | 2,4B base / 230M small. | Base og small gjenspeiler ulike avveininger mellom kvalitet og lokal kjøring. |
| Lydkodek | SpectroStream konverterer stereolyd ved 48 kHz til tokener med 25 Hz rammefrekvens, 64 RVQ-nivåer, 10-biters koder og 16 kbps. | Sanntidsfunksjonen kommer fra modellen sammen med kodeken og strømrepresentasjonen, ikke fra samplingsfrekvensen alene. |
| Styringssignaler | Tekstledetekster, lydeksempler og MIDI. | De tre inndataene representerer stil, kontekst og styring av framføringstilstand. |
| Treningsdata | Omtrent 71 000 timer med arkivmusikk, hovedsakelig instrumental. | Forventninger til vokaltekst bør være forsiktige; modellkortet opplyser at vokallydene gjerne mangler ord. |
| Evaluering | Modellkortet sier at målemetoder og resultater vil bli delt i en kommende teknisk rapport. | Ikke konstruer resultatlister eller upubliserte poengsummer; vis bare til publisert arkitektur og kjente begrensninger. |
Hva lanseringen endrer for interaktiv musikk
Nøkkelordene for MRT2 er kontinuerlig generering og styring med lav forsinkelse. Modellen er laget for å spilles og styres, ikke bare kommanderes med en ledetekst.
Modellkortet dreier seg om interaktiv musikkskaping og hovedsakelig instrumental arkivmusikk. Ferdige låter, tekst, vokal og utgivelsesklar produksjon trenger fortsatt en menneskelig arbeidsflyt.
Åpne vekter og lokal inferens gjør forskning, programtillegg og DAW-integrasjon mer praktisk, men maskinvare, buffere, vertsprogramvare og lydgrensesnitt former hele opplevelsen.
Alle bilder og GIF-er i denne gjennomgangen er offisielle ressurser fra Google Magenta-lanseringen, ikke erstatningstegninger eller gjenskapte diagrammer.