Google Magenta RealTime 2: quando un modello musicale diventa uno strumento suonabile
Panoramica tecnica su MRT2: autoregressione frame-level da 40 ms, controllo MIDI/testo/audio a bassa latenza, struttura 2.4B/230M, percorso SpectroStream, embedding MusicCoCa e limiti della generazione musicale live.
Novità sui modelli / Google Magenta
Google Magenta RealTime 2 (MRT2) non è un generatore musicale convenzionale in cui si scrive un prompt e si attende una traccia completa. Google presenta la pubblicazione come l'unione di un modello aperto, un motore di inferenza in tempo reale e applicazioni di esempio: un modello base da 2,4 miliardi di parametri, un modello piccolo da 230 milioni, il codec audio SpectroStream, la rappresentazione di stile MusicCoCa, controlli MIDI, testuali e audio e un'esperienza locale per generare musica in tempo reale.
Questa analisi aggiornata usa le figure ufficiali di Google e le informazioni della scheda del modello per chiarire la posizione particolare di MRT2. Il sistema non cerca di sostituire arrangiamento, missaggio o produzione di brani completi. Porta i modelli musicali verso un'interazione suonabile, controllabile, adatta alle DAW e dal vivo. In pratica assomiglia più a un collaboratore in tempo reale che a una macchina offline per creare canzoni.
Da Magenta RealTime e Lyria RealTime API a un modello locale da suonare
MRT2 prosegue due rami precedenti dello stesso programma di ricerca: il modello Magenta RealTime e il servizio ospitato Lyria RealTime API. Quei sistemi avevano introdotto generazione continua e stile musicale indirizzabile, ma il modello precedente usava un'autoregressione per blocchi con finestre di circa due secondi. Una nota, un cambio di stile o un nuovo riferimento audio potevano modificare il suono solo dopo la conclusione del blocco in corso.
MRT2 mantiene SpectroStream e MusicCoCa, ma sostituisce il nucleo generativo con un Transformer solo decoder, autoregressivo fotogramma per fotogramma. Ogni fotogramma dura ora 40 ms, quindi stato MIDI, token di stile e contesto audio vengono riletti a ogni nuovo passaggio. La latenza di controllo indicata da Google scende da circa tre secondi a circa 200 ms. Nei due secondi in cui il sistema precedente produceva un solo blocco, il nuovo modello ha cinquanta occasioni per cambiare direzione al suono.
La pubblicazione distingue anche una dimostrazione ospitata da un modello che i musicisti possono inserire nei propri strumenti. Lyria RealTime API ha mostrato la generazione interattiva come servizio; MRT2 pubblica pesi, una libreria Python, un motore MLX C++, esempi per DAW e applicazioni autonome per l'uso sul dispositivo. Può entrare in una configurazione dal vivo, in un sistema per colonne sonore di videogiochi o in un'installazione senza ridurre l'interazione a prompt, attesa e download.
Dati tecnici: non è soltanto un modello più grande
La scheda ufficiale divide MRT2 in tre componenti fondamentali: SpectroStream, MusicCoCa e un LLM Transformer solo decoder. SpectroStream è un codec audio discreto che converte musica stereo a 48 kHz in token. MusicCoCa colloca testo e audio musicale in uno spazio di embedding condiviso. L'LLM genera il fotogramma audio successivo a partire dai token del contesto sonoro, dai token di stile MusicCoCa e dai token MIDI.
Questa struttura spiega perché MRT2 accetta contemporaneamente testo, audio e MIDI. Il testo descrive lo stile, l'audio fornisce un riferimento timbrico o musicale e il MIDI controlla lo stato dell'esecuzione. Gli ingressi non sono semplicemente concatenati: svolgono ruoli distinti nel ciclo di generazione in tempo reale.
Anche le due configurazioni ufficiali sono significative: un modello base da 2,4 miliardi di parametri e uno piccolo da 230 milioni. Il modello base privilegia la qualità, mentre quello piccolo abbassa la soglia per l'esecuzione locale. La scheda indica inoltre attenzione a finestra di 25 fotogrammi (1 s) per base, 41 fotogrammi (circa 1,6 s) per small e un campo ricettivo effettivo di 20 s per entrambi. Si tratta di generazione continua con un contesto limitato, non di ragionamento offline su un'intera canzone.
Che cosa significa davvero bassa latenza
Una delle principali novità dichiarate da Google è la riduzione del fotogramma del modello da 2 s a 40 ms rispetto alla generazione precedente, accompagnata dal calo della latenza di controllo da circa 3 s a circa 200 ms. Il dato è convincente, ma va letto entro il confine ufficiale: il tempo di reazione end-to-end non dipende soltanto dall'inferenza. Comprende anche buffer di ingresso e uscita, interfacce audio, software host e componenti esterni.
Per un musicista, circa 200 ms non equivalgono alla risposta quasi istantanea di una tastiera hardware o di un trigger per batteria. Sono però sufficienti a spostare un modello da «generatore offline» a «sistema interattivo». MRT2 è più adatto a trasformazioni di stile, estensione dell'accompagnamento, risposta alle texture, live coding, installazioni e musica per videogiochi che a sostituire drum machine o pianoforti con precisione al millisecondo.
Come si distingue dalla generazione di una canzone in un solo passaggio
| Dimensione | Magenta RealTime 2 | Comuni generatori da prompt a traccia | Effetto pratico |
|---|---|---|---|
| Ritmo dell'interazione | Ascoltare, suonare, regolare e continuare a generare. | Inserire un prompt e attendere un risultato completo. | MRT2 si presta a esperimenti ed esecuzioni in tempo reale; il prompt-to-track consente bozze finite rapidamente. |
| Ingressi di controllo | MIDI, testo e audio insieme. | Di solito prompt testuali e controlli strutturali limitati. | Il MIDI permette al modello di rispondere ai gesti dell'esecuzione. |
| Luogo di esecuzione | Presentato ufficialmente per applicazioni e plugin DAW locali, a pesi aperti, su Apple Silicon. | Spesso servizi ospitati nel cloud. | MRT2 è più naturale per ricerca, plugin e integrazione locale con software musicale, ma richiede hardware locale. |
| Obiettivo dell'uscita | Audio musicale continuo che può essere guidato. | Canzoni o clip completi. | MRT2 si comporta più come uno strumento o un accompagnatore in tempo reale che come una fabbrica di canzoni finite. |
| Confine creativo | La scheda si concentra sulla musica strumentale e segnala i limiti dei suoni vocali non lessicali. | Spesso promossi intorno alla generazione di canzoni vocali. | MRT2 va inteso soprattutto per musica strumentale, texture, accompagnamento e contesti musicali interattivi. |
Dati principali dalle fonti ufficiali di MRT2
| Dimensione | Fonte ufficiale | Lettura corretta |
|---|---|---|
| Licenza | Codice con Apache-2.0, pesi del modello con CC-BY 4.0. | Non è una pubblicazione con licenza unica; le integrazioni devono considerare insieme le condizioni di codice, pesi e utilizzo. |
| Suddivisione dei modelli | 2.4B base / 230M small. | Base e small rappresentano diversi compromessi tra qualità ed esecuzione locale. |
| Codec audio | SpectroStream converte audio stereo a 48 kHz in token a 25 Hz, con 64 livelli RVQ, codici a 10 bit e 16 kbps. | Il comportamento in tempo reale nasce dal modello insieme al codec e alla rappresentazione in streaming, non dalla sola frequenza di campionamento. |
| Ingressi di controllo | Prompt testuali, esempi audio e MIDI. | I tre ingressi rappresentano stile, contesto e controllo dello stato dell'esecuzione. |
| Dati di addestramento | Circa 71.000 ore di musica di catalogo, prevalentemente strumentale. | Le aspettative sui testi cantati vanno mantenute prudenti; la scheda segnala che i suoni vocali tendono a essere non lessicali. |
| Valutazione | La scheda afferma che metriche e risultati saranno condivisi in un prossimo rapporto tecnico. | Non vanno inventate classifiche o valutazioni inedite; si citano soltanto architettura e limiti già pubblicati. |
Che cosa cambia il lancio per la musica interattiva
Le parole chiave di MRT2 sono generazione continua e controllo a bassa latenza. È progettato per essere suonato e guidato, non solo comandato con un prompt.
La scheda si concentra sulla creazione musicale interattiva e su musica di catalogo soprattutto strumentale. Canzoni finite, testi, voci e produzione pronta per la pubblicazione richiedono ancora un flusso di lavoro umano.
Pesi aperti e inferenza locale rendono più pratici ricerca, plugin e integrazione con DAW, ma hardware, buffer, software host e interfacce audio influenzano l'esperienza.
Tutte le immagini e le GIF di questa analisi sono materiali ufficiali del lancio Google Magenta, non disegni sostitutivi o grafici ricreati.