Google Magenta RealTime 2 : quand un modèle musical devient un instrument jouable
Présentation technique de MRT2 couvrant l'autorégression par frames de 40 ms, le contrôle MIDI/texte/audio à faible latence, la structure 2.4B/230M, le codec SpectroStream, les embeddings MusicCoCa et les limites de la génération musicale live.
Actualité des modèles / Google Magenta
Google Magenta RealTime 2 (MRT2) n'est pas un générateur musical classique où l'on saisit une consigne avant d'attendre une piste complète. Google présente cette publication comme l'association d'un modèle ouvert, d'un moteur d'inférence en temps réel et d'applications d'exemple : un modèle de base de 2,4 milliards de paramètres, un petit modèle de 230 millions, le codec audio SpectroStream, la représentation stylistique MusicCoCa, des commandes MIDI, texte et audio, ainsi qu'une expérience locale de génération musicale en temps réel.
Cette analyse mise à jour réunit les illustrations officielles de Google et les éléments de la fiche du modèle pour préciser la place singulière de MRT2. Il ne cherche pas à remplacer l'arrangement, le mixage ou la production de morceaux complets. Il oriente les modèles musicaux vers une interaction jouable, contrôlable, compatible avec les stations audionumériques et adaptée au direct. Dans la pratique, il ressemble davantage à un partenaire en temps réel qu'à une machine à chansons hors ligne.
De Magenta RealTime et Lyria RealTime API à un modèle local jouable
MRT2 prolonge deux branches antérieures du même programme de recherche : le modèle Magenta RealTime et le service hébergé Lyria RealTime API. Ces systèmes avaient établi la génération continue et le pilotage du style musical, mais le modèle précédent reposait sur une autorégression par blocs avec une fenêtre d'environ deux secondes. Une note, un changement de style ou une nouvelle référence audio ne pouvait modifier le son qu'après la fin du bloc en cours.
MRT2 conserve SpectroStream et MusicCoCa, mais remplace le cœur génératif par un Transformer à décodeur seul, autorégressif image par image. Une image dure désormais 40 ms : l'état MIDI, les jetons de style et le contexte audio sont donc relus pour chaque nouvelle image. La latence de contrôle annoncée par Google passe d'environ trois secondes à près de 200 ms. Pendant les deux secondes qui ne produisaient auparavant qu'un bloc, le nouveau modèle dispose de cinquante occasions de réorienter le son.
La publication distingue aussi une démonstration hébergée d'un modèle que les musiciens peuvent intégrer à leurs propres outils. Lyria RealTime API montrait la génération interactive sous forme de service ; MRT2 publie ses poids, une bibliothèque Python, un moteur MLX C++, des exemples pour station audionumérique et des applications autonomes destinées à une exécution locale. Il peut prendre place dans un dispositif scénique, un système de musique de jeu ou une installation sans réduire l'interaction à la saisie d'une consigne, à l'attente puis au téléchargement.
Éléments techniques : pas seulement un modèle plus grand
La fiche officielle divise MRT2 en trois composants principaux : SpectroStream, MusicCoCa et un LLM Transformer à décodeur seul. SpectroStream est un codec audio discret qui convertit en jetons de la musique stéréo à 48 kHz. MusicCoCa projette le texte et l'audio musical dans un espace de représentations commun. Le LLM produit l'image audio suivante à partir des jetons du contexte sonore, des jetons de style MusicCoCa et des jetons MIDI.
Cette structure explique pourquoi MRT2 peut recevoir simultanément du texte, de l'audio et du MIDI. Le texte décrit le style, l'audio apporte une référence sonore ou musicale et le MIDI pilote l'état de l'interprétation. Ces entrées ne sont pas simplement concaténées : elles remplissent des fonctions distinctes dans la boucle de génération en temps réel.
Les deux configurations officielles sont également révélatrices : un modèle de base de 2,4 milliards de paramètres et un petit modèle de 230 millions. Le premier privilégie la qualité, tandis que le second abaisse les exigences d'une exécution locale. La fiche indique aussi une attention fenêtrée sur 25 images (1 s) pour base, 41 images (environ 1,6 s) pour small et un champ réceptif effectif de 20 s pour les deux. Il s'agit de génération continue avec un contexte borné, et non d'un raisonnement hors ligne sur une chanson entière.
Ce que signifie réellement une faible latence
Parmi les changements mis en avant par Google figurent la réduction de la taille d'image du modèle de 2 s à 40 ms par rapport à la génération précédente, ainsi que la baisse de la latence de contrôle d'environ 3 s à près de 200 ms. Le chiffre est séduisant, mais il doit rester dans le périmètre officiel : le temps de réaction de bout en bout ne dépend pas uniquement de l'inférence. Il comprend aussi les tampons d'entrée et de sortie, les interfaces audio, le logiciel hôte et les composants externes.
Pour un musicien, environ 200 ms ne correspondent pas à la réponse presque immédiate d'un clavier matériel ou d'un déclencheur de batterie. Cela suffit néanmoins à faire passer un modèle du statut de « générateur hors ligne » à celui de « système interactif ». MRT2 convient mieux aux transitions de style, au prolongement d'un accompagnement, à la réponse aux textures, au live coding, aux installations et à la musique de jeu qu'au remplacement d'une boîte à rythmes ou d'un piano précis à la milliseconde.
Ce qui le distingue d'une génération de chanson en une seule fois
| Dimension | Magenta RealTime 2 | Générateurs courants de la consigne à la piste | Conséquence pratique |
|---|---|---|---|
| Rythme d'interaction | Écouter, jouer, ajuster et continuer à générer. | Saisir une consigne et attendre un résultat complet. | MRT2 se prête aux expériences et aux prestations en temps réel ; la génération d'une piste à partir d'une consigne produit rapidement des ébauches terminées. |
| Entrées de contrôle | MIDI, texte et audio réunis. | Le plus souvent, des consignes textuelles accompagnées de réglages structurels limités. | Le MIDI permet au modèle de réagir aux gestes de l'interprète. |
| Lieu d'exécution | Officiellement conçu autour d'applications locales et d'extensions DAW à poids ouverts sur Apple Silicon. | Souvent des services hébergés dans le cloud. | MRT2 s'intègre plus naturellement à la recherche, aux extensions et aux logiciels musicaux locaux, mais nécessite du matériel sur place. |
| Cible de sortie | Un flux audio musical continu qui peut être dirigé. | Des chansons ou des extraits complets. | MRT2 se comporte davantage comme un instrument ou un accompagnateur en temps réel que comme une usine à chansons finies. |
| Périmètre créatif | La fiche se concentre sur la musique instrumentale et signale des limites pour les sons vocaux non lexicaux. | Souvent promus autour de la génération de chansons avec voix. | MRT2 se comprend surtout pour la musique instrumentale, les textures, l'accompagnement et les scènes musicales interactives. |
Faits essentiels tirés des sources officielles de MRT2
| Dimension | Source officielle | Lecture exacte |
|---|---|---|
| Licence | Code sous Apache-2.0, poids du modèle sous CC-BY 4.0. | La publication n'utilise pas une licence unique ; toute intégration doit considérer ensemble les conditions du code, des poids et de l'usage. |
| Déclinaisons du modèle | 2.4B base / 230M small. | Base et small correspondent à des compromis différents entre qualité et exécution locale. |
| Codec audio | SpectroStream convertit l'audio stéréo à 48 kHz en jetons, à 25 Hz, avec 64 niveaux RVQ, des codes sur 10 bits et 16 kbps. | Le fonctionnement en temps réel vient de l'ensemble formé par le modèle, le codec et la représentation en flux, pas seulement de la fréquence d'échantillonnage. |
| Entrées de contrôle | Consignes textuelles, exemples audio et MIDI. | Les trois entrées représentent le style, le contexte et le pilotage de l'état d'interprétation. |
| Données d'entraînement | Environ 71 000 heures de musique de catalogue, principalement instrumentale. | Les attentes concernant les paroles chantées doivent rester prudentes ; la fiche note que les sons vocaux ont tendance à ne pas former de mots. |
| Évaluation | La fiche indique que les mesures et les résultats seront publiés dans un prochain rapport technique. | Il ne faut inventer ni classement ni score inédit ; seules l'architecture et les limites déjà publiées sont citées. |
Ce que cette publication change pour la musique interactive
Les mots-clés de MRT2 sont la génération continue et le contrôle à faible latence. Il est conçu pour être joué et dirigé, pas seulement commandé par une consigne.
La fiche traite de création musicale interactive et de musique de catalogue surtout instrumentale. Les chansons terminées, les paroles, les voix et la production prête à publier demandent toujours un travail humain.
Les poids ouverts et l'inférence locale facilitent la recherche, les extensions et l'intégration aux DAW, mais le matériel, les tampons, le logiciel hôte et les interfaces audio façonnent l'expérience.
Toutes les images et animations GIF de cette analyse sont des ressources officielles de Google Magenta, et non des illustrations de remplacement ou des graphiques recréés.