Google Magenta RealTime 2: cuando un modelo musical se convierte en un instrumento tocable

De Magenta RealTime y la API Lyria RealTime a un modelo local que se puede tocar

MRT2 continúa dos ramas anteriores del mismo programa de investigación: el modelo Magenta RealTime y la API alojada Lyria RealTime. Aquellos sistemas establecieron la generación continua y un estilo musical dirigible, pero el modelo anterior utilizaba autorregresión por bloques con una ventana de unos dos segundos. Una nota, un cambio de estilo o una nueva referencia de audio no podían modificar el sonido hasta que terminara el bloque en curso.

MRT2 conserva SpectroStream y MusicCoCa, pero sustituye el núcleo generador por un Transformer solo decodificador con autorregresión cuadro a cuadro. Cada cuadro dura ahora 40 ms, de modo que el estado MIDI, los tokens de estilo y el contexto de audio se vuelven a leer para cada cuadro. La latencia de control comunicada por Google baja de unos tres segundos a aproximadamente 200 ms. En los dos segundos que antes producían un único bloque, el nuevo modelo dispone de cincuenta oportunidades para redirigir el sonido.

El lanzamiento también separa una demostración alojada de un modelo que los músicos pueden incorporar a sus herramientas. La API Lyria RealTime mostró la generación interactiva como servicio; MRT2 publica los pesos, una biblioteca para Python, un motor MLX en C++, ejemplos para DAW y aplicaciones independientes para uso en el dispositivo. Puede formar parte de un montaje escénico, un sistema de música para videojuegos o una instalación sin reducir la interacción a escribir, esperar y descargar.

Datos técnicos: no es solo un modelo más grande

La ficha oficial divide MRT2 en tres componentes principales: SpectroStream, MusicCoCa y un LLM Transformer solo decodificador. SpectroStream es un códec de audio discreto que convierte música estéreo a 48 kHz en tokens. MusicCoCa sitúa el texto y el audio musical en un espacio de representaciones compartido. El LLM genera el siguiente cuadro de audio a partir de tokens del contexto sonoro, tokens de estilo de MusicCoCa y tokens MIDI.

Esta estructura explica por qué MRT2 puede recibir texto, audio y MIDI a la vez. El texto describe el estilo, el audio aporta una referencia sonora o musical y el MIDI controla el estado de la interpretación. Las entradas no se limitan a concatenarse: cumplen funciones diferentes dentro del bucle de generación en tiempo real.

Las dos configuraciones oficiales también son reveladoras: un modelo base de 2.400 millones de parámetros y uno pequeño de 230 millones. El modelo base favorece la calidad, mientras que el pequeño reduce los requisitos de ejecución local. La ficha también indica atención por ventanas de 25 cuadros (1 s) para base, 41 cuadros (unos 1,6 s) para small y un campo receptivo efectivo de 20 s en ambos. Es generación continua con contexto acotado, no razonamiento sin conexión sobre una canción entera.

Qué significa realmente una latencia baja

Uno de los principales cambios anunciados por Google es la reducción del cuadro del modelo de 2 s a 40 ms frente a la generación anterior, junto con una caída de la latencia de control de unos 3 s a aproximadamente 200 ms. Es una cifra atractiva, pero debe leerse con el límite oficial: el tiempo de reacción de extremo a extremo no depende únicamente de la inferencia. También incluye búferes de entrada y salida, interfaces de audio, software anfitrión y componentes externos.

Para un músico, unos 200 ms no son la respuesta casi instantánea de un teclado físico o un disparador de batería. Sin embargo, bastan para trasladar el modelo de «generador sin conexión» a «sistema interactivo». MRT2 encaja mejor con transiciones de estilo, extensiones de acompañamiento, respuesta a texturas, live coding, instalaciones y música para videojuegos que como sustituto de cajas de ritmos o pianos con precisión de milisegundos.

En qué se diferencia de generar una canción de una sola vez

Datos clave de las fuentes oficiales de MRT2

Qué cambia el lanzamiento para la música interactiva