Google Magenta RealTime 2: quando um modelo musical vira um instrumento tocável

Do Magenta RealTime e da API Lyria RealTime a um modelo local tocável

O MRT2 dá continuidade a duas vertentes anteriores do mesmo programa de pesquisa: o modelo Magenta RealTime e a API hospedada Lyria RealTime. Esses sistemas estabeleceram a geração contínua e o controle do estilo musical, mas o modelo anterior usava autorregressão em blocos com quadros de aproximadamente dois segundos. Uma nota, uma mudança de estilo ou uma nova referência de áudio só conseguia alterar o som depois que o bloco em andamento terminava.

O MRT2 mantém o SpectroStream e o MusicCoCa, mas troca o núcleo gerador por um Transformer somente decodificador, com autorregressão quadro a quadro. Cada quadro passa a ter 40 ms, por isso o estado MIDI, os tokens de estilo e o contexto de áudio são lidos novamente a cada quadro. A latência de controle informada pelo Google cai de cerca de três segundos para aproximadamente 200 ms. No intervalo de dois segundos que antes produzia um bloco, o novo modelo tem cinquenta oportunidades de redirecionar o som.

O lançamento também separa uma demonstração hospedada de um modelo que músicos podem inserir nas próprias ferramentas. A API Lyria RealTime mostrou a geração interativa como serviço; o MRT2 publica pesos, uma biblioteca Python, um mecanismo MLX em C++, exemplos para DAWs e aplicativos independentes para uso no dispositivo. Ele pode fazer parte de uma apresentação, de um sistema de trilha para jogos ou de uma instalação sem reduzir a interação a inserir um prompt, esperar e baixar o resultado.

Evidências técnicas: não se trata apenas de um modelo maior

O cartão oficial divide o MRT2 em três componentes centrais: SpectroStream, MusicCoCa e um LLM Transformer somente decodificador. O SpectroStream é um codec discreto que converte música estéreo a 48 kHz em tokens. O MusicCoCa mapeia texto e áudio musical para um espaço de embeddings compartilhado. O LLM gera o próximo quadro de áudio a partir de tokens do contexto sonoro, tokens de estilo do MusicCoCa e tokens MIDI.

Essa estrutura explica por que o MRT2 aceita texto, áudio e MIDI ao mesmo tempo. O texto descreve o estilo, o áudio oferece uma referência sonora ou musical e o MIDI controla o estado da execução. As entradas não são simplesmente concatenadas: cada uma desempenha um papel diferente no ciclo de geração em tempo real.

As duas configurações oficiais também são reveladoras: um modelo-base de 2,4 bilhões de parâmetros e um modelo pequeno de 230 milhões. O modelo-base privilegia a qualidade, enquanto o pequeno reduz a barreira para execução local. O cartão ainda indica atenção em janela de 25 quadros (1 s) para o base, 41 quadros (cerca de 1,6 s) para o small e campo receptivo efetivo de 20 s em ambos. É geração contínua com contexto limitado, não raciocínio offline sobre uma música inteira.

O que baixa latência realmente significa

Uma das principais mudanças divulgadas pelo Google é a redução do quadro do modelo de 2 s para 40 ms em relação à geração anterior, além da queda da latência de controle de cerca de 3 s para aproximadamente 200 ms. O número chama atenção, mas precisa ser lido dentro do limite oficial: o tempo de reação de ponta a ponta não depende apenas da inferência do modelo. Ele inclui buffers de entrada e saída, interfaces de áudio, software hospedeiro e componentes externos.

Para músicos, cerca de 200 ms não é a resposta quase instantânea de um teclado físico ou de um gatilho de bateria. Ainda assim, basta para levar o modelo de “gerador offline” a “sistema interativo”. O MRT2 faz mais sentido para transições de estilo, extensão de acompanhamento, resposta a texturas, live coding, instalações e música de jogos do que como substituto de baterias eletrônicas ou pianos com precisão de milissegundos.

Como ele difere da geração de músicas em uma única etapa

Dados principais das fontes oficiais do MRT2

O que o lançamento muda na música interativa