Google Magenta RealTime 2: когда музыкальная модель становится исполняемым инструментом

От Magenta RealTime и Lyria RealTime API к локальной модели, на которой можно играть

MRT2 продолжает две предыдущие ветви той же исследовательской программы: модель Magenta RealTime и облачный сервис Lyria RealTime API. Они обеспечили непрерывную генерацию и управляемый музыкальный стиль, но прежняя модель применяла блочную авторегрессию с окном примерно в две секунды. Новая нота, смена стиля или аудиореференс могли повлиять на звук лишь после завершения текущего блока.

MRT2 сохраняет SpectroStream и MusicCoCa, но меняет генерирующую основу на Transformer только с декодером и покадровой авторегрессией. Теперь один кадр длится 40 мс, поэтому состояние MIDI, токены стиля и аудиоконтекст считываются заново для каждого кадра. Заявленная Google задержка управления сокращается примерно с трёх секунд до 200 мс. За двухсекундный интервал, в котором прежняя модель формировала один блок, новая получает пятьдесят возможностей изменить направление звучания.

Выпуск также отделяет размещённую в облаке демонстрацию от модели, которую музыканты могут встроить в собственные инструменты. Lyria RealTime API показала интерактивную генерацию в виде сервиса; MRT2 публикует веса, библиотеку Python, движок MLX C++, примеры для DAW и автономные приложения для локального запуска. Модель можно использовать в концертной установке, системе игровой музыки или интерактивной инсталляции, не сводя работу к последовательности «запрос, ожидание, скачивание».

Технические данные: дело не только в размере модели

Официальная карточка делит MRT2 на три основных компонента: SpectroStream, MusicCoCa и LLM на основе Transformer только с декодером. SpectroStream — дискретный аудиокодек, который преобразует стереомузыку с частотой 48 кГц в токены. MusicCoCa отображает текст и музыкальное аудио в общее пространство эмбеддингов. LLM создаёт следующий аудиокадр на основе токенов звукового контекста, токенов стиля MusicCoCa и MIDI-токенов.

Такое устройство объясняет, почему MRT2 одновременно принимает текст, аудио и MIDI. Текст задаёт стиль, аудио служит тембровым или музыкальным ориентиром, а MIDI управляет состоянием исполнения. Входные данные не просто объединяются в одну последовательность: каждый тип выполняет отдельную роль в цикле генерации реального времени.

Показательны и две официальные конфигурации: базовая модель на 2,4 млрд параметров и малая на 230 млн. Базовая ориентирована на качество, а малая снижает требования к локальному запуску. В карточке также указано оконное внимание на 25 кадров (1 с) для base, 41 кадр (около 1,6 с) для small и эффективное рецептивное поле 20 с для обеих моделей. Это непрерывная генерация с ограниченным контекстом, а не автономный анализ целой песни.

Что в действительности означает малая задержка

Одно из главных изменений Google — сокращение размера кадра модели с 2 с до 40 мс по сравнению с предыдущим поколением и уменьшение задержки управления примерно с 3 с до 200 мс. Цифра впечатляет, но её необходимо понимать в официальных границах: полное время реакции определяется не только выводом модели. Оно включает входные и выходные буферы, аудиоинтерфейсы, программное обеспечение хоста и внешние компоненты.

Для музыканта около 200 мс — не почти мгновенный отклик аппаратного синтезатора или барабанного триггера. Однако этого достаточно, чтобы перевести модель из категории «автономный генератор» в «интерактивная система». MRT2 лучше подходит для плавной смены стиля, развития аккомпанемента, реакции на фактуру, лайв-кодинга, инсталляций и игровой музыки, чем для замены драм-машины или фортепиано с миллисекундной точностью.

Чем система отличается от одноэтапной генерации песни

Основные факты из официальных источников MRT2

Что выпуск меняет в интерактивной музыке