Google Magenta RealTime 2: коли музична модель стає інструментом для гри
Оновлений огляд з офіційними графіками Google про низьку затримку, MIDI/текст/аудіо керування, структуру 2.4B/230M, обладнання і межі MRT2.
Новини моделей / Google Magenta
Google Magenta RealTime 2 (MRT2) — не звичайний музичний генератор, якому задають текстовий запит і чекають на готову композицію. Google описує випуск як поєднання відкритої моделі, рушія виведення в реальному часі та демонстраційних застосунків: базової моделі на 2,4 млрд параметрів, малої моделі на 230 млн, аудіокодека SpectroStream, представлення стилю MusicCoCa, керування через MIDI, текст і аудіо, а також локального середовища для генерації музики в реальному часі.
Цей оновлений огляд використовує офіційні ілюстрації Google і дані з картки моделі, щоб точніше визначити місце MRT2. Система не намагається замінити аранжування, зведення чи повноцінне виробництво пісні. Вона наближає музичні моделі до живої взаємодії: на них можна грати, ними можна керувати з DAW і спрямовувати в реальному часі. На практиці це радше музичний партнер, ніж автономна машина для створення пісень.
Від Magenta RealTime і Lyria RealTime API до локальної моделі, на якій можна грати
MRT2 продовжує дві попередні гілки тієї самої дослідницької програми: модель Magenta RealTime і хмарний сервіс Lyria RealTime API. Ці системи започаткували безперервну генерацію та керований музичний стиль, але попередня модель застосовувала блокову авторегресію з вікном приблизно у дві секунди. Нова нота, зміна стилю чи аудіореференс могли вплинути на звук лише після завершення поточного блоку.
MRT2 зберігає SpectroStream і MusicCoCa, але замінює генеративну основу на Transformer лише з декодером і покадровою авторегресією. Тепер один кадр триває 40 мс, тому стан MIDI, токени стилю та аудіоконтекст зчитуються заново для кожного кадру. Заявлена Google затримка керування зменшується приблизно з трьох секунд до 200 мс. За двосекундний проміжок, у якому попередня модель формувала один блок, нова отримує п'ятдесят можливостей змінити напрям звучання.
Випуск також відокремлює розміщену в хмарі демонстрацію від моделі, яку музиканти можуть вбудувати у власні інструменти. Lyria RealTime API показала інтерактивну генерацію як сервіс; MRT2 публікує ваги, бібліотеку Python, рушій MLX C++, приклади для DAW і автономні застосунки для локального запуску. Модель можна використати в концертному сетапі, системі ігрової музики чи інтерактивній інсталяції, не зводячи роботу до послідовності «запит, очікування, завантаження».
Технічні дані: справа не лише в розмірі моделі
Офіційна картка поділяє MRT2 на три основні компоненти: SpectroStream, MusicCoCa та LLM на основі Transformer лише з декодером. SpectroStream — дискретний аудіокодек, який перетворює стереомузику з частотою 48 кГц на токени. MusicCoCa відображає текст і музичне аудіо у спільний простір ембедингів. LLM створює наступний аудіокадр із токенів звукового контексту, токенів стилю MusicCoCa та MIDI-токенів.
Така будова пояснює, чому MRT2 одночасно приймає текст, аудіо та MIDI. Текст задає стиль, аудіо надає тембровий або музичний орієнтир, а MIDI керує станом виконання. Вхідні дані не просто об'єднуються в одну послідовність: кожен тип виконує окрему роль у циклі генерації реального часу.
Показовими є й дві офіційні конфігурації: базова модель на 2,4 млрд параметрів і мала на 230 млн. Базова орієнтована на якість, а мала знижує вимоги до локального запуску. У картці також зазначено віконну увагу на 25 кадрів (1 с) для base, 41 кадр (близько 1,6 с) для small та ефективне рецептивне поле 20 с для обох моделей. Це безперервна генерація з обмеженим контекстом, а не автономний аналіз цілої пісні.
Що насправді означає мала затримка
Одна з головних змін Google — скорочення розміру кадру моделі з 2 с до 40 мс порівняно з попереднім поколінням і зменшення затримки керування приблизно з 3 с до 200 мс. Число вражає, але його слід розуміти в офіційних межах: повний час реакції визначається не лише виведенням моделі. Він включає вхідні й вихідні буфери, аудіоінтерфейси, програмне забезпечення хоста та зовнішні компоненти.
Для музиканта близько 200 мс — не майже миттєва реакція апаратного синтезатора чи барабанного тригера. Проте цього достатньо, щоб перевести модель із категорії «автономний генератор» до «інтерактивна система». MRT2 краще підходить для плавної зміни стилю, розвитку акомпанементу, реакції на фактуру, лайв-кодингу, інсталяцій та ігрової музики, ніж для заміни драм-машини чи фортепіано з мілісекундною точністю.
Чим система відрізняється від одноетапної генерації пісні
| Аспект | Magenta RealTime 2 | Звичайні генератори треків за запитом | Практичне значення |
|---|---|---|---|
| Ритм взаємодії | Слухати, грати, коригувати й продовжувати генерацію. | Увести запит і чекати на готовий результат. | MRT2 підходить для експериментів і виступів у реальному часі; генератор треку за запитом — для швидких завершених начерків. |
| Керувальні входи | MIDI, текст і аудіо одночасно. | Зазвичай текстовий запит та обмежені налаштування структури. | MIDI дозволяє моделі реагувати на виконавські жести. |
| Місце виконання | Офіційний акцент на локальних застосунках і плагінах DAW із відкритими вагами для Apple Silicon. | Часто хмарні сервіси. | MRT2 природніше підходить для досліджень, плагінів і локальної інтеграції з музичним ПЗ, але потребує власного обладнання. |
| Мета виведення | Безперервне музичне аудіо, яким можна керувати. | Готові пісні або кліпи. | MRT2 більше схожий на інструмент або акомпаніатора реального часу, ніж на фабрику готових пісень. |
| Творчі межі | Картка зосереджена на інструментальній музиці та зазначає обмеження для нелексичних вокальних звуків. | Часто просуваються як засоби генерації пісень із вокалом. | MRT2 слід розглядати передусім для інструментальної музики, фактур, акомпанементу та інтерактивних музичних сцен. |
Основні факти з офіційних джерел MRT2
| Аспект | Офіційне джерело | Точне тлумачення |
|---|---|---|
| Ліцензія | Код за Apache-2.0, ваги моделі за CC-BY 4.0. | Це не випуск з єдиною ліцензією: під час інтеграції потрібно разом враховувати умови для коду, ваг і застосування. |
| Варіанти моделі | 2.4B base / 230M small. | Base і small пропонують різні компроміси між якістю та можливістю локального запуску. |
| Аудіокодек | SpectroStream перетворює стерео 48 кГц на токени з частотою кадрів 25 Гц, глибиною 64 RVQ, 10-бітними кодами та потоком 16 кбіт/с. | Роботу в реальному часі забезпечують разом модель, кодек і потокове представлення, а не лише частота дискретизації. |
| Керувальні входи | Текстові запити, аудіоприклади та MIDI. | Три входи відповідають за стиль, контекст і керування станом виконання. |
| Навчальні дані | Близько 71 тис. годин стокової музики, переважно інструментальної. | Очікування від співаного тексту варто обмежити: у картці вказано, що вокальні звуки зазвичай не складаються у слова. |
| Оцінювання | Згідно з карткою, метрики й результати з'являться в майбутньому технічному звіті. | Не можна вигадувати рейтинги та неопубліковані показники; слід посилатися лише на розкриту архітектуру й обмеження. |
Що випуск змінює в інтерактивній музиці
Ключові властивості MRT2 — безперервна генерація та керування з малою затримкою. Модель розрахована на гру й спрямування процесу, а не лише на виконання текстової команди.
Картка присвячена інтерактивному створенню музики та переважно інструментальним стоковим записам. Готові пісні, тексти, вокал і продакшен до випуску й далі потребують роботи людини.
Відкриті ваги та локальне виведення спрощують дослідження, розробку плагінів та інтеграцію з DAW, але на враження впливають обладнання, буфери, ПЗ хоста й аудіоінтерфейси.
Усі зображення та GIF у цьому огляді взято з офіційних матеріалів випуску Google Magenta, а не замінено малюнками чи відтвореними діаграмами.