Модель
MuScriptor-large: фактичне вимірювання та межі 1,366 мільярда параметрів повного міксу до багатодоріжкового MIDI
Автоматична транскрипція музики
Автоматична транскрипція музики
АВТОМАТИЧНА ТРАНСКРИПЦІЯ МУЗИКИ
MuScriptor-large — найбільший публічний чекпойнт родини MuScriptor і, за карткою моделі, її флагманський, найякісніший варіант. Модель розбиває монофонічне аудіо 16 кГц на п'ятисекундні сегменти, подає їх як мел-ознаки зі 512 смугами та за допомогою 48-шарового декодерного Transformer генерує події висоти тону, атаки, завершення, інструмента й ударних. Публічний чекпойнт містить рівно 1,366,399,488 параметрів F32; файл safetensors займає 5,465,642,136 байт.
Найбільша в родині — не те саме, що безумовний світовий рекорд. У статті заявлено значний відрив від YourMT3+ на приватному D_Test, а також опубліковано результати на восьми зовнішніх наборах даних, де MuScriptor виграє не всі метрики. D_Real, D_RL і D_Test не є публічними, а MIROS не порівнювали на тому самому аудіо, метриці та протоколі постобробки. Обґрунтований висновок вужчий: MuScriptor-large — один із найсильніших нових кандидатів з відкритими вагами для загальної багатоінструментальної AMT, що спирається на заявлені авторами провідні результати.
MuScriptor публікує чекпойнти small, medium і large. Метадані репозиторію наводять точну кількість параметрів: 102,968,832, 307,030,528 і 1,366,399,488. Large приблизно в 4.45 раза більший за medium і прямо названий флагманським релізом найвищої якості. Абляція масштабу в статті використовує мітки 60M, 100M, 300M і 1.3B; ці експериментальні мітки не можна підставляти замість точної кількості параметрів трьох публічних чекпойнтів.
У ревізії 8809fdfbed2affa7ade94a7059e746e3880720e7 репозиторій ваг містить model.safetensors розміром 5,465,642,136 байт і невеликий набір конфігураційних файлів. Джерельний код закріплено окремо, комітом 302343e8992bdfc619f77f1988168374ed5d675d. Разом ці ідентифікатори прив'язують архітектуру, токенізатор, типові параметри інференсу та ваги. Напис «large» недостатній, якщо реалізація може мовчки завантажити medium або йти за рухомою гілкою main.
Зберігання у F32 не означає, що кожна операція зобов'язана працювати в F32, і не доводить, що неофіційне низькобітове похідне відтворює ту саму якість. У релізі немає дослідження якості за тим самим протоколом для альтернативного квантованого чекпойнта. Тому шлях із пріоритетом якості може вимагати саме точної ідентичності large і чітко завершуватися невдачею, коли її неможливо завантажити, а не перемикатися на менший рівень.
Вхідний сигнал перетворюють на моно 16 кГц. Короткочасне перетворення Фур'є використовує вікно 2,048 точок і крок 160 семплів, даючи 100 кадрів за секунду, після чого проєктує їх у 512 мел-смуг. Отже, п'ятисекундний сегмент містить приблизно 500 акустичних кадрів. Ці ознаки надходять у декодерний Transformer із шириною 1,536, 24 головами уваги та 48 шарами. Модель не розділяє мікс спочатку на фіксований набір стемів і не запускає окремий транскрибер для кожного; події часу, інструментів і нот генеруються в спільній послідовності.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xмел-подання п'ятисекундного аудіосегментаcнеобов'язкова умова інструмента; порожня множина означає автоматичне визначенняynтокен події часу, інструмента, висоти тону або завершенняАвторегресійна факторизація дає змогу вже згенерованим інструментам і акордам впливати на наступні рішення, що корисно для міжінструментального контексту в повному міксі. Водночас вона переносить помилки далі. Хибний зсув у часі може змістити наступні ноти, зникла подія note-off лишає «завислу» ноту, а дрейф інструментального токена може покласти правильні висоти не на ту доріжку.
Поточний офіційний приклад використовує розмір пакета 1, ширину променя 1, cfg_coef=1 і форсування прелюдії. Ширина променя 1 — це детермінований шлях argmax. Ширший промінь утримує більше префіксів і споживає більше пам'яті; без контрольованої абляції промінь 4 не можна просто перейменувати на «максимальну якість».
Безкласифікаторне наведення загострює умову, поєднуючи умовні та безумовні логіти: ℓ=ℓu+s(ℓc−ℓu). У фінальній таблиці статті Multi F1 становить 48.2 за CFG=1 і 47.8 за CFG=2. Тому публічним типовим значенням лишається 1, а не припущення, що більше число наведення краще.
Стаття поділяє навчальний матеріал на три шари. D_Synth містить близько 1.45 мільйона MIDI-файлів із Lakh MIDI та від комерційного постачальника даних, відтворених через понад 250 SoundFonts. Транспозиція, темп, велосіті, випадковий вибір інструментів і розладнання виставляють той самий символьний матеріал на ширший тембровий діапазон. Синтетичний рендеринг дає точні межі подій, але не може повністю відтворити просочування між мікрофонами, мастеринг, шум виконавців чи довгий хвіст реального продакшену.
D_Real містить приблизно 170,000 внутрішніх записів — загалом близько 11,000 годин. Їхні нотні мітки походять із аудіо-символьного вирівнювання, а не з ручної розмітки на рівні семплів. Реальні мікси розширюють розподіл продакшену, водночас додаючи збіги назв, відмінності версій, затримку плагінів і помилки вирівнювання. Потім D_RL відбирає 300 високоякісних транскрипцій, перевірених людьми, для пост-тренування в стилі GRPO/REINFORCE. Три етапи закривають покриття, доменний зсув і перевагу послідовностей, але реальний та винагородний набори даних не публічні.
Кероване навчання мінімізує від'ємну логарифмічну правдоподібність на рівні токенів, тоді як пост-тренування використовує винагороду, зібрану з мір атаки, завершення, кадрів, ударних і багатоінструментальних оцінок. Оптимізація на рівні послідовності може штрафувати структурні збої, які незалежна класифікація токенів пропускає. Оскільки перевірений набір винагороди має лише 300 треків, покриття рідкісних інструментів, екстремальних темпів і незахідних традицій досі потребує публічної зовнішньої оцінки.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTперехресна ентропія послідовності під час керованого навчанняR(y)комбінована винагорода за завершену транскрипціюD_RL300 перевірених транскрипцій, а не публічний бенчмаркMuScriptor відображає 128 програм General MIDI у групи інструментів MT3_FULL_PLUS. Модель вивчає 36 груп, тоді як публічне демо відкриває 35 доступних для вибору назв: серед них акустичне й електричне піано, три групи гітар, акустичний та електричний бас, струнні, мідні, дерев'яні духові, синтезатори, голос і ударні. Різниця відображає межу між внутрішнім поданням і доступним для вибору інтерфейсом; 35 інтерфейсних варіантів не варто подавати як повну кількість вивчених категорій.
З порожнім полем інструментів модель може визначити будь-яку підтримувану групу. Щойно вибрано одну чи кілька назв, декодер жорстко маскує всі інші інструментальні токени. Це суворий білий список, а не м'яка перевага. Він може зменшити просочування інструментів, коли склад ансамблю відомий, але може й стерти реальну партію, яку користувач не включив. Піано, бас і ударні можуть бути добрим обмеженням для відомого тріо; за невпевненості в аранжуванні безпечніше автоматичне визначення.
Обмеження має пройти шлях від інтерфейсу до маски токенів токенізатора. Вибрані чіпи, відкинуті API, створюють фальшиве керування, а необмежені рядки відкладають орфографічні помилки до виконання. Вірний контракт приймає лише офіційні 35 ідентифікаторів, відхиляє дублікати та визначає порожній масив як автоматичне визначення.
Таблиця 1 статті порівнює YourMT3+ YPTF.MoE+Multi (noPS) з етапами навчання MuScriptor на тому самому приватному D_Test. Фінальна велика модель за CFG=1 показує Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 і Multi 48.2. YourMT3+ показує 32.52, 45.54, 17.79, 41.4 і 21.9. Розрив суттєвий і підтримує тезу, що більші дані, модель і рецепт пост-тренування авторів помітно покращили результат у межах їхнього розподілу реальних міксів та протоколу розмітки.
| Той самий приватний D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 вимагає, щоб інструмент, висота тону, атака та завершення разом задовольняли правило збігу, тому його не можна міняти місцями з оцінкою, що перевіряє менше полів. MIROS набрав 0.5998 у 2025 AMT Challenge на іншому наборі з 76 приблизно двадцятисекундних синтетичних уривків і за протоколом Multi Onset F1 із програмою + висотою + атакою. MuScriptor у цьому однопротокольному тесті не брав участі. Порівнювати 48.2 поруч із 0.5998 — значить зіставляти різні знаменники та різні визначення подій.
D_Test містить 372 багатоінструментальні твори з внутрішнього матеріалу, із фільтрацією за назвами, покликаною зменшити просочування між навчанням і тестом. Фільтрація назв корисна, але не дорівнює публічному, відтворюваному аудиту дедуплікації. Аудіо, анотації, вибір версій і правила очищення перетинів недоступні. Тому головний показник має лишатися позначеним як результат на приватному наборі, повідомлений авторами.
Вісім зовнішніх наборів даних показують нерівномірнішу картину. Проти YourMT3+ MuScriptor виграє Frame F1 на 7/8 наборів і Multi F1 на 6/8, але Onset F1 лише на 4/8. Він поступається за onset, frame, offset і multi на RWC-C; за offset, drums і multi на RWC-R; і за onset та offset на Bach10. Сильна активність сталеної висоти й загальний вміст доріжки не означають переваги на кожному транзієнті, родині інструментів чи розподілі записів.
Токенізатор має конкретну межу подання: одночасні перекриті ноти з однаковим інструментом і висотою не можуть бути чисто представлені обидві. Для основної оцінки на D_Test стаття вилучає коротше перекриття. Без цього вилучення Onset F1 падає з 60.4 до 51.8, Offset — з 49.0 до 41.9, а Multi — з 48.2 до 42.0. Повторні ноти піано однієї висоти під педаллю, унісони струнних і нашаровані гітари можуть потрапити в цю колізію.
Абляцію масштабу моделі слід розглядати окремо від фінального порівняння. Таблиця 4 статті навчається лише на D_Real з умовою інструмента. Multi F1 зростає з 35.2 до 38.2, 39.7 і 40.5 на мітках 60M, 100M, 300M і 1.3B. Це демонструє подальшу вигоду масштабу в такому налаштуванні, але не включає фінальні етапи синтетичного передтренування й підкріплення та не є прямим бенчмарком публічних файлів small, medium і large.
| Мітка масштабу зі статті | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Прослухову перевірку варто зосередити на щільних унісонах, спільних транзієнтах ударних і басу, перегружених гітарах, хорах, рідкісних тембрах і сильній реверберації. Агреговані оцінки можуть лишатися добрими, поки трек розпадається на короткі фрагменти, має міжтрекове просочування, обрізані сустейни або кілька каналів для одного інструмента. Середні описують поведінку сукупності; вони не замінюють огляд піано-ролу та ресинтезоване відтворення.
Поточний записувач створює MIDI типу Type-1: метадані займають власну доріжку, а кожна інструментальна доріжка несе назву, програму, канал і події note-on та note-off. Ударні дотримуються конвенції General MIDI про канал 10. Порівняно зі зведенням усього в Type-0 таку структуру легше вимикати, солювати й редагувати в DAW, а дрейф інструментів у ній помітніший.
Вихідні дані не відновлюють виконавську динаміку. Публічний код записує велосіті нот як 100. Поле велосіті в MIDI лише задовольняє формат файлу; це не доказ того, що модель вивела експресію із запису. Ударні дають лише атаки. Модель також не виводить карту темпу пісні, розмір чи сітку долей. Записувач використовує фіксовану темпову подію 120 BPM, щоб перевести секунди подій у тіки. «Фіксовано на 120 BPM» ніколи не можна подавати як «визначено 120 BPM».
Безперервний час можна приблизно зберегти, тоді як нотовані значення, які показує нотний редактор, залежать від цього фіксованого темпу й подальшої квантизації. Рубато, свінг, вільні за часом уривки та зміни темпу потребують окремого аналізу долей і структури. Відтворювані події, редаговані доріжки й готова до публікації нотація — три різні шари; голосоведення, ліги, педалізація, енгармонічне записування, повтори й експресія досі вимагають музичних рішень.
Коли довге аудіо обробляється як перекриті сегменти, володіння атаками має призначатися в глобальних секундах, а ноти, що лишаються відкритими через межу, переносяться далі. Конкатенація MIDI-файлів сегментів може дублювати прикордонні атаки, обрізати сустейни або втрачати назви доріжок, програми й канал ударних. Приймання має перевіряти завислі ноти, збережені метадані доріжок і відсутність системного дрейфу часу на стиках сегментів.
Код MuScriptor поширюється за ліцензією MIT. Великі ваги — за CC BY-NC 4.0 і розповсюджуються через закриту сторінку Hugging Face. Доступ вимагає увійденого облікового запису, прийняття умов сторінки та підтвердження, що користувач має необхідні права на музику, яку транскрибує.
Код і ваги мають окремі ліцензії. Доступ до файлів ваг не змінює їхньої умови NonCommercial; закріплена картка моделі та текст ліцензії є первинними джерелами щодо дозволеного використання.
Цінність MuScriptor-large конкретна: це найбільший публічний член родини з 1.366B параметрів, орієнтований на реальні повні мікси, із жорстким білим списком інструментів, редагованим багатодоріжковим MIDI Type-1 і великим, заявленим авторами, відривом від YourMT3+ на приватному D_Test. Її межі так само конкретні: головні дані не публічні, зовнішні метрики не виграні всі, перекриті ноти однієї висоти стикаються в токенізаторі, велосіті та справжня карта темпу відсутні, а ваги ліцензовано для некомерційного використання.
Твердження «найякісніший чекпойнт MuScriptor» підтверджене. «Незалежно підтверджений універсальний SOTA аудіо-в-MIDI» — ні. Ця оцінка може змінитися, коли публічне відтворення порівняє MuScriptor-large, YourMT3+ і MIROS на тих самих записах, визначеннях подій, допусках збігу та політиці перекриттів.