MuScriptor-large: фактическое измерение и границы 1,366 миллиардов параметров, полный микс в многодорожечном MIDI
Автоматическая транскрипция музыки
АВТОМАТИЧЕСКАЯ ТРАНСКРИПЦИЯ МУЗЫКИ
MuScriptor-large — самый крупный публичный чекпоинт MuScriptor и флагманский, наиболее качественный вариант по карточке модели. Он преобразует монофоническое аудио 16 кГц в пятисекундные сегменты, представляет их в виде мел-признаков с 512 бинами и использует 48-слойный Transformer только с декодером, чтобы генерировать события высоты тона, атаки, отпускания, инструмента и ударных. Публичный чекпоинт содержит ровно 1,366,399,488 параметров F32, а файл safetensors занимает 5,465,642,136 байт.
Самый крупный в семействе — не то же самое, что безоговорочный state of the art. Статья сообщает о большом выигрыше над YourMT3+ на закрытом D_Test, а также публикует результаты на восьми внешних наборах данных, где MuScriptor выигрывает не по всем метрикам. D_Real, D_RL и D_Test не являются публичными, а MIROS не сравнивался на том же аудио, той же метрике и том же протоколе постобработки. Защитимый вывод уже: MuScriptor-large — один из сильнейших новых кандидатов с открытыми весами для универсальной мультиинструментальной AMT, и опирается это на заявленные авторами лидирующие результаты.
1. Флагманский уровень — это точный чекпоинт, а не название из маркетинга
MuScriptor публикует чекпоинты small, medium и large. Метаданные репозитория дают точные значения параметров: 102,968,832, 307,030,528 и 1,366,399,488. Large примерно в 4.45 раза больше medium и прямо описан как флагманский релиз наилучшего качества. В абляции масштаба в статье используются метки 60M, 100M, 300M и 1.3B; эти экспериментальные метки нельзя подменять точными значениями параметров трёх публичных чекпоинтов.
На ревизии 8809fdfbed2affa7ade94a7059e746e3880720e7 репозиторий весов содержит файл model.safetensors размером 5,465,642,136 байт и небольшой набор конфигурационных файлов. Исходный код отдельно закреплён за коммитом 302343e8992bdfc619f77f1988168374ed5d675d. Вместе эти идентификаторы фиксируют архитектуру, токенизатор, параметры инференса по умолчанию и веса. Надпись «large» недостаточна, если реализация может незаметно загрузить medium или следовать за подвижной основной веткой.
Хранение в F32 не означает, что каждая операция обязана использовать F32, и не доказывает, что неофициальная низкобитная производная эквивалентна по качеству. В релизе нет исследования по единому протоколу для альтернативного квантованного чекпоинта. Поэтому путь с приоритетом качества может требовать точную идентичность large и явно завершаться ошибкой, когда её невозможно загрузить, вместо перехода на меньший уровень.
2. От акустического окна к условной последовательности событий
Входной сигнал преобразуется в моно 16 кГц. Кратковременное преобразование Фурье использует окно на 2,048 точек и шаг в 160 отсчётов, давая 100 кадров в секунду, после чего проецирует их в 512 мел-бинов. Таким образом, пятисекундный сегмент содержит примерно 500 акустических кадров. Эти признаки поступают в Transformer только с декодером, с шириной 1,536, 24 головами внимания и 48 слоями. Модель не разбивает микс на фиксированный набор стемов и не запускает независимый транскрибатор для каждого из них; события времени, инструментов и нот генерируются в единой последовательности.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xмел-представление пятисекундного аудиосегментаcнеобязательное условие по инструментам; пустое множество означает автоматическое определениеynтокен события времени, инструмента, высоты тона или завершения
Авторегрессионная факторизация позволяет уже сгенерированным инструментам и аккордам влиять на последующие решения, что полезно для межинструментального контекста в полном миксе. Но она же распространяет и ошибки. Неверный сдвиг по времени может сместить последующие ноты, пропущенное note-off оставит висячую ноту, а дрейф инструментального токена способен поместить правильные высоты тона не на ту дорожку.
Текущий официальный пример использует размер батча 1, ширину луча 1, cfg_coef=1 и принуждение прелюдией. Ширина луча 1 — это детерминированный путь argmax. Более широкий луч сохраняет больше префиксов и потребляет больше памяти; без контролируемой абляции луч 4 нельзя просто переименовать в «максимальное качество».
Classifier-free guidance уточняет условие, комбинируя условные и безусловные логиты: ℓ=ℓu+s(ℓc−ℓu). Итоговая таблица статьи сообщает Multi F1 48.2 при CFG=1 и 47.8 при CFG=2. Поэтому публичное значение по умолчанию остаётся 1, а не исходит из того, что большее число guidance лучше.
3. 1.45 миллиона MIDI-файлов, 11,000 часов реального аудио и 300 проверенных транскрипций
Статья делит учебный материал на три слоя. D_Synth содержит около 1.45 миллиона MIDI-файлов из Lakh MIDI и от коммерческого поставщика данных, отрендеренных через более чем 250 саундфонтов. Транспонирование, темп, динамика, рандомизация инструментов и расстройка подвергают один и тот же символьный материал более широкому тембровому диапазону. Синтетический рендеринг даёт точные границы событий, но не может полностью воспроизвести микрофонные просачивания, мастеринг, шумы исполнителей и длинный хвост реального продакшена.
D_Real содержит примерно 170,000 внутренних записей — около 11,000 часов суммарно. Их нотные метки получены из аудио-символьного выравнивания, а не из ручной разметки на уровне отсчётов. Реальные миксы расширяют распределение продакшена, одновременно добавляя сопоставление названий, различия версий, задержки плагинов и ошибки выравнивания. Затем D_RL отбирает 300 высококачественных транскрипций, проверенных людьми, для постобучения в стиле GRPO/REINFORCE. Три стадии закрывают покрытие, доменный сдвиг и предпочтение последовательностей, но наборы реальных данных и данных вознаграждения не публичны.
Обучение с учителем минимизирует отрицательное логарифмическое правдоподобие на уровне токенов, а постобучение использует вознаграждение, собранное из мер onset, offset, frame, ударных и мультиинструментальных мер. Оптимизация на уровне последовательности способна штрафовать структурные сбои, которые пропускает независимая классификация токенов. Поскольку проверенный набор вознаграждения насчитывает лишь 300 треков, покрытие редких инструментов, экстремальных темпов и незападных традиций всё ещё требует публичной внешней оценки.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTкросс-энтропия последовательности при обучении с учителемR(y)комбинированное вознаграждение за завершённую транскрипциюD_RL300 проверенных транскрипций, а не публичный бенчмарк
4. Строгий белый список между 35 именами интерфейса и 36 выученными группами
MuScriptor отображает 128 программ General MIDI в инструментальные группы MT3_FULL_PLUS. Модель обучает 36 групп, а публичное демо предлагает 35 выбираемых имён: среди них акустическое и электрическое фортепиано, три гитарные группы, акустический и электрический бас, струнные, медные духовые, деревянные духовые, синтезаторы, голос и ударные. Разница отражает границу между внутренним представлением и выбираемым интерфейсом; 35 вариантов интерфейса не следует подавать как полное число выученных категорий.
При пустом поле инструментов модель может обнаружить любую поддерживаемую группу. Как только выбрано одно или несколько имён, декодер жёстко маскирует все остальные инструментальные токены. Это строгий белый список, а не мягкое предпочтение. Он может уменьшить просачивание инструментов, когда ансамбль известен, но способен и стереть реальную партию, которую пользователь не включил. Фортепиано, бас и ударные — разумное ограничение для известного трио; при неопределённой аранжировке безопаснее автоматическое определение.
Ограничение должно проходить от интерфейса до маски токенов токенизатора. Выбранные чипы, отброшенные API, создают ложный контроль, а неограниченные строки откладывают ошибки написания до момента исполнения. Корректный контракт принимает только официальные 35 идентификаторов, отклоняет дубликаты и определяет пустой массив как автоматическое определение.
5. Как читать большой выигрыш на закрытом D_Test
Таблица 1 статьи сравнивает YourMT3+ YPTF.MoE+Multi (noPS) со стадиями обучения MuScriptor на том же закрытом D_Test. Итоговая large-модель при CFG=1 показывает Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 и Multi 48.2. YourMT3+ сообщает 32.52, 45.54, 17.79, 41.4 и 21.9. Разрыв существенен и поддерживает утверждение, что большие данные, модель и рецепт постобучения авторов заметно улучшили результаты в рамках их распределения реальных миксов и протокола разметки.
| Тот же закрытый D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 требует, чтобы инструмент, высота тона, onset и offset одновременно удовлетворяли правилу сопоставления, поэтому она невзаимозаменяема с оценкой, проверяющей меньше полей. MIROS набрал 0.5998 в AMT Challenge 2025 на другом наборе из 76 примерно двадцатисекундных синтетических фрагментов и метрике Multi Onset F1 по program + pitch + onset. MuScriptor не участвовал в этом тесте по единому протоколу. Постановка 48.2 рядом с 0.5998 сравнивала бы разные знаменатели и разные определения событий.
D_Test содержит 372 мультиинструментальных произведения из внутреннего материала, с фильтрацией по названиям, призванной уменьшить утечку между обучением и тестом. Фильтрация по названиям полезна, но не эквивалентна публичному воспроизводимому аудиту дедупликации. Аудио, разметка, выбор версий и правила очистки пересечений недоступны. Поэтому заглавный результат должен сохранять пометку о том, что он заявлен авторами на закрытом наборе.
6. Кросс-доменные таблицы и абляция перекрывающихся нот выявляют зоны отказа
Восемь внешних наборов данных показывают более неровную картину. Против YourMT3+ MuScriptor выигрывает Frame F1 на 7/8 наборов и Multi F1 на 6/8, но Onset F1 — лишь на 4/8. Он уступает по onset, frame, offset и multi на RWC-C; по offset, drums и multi на RWC-R; по onset и offset на Bach10. Сильная активность протяжённых высот и общее содержание дорожек не означают превосходства по каждому транзиенту, семейству инструментов или распределению записей.
У токенизатора есть конкретный представительный предел: одновременные перекрывающиеся ноты с одинаковым инструментом и высотой не могут быть чисто представлены обе. В основной оценке на D_Test статья удаляет более короткое из перекрытий. Без этого удаления Onset F1 падает с 60.4 до 51.8, Offset — с 49.0 до 41.9, Multi — с 48.2 до 42.0. Повторные фортепианные ноты одной высоты под педалью, струнные унисоны и многослойные гитары — всё это сталкивается с такой коллизией.
Абляция масштаба модели относится к отдельному графику, а не к итоговому сравнению. Таблица 4 статьи обучается только на D_Real с инструментальным условием. Multi F1 растёт с 35.2 до 38.2, 39.7 и 40.5 по меткам 60M, 100M, 300M и 1.3B. Она демонстрирует сохраняющуюся выгоду масштаба в этой постановке, но не включает финальные стадии синтетического предобучения и обучения с подкреплением и не является прямым бенчмарком публичных файлов small, medium и large.
| Метка масштаба из статьи | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Прослушивание следует сосредоточить на плотных унисонах, общих транзиентах ударных и баса, перегруженных гитарах, хорах, редких тембрах и сильной реверберации. Совокупные оценки могут оставаться хорошими, пока дорожка распадается на короткие фрагменты, появляются межтрековые просачивания, обрезанные сустейны или несколько каналов для одного инструмента. Средние описывают поведение совокупности; они не заменяют просмотр piano-roll и прослушивание ресинтезированного воспроизведения.
7. Что сохраняет многодорожечный Type-1 MIDI — и что фиксирует модуль записи
Текущий модуль записи создаёт Type-1 MIDI: метаданные занимают собственную дорожку, а каждая инструментальная дорожка несёт имя, программу, канал, события note-on и note-off. Ударные следуют соглашению General MIDI о канале 10. По сравнению со сведением всего в Type-0 такую структуру проще заглушать, солировать и редактировать в DAW, а дрейф инструментов в ней заметнее.
Вывод не восстанавливает исполнительскую динамику. Публичный код записывает velocity ноты как 100. Поле velocity в MIDI лишь удовлетворяет формату файла; это не свидетельство того, что модель вывела экспрессию из записи. Ударные дают только атаки. Модель также не выводит карту темпа, размер или сетку долей произведения. Модуль записи использует фиксированное темповое событие 120 BPM, чтобы перевести секунды событий в тики. «Зафиксировано на 120 BPM» никогда нельзя подавать как «обнаружено 120 BPM».
Непрерывный тайминг может быть приблизительно сохранён, тогда как нотированные значения, показываемые нотным редактором, зависят от этого фиксированного темпа и последующей квантизации. Рубато, свинг, фрагменты в свободном времени и смены темпа требуют отдельного анализа долей и структуры. Играбельные события, редактируемые дорожки и готовая к публикации нотация — три разных слоя; голосоведение, лиги, педализация, энгармоническая запись, репризы и экспрессия по-прежнему требуют музыкальных решений.
Когда длинное аудио обрабатывается перекрывающимися сегментами, принадлежность атак должна назначаться в глобальных секундах, а ноты, остающиеся открытыми через границу, — переноситься дальше. Конкатенация MIDI-файлов сегментов может продублировать пограничные атаки, обрезать сустейны или отбросить имена дорожек, программы и канал ударных. Приёмка должна проверять отсутствие висячих нот, сохранность метаданных дорожек и отсутствие систематического дрейфа тайминга на стыках сегментов.
8. Сведения о лицензии
Код MuScriptor распространяется по лицензии MIT. Веса large используют CC BY-NC 4.0 и распространяются через закрытую страницу Hugging Face. Доступ требует учётной записи с выполненным входом, принятия условий страницы и подтверждения, что пользователь обладает необходимыми правами на транскрибируемую музыку.
Код и веса имеют разные лицензии. Доступ к файлам весов не меняет их условие NonCommercial; закреплённая карточка модели и текст лицензии — первичные источники о допустимом использовании.
9. Заключение и первичные источники
Ценность MuScriptor-large конкретна: это крупнейший публичный член семейства с 1.366B параметров, ориентированный на реальные полные миксы, с поддержкой жёсткого белого списка инструментов, выдающий редактируемый многодорожечный Type-1 MIDI и показывающий большой заявленный авторами выигрыш над YourMT3+ на закрытом D_Test. Его ограничения столь же конкретны: заглавные данные не публичны, внешние метрики не выиграны вчистую, перекрывающиеся ноты одной высоты сталкиваются в токенизаторе, velocity и настоящая карта темпа отсутствуют, а веса лицензированы для некоммерческого использования.
«Самый качественный чекпоинт MuScriptor» — подтверждается. «Независимо подтверждённый универсальный SOTA для транскрипции аудио в MIDI» — нет. Эта оценка может измениться, когда публичное воспроизведение сравнит MuScriptor-large, YourMT3+ и MIROS на одних и тех же записях, определениях событий, допусках сопоставления и политике перекрытий.
- Статья MuScriptor: метод, источники обучения, таблицы 1–4 и абляция перекрывающихся нот
- Закреплённый коммит исходного кода: инференс, токенизатор, модуль записи Type-1 MIDI и поведение демо
- Закреплённая ревизия MuScriptor-large: файлы, карточка модели и лицензия
- AMT Challenge 2025: MIROS на другом наборе данных и протоколе Multi Onset F1