MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Преобразуйте музыку в MIDI для нескольких инструментов с помощью MuScriptor-large.
Загрузка...
Преобразуйте песни и ансамбли в многодорожечный MIDI для правки нот и партий в DAW.
Вход
Поддерживает вводные данные в форматах, таких как mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Поддерживаемые форматы
Результаты
MIDI
Сценарий использования
Редактирование нот, инструментовки и деталей исполнения.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.
Использует официальную сегментацию и контекст инструментов без исправления сегментов и восстановления вокала TelkNet.
Исправление сегментов по умолчанию уменьшает межсегментные ошибки инструментов, сохраняя длинные ноты; начните с него для полного микса.
YourMT3+ · YPTF.MoE+Multi noPS: Редактируемые MIDI черновики из полных миксов, а также более чистые соло/обычные инструменты, такие как piano/клавишные, guitar, bass, drums, струнные/духовые и vocal черновики
YMT3+: Редактируемые MIDI черновики из полных миксов, а также более чистые соло/обычные инструменты, такие как piano/клавишные, guitar, bass, drums, струнные/духовые и vocal черновики
YourMT3+ · YPTF.Single noPS: Редактируемые MIDI черновики из полных миксов, а также более чистые соло/обычные инструменты, такие как piano/клавишные, guitar, bass, drums, струнные/духовые и vocal черновики
YourMT3+ · YPTF.Multi PS: Редактируемые MIDI черновики из полных миксов, а также более чистые соло/обычные инструменты, такие как piano/клавишные, guitar, bass, drums, струнные/духовые и vocal черновики
YourMT3+ · YPTF.MoE+Multi PS: Редактируемые MIDI черновики из полных миксов, а также более чистые соло/обычные инструменты, такие как piano/клавишные, guitar, bass, drums, струнные/духовые и vocal черновики
MIROS MusicFM multi-decoder работает по официальному маршруту местных MIROS с pretrained_msd.pt плюс отрегулированным last.ckpt checkpoint.
BS-RoFormer SW Fixed использует BS-Rofo-SW-Fixed.ckpt плюс BS-Rofo-SW-Fixed.yaml для разделения полного микса на six WAV stems.
OaFS распознаёт 34 класса инструментов и экспортирует MIDI и таблицы нот с фиксированной силой нажатия 127.
Группирует ноты в заданное число безымянных тембровых дорожек, не распознавая названия инструментов. Подходит для коротких ансамблей с известным числом инструментов; голоса, совпадающие по высоте, могут не разделяться.
Разделяет вокал, ударные, бас, гитару, фортепиано и прочие звуки, затем транскрибирует и объединяет MIDI. Доступны оценка velocity и переназначение инструментов; ошибки разделения могут влиять на ноты.
Разделяет шесть дорожек, затем создаёт MIDI. SheetSage2-Refined определяет доли, размер и разделы; Tsumugi — аккорды и тональность. Прежняя транскрипция целой песни остаётся доступной.
arXiv - 2026
Преобразуйте музыку в MIDI для нескольких инструментов с помощью MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ расширяет MT3 с усовершенствованной архитектурой трансформаторов, вариантами MoE, многоканальным декодированием и cross-dataset stem augmentation.
ICLR - 2022
MT3 внедрил многозадачную многодорожечную транскрипцию музыки с моделированием последовательностей и остаётся наименованной базой для новых AMT сравнений.
arXiv / OpenReview - 2026
Краткий доклад AMT Challenge 2025 года был опубликован 29 января 2026 года для конкурса с 1 января по 30 апреля 2025 года. В нём сообщается 21 зарегистрированная команда, 14 команд, 8 действительных команд с оценкой и 76 классических тестов с до трёх инструментов на отрывок.
Signals - 2026
OaFS распознаёт 34 класса инструментов и экспортирует MIDI и таблицы нот с фиксированной силой нажатия 127.
Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
На одном и том же закрытом D_Test авторы сравнивают финальную модель с CFG=1 и YourMT3+. Результаты не воспроизведены независимо и несопоставимы напрямую с MIROS или другими протоколами.
| Место по метрике | Модель | Условия теста | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLМодель на сайтеОткрытые веса · Код инференсаmodel.safetensorsКод инференсаЛицензия весов (заявление репозитория): cc-by-nc-4.0Требуется принять условия или запросить доступ | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 3 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Развёртываемых 16 / исходных строк 16
Развёртываемых 0 / исходных строк 4
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Развёртываемых 9 / исходных строк 17
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Развёртываемых 9 / исходных строк 14
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Развёртываемых 9 / исходных строк 9
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Развёртываемых 1 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Развёртываемых 1 / исходных строк 12
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Развёртываемых 10 / исходных строк 25
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Развёртываемых 68 / исходных строк 102
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Развёртываемых 28 / исходных строк 28
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Развёртываемых 3 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
D16 · MSE · Syn · Rescale
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
На одном и том же закрытом D_Test авторы сравнивают финальную модель с CFG=1 и YourMT3+. Результаты не воспроизведены независимо и несопоставимы напрямую с MIROS или другими протоколами.
| Место по метрике | Модель | Условия теста | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLОткрытые веса · Код инференсаmodel.safetensorsКод инференсаЛицензия весов (заявление репозитория): cc-by-nc-4.0Требуется принять условия или запросить доступ | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 16 / исходных строк 16
Таблица 2 статьи сравнивает две опубликованные локально развёртываемые модели на восьми наборах, не входивших в обучение обеих.
| Место по метрике | Модель | Условия теста | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorОткрытые веса · Код инференсаmodel.safetensorsКод инференсаЛицензия весов (заявление репозитория): cc-by-nc-4.0Требуется принять условия или запросить доступ | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 9 / исходных строк 17
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Воспроизводимые модели с открытым кодом из официального рейтинга с сохранением официальных мест. F1, точность, полнота, начало, окончание и перекрытие указаны в процентах; время — в миллисекундах. Конкурсная конфигурация YourMT3+ использует сведения об инструментах из имён файлов. Её оценка не является измерением всей цепочки обработки на этом сайте.
| Официальное место | Модель | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Открытые веса · Код инференсаMIROS fine-tuned decoderMusicFM encoderКод инференса logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНастройки испытанияЛицензия весов не указана | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Открытые веса · Код инференса | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VОткрытые веса · Код инференса | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATОткрытые веса · Код инференса | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchОткрытые веса · Код инференса | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 9 / исходных строк 14
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Сайт и статья — отдельные снимки с небольшими различиями последней цифры. Тест включает 76 ограниченных синтетических фрагментов, до трёх инструментов в каждом. Значения сохраняют свой источник. Конкурсная конфигурация YourMT3+ использует сведения об инструментах из имён файлов. Её оценка не является измерением всей цепочки обработки на этом сайте.
| Официальное место | Модель | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSОткрытые веса · Код инференсаMIROS fine-tuned decoderMusicFM encoderКод инференса logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНастройки испытанияЛицензия весов не указана | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Открытые веса · Код инференса | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VОткрытые веса · Код инференса | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATОткрытые веса · Код инференса | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchОткрытые веса · Код инференса | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 9 / исходных строк 9
Table 2 группирует точное число инструментов: среднее ± стандартное отклонение. Группы ранжируются отдельно и не заменяют общую таблицу. Конкурсная конфигурация YourMT3+ использует сведения об инструментах из имён файлов. Её оценка не является измерением всей цепочки обработки на этом сайте.
| Место по метрике | Модель | Условия теста | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSОткрытые веса · Код инференсаMIROS fine-tuned decoderMusicFM encoderКод инференса logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНастройки испытанияЛицензия весов не указана | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Открытые веса · Код инференса | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Сравнение YourMT3+ бумаги с базовыми показателями семейства MT3 по метрикам в стиле Slakh.
| Место по метрике | Модель | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Место по метрике | Модель | Условия теста | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 12
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Место по метрике | Модель | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 10 / исходных строк 25
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Официальная таблица 5 отдельно сравнивает пять наборов данных и показывает только эксперименты с проверенными соответствующими публичными весами. Текущий OaFS обучен совместно; результаты не доказывают превосходство над MuScriptor.
| Место по метрике | Модель | Условия теста | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Открытые веса · Код инференсаOfficial MT3 T5X checkpoint and 294 tensor filesКод инференсаНастройки испытанияЛицензия весов не указана | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSОткрытые веса · Код инференса | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 68 / исходных строк 102
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Место по метрике | Модель | Условия теста | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSОткрытые веса · Код инференса | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Открытые веса · Код инференсаOfficial MT3 T5X checkpoint and 294 tensor filesКод инференсаНастройки испытанияЛицензия весов не указана | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 28 / исходных строк 28
| Место по метрике | Модель | Условия теста | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSОткрытые веса · Код инференса | Piano | 70.36 | 72.10 |
| 2 | MT3Открытые веса · Код инференсаOfficial MT3 T5X checkpoint and 294 tensor filesКод инференсаНастройки испытанияЛицензия весов не указана | Piano | 63.12 | 69.99 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Место по метрике | Модель | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Открытые веса · Код инференсаOfficial MT3 T5X checkpoint and 294 tensor filesКод инференсаНастройки испытанияЛицензия весов не указана | 93.7 M | 34 |
| - | OaFSОткрытые веса · Код инференса | 64.9 M | 34 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
D16 · MSE · Syn · Rescale
Таблица 3 статьи: K — заданное число тембров. F1 считают по дорожкам после оптимального сопоставления. Результаты усреднены минимум по трём обучениям; это не новые измерения модели на сайте.
| Место по метрике | Модель | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursОткрытые веса · Код инференса | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareОткрытые веса · Код инференсаseptimbre/ablation/DicephNet/dicephnet_model.pthКод инференсаНастройки испытанияЛицензия весов не указана | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaОткрытые веса · Код инференса | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Запись об исправлении TelkNet · 13 августа 2026 г.
Мы обработали одну и ту же песню целиком в TelkNet и в официальном MuScriptor Large 0.3.0 в строгом режиме. Оба результата содержат 8 партий и 6560 нот; партия, высота и порядок совпадают для каждой ноты. Аномалия сосредоточена примерно между 182-й и 222-й секундами: в исходной записи по-прежнему слышна чёткая тональная линия в средне-высоком диапазоне, но в MIDI выше C4 возникает пробел примерно на 40,31 секунды. Интерфейс, обработка BPM и MIDI-редактор эти ноты не удаляли; пробел уже есть в выходе официальной модели. Без исходной партитуры нельзя точно определить число пропущенных нот.
TelkNet изменяет передачу сведений об инструментах между 5-секундными фрагментами, чтобы уменьшить распространение ошибок и связать протяжённые ноты. MuScriptor Large транскрибирует каждый фрагмент один раз.
После этого мы завершили 16 полных запусков на 14 песнях. В первой песне самый длинный пробел между атаками выше C4 сократился с 40,309 до 1,970 секунды. Во второй результат изменился с 1698 нот на 6 активных дорожках и долей фортепиано 70,79% до 2279 нот на 8 дорожках и долей 50,77%. Два полных повторных запуска каждой песни дали побайтно одинаковые файлы.
Совместимость темпа MuScriptor
Официальная база использует Beat This final0 и метод наименьших квадратов со свободным пересечением, публикуя один постоянный BPM. Строгий режим завершается ошибкой, если доли не поддерживают постоянный темп; best-effort записывает временные 120 BPM. Запись MIDI также корректирует задержку начала и сдвигает все ноты, чтобы совместить тактовую черту с сильной долей.
TelkNet сохраняет тот же Beat This final0, а единый автоматически определённый BPM остаётся рекомендуемым режимом по умолчанию. Если пользователь выбирает следование изменениям темпа композиции, единый BPM применяется только тогда, когда сетка всей композиции отклоняется от обнаруженных долей не более чем на 40 ms; иначе публикуется адаптивная Tempo Map. Ручной BPM остаётся доступным. Без квантования исходное время нот не меняется.
| Параметр сравнения | Официальный MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Определение долей | Использует Beat This final0. | Использует тот же Beat This final0; модель определения не заменяется. |
| Публикуемая сетка темпа | Публикует один постоянный BPM с подгонкой со свободным пересечением; строгий режим падает при переменном темпе, best-effort пишет 120 BPM. | Фиксированный BPM только при максимальном отклонении сетки не более 40 ms; иначе адаптивная Tempo Map с ограниченной фазой. |
| Управление BPM | В текущем официальном CLI нет ручного BPM. | Поддерживает адаптивный, автоматически постоянный и ручной BPM от 30 до 300. |
| Временная шкала нот | Корректирует задержку начала и сдвигает все ноты для совмещения такта с сильной долей. | Без квантования сохраняет исходное время нот и не применяет сдвиг тактов. |
Beat This остаётся аудио-оценщиком. Необычный размер, слабый ритм без транзиентов, rubato, резкие изменения темпа или ошибочно выбранный половинный либо двойной пульс всё ещё могут дать неверную сетку. Автоматический BPM может немного отличаться от известного точного значения, поэтому при известном BPM источника доступен режим «Постоянный · Ручной BPM». Квантизация намеренно изменяет время нот. Настройки темпа не исправляют пропущенные ноты, неверную высоту и ошибки названий инструментов или дорожек MuScriptor. Важные MIDI по-прежнему следует сверять с источником в DAW.