MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Перетворюйте музику на MIDI для кількох інструментів за допомогою MuScriptor-large.
Завантаження...
Перетворюйте пісні чи ансамблі на багатодоріжковий MIDI для виправлення нот і партій у DAW.
Вхідні дані
Повні пісні, інструментальні ансамблі або multi-instrument записи; Проходить MIROS MusicFM multi-decoder маршрутом
Підтримувані формати
Вихід
MIROS MIDI для перевірки транскрипції multi-instrument та очищення DAW
Кейс використання
Перетворіть записи класичної або камерної музики на багатодоріжковий MIDI для виправлення нот і аранжування.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.
Мультиінструментальна транскрипція MIDI (MIROS) працює офіційним маршрутом MIROS MusicFM multi-decoder для повного міксу AMT. Рекомендації щодо окремих інструментів: у статті AMT Challenge наведено лише агреговані рейтинги соло Формули-1, а не індивідуальні рейтинги для кожного інструмента; Сприймайте MIROS як сильний класичний/камерний шлях порівняння для інструментів-викликів, а не як перевіреного спеціаліста для кожного інструмента.
Типове виправлення зменшує помилки інструментів між сегментами й зберігає довгі ноти; почніть тут для повного міксу.
YourMT3+ · YPTF.MoE+Multi noPS: Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки
YMT3+: Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки
YourMT3+ · YPTF.Single noPS: Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки
YourMT3+ · YPTF.Multi PS: Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки
YourMT3+ · YPTF.MoE+Multi PS: Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки
MIROS MusicFM multi-decoder веде офіційний місцевий маршрут MIROS з pretrained_msd.pt плюс тонко налаштованим last.ckpt checkpoint.
BS-RoFormer SW Fixed використовує BS-Rofo-SW-Fixed.ckpt плюс BS-Rofo-SW-Fixed.yaml для розділення повного міксу на six WAV stems.
OaFS розпізнає 34 класи інструментів та експортує MIDI й таблиці нот із фіксованою силою натискання 127.
Групує ноти в задану кількість безіменних тембрових доріжок, не визначаючи назви інструментів. Підходить для коротких ансамблів із відомою кількістю інструментів; голоси однакової висоти, що накладаються, можуть не розділятися.
Розділяє вокал, ударні, бас, гітару, фортепіано та інші звуки, транскрибує й об’єднує MIDI. Можна оцінювати velocity і перепризначати інструменти; помилки розділення можуть впливати на ноти.
Розділяє шість доріжок, потім створює MIDI. SheetSage2-Refined визначає долі, розмір і частини; Tsumugi — акорди й тональність. Попередня транскрипція цілої пісні залишається доступною.
arXiv - 2026
Перетворюйте музику на MIDI для кількох інструментів за допомогою MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ розширює MT3 покращеною архітектурою трансформаторів, варіантами MoE, багатоканальним декодуванням і cross-dataset stem augmentation.
ICLR - 2022
MT3 встановив багатофункціональну багатодоріжкову музичну транскрипцію з моделюванням послідовностей і залишається іменованою базою для нових AMT порівнянь.
arXiv / OpenReview - 2026
Підсумковий документ виклику AMT 2025 було опубліковано 29.03.2026 для конкурсу з 1 січня по 30 квітня 2025 року. Він повідомляє про 21 зареєстровану команду, 14 команд, що подають, 8 дійсних команд із оцінками, а також 76-учаснийний класичний тестовий набір із до трьох інструментів на кожен уривок.
Signals - 2026
OaFS розпізнає 34 класи інструментів та експортує MIDI й таблиці нот із фіксованою силою натискання 127.
Містить відкриті результати тестування моделей, що використовуються тут і поза сайтом. Типово показано повну таблицю джерела; для порівняння можна вибрати умови й метрики. Оцінки за різних умов тестування не можна порівнювати безпосередньо.
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 9 / початкових рядків 17
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Відтворювані моделі з відкритим кодом з офіційного рейтингу зі збереженням офіційних місць. F1, точність, повнота, початок, кінець і перекриття подано у відсотках; час — у мілісекундах. Конкурсна конфігурація YourMT3+ використовує відомості про інструменти з назв файлів. Її оцінка не є вимірюванням усього ланцюжка обробки на цьому сайті.
| Офіційне місце | Модель | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Модель на сайтіВідкриті ваги · Код інференсуMIROS fine-tuned decoderMusicFM encoderКод інференсу logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНалаштування випробуванняЛіцензію ваг не вказано | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Відкриті ваги · Код інференсу | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VВідкриті ваги · Код інференсу | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATВідкриті ваги · Код інференсу | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchВідкриті ваги · Код інференсу | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 3 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Для розгортання 16 / початкових рядків 16
Для розгортання 0 / початкових рядків 4
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Для розгортання 9 / початкових рядків 17
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Для розгортання 9 / початкових рядків 14
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Для розгортання 9 / початкових рядків 9
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Для розгортання 1 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Для розгортання 1 / початкових рядків 12
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Для розгортання 10 / початкових рядків 25
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Для розгортання 68 / початкових рядків 102
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Для розгортання 28 / початкових рядків 28
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Для розгортання 3 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
D16 · MSE · Syn · Rescale
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
На тому самому закритому D_Test автори порівнюють фінальну модель з CFG=1 і YourMT3+. Результати не відтворено незалежно й не можна напряму порівнювати з MIROS або іншими протоколами.
| Місце за метрикою | Модель | Умова тесту | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLВідкриті ваги · Код інференсуmodel.safetensorsКод інференсуЛіцензія ваг (заява репозиторію): cc-by-nc-4.0Потрібно прийняти умови або запросити доступ | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 16 / початкових рядків 16
Таблиця 2 статті оцінює дві опубліковані локально розгортані моделі на восьми наборах, яких не було в жодному тренувальному наборі.
| Місце за метрикою | Модель | Умова тесту | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorВідкриті ваги · Код інференсуmodel.safetensorsКод інференсуЛіцензія ваг (заява репозиторію): cc-by-nc-4.0Потрібно прийняти умови або запросити доступ | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 9 / початкових рядків 17
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Відтворювані моделі з відкритим кодом з офіційного рейтингу зі збереженням офіційних місць. F1, точність, повнота, початок, кінець і перекриття подано у відсотках; час — у мілісекундах. Конкурсна конфігурація YourMT3+ використовує відомості про інструменти з назв файлів. Її оцінка не є вимірюванням усього ланцюжка обробки на цьому сайті.
| Офіційне місце | Модель | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Відкриті ваги · Код інференсуMIROS fine-tuned decoderMusicFM encoderКод інференсу logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНалаштування випробуванняЛіцензію ваг не вказано | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Відкриті ваги · Код інференсу | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VВідкриті ваги · Код інференсу | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATВідкриті ваги · Код інференсу | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchВідкриті ваги · Код інференсу | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 9 / початкових рядків 14
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Сайт і стаття — окремі знімки з невеликими розбіжностями останньої цифри. Тест містить 76 обмежених синтетичних уривків, до трьох інструментів у кожному. Значення зберігають своє джерело. Конкурсна конфігурація YourMT3+ використовує відомості про інструменти з назв файлів. Її оцінка не є вимірюванням усього ланцюжка обробки на цьому сайті.
| Офіційне місце | Модель | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSВідкриті ваги · Код інференсуMIROS fine-tuned decoderMusicFM encoderКод інференсу logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНалаштування випробуванняЛіцензію ваг не вказано | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Відкриті ваги · Код інференсу | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VВідкриті ваги · Код інференсу | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATВідкриті ваги · Код інференсу | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchВідкриті ваги · Код інференсу | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 9 / початкових рядків 9
Table 2 групує точну кількість інструментів: середнє ± стандартне відхилення. Групи ранжуються окремо й не замінюють загальну таблицю. Конкурсна конфігурація YourMT3+ використовує відомості про інструменти з назв файлів. Її оцінка не є вимірюванням усього ланцюжка обробки на цьому сайті.
| Місце за метрикою | Модель | Умова тесту | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSВідкриті ваги · Код інференсуMIROS fine-tuned decoderMusicFM encoderКод інференсу logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptНалаштування випробуванняЛіцензію ваг не вказано | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Відкриті ваги · Код інференсу | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Порівняння YourMT3+ паперу з базовими показниками сімейства MT3 на метриках у стилі Slakh.
| Місце за метрикою | Модель | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Місце за метрикою | Модель | Умова тесту | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 12
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Місце за метрикою | Модель | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 10 / початкових рядків 25
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Офіційна таблиця 5 окремо порівнює п’ять наборів даних і показує лише експерименти з перевіреними відповідними публічними вагами. Поточний OaFS навчений спільно; результати не доводять переваги над MuScriptor.
| Місце за метрикою | Модель | Умова тесту | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Відкриті ваги · Код інференсуOfficial MT3 T5X checkpoint and 294 tensor filesКод інференсуНалаштування випробуванняЛіцензію ваг не вказано | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSВідкриті ваги · Код інференсу | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 68 / початкових рядків 102
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Місце за метрикою | Модель | Умова тесту | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSВідкриті ваги · Код інференсу | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Відкриті ваги · Код інференсуOfficial MT3 T5X checkpoint and 294 tensor filesКод інференсуНалаштування випробуванняЛіцензію ваг не вказано | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 28 / початкових рядків 28
| Місце за метрикою | Модель | Умова тесту | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSВідкриті ваги · Код інференсу | Piano | 70.36 | 72.10 |
| 2 | MT3Відкриті ваги · Код інференсуOfficial MT3 T5X checkpoint and 294 tensor filesКод інференсуНалаштування випробуванняЛіцензію ваг не вказано | Piano | 63.12 | 69.99 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Місце за метрикою | Модель | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Відкриті ваги · Код інференсуOfficial MT3 T5X checkpoint and 294 tensor filesКод інференсуНалаштування випробуванняЛіцензію ваг не вказано | 93.7 M | 34 |
| - | OaFSВідкриті ваги · Код інференсу | 64.9 M | 34 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
D16 · MSE · Syn · Rescale
Таблиця 3 статті: K — задана кількість тембрів. F1 обчислюється для кожної доріжки після найкращого зіставлення. Результати усереднено щонайменше за трьома навчаннями; це не новий вимір моделі на сайті.
| Місце за метрикою | Модель | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursВідкриті ваги · Код інференсу | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareВідкриті ваги · Код інференсуseptimbre/ablation/DicephNet/dicephnet_model.pthКод інференсуНалаштування випробуванняЛіцензію ваг не вказано | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaВідкриті ваги · Код інференсу | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Знайдіть способи обробки та кроки для свого матеріалу.
Запис про виправлення TelkNet · 13 серпня 2026 р.
Ми обробили ту саму повну пісню в TelkNet і в офіційному MuScriptor Large 0.3.0 у строгому режимі. Обидва результати містять 8 партій і 6560 нот; партія, висота й порядок збігаються для кожної ноти. Аномалія зосереджена приблизно між 182-ю та 222-ю секундами: у джерелі й далі чути чітку тональну лінію в середньому й високому діапазоні, але в MIDI вище C4 є прогалина близько 40,31 секунди. Інтерфейс, обробка BPM і MIDI-редактор ці ноти не видаляли; прогалина вже є у виводі офіційної моделі. Без оригінальної партитури неможливо точно визначити кількість пропущених нот.
TelkNet змінює передавання відомостей про інструменти між 5-секундними фрагментами, щоб зменшити поширення помилок і з’єднати протяжні ноти. MuScriptor Large транскрибує кожен фрагмент один раз.
Після цього ми завершили 16 повних запусків на 14 піснях. У першій пісні найдовша прогалина між атаками вище C4 скоротилася з 40,309 до 1,970 секунди. У другій результат змінився з 1698 нот на 6 активних доріжках і часткою фортепіано 70,79% до 2279 нот на 8 доріжках і часткою 50,77%. Два повних повторних запуски кожної пісні дали побайтово однакові файли.
Сумісність темпу MuScriptor
Офіційна база використовує Beat This final0 і метод найменших квадратів із вільним перетином, публікуючи один сталий BPM. Строгий режим завершується помилкою, якщо долі не підтримують сталий темп; best-effort записує тимчасові 120 BPM. Запис MIDI також коригує затримку початку і зсуває всі ноти, щоб сумістити тактову риску із сильною долею.
TelkNet зберігає той самий Beat This final0, а один автоматично визначений BPM залишається рекомендованим типовим режимом. Якщо користувач обирає слідування змінам темпу композиції, один BPM застосовується лише тоді, коли сітка всієї композиції відхиляється від виявлених долей не більш ніж на 40 ms; інакше публікується адаптивна Tempo Map. Ручний BPM лишається доступним. Без квантування початковий час нот не змінюється.
| Параметр порівняння | Офіційний MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Визначення долей | Використовує Beat This final0. | Використовує той самий Beat This final0; модель визначення не замінюється. |
| Опублікована сітка темпу | Публікує один сталий BPM із вільним перетином; строгий режим падає за змінного темпу, best-effort записує 120 BPM. | Фіксований BPM лише за максимальної відстані сітки до 40 ms; інакше адаптивна Tempo Map з обмеженою фазою. |
| Керування BPM | У поточному офіційному CLI немає ручного BPM. | Підтримує адаптивний, автоматично сталий і ручний BPM від 30 до 300. |
| Часова шкала нот | Коригує затримку початку й зсуває всі ноти, щоб сумістити такт із сильною долею. | Без квантування зберігає вихідний час нот і не застосовує зсув тактів. |
Beat This залишається оцінювачем аудіо. Незвичний розмір, слабкий ритм без транзієнтів, rubato, різкі зміни темпу або помилково обраний половинний чи подвійний пульс усе ще можуть дати неправильну сітку. Автоматичний BPM може трохи відрізнятися від відомого точного значення, тому за відомого BPM джерела доступний режим «Сталий · Ручний BPM». Квантизація навмисно змінює час нот. Налаштування темпу не виправляють пропущені ноти, неправильну висоту та помилки назв інструментів або доріжок MuScriptor. Важливі MIDI і далі слід звіряти з джерелом у DAW.