MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
MuScriptor-large ile müziği çok enstrümanlı MIDI’ye dönüştürün.
Yükleniyor...
Şarkı veya topluluk kayıtlarını çok kanallı MIDI'ye dönüştürüp DAW'da notaları ve partileri düzenleyin.
Giriş
Girişleri mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv gibi formatlarda destekler
Desteklenen formatlar
Çıktı
MIDI
Kullanım Durumu
Notaları, enstrümantasyonu ve icra ayrıntılarını düzenleyin.
Malzemenize ve amacınıza uygun modeli seçin, göndermeden önce örnekleri inceleyin.
Ücret, süre, biçimler ve parametreler seçilen modele bağlıdır.
Geri bildiriminizde araç adını, adımları ve sorunu belirtin. Ekran görüntüleri sorunu bulmamıza yardımcı olabilir.
Bölüm düzeltmesine ayrı vokal kurtarma ekler; eşlik tanıması da değişebilir.
Varsayılan onarım bölümler arası çalgı hatalarını azaltıp uzun notaları korur; tam miks için başlayın.
YourMT3+ · YPTF.MoE+Multi noPS: Tam mikslerden düzenlenebilir MIDI taslaklar, ayrıca piano/klavye, guitar, bass, drums, yaylılar/nefesli sesler ve vocal taslakları gibi daha temiz solo/ortak enstrüman girişleri
YMT3+: Tam mikslerden düzenlenebilir MIDI taslaklar, ayrıca piano/klavye, guitar, bass, drums, yaylılar/nefesli sesler ve vocal taslakları gibi daha temiz solo/ortak enstrüman girişleri
YourMT3+ · YPTF.Single noPS: Tam mikslerden düzenlenebilir MIDI taslaklar, ayrıca piano/klavye, guitar, bass, drums, yaylılar/nefesli sesler ve vocal taslakları gibi daha temiz solo/ortak enstrüman girişleri
YourMT3+ · YPTF.Multi PS: Tam mikslerden düzenlenebilir MIDI taslaklar, ayrıca piano/klavye, guitar, bass, drums, yaylılar/nefesli sesler ve vocal taslakları gibi daha temiz solo/ortak enstrüman girişleri
YourMT3+ · YPTF.MoE+Multi PS: Tam mikslerden düzenlenebilir MIDI taslaklar, ayrıca piano/klavye, guitar, bass, drums, yaylılar/nefesli sesler ve vocal taslakları gibi daha temiz solo/ortak enstrüman girişleri
MIROS MusicFM multi-decoder, resmi yerel MIROS güzergahını pretrained_msd.pt ve ince ayarlı last.ckpt checkpoint ile birlikte çalıştırıyor.
BS-RoFormer SW Fixed, tam bir karışımı six WAV stems bölmek için BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml kullanır.
OaFS 34 enstrüman sınıfını tanır; sabit 127 vuruş şiddetiyle MIDI ve nota tabloları üretir.
Notaları belirtilen sayıda adsız tını izine gruplar; çalgı adlarını tanımaz. Çalgı sayısı bilinen kısa topluluk kayıtlarına uygundur. Aynı perdede örtüşen partiler ayrılamayabilir.
Vokal, davul, bas, gitar, piyano ve diğer sesleri ayırır, notaya döker ve MIDI'yi birleştirir. Velocity tahmini ve çalgı ataması isteğe bağlıdır; ayırma hataları notaları etkileyebilir.
Altı stem ayırır ve ardından MIDI transkripsiyonu yapar. SheetSage2-Refined vuruşları, ölçüyü ve bölümleri; Tsumugi akorları ve tonu belirler. Mevcut tam şarkı transkripsiyonu seçilebilir durumda kalır.
arXiv - 2026
MuScriptor-large ile müziği çok enstrümanlı MIDI’ye dönüştürün.
IEEE MLSP - 2024
YourMT3+, geliştirilmiş transformatör mimarisi, MoE varyantları, çok kanallı kod çözme ve cross-dataset stem augmentation ile MT3'ü genişletiyor.
ICLR - 2022
MT3, dizili modelleme ile çoklu görevli çok kanallı müzik transkripsiyonunu kurdu ve yeni AMT karşılaştırmaları için adlandırılmış temel olarak kalır.
arXiv / OpenReview - 2026
2025 AMT Challenge özet makalesi, 1 Ocak-30 Nisan 2025 yarışması için 2026-03-29 tarihlerinde yayımlandı. 21 kayıtlı takım, 14 başvuru yapan takım, 8 geçerli puanlı takım ve her alıntıda üç enstrümanla 76 parçalık klasik test seti rapor ediyor.
Signals - 2026
OaFS 34 enstrüman sınıfını tanır; sabit 127 vuruş şiddetiyle MIDI ve nota tabloları üretir.
Burada ve diğer hizmetlerde kullanılan modellerin herkese açık test sonuçlarını içerir. Varsayılan olarak kaynaktaki tam tablo gösterilir; karşılaştırmak için koşullar ve ölçütler de seçilebilir. Farklı test koşullarındaki puanlar doğrudan karşılaştırılamaz.
Yalnızca herkese açık çıkarım uygulaması ve eşleşen ağırlıkları doğrulanmış kayıtlar ile ağırlık gerektirmeyen algoritmalar gösterilir. Kapalı hizmetler, yayımlanmamış ağırlıklar ve eşleşmeyen deney sürümleri dışarıda bırakılır. Bu, tüm modellerin genel sıralaması değildir.
Herkese açık ağırlıklar, eksiksiz bir açık kaynak lisansını doğrulamaz. Beyan edilen ağırlık lisanslarını ve erişim koşullarını görmek için verileri genişletin. Beyan edilmemiş lisanslar ayrıca işaretlenir.
Seçilen model için doğrulanmış ve eşleşen açık bir sonuç olmadığından sıralama verilmedi.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 3 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Makale, aynı özel D_Test üzerinde son CFG=1 modelini YourMT3+ ile karşılaştırır. Sonuçlar bağımsız olarak tekrarlanmamıştır ve MIROS ya da başka protokollerle doğrudan karşılaştırılamaz.
| Ölçüme göre sıra | Model | Test koşulu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLAçık ağırlıklar · Çıkarım kodumodel.safetensorsÇıkarım koduAğırlık lisansı (depo beyanı): cc-by-nc-4.0Koşulların kabulü veya erişim talebi gerekli | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Veri kümeleri, sürümler ve koşullar ayrı tutulur; uygun sıralama satırı olmayan kaynaklar da kalır.
Dağıtılabilir 3 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Dağıtılabilir 16 / kaynak satırı 16
Dağıtılabilir 0 / kaynak satırı 4
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Dağıtılabilir 9 / kaynak satırı 17
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Dağıtılabilir 9 / kaynak satırı 14
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Dağıtılabilir 9 / kaynak satırı 9
Dağıtılabilir 1 / kaynak satırı 5
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Dağıtılabilir 1 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Dağıtılabilir 1 / kaynak satırı 12
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Dağıtılabilir 10 / kaynak satırı 25
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Dağıtılabilir 68 / kaynak satırı 102
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Dağıtılabilir 28 / kaynak satırı 28
Dağıtılabilir 2 / kaynak satırı 5
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Dağıtılabilir 3 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
D16 · MSE · Syn · Rescale
Puanlar belirtilen veri kümesi, ölçüt ve model sürümü için geçerlidir; farklı testler doğrudan karşılaştırılamaz.
Tabloda yalnızca açık ağırlıkları veya yapılandırmaları bulunan ve yerel olarak çalıştırılabilen modeller yer alır.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 3 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Makale, aynı özel D_Test üzerinde son CFG=1 modelini YourMT3+ ile karşılaştırır. Sonuçlar bağımsız olarak tekrarlanmamıştır ve MIROS ya da başka protokollerle doğrudan karşılaştırılamaz.
| Ölçüme göre sıra | Model | Test koşulu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLAçık ağırlıklar · Çıkarım kodumodel.safetensorsÇıkarım koduAğırlık lisansı (depo beyanı): cc-by-nc-4.0Koşulların kabulü veya erişim talebi gerekli | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Tabloda yalnızca açık ağırlıkları veya yapılandırmaları bulunan ve yerel olarak çalıştırılabilen modeller yer alır.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 16 / kaynak satırı 16
Makalenin Tablo 2’si, her iki eğitim kümesinin de dışında kalan sekiz veri kümesinde yayımlanmış ve yerel kurulabilen iki modeli değerlendirir.
| Ölçüme göre sıra | Model | Test koşulu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorAçık ağırlıklar · Çıkarım kodumodel.safetensorsÇıkarım koduAğırlık lisansı (depo beyanı): cc-by-nc-4.0Koşulların kabulü veya erişim talebi gerekli | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Tabloda yalnızca açık ağırlıkları veya yapılandırmaları bulunan ve yerel olarak çalıştırılabilen modeller yer alır.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 9 / kaynak satırı 17
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Resmî sıralamadaki yeniden üretilebilir açık kaynaklı modeller, resmî dereceleri korunarak gösterilir. F1, kesinlik, duyarlılık, başlangıç, bitiş ve örtüşme yüzde olarak; süre milisaniye olarak verilir. YourMT3+ yarışma yapılandırması, dosya adlarında verilen enstrüman bilgilerini kullanır; puanı bu sitenin tüm işleme zincirinin ölçümü değildir.
| Resmî sıra | Model | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Açık ağırlıklar · Çıkarım koduMIROS fine-tuned decoderMusicFM encoderÇıkarım kodu logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Açık ağırlıklar · Çıkarım kodu | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VAçık ağırlıklar · Çıkarım kodulogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATAçık ağırlıklar · Çıkarım koduWeight/String_MusicNet/Unet_R_VAT-XI=1e-06-eps=1.3-String_MusicNet-lr=0.001/weight.ptÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchAçık ağırlıklar · Çıkarım kodu | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Tabloda yalnızca açık ağırlıkları veya yapılandırmaları bulunan ve yerel olarak çalıştırılabilen modeller yer alır.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 9 / kaynak satırı 14
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Web sitesi ve makale, son basamakta küçük farkları olan ayrı kayıtlardır. Test, her biri en çok üç enstrümanlı 76 kısıtlı sentetik kesit içerir. Kaynak değerleri korunur. YourMT3+ yarışma yapılandırması, dosya adlarında verilen enstrüman bilgilerini kullanır; puanı bu sitenin tüm işleme zincirinin ölçümü değildir.
| Resmî sıra | Model | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSAçık ağırlıklar · Çıkarım koduMIROS fine-tuned decoderMusicFM encoderÇıkarım kodu logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Açık ağırlıklar · Çıkarım kodu | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VAçık ağırlıklar · Çıkarım kodulogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATAçık ağırlıklar · Çıkarım koduWeight/String_MusicNet/Unet_R_VAT-XI=1e-06-eps=1.3-String_MusicNet-lr=0.001/weight.ptÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchAçık ağırlıklar · Çıkarım kodu | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Tabloda yalnızca açık ağırlıkları veya yapılandırmaları bulunan ve yerel olarak çalıştırılabilen modeller yer alır.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 9 / kaynak satırı 9
Table 2 kesin enstrüman sayısına göre gruplanmış ortalama ± standart sapma verir. Gruplar ayrı sıralanır ve genel tablonun yerine geçmez. YourMT3+ yarışma yapılandırması, dosya adlarında verilen enstrüman bilgilerini kullanır; puanı bu sitenin tüm işleme zincirinin ölçümü değildir.
| Ölçüme göre sıra | Model | Test koşulu | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSAçık ağırlıklar · Çıkarım koduMIROS fine-tuned decoderMusicFM encoderÇıkarım kodu logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Açık ağırlıklar · Çıkarım kodu | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 1 / kaynak satırı 5
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ makale karşılaştırması Slakh tarzı metriklerde MT3 ailesi tabanlarıyla karşılaştırma.
| Ölçüme göre sıra | Model | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 1 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Ölçüme göre sıra | Model | Test koşulu | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 1 / kaynak satırı 12
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Ölçüme göre sıra | Model | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 10 / kaynak satırı 25
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Resmî Tablo 5 beş veri kümesini ayrı karşılaştırır ve yalnızca eşleşen açık ağırlıkları doğrulanmış deneyleri gösterir. Mevcut OaFS ortak eğitilmiştir; bu sonuçlar MuScriptor’dan üstün olduğunu kanıtlamaz.
| Ölçüme göre sıra | Model | Test koşulu | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Açık ağırlıklar · Çıkarım koduOfficial MT3 T5X checkpoint and 294 tensor filesÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSAçık ağırlıklar · Çıkarım kodu | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 68 / kaynak satırı 102
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Ölçüme göre sıra | Model | Test koşulu | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSAçık ağırlıklar · Çıkarım kodu | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Açık ağırlıklar · Çıkarım koduOfficial MT3 T5X checkpoint and 294 tensor filesÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 28 / kaynak satırı 28
| Ölçüme göre sıra | Model | Test koşulu | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSAçık ağırlıklar · Çıkarım kodu | Piano | 70.36 | 72.10 |
| 2 | MT3Açık ağırlıklar · Çıkarım koduOfficial MT3 T5X checkpoint and 294 tensor filesÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | Piano | 63.12 | 69.99 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 2 / kaynak satırı 5
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Ölçüme göre sıra | Model | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Açık ağırlıklar · Çıkarım koduOfficial MT3 T5X checkpoint and 294 tensor filesÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | 93.7 M | 34 |
| - | OaFSAçık ağırlıklar · Çıkarım kodu | 64.9 M | 34 |
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 3 / kaynak satırı 7
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
D16 · MSE · Syn · Rescale
Makale Tablo 3: K, belirtilen tını sayısıdır. F1, en uygun iz eşleştirmesinden sonra iz başına hesaplanır. Sonuçlar en az üç eğitimin ortalamasıdır; sitedeki kontrol noktasının yeni ölçümü değildir.
| Ölçüme göre sıra | Model | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursAçık ağırlıklar · Çıkarım kodu | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareAçık ağırlıklar · Çıkarım koduseptimbre/ablation/DicephNet/dicephnet_model.pthÇıkarım koduDeğerlendirme ayarlarıAğırlık lisansı beyan edilmemiş | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaAçık ağırlıklar · Çıkarım kodu | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet düzeltme notu · 13 Ağustos 2026
Aynı tam şarkıyı TelkNet ve resmi MuScriptor Large 0.3.0 strict mode ile işledik. İki sonuçta da 8 parti ve 6.560 nota var; her notanın partisi, perdesi ve sırası aynı. Sapma yaklaşık 182–222. saniyelerde görülüyor: kaynakta orta ve yüksek frekanslarda belirgin, perdeli bir çizgi sürerken MIDI’de C4 üzerinde yaklaşık 40,31 saniyelik boşluk oluşuyor. Arayüz, BPM işlemi ve MIDI editörü bu notaları silmedi; boşluk resmi model çıktısında zaten var. Orijinal partisyon olmadan kaç notanın eksik olduğunu kesin olarak söyleyemiyoruz.
TelkNet, yanlış sınıflandırmaların yayılmasını azaltmak ve uzayan notaları birleştirmek için 5 saniyelik bölümler arasındaki enstrüman bilgisi aktarımını düzenler. MuScriptor Large her bölümü bir kez nota verisine dönüştürür.
Ardından 14 şarkıda 16 tam çalıştırmayı tamamladık; hepsi normal bitti. İlk şarkıda C4 üzerindeki en uzun nota başlangıcı boşluğu 40,309 saniyeden 1,970 saniyeye indi. İkinci sonuç 1.698 nota, 6 etkin parça ve %70,79 piyanodan 2.279 nota, 8 etkin parça ve %50,77 piyanoya değişti. Her şarkının iki tam tekrarı bayt bayt aynı dosyaları üretti.
MuScriptor tempo uyumluluğu
Resmi temel, tek bir sabit BPM yayımlamak için Beat This final0 ve serbest kesişimli en küçük kareler uyumu kullanır. Vuruşlar sabit tempoyu desteklemezse strict modu başarısız olur; best-effort geçici olarak 120 BPM yazar. MIDI yazıcısı onset gecikmesini de düzeltir ve ölçü çizgisini downbeat ile hizalamak için tüm notaları kaydırır.
TelkNet aynı Beat This final0 modelini korur ve otomatik algılanan tek BPM önerilen varsayılan olarak kalır. Kullanıcı kaynak tempo değişikliklerini izlemeyi seçtiğinde, tek BPM yalnızca tüm şarkı ızgarası algılanan vuruşlara en fazla 40 ms uzaktaysa kullanılır; aksi halde uyarlamalı Tempo Map yayımlanır. Elle BPM seçeneği korunur. Kuantalama kapalıyken modelin özgün nota zamanları değişmez.
| Karşılaştırma öğesi | Resmi MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Vuruş algılama | Beat This final0 kullanır. | Aynı Beat This final0 kullanılır; algılama modeli değiştirilmez. |
| Yayımlanan tempo ızgarası | Serbest kesişimli uyumla tek sabit BPM yayımlar; değişken tempoda strict başarısız olur, best-effort 120 BPM yazar. | Sabit BPM yalnızca en büyük ızgara uzaklığı 40 ms veya altındaysa; aksi halde fazı sınırlı uyarlamalı Tempo Map. |
| BPM denetimi | Güncel resmi CLI'da elle BPM yoktur. | Uyarlanabilir, otomatik sabit ve 30–300 elle BPM destekler. |
| Nota zaman çizelgesi | Onset gecikmesini düzeltir ve ölçüyü downbeat ile hizalamak için tüm notaları kaydırır. | Nicemleme kapalıyken doğal nota zamanlarını korur ve ölçü hizalama kaydırması uygulamaz. |
Beat This hâlâ bir ses tahmincisidir. Olağan dışı ölçü, zayıf veya transiyentsiz ritim, rubato, ani tempo değişimi ya da yanlış yarım veya çift tempo darbesi yine hatalı ızgara üretebilir. Otomatik BPM, bilinen kesin değerden az miktarda farklı olabilir; kaynak BPM biliniyorsa “Sabit · Elle BPM” kullanılabilir. Nota nicemlemeyi açmak nota zamanlarını bilinçli olarak taşır. Tempo ayarları MuScriptor kaynaklı eksik notaları, yanlış perdeleri veya çalgı ve parça adı hatalarını düzeltemez. Önemli MIDI dosyaları yine DAW içinde kaynakla karşılaştırılmalıdır.