MuScriptor-large: çok kanallı MIDI'ye tam miksaj için 1,366 milyar parametrenin gerçek ölçümü ve sınırları
Otomatik müzik transkripsiyonu
OTOMATİK MÜZİK TRANSKRİPSİYONU
MuScriptor-large, kamuya açık en büyük MuScriptor checkpoint'i ve model kartının amiral gemisi, en yüksek kaliteli seçeneği. 16 kHz mono sesi beş saniyelik bölümlere dönüştürür, bunları 512 bantlı mel öznitelikleri olarak temsil eder ve perde, onset, offset, enstrüman ve davul olaylarını üretmek için 48 katmanlı, yalnızca çözücü bir Transformer kullanır. Kamuya açık checkpoint tam olarak 1,366,399,488 F32 parametre içerir; safetensors dosyası 5,465,642,136 bayttır.
Bir ailenin en büyük üyesi olmak, her koşulda güncel en iyi sonuç demek değildir. Makale, kendi özel D_Test kümesinde YourMT3+ karşısında büyük bir kazanım bildiriyor ve MuScriptor'un her metriği kazanmadığı sekiz harici veri kümesinde de sonuçlar yayımlıyor. D_Real, D_RL ve D_Test kamuya açık değil; MIROS ise aynı ses, metrik ve son işleme protokolüyle karşılaştırılmadı. Savunulabilir sonuç daha dar: MuScriptor-large, genel amaçlı çok enstrümanlı AMT için yazarların bildirdiği öncü sonuçlarla desteklenen, en güçlü yeni açık ağırlık adaylarından biri.
1. Amiral gemisi seviyesi pazarlamadan çıkarılan bir ad değil, kimliği kesin bir checkpoint
MuScriptor; small, medium ve large checkpoint'leri yayımlıyor. Depo meta verileri tam parametre sayılarını veriyor: 102,968,832, 307,030,528 ve 1,366,399,488. Large, medium'un yaklaşık 4.45 katı büyüklüğünde ve açıkça amiral gemisi, en yüksek kaliteli sürüm olarak tanımlanıyor. Makalenin ölçek ablasyonu 60M, 100M, 300M ve 1.3B etiketlerini kullanıyor; bu deney etiketleri, kamuya açık üç checkpoint'in tam parametre sayılarının yerine geçirilmemeli.
8809fdfbed2affa7ade94a7059e746e3880720e7 revizyonunda ağırlık deposu 5,465,642,136 baytlık bir model.safetensors ve küçük bir yapılandırma dosyası seti içeriyor. Kaynak kodu ayrıca 302343e8992bdfc619f77f1988168374ed5d675d commit'ine sabitlenmiş durumda. Bu tanımlayıcılar birlikte mimariyi, tokenizer'ı, çıkarım varsayılanlarını ve ağırlıkları bağlar. Bir uygulama sessizce medium yükleyebiliyorsa ya da hareketli bir main dalını izleyebiliyorsa, üzerinde “large” yazan bir etiket yeterli değildir.
F32 depolama, her işlemin F32 kullanması gerektiği anlamına gelmez; resmî olmayan düşük bitli bir türevin kalite eşdeğeri olduğunu da kanıtlamaz. Sürüm, alternatif bir kuantize checkpoint için aynı protokolle yapılmış bir kalite çalışması sunmuyor. Kalite öncelikli bir yol bu nedenle tam large kimliğini şart koşabilir ve yükleyemediğinde, daha küçük bir seviyeye geçmek yerine açıkça hata verebilir.
2. Akustik pencereden koşullu olay dizisine
Girdi 16 kHz monoya dönüştürülür. Kısa süreli Fourier dönüşümü 2,048 noktalık pencere ve 160 örneklik atlama kullanarak saniyede 100 çerçeve üretir, ardından bunları 512 mel bandına yansıtır. Beş saniyelik bir bölüm böylece kabaca 500 akustik çerçeve içerir. Bu öznitelikler; genişliği 1,536, 24 dikkat başlığı ve 48 katmanı olan yalnızca çözücü bir Transformer'a girer. Model, önce miksi sabit bir stem kümesine ayırıp her biri için bağımsız bir transkripsiyoncu çalıştırmaz; zaman, enstrüman ve nota olayları ortak bir dizide üretilir.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xbeş saniyelik ses bölümünün mel temsilicisteğe bağlı enstrüman koşulu; boş küme otomatik algılama demektirynbir zaman, enstrüman, perde ya da sonlandırma olayı tokeni
Oto-regresif çarpanlara ayırma, daha önce üretilen enstrümanların ve akorların sonraki kararları bilgilendirmesini sağlar; bu, tam bir mikste enstrümanlar arası bağlam için kullanışlıdır. Ama hataları da taşır. Yanlış bir zaman kayması sonraki notaları yerinden edebilir, eksik bir note-off asılı bir nota bırakabilir, enstrüman tokenindeki bir kayma doğru perdeleri yanlış kanala koyabilir.
Mevcut resmî örnek batch size 1, beam size 1, cfg_coef=1 ve prelude forcing kullanıyor. Beam size 1, deterministik bir argmax yoludur. Daha geniş bir beam daha fazla önek tutar ve daha çok bellek tüketir; kontrollü bir ablasyon olmadan beam 4, “maksimum kalite” diye etiketlenemez.
Sınıflandırıcısız yönlendirme, koşullu ve koşulsuz logitleri birleştirerek koşulu keskinleştirir: ℓ=ℓu+s(ℓc−ℓu). Makalenin son tablosu CFG=1'de 48.2, CFG=2'de 47.8 Multi F1 bildiriyor. Genel varsayılan bu yüzden 1 olarak kalıyor; daha büyük bir yönlendirme sayısının daha iyi olduğu varsayılmıyor.
3. 1.45 milyon MIDI dosyası, 11,000 saat gerçek ses ve 300 gözden geçirilmiş transkripsiyon
Makale eğitim malzemesini üç katmana ayırır. D_Synth, Lakh MIDI ve ticari bir veri sağlayıcıdan gelen yaklaşık 1.45 milyon MIDI dosyası içerir ve 250'den fazla SoundFont ile seslendirilir. Transpozisyon, tempo, velocity, enstrüman rastgeleleştirme ve akort kaydırma, aynı sembolik malzemeyi daha geniş bir tını aralığına açar. Sentetik seslendirme tam olay sınırları verir ama mikrofon sızıntısını, mastering'i, icracı gürültüsünü ya da gerçek prodüksiyonun uzun kuyruğunu tam olarak yeniden üretemez.
D_Real yaklaşık 170,000 kurum içi kayıt, toplamda yaklaşık 11,000 saat içerir. Nota etiketleri örnek düzeyinde manuel etiketleme yerine ses-sembolik hizalamadan gelir. Gerçek miksler prodüksiyon dağılımını genişletirken parça adı eşleştirme, sürüm farklılıkları, eklenti gecikmesi ve hizalama hatası da ekler. D_RL ardından GRPO/REINFORCE tarzı son eğitim için insanlarca gözden geçirilmiş 300 yüksek kaliteli transkripsiyon seçer. Üç aşama kapsamı, alan kaymasını ve dizi tercihini ele alır; ancak gerçek ve ödül veri kümeleri kamuya açık değil.
Gözetimli öğrenme token düzeyinde negatif log olasılığı en aza indirirken, son eğitim onset, offset, frame, drums ve çok enstrümanlı ölçülerden derlenen bir ödül kullanır. Dizi düzeyinde optimizasyon, bağımsız token sınıflandırmasının kaçırdığı yapısal hataları cezalandırabilir. Gözden geçirilmiş ödül kümesi yalnızca 300 parça olduğundan, nadir enstrümanların, aşırı tempoların ve Batı dışı geleneklerin kapsamı hâlâ kamuya açık harici değerlendirme gerektiriyor.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTgözetimli eğitim sırasında dizi çapraz entropisiR(y)tamamlanmış bir transkripsiyon için birleşik ödülD_RL300 gözden geçirilmiş transkripsiyon; kamuya açık bir kıyaslama değil
4. 35 arayüz adı ile 36 öğrenilmiş grup arasında katı bir beyaz liste
MuScriptor, 128 General MIDI programını MT3_FULL_PLUS enstrüman gruplarına eşler. Model 36 grup öğrenirken kamuya açık demo 35 seçilebilir ad sunar: akustik ve elektrikli piyanolar, üç gitar grubu, akustik ve elektrik bas, yaylılar, bakır üflemeliler, tahta üflemeliler, sentezleyiciler, insan sesi ve davullar bunların arasında. Fark, dahili temsil ile seçilebilir arayüz sınırını yansıtır; 35 arayüz seçeneği, öğrenilmiş kategori sayısının tamamı olarak raporlanmamalı.
Enstrüman alanı boşken model desteklenen herhangi bir grubu algılayabilir. Bir ya da daha fazla ad seçildiği anda çözücü, diğer tüm enstrüman tokenlerini kesin olarak maskeler. Bu katı bir beyaz listedir, yumuşak bir tercih değil. Topluluk biliniyorsa enstrüman sızıntısını azaltabilir; ama kullanıcının dahil etmeyi unuttuğu gerçek bir partiyi de silebilir. Bilinen bir trio için piyano, bas ve davul iyi bir kısıt olabilir; düzen belirsizken otomatik algılama daha güvenlidir.
Kısıtın arayüzden tokenizer'ın token maskesine kadar taşınması gerekir. Bir API tarafından atılan seçili etiketler sahte bir kontrol yaratır; kısıtsız metin alanları ise yazım hatalarını çalıştırma anına erteler. Sadık bir sözleşme yalnızca resmî 35 tanımlayıcıyı kabul eder, yinelemeleri reddeder ve boş diziyi otomatik algılama olarak tanımlar.
5. Özel D_Test üzerindeki büyük kazanımı okumak
Makale Tablo 1, aynı özel D_Test üzerinde YourMT3+ YPTF.MoE+Multi (noPS) ile MuScriptor eğitim aşamalarını karşılaştırır. CFG=1'deki son large model Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 ve Multi 48.2 bildiriyor. YourMT3+ ise 32.52, 45.54, 17.79, 41.4 ve 21.9 bildiriyor. Fark kayda değer; yazarların daha büyük veri, model ve son eğitim reçetesinin, kendi gerçek miks dağılımları ve etiketleme protokolleri altında performansı belirgin biçimde artırdığı iddiasını destekliyor.
| Aynı özel D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1; enstrüman, perde, onset ve offset'in eşleştirme kuralını birlikte sağlamasını gerektirir, bu yüzden daha az alanı denetleyen bir skorla birbirinin yerine kullanılamaz. MIROS, 2025 AMT Challenge'da farklı bir kümede — kabaca yirmişer saniyelik 76 sentetik alıntı — ve program + perde + onset içeren bir Multi Onset F1 ile 0.5998 puan aldı. MuScriptor bu aynı-protokol testine katılmadı. 48.2 ile 0.5998'i yan yana sıralamak, farklı paydaları ve farklı olay tanımlarını karşılaştırmak olur.
D_Test, kurum içi malzemeden derlenen 372 çok enstrümanlı eser içerir; eğitim-test sızıntısını azaltmayı amaçlayan bir parça adı filtrelemesi uygulanmış. Parça adı filtreleme yararlıdır ama kamuya açık, tekrarlanabilir bir yineleme denetiminin eşdeğeri değildir. Sesler, etiketler, sürüm seçimleri ve örtüşme temizleme kuralları erişilemez durumda. Başlık sonucu bu nedenle yazarların bildirdiği özel-küme sonucu olarak etiketlenmeye devam etmeli.
6. Alanlar arası tablolar ve örtüşen nota ablasyonu başarısızlık bölgelerini gösteriyor
Sekiz harici veri kümesi daha engebeli bir profil çiziyor. MuScriptor, YourMT3+ karşısında 7/8 kümede Frame F1'i ve 6/8 kümede Multi F1'i kazanırken Onset F1'i yalnızca 4/8 kümede kazanıyor. RWC-C'de onset, frame, offset ve multi'de geride; RWC-R'de offset, drums ve multi'de geride; Bach10'da ise onset ve offset'te geride kalıyor. Güçlü sürekli perde etkinliği ve genel parça içeriği, her transient'te, her enstrüman ailesinde ya da her kayıt dağılımında üstünlük anlamına gelmiyor.
Tokenizer'ın somut bir temsil sınırı var: aynı enstrüman ve perdede eşzamanlı örtüşen notalar ikisi birden temiz biçimde temsil edilemiyor. Makale, ana D_Test değerlendirmesi için daha kısa olan örtüşmeyi kaldırıyor. Bu kaldırma yapılmadığında Onset F1 60.4'ten 51.8'e, Offset 49.0'dan 41.9'a, Multi 48.2'den 42.0'ye düşüyor. Pedal altında tekrarlanan aynı perdeli piyano notaları, yaylı unisonolar ve katmanlı gitarlar bu çakışmayla karşılaşabilir.
Model ölçeği ablasyonu, nihai karşılaştırmadan ayrı bir grafiğe ait. Makale Tablo 4 yalnızca D_Real üzerinde, enstrüman koşullamasıyla eğitim yapıyor. Multi F1, 60M, 100M, 300M ve 1.3B etiketleri boyunca 35.2'den 38.2'ye, 39.7'ye ve 40.5'e yükseliyor. Bu, söz konusu kurulum altında ölçek kazanımının sürdüğünü gösteriyor; ama nihai sentetik ön eğitim ve pekiştirme aşamalarını içermiyor ve kamuya açık small, medium ve large dosyalarının doğrudan bir kıyaslaması değil.
| Makale ölçek etiketi | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Dinleme incelemesi yoğun unisonolara, ortak davul-bas transient'lerine, distorsiyonlu gitarlara, korolara, nadir tınılara ve yoğun yankıya odaklanmalı. Toplam skorlar iyi kalabilirken bir parça kısa parçacıklar, kanallar arası sızıntı, kesilen sürdürmeler ya da tek enstrüman için birden çok kanal geliştirebilir. Ortalamalar popülasyon davranışını betimler; piano-roll incelemesinin ve yeniden sentezlenmiş çalmanın yerini tutmaz.
7. Type-1 çok kanallı MIDI neleri korur, yazıcı neleri sabitler
Mevcut yazıcı Type-1 MIDI üretir: meta veriler kendi kanalında durur ve her enstrüman kanalı bir ad, program, kanal numarası, note-on ve note-off olayları taşır. Davullar General MIDI'nin 10. kanal geleneğini izler. Her şeyi Type-0'a düzlemeye kıyasla bu yapı, bir DAW içinde susturmayı, solo yapmayı ve düzenlemeyi kolaylaştırır; enstrüman kaymasını da daha görünür kılar.
Çıktı, icra edilen dinamikleri geri getirmez. Kamuya açık kod, nota velocity değerini 100 olarak yazar. MIDI'deki bir velocity alanı yalnızca dosya biçimini karşılar; modelin kayıttan ifade çıkardığının kanıtı değildir. Davullar yalnızca onset verir. Model ayrıca parçanın tempo haritasını, ölçü birimini ya da vuruş ızgarasını çıkarmaz. Yazıcı, olay saniyelerini tick'lere eşlemek için sabit bir 120 BPM tempo olayı kullanır. “120 BPM'ye sabitlenmiş” ifadesi asla “120 BPM algılandı” diye sunulmamalı.
Sürekli zamanlama yaklaşık olarak korunabilir; ancak nota yazılımının gösterdiği notasyon değerleri o sabit tempoya ve sonraki kuantizasyona bağlıdır. Rubato, swing, serbest zamanlı pasajlar ve tempo değişimleri ayrı bir vuruş ve yapı analizi gerektirir. Çalınabilir olaylar, düzenlenebilir kanallar ve yayıma hazır notasyon üç farklı katmandır; voicing, bağlamalar, pedal, enharmonik yazım, tekrarlar ve ifade hâlâ müzikal kararlar ister.
Uzun ses örtüşen bölümler hâlinde işlendiğinde, onset sahipliği küresel saniyeler içinde atanmalı ve sınır boyunca açık kalan notalar ileriye taşınmalıdır. Bölüm MIDI dosyalarını arka arkaya eklemek sınır ataklarını yineleyebilir, sürdürmeleri kesebilir ya da kanal adlarını, programları ve davul kanalını atabilir. Kabul; asılı notaları, korunan kanal meta verilerini ve bölüm birleşimlerinde sistematik zamanlama kayması olmadığını denetlemeli.
8. Lisans bilgisi
MuScriptor kodu MIT lisansı kullanır. Large ağırlıkları CC BY-NC 4.0 ile lisanslıdır ve erişim kontrollü bir Hugging Face sayfası üzerinden dağıtılır. Erişim; oturum açılmış bir hesap, sayfa koşullarının kabulü ve kullanıcının transkribe edilen müzik üzerinde gerekli haklara sahip olduğunun onaylanmasını gerektirir.
Kod ve ağırlıkların lisansları ayrıdır. Ağırlık dosyalarına erişim, NonCommercial koşulunu değiştirmez; izin verilen kullanım için birincil referanslar sabitlenmiş model kartı ve lisans metnidir.
9. Sonuç ve birincil kaynaklar
MuScriptor-large'ın değeri somut: 1.366B parametreyle ailenin kamuya açık en büyük üyesi, gerçek tam mikslere yöneliyor, katı bir enstrüman beyaz listesi destekliyor, düzenlenebilir Type-1 çok kanallı MIDI üretiyor ve özel D_Test üzerinde YourMT3+ karşısında yazarların bildirdiği büyük bir kazanıma sahip. Sınırları da aynı ölçüde somut: başlık verileri kamuya açık değil, harici metrikler tam bir zafer değil, aynı perdedeki örtüşen notalar tokenizer'da çakışıyor, velocity ve gerçek bir tempo haritası yok, ağırlıklar ise ticari olmayan kullanım için lisanslı.
“En yüksek kaliteli MuScriptor checkpoint'i” ifadesi destekleniyor. “Bağımsız olarak doğrulanmış evrensel ses-MIDI SOTA'sı” ifadesi desteklenmiyor. Bu değerlendirme; MuScriptor-large, YourMT3+ ve MIROS'u aynı kayıtlar, olay tanımları, eşleştirme toleransları ve örtüşme politikasıyla karşılaştıran kamuya açık bir tekrarlama yapıldığında değişebilir.
- MuScriptor makalesi: yöntem, eğitim kaynakları, Tablo 1–4 ve örtüşen nota ablasyonu
- Sabitlenmiş kaynak commit'i: çıkarım, tokenizer, Type-1 MIDI yazıcısı ve demo davranışı
- Sabitlenmiş MuScriptor-large revizyonu: dosyalar, model kartı ve lisans
- 2025 AMT Challenge: farklı bir veri kümesinde MIROS ve Multi Onset F1 protokolü