Dört stem ses ayırma: Huge-SCNet neden MSS hedefine uyuyor

Dört stem, altyapı parçalarının başka bir adı değildir

Standart dört stemli ayırma genellikle vokal, davul, bas ve diğer anlamına gelir. Vokal, söylenen ses parçasıdır; davul, davul setidir; bas, bas partisidir; diğer ise geriye kalan enstrümanları içerir: gitar, piyano, yaylılar, synthesizer'lar, üflemeliler, efektler ve daha fazlası. Vokal susturulduktan sonra duyulan altyapı parçası aslında davul, bas ve diğer stemlerinin toplamıdır.

Bu hedef, müzik kaynak ayırmadaki temel veri kümelerinden ve değerlendirme geleneğinden gelir. MUSDB18 ve MUSDB18-HQ, model eğitimini ve değerlendirmesini uzun süredir bu dört stem etrafında şekillendirmektedir. Topluluk 4-stem dediğinde genellikle bu çıktı hedefini kasteder.

Bu ayrım araç seçimini değiştirir. Amaç temiz bir vokal veya vokalsiz bir enstrümantal elde etmekse, iki stemli vokal ayırıcı daha doğrudan bir seçimdir. Amaç davul pratiği, bas analizi, örnekleme, remiks ya da düzenlenebilir materyal temizliği ise dört stem daha kullanışlıdır. Diğer, daha zayıf bir altyapı parçası değildir; sistemdeki en zor enstrüman sepetidir.

U-Net'ten SCNet'e dört aşama

Müzik kaynak ayırma, zaman ve frekans boyunca tek bir karışık dalga biçiminden birden çok kaynağı geri elde etme çabasıdır. Önceki modeller dinlenebilir çıktılar üretebiliyordu, ancak artefaktlar tanıdıktı: vokal sızıntısı, davul taşması, bulanık bas, yayılmış yüksek frekanslar veya yoğun düzenlemelerde parçalanmış bir faz hissi.

Bu tarih, model seçiminin neden vokal kalitesine indirgenemeyeceğini açıklar. Dört stemli ayırma; davul transiyentlerini, basın temel frekanslarını ve harmoniklerini, vokal sınırlarını ve diğer içindeki yüksek frekanslı ayrıntıları da korumalıdır.

Zaman çizelgesi de kaynak kapsamına bağlıdır: SCNet makalesi Ocak 2024'te yayımlandı; Huge-SCNet-4stems V1.2 ise daha sonraki herkese açık checkpoint bağlamına aittir. Bu nedenle zaman çizelgesi, SCNet'in ancak 2025 sonrasında ortaya çıktığı izlenimini vermek yerine 2024-2026 aralığını kullanır.

Mel-Band RoFormer: vokal gücü ve dört stem sınırları

Mel-Band RoFormer, ByteDance'in Speech, Audio, and Music Intelligence (SAMI) ekibi tarafından önerildi. Makalenin yazarları Ju-Chiang Wang, Wei-Tsung Lu ve Minz Won'dur; başlık sayfasındaki kurum SAMI, ByteDance olarak belirtilir. Topluluk sayfaları bu çizgiyi bazen ByteDance AI Labs diye özetler, ancak en kesin kaynak ifadesi makale yazarları ve SAMI, ByteDance'tir.

Model, frekans bantlarını insan işitmesine daha yakın biçimlendirdiği için caziptir. Kulak; vokal temel frekanslarının, ünsüzlerin, nefesin ve perde ipuçlarının çoğunun bulunduğu düşük ve orta frekanslara daha duyarlıdır. Mel-band projeksiyonu bu aralığı daha ayrıntılı temsil ederek modelin ana vokali, geri vokalleri, kaydırmaları, vibratoyu ve reverb kuyruklarını izlemesine yardımcı olur.

RoFormer ailesi, hem zaman hem de alt bant dizilerinde döner konum kodlaması, yani RoPE kullanır. Bu, dikkat puanlarını göreli konuma bağımlı kılar. Kaydırmalar, uzatmalar ve yinelenen ifadeler bu özellik için yararlı yapısal sezgilerdir; ancak makale yalnızca RoPE'li ve RoPE'siz kontrollü modelleri doğrudan sınar, ayrı kaydırma veya uzun armoni metrikleri raporlamaz.

Makalede tanımlanan sinyal yolu

BS-RoFormer önce karışım dalga biçimini karmaşık bir spektrograma dönüştürür. Bant projeksiyonu ve hiyerarşik Transformer karmaşık bir maske tahmin eder, bu maske karışım spektrumuna uygulanır ve ters STFT hedef dalga biçimini yeniden oluşturur. Mel-RoFormer, f_θ içindeki projeksiyonu değiştirir: örtüşen mel bantları, sezgisel ve örtüşmeyen bölmenin yerini alır. Yeniden oluşturma yolunun tamamını değiştirmez.

Mel-Band RoFormer'ın vokal/eşlik, ana/geri vokal ve temiz vokal çıkarma işleri için güçlü bir yol olmasının nedeni budur. Sorun, dört stemli ayırmanın yalnızca vokalle ilgili olmamasıdır. Davul, bas ve diğer de ayrılmalıdır; diğer çoğu zaman yüksek frekanslı en zor enstrümantal ayrıntıları içerir.

Makalelerden sonra: RoFormer nasıl açık bir araç ekosistemine dönüştü?

BS-RoFormer, Eylül 2023'te tek bir makalede iki tür kanıtla yayımlandı. MUSDB18HQ ve kurum içi 500 şarkıyla eğitilen daha büyük L=12 sistemi, SAMI-ByteDance'in SDX23'te birinci olan gönderimini belgeledi. Yalnızca MUSDB18HQ ile eğitilen daha küçük modeller, RoPE, bant bölme ve örtüştürüp ortalama alma yöntemi için kontrollü ablasyonlar sundu. Makale mimariyi, eğitim koşullarını ve sonuç tablolarını yayımladı. Özgün SDX23 checkpoint'ini eklemedi veya bir ByteDance/SAMI eğitim ve çıkarım deposuna bağlantı vermedi.

Mel-Band RoFormer bunu Ekim 2023'te izledi. RoPE Transformer'ları, bant içi/bantlar arası dizi modellemesini, karmaşık maskeleri ve dalga biçimi yeniden oluşturmasını korurken, elle tasarlanan örtüşmesiz bölmeyi 60 örtüşen mel bandıyla değiştirdi. Bir aylık aralık önemlidir: bu, önceki makalenin kendi sınırlamasının tetiklediği frekans projeksiyonu için herkese açık bir revizyondu; metinle birlikte yayımlanan ikinci bir resmî checkpoint paketi değildi.

Çalıştırılabilir kod makalelerin dışında birikti. lucidrains deposu, diyagramları ve denklemleri PyTorch model sınıflarına dönüştürdü ve başkalarını ayırıcıyı yeniden üretmeye açıkça davet etti. Stereo işleme, birden çok çıktı stemi ve Mel-Band çeşidi yapıyı yeniden kullanılabilir kıldı; ancak kod tek başına kurum içi şarkıları, optimizer durumunu, eğitim süresini veya nihai yarışma parametrelerini yeniden oluşturamazdı.

Music-Source-Separation-Training daha sonra bu yeniden kullanılabilir yapıya ortak bir atölye sundu: veri kümesi yükleyicileri, veri artırma, eğitim, doğrulama, checkpoint'ten sürdürme, bloklu çıkarım, örtüşme ve ensemble. README dosyası, RoFormer modellerini makalelerden yeniden oluşturduğu için lucidrains'e atıf yapar ve topluluk model gönderimlerini kabul eder. Tek bir mimari artık vokal/enstrümantal ayırma, dört stem, davul alt stemleri veya başka uzman hedefler için eğitilebiliyordu. Tek bir standart topluluk ağırlığı yoktu.

Kimberley Jensen'ın vokal modeli süreci somutlaştırdı. Depo, modelin ZFTurbo'nun koduyla daha fazla veri üzerinde eğitildiğini, varsayılan olarak sekiz saniyelik blok kullandığını ve daha uzun çıkarım karşılığında birleştirme artefaktlarını azaltmak için num_overlap seçeneğini sunduğunu belirtir. Veri kümesine katkıda bulunanlara da atıf yapar. Bu ayrıntılar, indirilebilir bir checkpoint'in neden yalnızca mimari adıyla açıklanamayacak bir karaktere sahip olduğunu gösterir.

Güncel MVSep sayfası, ilk yüksek kaliteli herkese açık ağırlıkları Kimberley Jensen'a atfeder; ardından açık ağırlıkların daha sonra değiştirildiğini ve eğitimin sürdürüldüğünü anlatır. Bas Curtiz, unwa, becruily, gabox ve başka sürümler aynı sayfada farklı dolgunluk, sızıntı, gürültü ve SDR ödünleşimleriyle yer alır. Bu, dallanan bir ağırlık soyağacıdır: modeller Mel-Band RoFormer'ı paylaşır, ancak verileri, hedefleri, ince ayar geçmişleri veya nihai sesleri aynı değildir.

Tek bir mimari adı artık bir yarışma sistemini, makale ablasyonunu, vokal checkpoint'ini, dört stemli checkpoint'i veya platform ensemble'ını ifade edebilir. Doğru bir metin üç noktayı açıkça belirtmelidir: mimariyi kimin önerdiği, güncel ağırlıkların nereden geldiği ve sonucu hangi çıkarım tarifinin ürettiği. Üçü birden verilmezse “resmî ByteDance modeli” ya da “Mel-Band dört stem yarışma puanı” gibi ifadeler bu tarihin farklı dönemlerine ait ayrı artefaktları fark ettirmeden birleştirir.

Kontrollü karşılaştırma: Mel her stemde BS'nin yerini almıyor

En temiz kanıt, MVSep sayfalarıyla ilgisiz topluluk checkpoint'lerinin karışımı değil, 2023 tarihli Mel-Band makalesindeki kontrollü karşılaştırmadır. Aşağıdaki her satır, ek şarkı olmadan MUSDB18HQ kullanır. Her derinlikteki başlıca değişiklik projeksiyondur: BS-RoFormer'ın sezgisel ve örtüşmeyen bantları, 60 örtüşen mel bandıyla değiştirilir.

Sonuç tam bir üstünlük değil, bir ödünleşimdir. L=6 düzeyinde vokal 10.78'den 11.21 dB'e, davul ise 9.61'den 9.91 dB'e yükselirken bas 11.43'ten 9.64 dB'e ve diğer 7.86'dan 7.81 dB'e düşer. L=9 düzeyinde vokal 0.58 dB, diğer 0.13 dB kazanır; davul 0.32 dB kaybeder ve eğitim çok yavaş ilerlediği için bas raporlanmaz.

Makale, bas sonucunu frekans eşlemesiyle ilişkilendirir. BS-RoFormer düşük frekanslara bilinçli olarak ince bantlar ayırırken, mel projeksiyonu vokaller ve bas dışındaki bazı hedefler için daha yararlıdır. Bu nedenle işe yarayan mühendislik sonucu göreve özeldir: mel projeksiyonu vokal için güçlü bir seçimdir, ancak psikoakustik motivasyon tek başına dört stemde üstünlüğü kanıtlamaz.

SCNet ve dört stem hedefi

SCNet, spektruma bilgi odaklı bir bakış getirir. Makalenin yazarları arasında Weinan Tong, Jiaxu Zhu, Jun Chen, Shiyin Kang, Tao Jiang, Yang Li, Zhiyong Wu ve Helen Meng yer alır; başlık sayfasında kurumlar arasında Shenzhen International Graduate School, Tsinghua University, Skywork AI PTE. LTD., Peng Cheng Lab ve The Chinese University of Hong Kong listelenir. Mimari olarak SCNet, karışım spektrogramını açıkça alt bantlara böler ve bu bantlardaki farklı bilgi yoğunluklarını işlemek için seyrek sıkıştırma kullanır. Daha basit bir ifadeyle, kapasitenin neredeyse tamamını vokal aralığına yerleştirmez. Modeli, gerçekten yararlı enstrüman sinyali taşıyan zaman-frekans bölgelerine odaklanmaya yöneltir.

Bu, dört stem için önemlidir. Bas düşük frekanslarda yer alır ancak önemli harmonikler taşır. Davul, çok kısa transiyentleri ziller ve oda sesiyle birleştirir. Diğer aynı anda gitar, piyano, yaylılar, synthesizer'lar ve efektler içerebilir. Alt bant modellemesi farklı frekans bölgelerine daha hedefli yaklaşırken, seyrek sıkıştırma dikkati boş veya az bilgi içeren bölgelerden uzak tutar.

SCNet makalesi, tüm sistemi bir ses kodlayıcı, çift yollu RNN tabanlı bir ayırma ağı ve bir ses kod çözücü olarak tanımlar. Kodlayıcı karışımı frekans alanındaki alt bant temsillerine eşler, ayırma ağı zaman ve frekans boyunca yapıyı modeller, kod çözücü ise hedef stemleri yeniden oluşturur.

Huge-SCNet-4stems V1.2 bu yaklaşıma aittir. Çıktı sözleşmesi, yalnızca vokale yönelik bir optimizasyon hedefi yerine remiks veya transkripsiyona aktarılabilen dengeli bir vokal, davul, bas ve diğer dosyaları kümesidir.

SCNet makalesini Huge-SCNet-4stems V1.2 checkpoint'inden ayırmak da önemlidir. Makale seyrek sıkıştırma mimarisini, alt bant tasarımını ve MUSDB18-HQ araştırma sonucunu sunar; indirilebilir artefakt ise herkese açık Hugging Face checkpoint'i huge_scnet_4stems_v1.2.ckpt dosyasıdır. Veriler ve sürümün kaynağı farklı olduğundan bu topluluk checkpoint'i, makalenin MUSDB18-HQ üzerindeki 9.0 dB sonucunu devralamaz.

Kod sınırı da ayrı tutulmalıdır. Makalenin yazarları thuhcsi/SCNet'i resmî uygulama deposu olarak yayımlar; ancak depo, eğitim kodunun hâlâ tamamlanması gerektiğini söyler ve geçici eğitim altyapıları olarak HTDemucs, Music-Source-Separation-Training ve SCNet-PyTorch'a yönlendirir. Bu nedenle Huge-SCNet-4stems V1.2, SCNet makalesinin resmî model paketi olarak değil, SCNet çizgisinde herkese açık bir dört stem checkpoint seçeneği olarak tanımlanmalıdır.

Platform iş akışı olarak MVSep Ensemble

MVSep Ensemble 2025.06.30, platform düzeyinde çok modelli bir iş akışını temsil eder. Herkese açık algoritma sayfası birden fazla model ailesini listeler. Vokal yolu UVR-MDX-NET, Demucs, MDX23C, VitLarge23, BS Roformer, Mel Roformer, SCNet XL ve başka yolları kullanabilir; bas, davul ve diğer ise farklı Demucs veya ilgili modelleri çağırabilir.

Bu tür ensemble'ın gücü uzmanlaşmadan gelir: vokal ağırlıklı materyali vokal uzmanlarına, düşük frekans ve transiyent ağırlıklı materyali daha güçlü enstrümantal ayırıcılara verip sonuçları birleştirmek. Kalite tavanı için referans olabilir; ancak tek bir checkpoint değildir ve kullanıcının tek dosya indirerek yeniden üretebileceği bağımsız bir model de değildir.

MVSep, 2025.06.30 ensemble'ını 13.67 ortalama SDR ile listeler. Bu sayı, barındırılan bir platformun tavanı olarak yararlıdır; ancak bağımsız bir checkpoint ile aynı satıra konmamalıdır. Nihai sonucu üretmeden önce vokal, enstrümantal, bas, davul, diğer ve enstrümana özgü ek yolları birleştirebilen sunucu tarafı iş akışını yansıtır.

Bu nedenle indirilebilir tek bir dört stemli model ele alınırken platform ensemble'ları tek model kategorisinin dışında tutulmalıdır. Aksi hâlde karşılaştırma, model mimarisinden barındırılan iş akışına kayar.

Herkese açık dört stem karşılaştırması

Aşağıdaki tablo, atıf yapılan herkese açık model ve benchmark sayfalarındaki rakamları kullanır. Puanlar, her modeli aynı dört stem hedefi altında konumlandırmaya yardımcı olur. Her şarkı, tür veya dinleme durumu için kesin bir hüküm olarak okunmamalıdır.

Kaynak kapsamı bilinçli olarak dardır: Huge-SCNet-4stems V1.2 için 10.02 dB satırı herkese açık HF / MVSep referansından gelir; SCNet XL IHF, BS Roformer ve HTDemucs4 ise herkese açık ZFTurbo / MVSep Multisong satırlarını kullanır. Bu; SCNet makalesinin MUSDB18-HQ sonuçlarını, Mel-Band vokal sayfalarını ve MVSep Ensemble barındırılan iş akışı puanlarını karıştıran bir tablo değildir.

Puanlar nasıl okunmalı?

Daha yüksek SDR genellikle referans steme karşı daha az bozulma anlamına gelir. Ancak ortalama SDR dinlemenin yerini tutamaz ve her stemi tek bir yanıta indirgeyemez. Bir model bas ve davulda güçlüyken bir başkası vokalleri daha temiz tutabilir. Diğer, birçok enstrüman içerdiği için özellikle zordur.

Huge-SCNet-4stems V1.2'nin değeri, açık artefakt sınırındadır: herkese açık tek bir checkpoint adı, standart dört stemli çıktı ve izlenebilir herkese açık referans rakamları. SCNet XL IHF önemli bir karşılaştırma olmaya devam eder. MVSep Ensemble, barındırılan kalite tavanı referansı olmayı sürdürür. Farklı soruları yanıtlarlar.

Kullanıcılar hedefle başlamalıdır. En temiz vokal için vokal ayırmayı kullanın. Düzenlenebilir vokal, davul, bas ve diğer için dört stemli ayırmayı kullanın. Gitar ve piyanonun kendi dosyalarına ihtiyacı olduğunda altı stemli ayırmayı kullanın.

Çıktı sınırı: dört stem dengesi ve altı stem ayrıntısı

Altı stemli ayırma, diğer stemini gitar, piyano ve geriye kalan diğer öğelere daha fazla böler. Gitar vuruşlarına, piyano ataklarına, klavye dokusuna ve yüksek frekans harmoniklerine daha duyarlıdır. Bu nedenle altı stemli bir BS Roformer SW checkpoint'i, Huge-SCNet-4stems V1.2'den farklı bir hedefi ve eğitim sözleşmesini temsil eder.

Bu iddialar ayrı katmanlara aittir: RoFormer bir mimari ailesini tanımlar, Mel-Band vokal temsilini hedefler, SCNet dört stemi dengeler ve MVSep ensemble'ları barındırılan bileşenleri birleştirir. Her biri mimari, çıktı hedefi, herkese açık erişim, iş akışının biçimi veya çıkarım sözleşmesi hakkında farklı bir soruyu yanıtlar.

Sonuç: moda sözcüğü değil, mimariyi seçin

Dört stemli ayırma, yeniden adlandırılmış bir altyapı parçası değildir; en popüler vokal modelini her enstrümana uygulama alanı da değildir. Modelden vokal, davul, bas ve diğeri; özellikle davul transiyentlerini, basın düşük frekanslarını, enstrümantal yüksek harmonikleri ve diğer içindeki karma enstrüman sepetini dengelemesini ister.

Huge-SCNet-4stems V1.2, bu standart dört stem hedefi çevresinde net bir konuma sahiptir. Mel-Band RoFormer vokal ayırmayı anlamak için önemini korurken, MVSep Ensemble barındırılan bir kalite referansı olarak yararlı olmaya devam eder. Her biri araştırma ve dağıtım tarihinin farklı bir katmanına aittir.