Audio razdvajanje na četiri stema: zašto Huge-SCNet odgovara MSS cilju

Četiri stema nisu drugi naziv za prateće matrice

Standardno razdvajanje na četiri stema obično znači vocals, drums, bass i other. Vocals je pjevačka dionica, drums je komplet bubnjeva, bass je bas-dionica, a other sadrži preostale instrumente: gitaru, klavir, gudače, sintisajzere, limene puhače, efekte i drugo. Prateća matrica koja se čuje nakon utišavanja vokala zapravo je zbir drums, bass i other stemova.

Ovaj cilj potiče iz glavnih skupova podataka i tradicije evaluacije u razdvajanju muzičkih izvora. MUSDB18 i MUSDB18-HQ dugo su oblikovali obuku i evaluaciju modela oko ova četiri stema. Kada zajednica kaže 4-stem, obično misli na ovaj izlazni cilj.

Ta razlika mijenja izbor alata. Ako je cilj čist vokal ili instrumental bez vokala, direktniji je separator vokala s dva stema. Ako su cilj vježbanje bubnjeva, analiza basa, uzorkovanje, remiksovanje ili uređivanje očišćenog materijala, četiri stema su korisnija. Other nije slabija prateća matrica; to je najteža korpa instrumenata u sistemu.

Četiri faze od U-Neta do SCNeta

Razdvajanje muzičkih izvora pokušava obnoviti više izvora iz jednog izmiješanog talasnog oblika kroz vrijeme i frekvenciju. Raniji modeli mogli su proizvesti slušljive rezultate, ali artefakti su bili poznati: curenje vokala, prodiranje bubnjeva, zamućen bas, razmazane visoke frekvencije ili isprekidana fazna tekstura u gustim aranžmanima.

Ova historija objašnjava zašto se izbor modela ne može svesti na kvalitet vokala. Razdvajanje na četiri stema mora sačuvati i tranzijente bubnjeva, osnovne tonove i harmonike basa, granice vokala te visokofrekvencijske detalje unutar other stema.

Vremenski okvir je također ograničen izvorima: rad o SCNetu javno je objavljen u januaru 2024, dok Huge-SCNet-4stems V1.2 pripada kasnijem kontekstu javnog checkpointa. Zato ova vremenska linija koristi 2024-2026 umjesto da sugeriše kako se sam SCNet pojavio tek nakon 2025.

Mel-Band RoFormer: snaga vokala i ograničenja kod četiri stema

Mel-Band RoFormer predložio je ByteDanceov tim Speech, Audio, and Music Intelligence (SAMI). Autori rada su Ju-Chiang Wang, Wei-Tsung Lu i Minz Won, a na naslovnoj stranici kao pripadnost je navedeno SAMI, ByteDance. Stranice zajednice ponekad taj pravac sažimaju kao ByteDance AI Labs, ali najpreciznija formulacija izvora jesu autori rada i SAMI, ByteDance.

Model je privlačan jer oblikuje frekvencijske pojaseve bliže ljudskom sluhu. Uho je osjetljivije na niske i srednje frekvencije, gdje se nalaze osnovni tonovi vokala, suglasnici, dah i mnogi signali visine tona. Projekcija mel-pojaseva pruža finiju reprezentaciju tog područja i pomaže modelu pratiti vodeće i prateće vokale, klizanja, vibrato i završetke odjeka.

Porodica RoFormer koristi rotacijsko pozicijsko kodiranje, odnosno RoPE, i na vremenskim i na podpojasnim sekvencama. Zbog toga rezultati pažnje zavise od relativnog položaja. Klizanja, održani tonovi i ponovljene fraze korisne su strukturne intuicije za to svojstvo, ali rad izravno testira samo kontrolisane modele s RoPE-om i bez njega; ne izvještava o zasebnim metrikama za klizanja ili duge harmonije.

Put signala definisan u radu

BS-RoFormer prvo pretvara talasni oblik miksa u kompleksni spektrogram. Njegova projekcija pojaseva i hijerarhijski Transformer procjenjuju kompleksnu masku, ta maska se primjenjuje na spektar miksa, a inverzni STFT rekonstruira ciljni talasni oblik. Mel-RoFormer mijenja projekciju unutar f_θ: preklapajući mel-pojasevi zamjenjuju heurističku podjelu bez preklapanja. Ne zamjenjuje cijeli put rekonstrukcije.

Zato je Mel-Band RoFormer snažan pravac za razdvajanje vokala i pratnje, vodećih i pratećih vokala te izdvajanje čistog vokala. Problem je što razdvajanje na četiri stema ne obuhvata samo vokale. Mora razdvojiti i drums, bass i other, a other često sadrži najteže visokofrekvencijske instrumentalne detalje.

Nakon radova: kako je RoFormer postao otvoreni ekosistem alata

BS-RoFormer se pojavio u septembru 2023. s dvije vrste dokaza u jednom radu. Veći sistem L=12, obučen na MUSDB18HQ i 500 internih pjesama, dokumentovao je prvoplasiranu prijavu tima SAMI-ByteDance na SDX23. Manji modeli obučeni samo na MUSDB18HQ pružili su kontrolisane ablacije za RoPE, podjelu na pojaseve i rekonstrukciju preklapanjem i usrednjavanjem. Rad je objavio arhitekturu, uvjete obuke i tabele rezultata. Nije priložio izvorni SDX23 checkpoint niti povezao repozitorij organizacije ByteDance/SAMI za obuku i inferenciju.

Mel-Band RoFormer uslijedio je u oktobru 2023. Zadržao je RoPE Transformere, modeliranje sekvenci unutar i između pojaseva, kompleksne maske i rekonstrukciju talasnog oblika, ali je ručno osmišljenu podjelu bez preklapanja zamijenio sa 60 preklapajućih mel-pojaseva. Razmak od jednog mjeseca je važan: to je bila javna revizija frekvencijske projekcije potaknuta ograničenjem prethodnog rada, a ne drugi službeni paket checkpointa objavljen uz tekst.

Izvršivi kod se nakupljao izvan radova. Repozitorij lucidrainsa pretvorio je dijagrame i jednačine u klase PyTorch modela i otvoreno pozvao druge da reproduciraju separator. Obrada stereo zvuka, više izlaznih stemova i Mel-Band varijanta učinili su strukturu ponovo upotrebljivom, ali sam kod nije mogao obnoviti interne pjesme, stanje optimizatora, trajanje obuke ili konačne takmičarske parametre.

Music-Source-Separation-Training zatim je toj ponovo upotrebljivoj strukturi dao zajedničku radionicu: učitavače skupova podataka, augmentaciju, obuku, validaciju, nastavak iz checkpointa, inferenciju u segmentima, preklapanje i ansamble. Njegov README zahvaljuje lucidrainsu za ponovnu izradu RoFormer modela iz radova i prihvata modele koje šalje zajednica. Jedna arhitektura sada se mogla obučavati za razdvajanje vokala i instrumentala, četiri stema, podstemove bubnjeva ili druge specijalizirane ciljeve. Nije postojala jedna kanonska težina zajednice.

Vokalni model autorice Kimberley Jensen učinio je taj proces konkretnim. Repozitorij navodi da je obučen na više podataka pomoću koda projekta ZFTurbo, da prema zadanim postavkama koristi segment od osam sekundi i izlaže num_overlap radi smanjenja artefakata spajanja po cijenu duže inferencije. Također navodi zasluge doprinosilaca skupu podataka. Ti detalji objašnjavaju zašto checkpoint koji se može preuzeti ima karakter koji sam naziv arhitekture ne može opisati.

Trenutna stranica MVSep-a pripisuje prve visokokvalitetne javne težine autorici Kimberley Jensen, a zatim opisuje kasnije izmjene i nastavak obuke otvorenih težina. Izdanja Bas Curtiz, unwa, becruily, gabox i druga pojavljuju se na istoj stranici s različitim kompromisima u punoći, prodiranju, šumu i SDR-u. To je razgranata genealogija težina: modeli dijele Mel-Band RoFormer, ali ne i podatke, cilj, historiju finog podešavanja ili konačni zvuk.

Jedan naziv arhitekture sada može označavati takmičarski sistem, ablaciju iz rada, vokalni checkpoint, checkpoint za četiri stema ili platformski ansambl. Tačan opis mora pokazati tri stvari: ko je predložio arhitekturu, odakle dolaze trenutne težine i koji recept inferencije daje rezultat. Bez sve tri, izrazi poput „službeni ByteDance model“ ili „Mel-Band takmičarski rezultat za četiri stema“ neprimjetno spajaju različite artefakte iz različitih trenutaka ove historije.

Kontrolisano poređenje: Mel ne zamjenjuje BS u svakom stemu

Najjasniji dokaz je kontrolisano poređenje iz rada o Mel-Bandu iz 2023, a ne mješavina stranica MVSep-a i nepovezanih checkpointa zajednice. Svaki red u nastavku koristi MUSDB18HQ bez dodatnih pjesama. Unutar svake dubine glavna promjena je projekcija: heuristički pojasevi BS-RoFormera bez preklapanja zamijenjeni su sa 60 preklapajućih mel-pojaseva.

Rezultat je kompromis, a ne potpuna pobjeda. Pri L=6 vocals raste sa 10.78 na 11.21 dB, a drums sa 9.61 na 9.91 dB, dok bass pada sa 11.43 na 9.64 dB, a other blago pada sa 7.86 na 7.81 dB. Pri L=9 vocals dobija 0.58 dB, a other 0.13 dB, drums gubi 0.32 dB, dok bass nije prijavljen jer je obuka napredovala presporo.

Rad povezuje rezultat basa s mapiranjem frekvencija. BS-RoFormer namjerno dodjeljuje fine pojaseve niskim frekvencijama, dok je mel-projekcija korisnija za vokale i neke ciljeve koji nisu bas. Koristan inženjerski zaključak zato zavisi od zadatka: mel-projekcija je snažan izbor za vokal, ali psihoakustička motivacija sama po sebi ne dokazuje dominaciju u četiri stema.

SCNet i cilj od četiri stema

SCNet posmatra spektar iz perspektive više usmjerene na informacije. Među autorima rada su Weinan Tong, Jiaxu Zhu, Jun Chen, Shiyin Kang, Tao Jiang, Yang Li, Zhiyong Wu i Helen Meng; na naslovnoj stranici među pripadnostima su navedeni Shenzhen International Graduate School, Tsinghua University, Skywork AI PTE. LTD., Peng Cheng Lab i The Chinese University of Hong Kong. Arhitektonski, SCNet izričito dijeli spektrogram miksa na podpojaseve i koristi rijetku kompresiju kako bi obradio različitu gustoću informacija u tim pojasevima. Jednostavnije rečeno, ne ulaže gotovo sav kapacitet u vokalno područje. Usmjerava model na vremensko-frekvencijska područja koja zaista nose koristan instrumentalni signal.

To je važno za četiri stema. Bas se nalazi nisko, ali nosi važne harmonike. Bubnjevi spajaju vrlo kratke tranzijente s činelama i zvukom prostorije. Other može istovremeno sadržavati gitaru, klavir, gudače, sintisajzere i efekte. Modeliranje podpojaseva različitim frekvencijskim područjima daje ciljaniji tretman, dok rijetka kompresija odvraća pažnju od praznih područja ili područja s malo informacija.

Rad o SCNetu opisuje cijeli sistem kao audioenkoder, mrežu za razdvajanje zasnovanu na dual-path RNN-u i audiodekoder. Enkoder mapira miks u podpojasne reprezentacije frekvencijske domene, mreža za razdvajanje modelira strukturu kroz vrijeme i frekvenciju, a dekoder rekonstruira ciljne stemove.

Huge-SCNet-4stems V1.2 pripada ovom pravcu. Njegov izlazni ugovor predstavlja uravnotežen skup datoteka vocals, drums, bass i other koji može nastaviti u remiksovanje ili transkripciju, umjesto cilja optimiziranog samo za vokal.

Važno je i razdvojiti rad o SCNetu od checkpointa Huge-SCNet-4stems V1.2. Rad pruža arhitekturu rijetke kompresije, dizajn podpojaseva i istraživački rezultat na MUSDB18-HQ; artefakt koji se može preuzeti jeste javni Hugging Face checkpoint huge_scnet_4stems_v1.2.ckpt. Taj checkpoint zajednice ne može naslijediti rezultat rada od 9.0 dB na MUSDB18-HQ jer se podaci i porijeklo izdanja razlikuju.

Granicu koda također treba držati odvojeno. Autori rada objavljuju thuhcsi/SCNet kao službeni repozitorij implementacije, ali repozitorij navodi da kod za obuku tek treba dovršiti i upućuje čitaoce na HTDemucs, Music-Source-Separation-Training i SCNet-PyTorch kao privremene okvire za obuku. Huge-SCNet-4stems V1.2 zato treba opisati kao javni izbor checkpointa za četiri stema na pravcu SCNeta, a ne kao službeni paket modela iz rada o SCNetu.

MVSep Ensemble kao platformski radni tok

MVSep Ensemble 2025.06.30 predstavlja radni tok s više modela na nivou platforme. Javna stranica algoritma navodi više od jedne porodice modela. Vokalni put može koristiti UVR-MDX-NET, Demucs, MDX23C, VitLarge23, BS Roformer, Mel Roformer, SCNet XL i druge pravce, dok bass, drums i other mogu pozivati različite Demucs ili srodne modele.

Snaga ovakvog ansambla dolazi iz specijalizacije: materijal bogat vokalima dodjeljuje se vokalnim specijalistima, materijal bogat niskim frekvencijama i tranzijentima snažnijim instrumentalnim separatorima, a zatim se rezultati spajaju. Može služiti kao referenca gornje granice kvaliteta, ali nije jedan checkpoint niti samostalan model koji korisnik može reproducirati preuzimanjem jedne datoteke.

MVSep za ansambl 2025.06.30 navodi prosječni SDR od 13.67. Taj broj je koristan kao gornja granica hostovane platforme, ali ga ne treba stavljati u isti red sa samostalnim checkpointom. Odražava radni tok na strani servera koji može kombinirati vokal, instrumental, bass, drums, other i dodatne putanje za pojedinačne instrumente prije nego što proizvede konačni rezultat.

Zato rasprava o jednom samostalnom modelu za četiri stema koji se može preuzeti mora držati platformske ansamble izvan kategorije pojedinačnih modela. U suprotnom se poređenje prebacuje s arhitekture modela na hostovani radni tok.

Javno poređenje modela za četiri stema

Tabela u nastavku koristi brojke s navedenih javnih stranica modela i benchmarka. Rezultati pomažu smjestiti svaki model unutar istog cilja od četiri stema. Ne treba ih čitati kao apsolutnu presudu za svaku pjesmu, žanr ili slučaj slušanja.

Opseg izvora namjerno je uzak: red Huge-SCNet-4stems V1.2 sa 10.02 dB dolazi iz javne reference HF/MVSep; SCNet XL IHF, BS Roformer i HTDemucs4 koriste javne redove ZFTurbo/MVSep Multisong. Ovo nije mješovita tabela rezultata rada o SCNetu na MUSDB18-HQ, stranica Mel-Banda za vokal i rezultata hostovanog radnog toka MVSep Ensemblea.

Kako čitati rezultate

Viši SDR obično znači manje izobličenja u odnosu na referentni stem. Ali prosječni SDR ne može zamijeniti slušanje niti svesti svaki stem na jedan odgovor. Jedan model može biti snažan na bassu i drumsu, dok drugi čuva čišći vocals. Other je posebno težak jer sadrži mnogo instrumenata.

Vrijednost Huge-SCNet-4stems V1.2 leži u njegovoj jasnoj granici artefakta: jedan javni naziv checkpointa, standardni izlaz od četiri stema i sljedive javne referentne brojke. SCNet XL IHF ostaje važno poređenje. MVSep Ensemble ostaje hostovana referenca gornje granice kvaliteta. Oni odgovaraju na različita pitanja.

Korisnici trebaju početi od cilja. Za najčišći vokal treba koristiti razdvajanje vokala. Za vocals, drums, bass i other pogodne za uređivanje treba koristiti razdvajanje na četiri stema. Razdvajanje na šest stemova treba koristiti kada gitara i klavir moraju imati zasebne datoteke.

Granica izlaza: ravnoteža četiri stema naspram detalja šest stemova

Razdvajanje na šest stemova dalje dijeli other na gitaru, klavir i preostali other. Osjetljivije je na trzaje gitare, napade klavira, teksturu klavijatura i visokofrekvencijske harmonike. Checkpoint BS Roformer SW za šest stemova zato predstavlja drugačiji cilj i ugovor obuke od Huge-SCNet-4stems V1.2.

Te tvrdnje pripadaju odvojenim slojevima: RoFormer opisuje porodicu arhitektura, Mel-Band cilja reprezentaciju vokala, SCNet uravnotežuje četiri stema, a ansambli MVSep-a spajaju hostovane komponente. Svaki odgovara na drugo pitanje o arhitekturi, izlaznom cilju, javnoj dostupnosti, obliku radnog toka ili ugovoru inferencije.

Zaključak: birajte arhitekturu, a ne pomodnu riječ

Razdvajanje na četiri stema nije preimenovana prateća matrica niti mjesto za primjenu najpopularnijeg vokalnog modela na svaki instrument. Od modela traži ravnotežu između vocals, drums, bass i other, posebno tranzijenata bubnjeva, dubokih frekvencija basa, visokih harmonika instrumenata i mješavine instrumenata unutar other stema.

Huge-SCNet-4stems V1.2 zauzima jasno mjesto oko tog standardnog cilja od četiri stema. Mel-Band RoFormer ostaje važan za razumijevanje razdvajanja vokala, dok MVSep Ensemble ostaje koristan kao hostovana referenca kvaliteta. Svaki pripada drugačijem sloju historije istraživanja i implementacije.