Поділ аудіо на чотири стеми: чому Huge-SCNet відповідає цілі MSS

Чотири стеми — не інша назва акомпанементу

Стандартне розділення на чотири стеми зазвичай означає vocals, drums, bass і other. Vocals — це доріжка співу, drums — ударна установка, bass — партія баса, а other містить решту інструментів: гітару, фортепіано, струнні, синтезатори, мідні духові, ефекти тощо. Акомпанемент, який чути після вимкнення вокалу, насправді є сумою drums, bass і other.

Ця мета походить від основних наборів даних і традиції оцінювання в розділенні музичних джерел. MUSDB18 і MUSDB18-HQ тривалий час формували навчання й оцінювання моделей навколо цих чотирьох стемів. Коли спільнота каже 4-stem, зазвичай ідеться саме про цю вихідну мету.

Відмінність змінює вибір інструмента. Якщо потрібен чистий вокал або інструментальна версія без вокалу, прямішим рішенням є двостемовий розділювач вокалу. Якщо метою є репетиція ударних, аналіз баса, семплування, реміксування або редаговане очищення матеріалу, корисніші чотири стеми. Other — не гірший акомпанемент, а найскладніший кошик інструментів у системі.

Чотири етапи від U-Net до SCNet

Розділення музичних джерел намагається відновити кілька джерел з однієї змішаної хвильової форми в часі й частоті. Ранні моделі вже могли давати придатний для прослуховування результат, але артефакти були знайомими: просочування вокалу, домішки ударних, каламутний бас, розмиті високі частоти або розірвана фазова фактура у щільних аранжуваннях.

Ця історія пояснює, чому вибір моделі не можна звести до якості вокалу. Розділення на чотири стеми має також зберігати перехідні процеси ударних, основні тони й гармоніки баса, межі вокалу та високочастотні деталі всередині other.

Часові межі також визначені джерелами: стаття про SCNet стала публічною в січні 2024 року, тоді як Huge-SCNet-4stems V1.2 належить до пізнішого контексту публічного чекпойнта. Тому ця хронологія використовує 2024-2026, а не створює враження, ніби сам SCNet з'явився лише після 2025 року.

Mel-Band RoFormer: сила вокалу й обмеження чотирьох стемів

Mel-Band RoFormer запропонувала команда ByteDance Speech, Audio, and Music Intelligence (SAMI). Автори статті — Ju-Chiang Wang, Wei-Tsung Lu і Minz Won, а на титульній сторінці вказано афіліацію SAMI, ByteDance. Сторінки спільноти інколи узагальнюють цей напрям як ByteDance AI Labs, але найточніше формулювання за джерелом — автори статті та SAMI, ByteDance.

Модель приваблива тим, що формує частотні смуги ближче до людського слуху. Вухо чутливіше до низьких і середніх частот, де містяться основні тони вокалу, приголосні, дихання й чимало ознак висоти тону. Проєкція мел-смуг дає цьому діапазону детальніше представлення й допомагає моделі стежити за основним і бек-вокалом, глісандо, вібрато та хвостами реверберації.

Родина RoFormer використовує обертальне позиційне кодування, або RoPE, і в часових, і в підсмугових послідовностях. Завдяки цьому оцінки уваги залежать від відносної позиції. Глісандо, протяжні звуки й повторювані фрази дають корисне структурне уявлення про цю властивість, але стаття безпосередньо тестує лише контрольовані моделі з RoPE та без нього; окремих метрик для глісандо чи довгих гармоній вона не наводить.

Сигнальний тракт, визначений у статті

BS-RoFormer спочатку перетворює хвильову форму суміші на комплексну спектрограму. Проєкція смуг та ієрархічний Transformer оцінюють комплексну маску, ця маска застосовується до спектра суміші, а зворотне STFT реконструює цільову хвильову форму. Mel-RoFormer змінює проєкцію всередині f_θ: перекривні мел-смуги замінюють евристичне розбиття без перекриття. Увесь тракт реконструкції при цьому не замінюється.

Саме тому Mel-Band RoFormer є сильним напрямом для розділення вокалу/акомпанементу, основного/бек-вокалу та виділення чистого вокалу. Проблема в тому, що розділення на чотири стеми стосується не лише вокалу. Воно має також відокремити drums, bass і other, а other часто містить найскладніші високочастотні інструментальні деталі.

Після статей: як RoFormer став відкритою екосистемою інструментів

BS-RoFormer з'явився у вересні 2023 року з двома видами доказів в одній статті. Більша система L=12, навчена на MUSDB18HQ і 500 внутрішніх піснях, документувала роботу SAMI-ByteDance, що посіла перше місце на SDX23. Менші моделі лише на MUSDB18HQ забезпечили контрольовані абляції для RoPE, розбиття на смуги й реконструкції з перекриттям та усередненням. Стаття опублікувала архітектуру, умови навчання й таблиці результатів. Вона не додала оригінальний чекпойнт SDX23 і не дала посилання на репозиторій ByteDance/SAMI для навчання та інференсу.

Mel-Band RoFormer вийшов у жовтні 2023 року. Він зберіг RoPE Transformer, моделювання послідовностей усередині смуг і між ними, комплексні маски й реконструкцію хвильової форми, але замінив спроєктоване вручну розбиття без перекриття на 60 перекривних мел-смуг. Місячний інтервал важливий: це була публічна редакція частотної проєкції, спричинена обмеженням попередньої статті, а не другий офіційний пакет чекпойнта, випущений разом із текстом.

Виконуваний код накопичувався поза статтями. Репозиторій lucidrains перетворив діаграми й рівняння на класи моделей PyTorch і відкрито запросив інших відтворювати розділювач. Робота зі стерео, кілька вихідних стемів і варіант Mel-Band зробили структуру придатною до повторного використання, але сам код не міг відновити внутрішні пісні, стан оптимізатора, тривалість навчання чи остаточні конкурсні параметри.

Далі Music-Source-Separation-Training надав цій придатній до повторного використання структурі спільну майстерню: завантажувачі наборів даних, аугментацію, навчання, валідацію, продовження з чекпойнта, сегментований інференс, перекриття й ансамблювання. Його README дякує lucidrains за відтворення моделей RoFormer зі статей і приймає моделі від спільноти. Тепер одну архітектуру можна було навчати для розділення вокалу/інструменталу, чотирьох стемів, підстемів ударних або інших спеціалізованих цілей. Єдиної канонічної ваги спільноти не існувало.

Вокальна модель Kimberley Jensen зробила процес конкретним. У репозиторії сказано, що її навчали на більшій кількості даних із кодом ZFTurbo, типово вона використовує восьмисекундний сегмент і відкриває num_overlap, щоб зменшити артефакти стикування ціною довшого інференсу. Там також відзначено учасників створення набору даних. Ці подробиці пояснюють, чому доступний для завантаження чекпойнт має характер, якого не здатна описати сама назва архітектури.

Поточна сторінка MVSep приписує Kimberley Jensen перші високоякісні публічні ваги, а далі описує пізніші зміни й подальше навчання відкритих ваг. Версії Bas Curtiz, unwa, becruily, gabox та інших розміщені на тій самій сторінці й мають різні компроміси щодо повноти, просочування, шуму та SDR. Це розгалужена генеалогія ваг: моделі мають спільний Mel-Band RoFormer, але не дані, цільову функцію, історію донавчання чи остаточне звучання.

Одна назва архітектури тепер може позначати конкурсну систему, абляцію зі статті, вокальний чекпойнт, чекпойнт для чотирьох стемів або платформний ансамбль. Точний текст має відкривати три речі: хто запропонував архітектуру, звідки взялися поточні ваги та який рецепт інференсу дає результат. Без усіх трьох формулювання на кшталт «офіційна модель ByteDance» або «конкурсний результат Mel-Band для чотирьох стемів» непомітно зшивають різні артефакти з різних моментів цієї історії.

Контрольоване порівняння: Mel не замінює BS для кожного стема

Найчистішим доказом є контрольоване порівняння зі статті про Mel-Band 2023 року, а не суміш сторінок MVSep і не пов'язаних між собою чекпойнтів спільноти. Кожен рядок нижче використовує MUSDB18HQ без додаткових пісень. На кожній глибині головною зміною є проєкція: евристичні смуги BS-RoFormer без перекриття замінено на 60 перекривних мел-смуг.

Результат — компроміс, а не повна перемога. За L=6 vocals зростає з 10.78 до 11.21 dB, а drums — з 9.61 до 9.91 dB, тоді як bass падає з 11.43 до 9.64 dB, а other трохи знижується з 7.86 до 7.81 dB. За L=9 vocals додає 0.58 dB, other — 0.13 dB, drums втрачає 0.32 dB, а bass не наведено, бо навчання просувалося надто повільно.

Стаття пов'язує результат баса з частотним відображенням. BS-RoFormer навмисно виділяє дрібні смуги на низьких частотах, тоді як мел-проєкція корисніша для вокалу й деяких небасових цілей. Отже, практичний інженерний висновок залежить від завдання: мел-проєкція є сильним вибором для вокалу, але сама психоакустична мотивація не доводить переваги в чотирьох стемах.

SCNet і мета чотирьох стемів

SCNet дивиться на спектр з більш інформаційно орієнтованої позиції. Серед авторів статті Weinan Tong, Jiaxu Zhu, Jun Chen, Shiyin Kang, Tao Jiang, Yang Li, Zhiyong Wu і Helen Meng; на титульній сторінці серед афіліацій зазначені Shenzhen International Graduate School, Tsinghua University, Skywork AI PTE. LTD., Peng Cheng Lab і The Chinese University of Hong Kong. Архітектурно SCNet явно ділить спектрограму суміші на підсмуги й використовує розріджене стиснення, щоб обробити різну інформаційну щільність цих смуг. Простіше кажучи, він не вкладає майже всю місткість у вокальний діапазон. Він спрямовує модель на часо-частотні ділянки, які справді несуть корисний інструментальний сигнал.

Це важливо для чотирьох стемів. Бас лежить низько, але несе важливі гармоніки. Ударні поєднують дуже короткі перехідні процеси з тарілками й звучанням приміщення. Other може одночасно містити гітару, фортепіано, струнні, синтезатори й ефекти. Моделювання підсмуг дає різним частотним ділянкам більш цільову обробку, а розріджене стиснення відводить увагу від порожніх або малоінформативних зон.

Стаття про SCNet описує повну систему як аудіокодер, мережу розділення на основі dual-path RNN та аудіодекодер. Кодер відображає суміш у підсмугові представлення частотної області, мережа розділення моделює структуру в часі й частоті, а декодер реконструює цільові стеми.

Huge-SCNet-4stems V1.2 належить до цього напряму. Його вихідний контракт — збалансований набір файлів vocals, drums, bass і other, які можна далі використовувати для реміксування чи транскрипції, а не ціль, оптимізована лише під вокал.

Важливо також відокремлювати статтю про SCNet від чекпойнта Huge-SCNet-4stems V1.2. Стаття пропонує архітектуру розрідженого стиснення, дизайн підсмуг і дослідницький результат на MUSDB18-HQ; доступним для завантаження артефактом є публічний чекпойнт Hugging Face huge_scnet_4stems_v1.2.ckpt. Цей чекпойнт спільноти не може успадкувати результат статті 9.0 dB на MUSDB18-HQ, адже дані й походження релізу різняться.

Межу коду теж треба зберігати окремо. Автори статті публікують thuhcsi/SCNet як офіційний репозиторій реалізації, але репозиторій повідомляє, що навчальний код іще треба завершити, і спрямовує читачів до HTDemucs, Music-Source-Separation-Training та SCNet-PyTorch як тимчасових навчальних фреймворків. Тому Huge-SCNet-4stems V1.2 слід описувати як публічний варіант чекпойнта для чотирьох стемів у напрямі SCNet, а не як офіційний пакет моделі зі статті про SCNet.

MVSep Ensemble як платформний робочий процес

MVSep Ensemble 2025.06.30 є платформним робочим процесом із кількома моделями. На публічній сторінці алгоритму вказано більше однієї родини моделей. Вокальний тракт може використовувати UVR-MDX-NET, Demucs, MDX23C, VitLarge23, BS Roformer, Mel Roformer, SCNet XL та інші напрями, тоді як bass, drums і other можуть залучати різні моделі Demucs або споріднені моделі.

Сила такого ансамблю походить від спеціалізації: матеріал із перевагою вокалу віддається вокальним спеціалістам, матеріал із перевагою низьких частот і перехідних процесів — сильнішим розділювачам інструментів, а потім результати об'єднуються. Це може бути орієнтиром верхньої межі якості, але не є одним чекпойнтом чи самостійною моделлю, яку користувач відтворить завантаженням одного файла.

MVSep наводить для ансамблю 2025.06.30 середній SDR 13.67. Це число корисне як верхня межа хостованої платформи, але його не варто ставити в один ряд із самостійним чекпойнтом. Воно відображає серверний робочий процес, який може поєднувати вокальні, інструментальні, bass, drums, other та додаткові інструментальні тракти перед формуванням кінцевого результату.

Тому в обговоренні однієї завантажуваної моделі для чотирьох стемів платформні ансамблі потрібно лишати поза категорією одиночних моделей. Інакше порівняння переходить від архітектури моделі до хостованого робочого процесу.

Публічне порівняння чотирьох стемів

Таблиця нижче використовує показники з наведених публічних сторінок моделей і бенчмарків. Оцінки допомагають розмістити кожну модель у межах тієї самої мети чотирьох стемів. Їх не слід читати як абсолютний вердикт для кожної пісні, жанру чи ситуації прослуховування.

Обсяг джерел навмисно вузький: рядок Huge-SCNet-4stems V1.2 із 10.02 dB походить із публічного джерела HF / MVSep; SCNet XL IHF, BS Roformer і HTDemucs4 використовують публічні рядки ZFTurbo / MVSep Multisong. Це не змішана таблиця результатів статті про SCNet на MUSDB18-HQ, вокальних сторінок Mel-Band і оцінок хостованого процесу MVSep Ensemble.

Як читати оцінки

Вищий SDR зазвичай означає менше спотворення відносно еталонного стема. Проте середній SDR не замінює прослуховування й не може звести всі стеми до однієї відповіді. Одна модель може бути сильною щодо bass і drums, тоді як інша зберігає чистіший vocals. Other особливо складний, бо містить багато інструментів.

Цінність Huge-SCNet-4stems V1.2 полягає в чіткій межі артефакта: одна публічна назва чекпойнта, стандартний вихід із чотирьох стемів і простежувані публічні довідкові показники. SCNet XL IHF лишається важливим порівнянням. MVSep Ensemble лишається хостованим орієнтиром верхньої межі якості. Вони відповідають на різні питання.

Користувачам слід починати з мети. Для найчистішого вокалу використовуйте розділення вокалу. Для редагованих vocals, drums, bass і other використовуйте розділення на чотири стеми. Розділення на шість стемів потрібне, коли гітара й фортепіано мають бути окремими файлами.

Межа виходу: баланс чотирьох стемів проти деталізації шести

Розділення на шість стемів додатково поділяє other на гітару, фортепіано й решту other. Воно чутливіше до гітарних штрихів, атак фортепіано, фактури клавішних і високочастотних гармонік. Тому чекпойнт BS Roformer SW для шести стемів має іншу мету й навчальний контракт, ніж Huge-SCNet-4stems V1.2.

Ці твердження належать до різних рівнів: RoFormer описує родину архітектур, Mel-Band націлений на представлення вокалу, SCNet балансує чотири стеми, а ансамблі MVSep поєднують хостовані компоненти. Кожен відповідає на інше питання про архітектуру, вихідну мету, публічну доступність, форму робочого процесу чи контракт інференсу.

Висновок: обирайте архітектуру, а не модне слово

Розділення на чотири стеми — не перейменований акомпанемент і не місце, де найпопулярнішу вокальну модель накладають на кожен інструмент. Воно вимагає від моделі балансу vocals, drums, bass і other, особливо перехідних процесів ударних, низьких частот баса, високих гармонік інструментів і змішаного кошика інструментів усередині other.

Huge-SCNet-4stems V1.2 посідає чітке місце навколо цієї стандартної мети чотирьох стемів. Mel-Band RoFormer лишається важливим для розуміння розділення вокалу, а MVSep Ensemble — корисним хостованим орієнтиром якості. Кожен із них належить до свого рівня історії досліджень і впровадження.