Модель
SFC-Locoformer: адаптивне спектральне стиснення та діалогові межі для 11,8 дБ DnR
Інтенсивне читання дисертації / розділення звуку кіно та телебачення
Інтенсивне читання дисертації / розділення звуку кіно та телебачення
© 2026 TelkNet. Всі права захищені.
РОЗБІР СТАТТІ / КІНЕМАТОГРАФІЧНЕ РОЗДІЛЕННЯ
DnR розкладає програмний мікс на діалоги, музику та ефекти. Ці джерела перекриваються і в часі, і в частоті, тож задачу не можна звести до виявлення мовної активності. SFC-Locoformer, BandIt і TIGER-DnR розв'язують ту саму задачу різними схемами стиснення, витратами на послідовність і опублікованими доказами.
STFT дає комплексний спектр X(t,f). Якщо кожному сусідньому біну виділяти однаковий канальний бюджет, обчислення витрачаються на сильно корельовані ознаки. SFC навчається проєкції на компактну спектральну вісь:
Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]
Декодер використовує перехресну увагу, щоб повернути стиснене представлення до цільових частотних бінів. Це не зріз високих частот: приголосні транзиєнти, утримувані гармоніки та широкосмугові ефекти залишаються доступними сепаратору.
Локальні блоки моделюють удари, вибухові приголосні та атаки ударних; обмін між вікнами несе музичні підклади, речення та амбієнс. Єдине щільне поле уваги змусило б пам'ять різко зростати з тривалістю. Locoformer поєднує локальне змішування з економним далекосяжним обміном, тож опублікований контрольний пункт medium залишається практичним.
Таблиця II повідомляє 11.8 dB для SFC-Locoformer medium і 10.9 dB для BandIt за тим самим тестовим протоколом DnR. Масштабно-інваріантна цільова функція:
SI-SDR=10 log10(||s_target||² / ||e_noise||²)
Вона підтримує ранжування всередині протоколу, а не порівняння з MUSDB, іншою ревізією DnR чи вибірково підібраними кліпами. Перевага в 0.9 dB також не гарантує перемоги на кожному кінофрагменті; фрикативні, ширина амбієнсу та транзиєнти ефектів і досі вимагають сліпого прослуховування.
Автори публікують енкодери SFC-CA, SFC-Mamba і BandIt, сепаратор TF-Locoformer, а також попередньо навчені ваги MUSDB18-HQ і DnR. Архітектуру статті, реалізацію в репозиторії та файли картки моделі тому можна звірити одну з одною; 11.8 dB і надалі належить лише протоколу DnR v2 з таблиці II.
Розділення на діалоги, музику та ефекти отримало порівняно стабільне визначення цілі після DnR Challenge 2021 року. Згодом BandIt зосередив модельну ємність на нерівномірних частотних смугах, а TIGER досліджував дешевшу модель послідовностей. SFC-Locoformer ставить інше інженерне питання: якщо сусідні частотні біни надлишкові, чи можна їх стиснути, перш ніж витрачати бюджет моделі на довшу структуру діалогів і партитури?
Саме тому три опубліковані моделі належать одній сторінці задачі, хоч їх і не можна подати як просту заміну старого новим. BandIt — сильна базова лінія з розбиттям на смуги, TIGER пропонує орієнтовану на обчислення альтернативу, а опублікований контрольний пункт SFC medium звітує 11.8 dB за тим самим протоколом DnR v2, що й у таблиці II. Архітектура, ваги та протокол оцінювання мають значення однаково.
Z(t,k)=Σ_f A(k,f|X)·W_f·X(t,f)X(t,f)комплексний вхідний спектрA(k,f|X)адаптивне до входу агрегування смугZ(t,k)стиснене представлення послідовностіA — це не фіксоване правило відсікання частот. Це залежна від входу вага агрегування, тож коротша вісь k залишає більше послідовної ємності для діалогів, партитури та амбієнсу в часі.
Декодер і далі запитує нестиснені ознаки, щоб відновити кожен вихідний бін. Рівняння — це абстракція потоку інформації; CrossAttnEncoder, CrossAttnDecoder і адаптивний запит у репозиторії — реалізація, яку можна перевірити.
Статтю, код і ваги можна простежити через: вихідний код SFC-Locoformer / опублікований контрольний пункт DnR / стаття про SFC і таблиця DnR.
Тут ранжовано лише рядки, перевірені за тим самим опублікованим протоколом; TIGER-DnR не вставлено в таблицю II без відповідного результату.
| Модель | Опублікований результат | Як це читати |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | найвище опубліковане значення в цьому протоколі; межі діалогів усе одно перевіряйте |
| BandIt | 10.9 dB SI-SDR | базова лінія з розбиттям на смуги в тому самому протоколі |
| TIGER-DnR | докази ефективності подано окремо | не змішано з відсутнім рядком таблиці |
У діалогах слухайте свистячі, зітхання та далеке мовлення. SI-SDR прибирає глобальне посилення з порівняння, але може пропустити металеві краї та зіпсовані хвости кімнати. У музиці перевіряйте привиди мовлення; в ефектах зберігайте безперервність дверей, кроків та амбієнсу.
Ефірні мікси також містять лімітування, приглушення діалогів і згортання каналів. Протокол статті DnR не автоматично представляє кожен мастер для здачі; порівняння SFC, BandIt і TIGER мають використовувати ті самі уривки й окремо перевіряти межі діалогів, витоки музики та безперервність амбієнсу.
Доріжка ефектів — це широкий контейнер. Дощ, рух, оплески та шумові ефекти залишаються об'єднаними, тож вихід DnR — не розкладання звуку на рівні об'єктів.
Умови вихідних ліцензій і далі регулюють розгортання та поширення, навіть якщо форма задачі більше не перериває робочий процес лекцією про ліцензію моделі.
Назви моделей, числа та обмеження простежуються до статей, репозиторіїв або карток моделей нижче.