Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Витягайте чіткі діалоги зі звукової доріжки фільмів і телепередач та розділяйте фон на окремі доріжки музики й звукових ефектів.
Завантаження...
Розділяйте звук фільму на діалоги, музику й ефекти для дубляжу та зведення.
Вхідні дані
Підтримує введення у форматах, таких як mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Підтримувані формати
Вихід
WAV
Кейс використання
Розділяйте звук фільму на діалоги, музику й ефекти для дубляжу та зведення.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.
Часо-частотна модель трьох кінодоріжок; TIGER DnR відрізняється від TIGER для двох мовців.
Діалог, музика й ефекти у трьох доріжках для дубляжу, монтажу й реміксу.
Мережа з поділом на смуги для діалогу, музики й ефектів; порівнюйте домішки та деталі тла.
Розділяє звук фільмів і відео на діалоги, музику та звукові ефекти. Вихід — моно 44.1 kHz; стереовхід спочатку зводиться в моно.
arXiv - 2026
Витягайте чіткі діалоги зі звукової доріжки фільмів і телепередач та розділяйте фон на окремі доріжки музики й звукових ефектів.
IEEE OJSP - 2024
Витягайте чіткі діалоги зі звукової доріжки фільмів і телепередач та розділяйте фон на окремі доріжки музики й звукових ефектів.
arXiv - 2024
Витягайте чіткі діалоги зі звукової доріжки фільмів і телепередач та розділяйте фон на окремі доріжки музики й звукових ефектів.
arXiv - 2026
Розділяє звук фільмів і відео на діалоги, музику та звукові ефекти. Вихід — моно 44.1 kHz; стереовхід спочатку зводиться в моно.
CVPR - 2026
Використовує візуальні та звукові умови AV-CASS для розділення мовлення, ефектів і музики; доступне пряме порівняння з режимом лише аудіо.
Категорій виходу: 3
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Кожен набір ваг зазначено один раз у кожному тесті з найкращим опублікованим результатом за вибраною метрикою. Загальна оцінка походить з одного випробування. Розгорніть список, щоб порівняти випробування та налаштування.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Для вибраної моделі немає перевіреного відповідного публічного результату, тому місце в рейтингу не присвоєно.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
| Місце за метрикою | Модель | Музика↑SDR (dB) ↑ | Ефекти↑SDR (dB) ↑ | Діалог↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckptВідкриті ваги · Код інференсу | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckptВідкриті ваги · Код інференсу | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckptВідкриті ваги · Код інференсу | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckptВідкриті ваги · Код інференсу | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckptВідкриті ваги · Код інференсу | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckptВідкриті ваги · Код інференсу | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckptВідкриті ваги · Код інференсу | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckptВідкриті ваги · Код інференсу | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckptВідкриті ваги · Код інференсу | 6.4951 | 8.6135 | 8.2862 |
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 9 / початкових рядків 21 · Перевірено: 2026-10-25
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Для розгортання 2 / початкових рядків 10
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Для розгортання 2 / початкових рядків 2
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 2 / початкових рядків 10
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Значення взято з відкритого джерела за посиланням. Підписи рядків указують тестовий набір або контрольну точку; неопубліковані оцінки позначено знаком -.
| Місце за метрикою | Модель | Умова тесту | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Відкриті ваги · Код інференсу | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
SI-SDR, опублікований авторами для 973 повних тестових доріжок DnR v2. Кожна модель використовує офіційні вікно та крок; середнє охоплює музику, мовлення й ефекти. Це не вимірювання TelkNet; результати інших наборів даних та умов навчання розглядаються окремо.
| Місце за метрикою | Модель | Умова тесту | Середній SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Параметри M |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Відкриті ваги · Код інференсу | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Відкриті ваги · Код інференсу | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |