Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Извлекайте чёткие диалоги из звуковой дорожки фильмов и телепередач и разделяйте фон на отдельные дорожки музыки и звуковых эффектов.
Загрузка...
Разделяйте звук фильма на диалоги, музыку и эффекты для дубляжа и сведения.
Вход
Поддерживает вводные данные в форматах, таких как mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Поддерживаемые форматы
Результаты
WAV
Сценарий использования
Разделяйте звук фильма на диалоги, музыку и эффекты для дубляжа и сведения.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.
Полосовая сеть для диалога, музыки и эффектов; сравните примеси и детали фона.
Диалог, музыка и эффекты в трёх дорожках для дубляжа, монтажа и ремикса.
Время-частотная модель трёх кинодорожек; TIGER DnR отличается от TIGER для двух говорящих.
Разделяет звук фильмов и видео на диалоги, музыку и звуковые эффекты. Выход — моно 44.1 kHz; стереовход сначала сводится в моно.
arXiv - 2026
Извлекайте чёткие диалоги из звуковой дорожки фильмов и телепередач и разделяйте фон на отдельные дорожки музыки и звуковых эффектов.
IEEE OJSP - 2024
Извлекайте чёткие диалоги из звуковой дорожки фильмов и телепередач и разделяйте фон на отдельные дорожки музыки и звуковых эффектов.
arXiv - 2024
Извлекайте чёткие диалоги из звуковой дорожки фильмов и телепередач и разделяйте фон на отдельные дорожки музыки и звуковых эффектов.
arXiv - 2026
Разделяет звук фильмов и видео на диалоги, музыку и звуковые эффекты. Выход — моно 44.1 kHz; стереовход сначала сводится в моно.
CVPR - 2026
Использует визуальные и звуковые условия AV-CASS для разделения речи, эффектов и музыки; доступно прямое сравнение с режимом только аудио.
Категорий выхода: 3
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Каждый набор весов указан один раз в каждом тесте с лучшим опубликованным результатом по выбранной метрике. Общая оценка взята из одного испытания. Разверните список, чтобы сравнить испытания и настройки.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 10
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | Условия теста | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Модель на сайтеОткрытые веса · Код инференса | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 9 / исходных строк 21 · Проверено: 2026-10-25
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Развёртываемых 2 / исходных строк 10
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Развёртываемых 2 / исходных строк 2
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 10
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | Условия теста | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Открытые веса · Код инференса | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
SI-SDR, опубликованный авторами для 973 полных тестовых дорожек DnR v2. Каждая модель использует официальные окно и шаг; среднее охватывает музыку, речь и эффекты. Это не измерения TelkNet; результаты других наборов данных и условий обучения учитываются отдельно.
| Место по метрике | Модель | Условия теста | Средний SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Параметры (Б) |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Открытые веса · Код инференса | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Открытые веса · Код инференса | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |