Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
영화와 TV 오디오에서 선명한 대사를 추출하고, 배경음을 음악과 음향 효과 두 트랙으로 분리합니다.
로딩 중...
영상의 소리를 대사, 배경 음악, 효과음으로 분리해 더빙과 후반 믹싱에 활용하세요.
입력
mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv와 같은 형식의 입력을 지원합니다
지원되는 포맷
출력
WAV
사용 사례
영상의 소리를 대사, 배경 음악, 효과음으로 분리해 더빙과 후반 믹싱에 활용하세요.
소재와 용도에 맞는 모델을 고르고 예시를 확인한 뒤 제출하세요.
비용, 시간, 형식과 매개변수는 선택한 모델에 따라 달라집니다.
의견에 도구 이름, 작업 단계와 발생한 문제를 적어 주세요. 스크린샷을 첨부하면 확인에 도움이 됩니다.
시간·주파수 모델로 영상 소리를 3트랙으로 분리합니다. 2화자 TIGER와 다른 TIGER DnR입니다.
대사, 음악, 효과음 3트랙을 출력해 더빙·영상 편집·배경 리믹스에 활용합니다.
대역 분할 네트워크로 대사·음악·효과음을 분리합니다. 대사 누출과 배경 세부를 비교하세요.
영화와 동영상의 소리를 대사, 음악, 효과음으로 분리합니다. 44.1 kHz 모노로 출력합니다. 스테레오 입력은 먼저 모노로 합쳐집니다.
arXiv - 2026
영화와 TV 오디오에서 선명한 대사를 추출하고, 배경음을 음악과 음향 효과 두 트랙으로 분리합니다.
IEEE OJSP - 2024
영화와 TV 오디오에서 선명한 대사를 추출하고, 배경음을 음악과 음향 효과 두 트랙으로 분리합니다.
arXiv - 2024
영화와 TV 오디오에서 선명한 대사를 추출하고, 배경음을 음악과 음향 효과 두 트랙으로 분리합니다.
arXiv - 2026
영화와 동영상의 소리를 대사, 음악, 효과음으로 분리합니다. 44.1 kHz 모노로 출력합니다. 스테레오 입력은 먼저 모노로 합쳐집니다.
CVPR - 2026
AV-CASS의 영상 및 오디오 조건으로 영상에서 음성, 효과음, 음악을 분리하며 오디오 전용 조건과 직접 비교할 수 있습니다.
출력 항목 3개
공개 추론 구현과 해당 가중치가 확인된 기록만 표시합니다. 가중치가 필요 없는 알고리즘도 포함됩니다. 폐쇄형 서비스, 미공개 가중치, 실험 버전이 확인되지 않은 기록은 제외하며 전체 모델 종합 순위는 아닙니다.
각 벤치마크에서 동일한 가중치는 한 번만 표시하며, 선택한 지표의 공개 평가 중 가장 좋은 점수를 사용합니다. 종합 점수는 한 번의 평가에서 가져옵니다. 펼치면 각 평가와 설정을 비교할 수 있습니다.
가중치 공개만으로 완전한 오픈 소스 라이선스가 보장되지는 않습니다. 데이터를 펼치면 가중치 라이선스와 접근 조건을 확인할 수 있습니다. 명시되지 않은 라이선스는 별도로 표시합니다.
표시는 사이트에서 사용하는 모델이나 구성 모델을 뜻합니다. 점수와 설정은 인용된 공개 평가 기준이며, 사이트 전체 처리 과정을 다시 평가한 결과가 아닙니다.
선택한 모델에 해당하는 검증된 공개 성적이 없어 순위를 매기지 않았습니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
| 지표별 순위 | 모델 | 음악↑SDR (dB) ↑ | 효과음↑SDR (dB) ↑ | 대사↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckpt | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckpt | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckpt | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckpt | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckpt | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckpt | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckpt | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckpt | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckpt | 6.4951 | 8.6135 | 8.2862 |
데이터셋, 버전, 조건을 구분하며 순위에 포함할 항목이 없는 출처도 남깁니다.
배포 가능 9 / 원본 행 21 · 확인일: 2026-10-25
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
배포 가능 2 / 원본 행 10
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
배포 가능 2 / 원본 행 2
점수는 해당 데이터셋, 지표, 모델 버전에 대한 결과이며 서로 다른 테스트끼리는 직접 비교할 수 없습니다.
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 2 / 원본 행 10
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
수치는 링크된 공개 출처에서 가져왔습니다. 행 이름은 평가 데이터셋이나 체크포인트를 나타내며, 보고되지 않은 점수는 -로 표시합니다.
| 지표별 순위 | 모델 | 평가 조건 | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †공개 가중치 · 추론 코드 | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
저자가 DnR v2 테스트 트랙 973개 전체에 대해 보고한 SI-SDR입니다. 각 모델의 공식 윈도와 이동 간격을 사용하며 평균은 음악, 대사, 효과음을 포함합니다. TelkNet의 측정값이 아니며 다른 데이터셋이나 학습 조건의 점수와 합치지 않습니다.
| 지표별 순위 | 모델 | 평가 조건 | 평균 SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | 파라미터 (M) |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)공개 가중치 · 추론 코드 | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)공개 가중치 · 추론 코드 | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |