Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Trích xuất lời thoại rõ ràng từ âm thanh phim và truyền hình, đồng thời chia phần nền thành các bản nhạc và hiệu ứng âm thanh riêng biệt.
Đang tải...
Tách âm thanh phim thành hội thoại, nhạc và hiệu ứng để lồng tiếng và phối trộn hậu kỳ.
Đầu vào
Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Các định dạng được hỗ trợ
Đầu ra
WAV
Trường hợp sử dụng
Tách âm thanh phim thành hội thoại, nhạc và hiệu ứng để lồng tiếng và phối trộn hậu kỳ.
Chọn mô hình phù hợp với tư liệu và mục đích, rồi xem ví dụ trước khi gửi.
Chi phí, thời gian, định dạng và tham số phụ thuộc mô hình đã chọn.
Khi góp ý, hãy nêu tên công cụ, các bước và vấn đề gặp phải. Ảnh chụp màn hình giúp xác định vấn đề.
Mô hình thời gian–tần số cho ba rãnh phim; TIGER DnR khác TIGER hai người nói.
Xuất thoại, nhạc và hiệu ứng thành ba rãnh để lồng tiếng, dựng phim, phối lại.
Mạng chia dải tần tách thoại, nhạc, hiệu ứng; so lẫn thoại và chi tiết nền.
Tách âm thanh phim và video thành lời thoại, nhạc và hiệu ứng âm thanh. Đầu ra là mono 44.1 kHz; đầu vào stereo được trộn thành mono trước.
arXiv - 2026
Trích xuất lời thoại rõ ràng từ âm thanh phim và truyền hình, đồng thời chia phần nền thành các bản nhạc và hiệu ứng âm thanh riêng biệt.
IEEE OJSP - 2024
Trích xuất lời thoại rõ ràng từ âm thanh phim và truyền hình, đồng thời chia phần nền thành các bản nhạc và hiệu ứng âm thanh riêng biệt.
arXiv - 2024
Trích xuất lời thoại rõ ràng từ âm thanh phim và truyền hình, đồng thời chia phần nền thành các bản nhạc và hiệu ứng âm thanh riêng biệt.
arXiv - 2026
Tách âm thanh phim và video thành lời thoại, nhạc và hiệu ứng âm thanh. Đầu ra là mono 44.1 kHz; đầu vào stereo được trộn thành mono trước.
CVPR - 2026
Dùng điều kiện hình ảnh và âm thanh của AV-CASS để tách lời thoại, hiệu ứng và nhạc; có thể so sánh trực tiếp với chế độ chỉ dùng âm thanh.
3 hạng mục đầu ra
Chỉ hiển thị bản ghi đã xác minh có mã suy luận công khai và trọng số đúng phiên bản thử nghiệm, cùng các thuật toán không cần trọng số. Dịch vụ đóng, trọng số chưa công bố và phiên bản thử nghiệm chưa đối chiếu được sẽ bị loại. Đây không phải bảng xếp hạng của tất cả mô hình.
Mỗi bộ trọng số chỉ xuất hiện một lần trong mỗi phép thử, với kết quả công bố tốt nhất cho chỉ số đã chọn. Điểm tổng hợp lấy từ một lần đánh giá. Mở rộng để so sánh các lần đánh giá và thiết lập.
Trọng số công khai không chứng minh có giấy phép mã nguồn mở đầy đủ. Mở rộng dữ liệu để xem giấy phép trọng số được công bố và điều kiện truy cập. Giấy phép chưa công bố được đánh dấu riêng.
Nhãn cho biết mô hình hoặc thành phần được dùng tại đây. Điểm số và thiết lập lấy từ các thử nghiệm được dẫn nguồn, không phải kết quả đánh giá lại toàn bộ quy trình của trang.
Mô hình đã chọn chưa có kết quả công khai tương ứng được xác minh nên chưa được xếp hạng.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Nhạc↑SDR (dB) ↑ | Hiệu ứng↑SDR (dB) ↑ | Đối thoại↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckptTrọng số công khai · Mã suy luận | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckptTrọng số công khai · Mã suy luận | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckptTrọng số công khai · Mã suy luận | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckptTrọng số công khai · Mã suy luận | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckptTrọng số công khai · Mã suy luận | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckptTrọng số công khai · Mã suy luận | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckptTrọng số công khai · Mã suy luận | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckptTrọng số công khai · Mã suy luận | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckptTrọng số công khai · Mã suy luận | 6.4951 | 8.6135 | 8.2862 |
Tách riêng bộ dữ liệu, phiên bản và điều kiện, kể cả nguồn chưa có dòng đủ điều kiện xếp hạng.
Triển khai được 9 / dòng nguồn 21 · Đã kiểm tra: 2026-10-25
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Triển khai được 2 / dòng nguồn 10
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Triển khai được 2 / dòng nguồn 2
Điểm số áp dụng cho bộ dữ liệu, chỉ số và phiên bản được nêu; không thể so sánh trực tiếp các phép thử khác nhau.
Bảng chỉ gồm các mô hình có trọng số hoặc cấu hình công khai và có thể chạy cục bộ.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 2 / dòng nguồn 10
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Các giá trị lấy từ nguồn công khai được liên kết. Nhãn hàng cho biết tập kiểm thử hoặc checkpoint; điểm chưa được công bố được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Trọng số công khai · Mã suy luận | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
SI-SDR do tác giả công bố trên 973 bản âm thanh kiểm thử DnR v2 đầy đủ. Mỗi mô hình dùng cửa sổ và bước dịch chính thức; trung bình bao gồm nhạc, lời thoại và hiệu ứng. Đây không phải số đo của TelkNet và không được gộp với tập dữ liệu hay điều kiện huấn luyện khác.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | SI-SDR trung bình (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Thông số M |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Trọng số công khai · Mã suy luận | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Trọng số công khai · Mã suy luận | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |