Mô hình
SFC-Locoformer: Giới hạn đối thoại và nén quang phổ thích ứng cho 11,8 dB DnR
Đọc chuyên sâu luận văn/tách âm phim và truyền hình
Đọc chuyên sâu luận văn/tách âm phim và truyền hình
ĐỌC LUẬN VĂN / TÁCH RỜI ĐIỆN ẢNH
DnR tách một bản phối chương trình thành thoại, nhạc và hiệu ứng. Ba nguồn âm ấy chồng lấn cả về thời gian lẫn tần số, nên bài toán không thể quy gọn về phát hiện hoạt động giọng nói. SFC-Locoformer, BandIt và TIGER-DnR cùng giải một tác vụ với những sơ đồ nén, chi phí chuỗi và bằng chứng công bố khác nhau.
Một phép STFT tạo ra phổ phức X(t,f). Cấp cho mọi bin liền kề cùng một ngân sách kênh nghĩa là tiêu tốn tính toán vào những đặc trưng tương quan rất cao. SFC học một phép chiếu sang trục phổ gọn hơn:
Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]
Bộ giải mã dùng cross-attention để đưa biểu diễn đã nén trở về các bin tần số mục tiêu. Đây không phải một cú cắt tần số cao: các xung kích phụ âm, hoạ âm kéo dài và hiệu ứng băng rộng vẫn sẵn có cho bộ tách.
Các khối cục bộ mô hình hóa xung kích, âm bật và nhịp trống tấn công; còn trao đổi qua các cửa sổ mang theo nền nhạc, câu thoại và không gian môi trường. Một trường attention dày đặc duy nhất sẽ khiến bộ nhớ tăng nhanh theo độ dài. Locoformer kết hợp trộn cục bộ với trao đổi tầm xa tiết kiệm, để checkpoint medium đã phát hành vẫn thực dụng trong sử dụng.
Bảng II báo cáo 11.8 dB cho SFC-Locoformer medium và 10.9 dB cho BandIt theo cùng một giao thức kiểm thử DnR. Mục tiêu bất biến tỉ lệ là:
SI-SDR=10 log10(||s_target||² / ||e_noise||²)
Nó ủng hộ một thứ hạng trong cùng giao thức, chứ không phải phép so sánh với MUSDB, một bản chỉnh DnR khác hay các đoạn clip tuyển chọn thủ công. Khoảng dẫn 0.9 dB cũng không đảm bảo mọi đoạn phim đều thắng; âm xát, độ rộng không gian và xung kích hiệu ứng vẫn đòi hỏi nghe mù.
Các tác giả công bố encoder SFC-CA, SFC-Mamba và BandIt, bộ tách TF-Locoformer, cùng trọng số pretrained MUSDB18-HQ và DnR. Kiến trúc trong luận văn, phần hiện thực trong repository và các tệp model-card do đó có thể đối chiếu lẫn nhau; còn 11.8 dB vẫn chỉ thuộc về giao thức DnR v2 ở Bảng II.
Tác vụ tách thoại, nhạc và hiệu ứng có được một định nghĩa mục tiêu tương đối ổn định sau DnR Challenge 2021. BandIt sau đó dồn năng lực mô hình hóa vào các dải tần không đều, trong khi TIGER tìm kiếm một mô hình chuỗi rẻ hơn. SFC-Locoformer đặt một câu hỏi kỹ thuật khác: nếu các bin tần số lân cận bị dư thừa, liệu có thể nén chúng trước khi tiêu ngân sách mô hình vào cấu trúc thoại và phần nhạc dài hơn?
Chính vì hành trình đó mà ba mô hình đã phát hành xứng đáng đứng chung một trang tác vụ, mà không bị mô tả như một phép thay thế đơn giản từ cũ sang mới. BandIt là baseline tách dải mạnh, TIGER là phương án thiên về chi phí tính toán, còn checkpoint SFC medium đã phát hành báo cáo 11.8 dB theo đúng giao thức DnR v2 của Bảng II. Kiến trúc, trọng số và giao thức đánh giá đều quan trọng.
Z(t,k)=Σ_f A(k,f|X)·W_f·X(t,f)X(t,f)phổ đầu vào dạng phứcA(k,f|X)tổng hợp dải thích ứng theo đầu vàoZ(t,k)biểu diễn chuỗi đã nénA không phải quy tắc cắt tần số cố định. Đó là một trọng số tổng hợp phụ thuộc đầu vào, nên trục k ngắn hơn giành lại nhiều dung lượng chuỗi hơn cho thoại, phần nhạc và không gian môi trường theo thời gian.
Bộ giải mã vẫn truy vấn bằng các đặc trưng không nén để khôi phục mọi bin đầu ra. Phương trình chỉ là một trừu tượng hóa luồng thông tin; CrossAttnEncoder, CrossAttnDecoder và truy vấn thích ứng trong repository mới là phần hiện thực có thể kiểm toán.
Luận văn, mã và trọng số có thể theo dõi qua SFC-Locoformer source / Released DnR checkpoint / SFC paper and DnR table.
Chỉ những hàng được kiểm chứng theo cùng một giao thức công bố mới được xếp hạng ở đây; TIGER-DnR không được chèn vào Bảng II khi chưa có kết quả tương ứng.
| Mô hình | Kết quả công bố | Cách đọc |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | giá trị công bố cao nhất trong giao thức này; vẫn cần kiểm tra mép thoại |
| BandIt | 10.9 dB SI-SDR | baseline tách dải cùng giao thức |
| TIGER-DnR | bằng chứng hiệu năng trình bày riêng | không trộn vào một hàng bảng còn thiếu |
Với thoại, hãy nghe âm xát, tiếng thở và giọng nói ở xa. SI-SDR loại hệ số khuếch đại tổng thể khỏi phép so sánh, nhưng có thể bỏ lỡ các mép kim loại và đuôi phòng bị hỏng. Với nhạc, kiểm tra bóng ma thoại; với hiệu ứng, giữ gìn tính liên tục của tiếng cửa, bước chân và không gian.
Bản phối phát sóng còn chứa limiting, ducking thoại và hạ kênh. Giao thức luận văn DnR không tự động đại diện cho mọi bản master phát hành; các so sánh giữa SFC, BandIt và TIGER nên dùng cùng các đoạn trích, đồng thời kiểm tra riêng mép thoại, rò rỉ nhạc và tính liên tục của không gian.
Nhánh hiệu ứng là một thùng chứa rộng. Mưa, giao thông, tiếng vỗ tay và foley vẫn trộn chung, nên đầu ra DnR không phải phép phân rã âm thanh ở mức đối tượng.
Các điều kiện giấy phép thượng nguồn vẫn chi phối việc triển khai và phân phối lại, dù hình thức tác vụ không còn ngắt luồng công việc bằng một bài thuyết giảng về giấy phép mô hình.
Tên mô hình, con số và giới hạn đều truy vền từ các luận văn, repository hoặc model-card bên dưới.