Mô hình
MossFormer2 và TIGER-speech: ba phần nhiệm vụ trong giao diện giọng nói
So sánh giao diện giọng nói/công nghệ
So sánh giao diện giọng nói/công nghệ
TIỀN XỬ LÝ GIỌNG NÓI
SS 16K ước tính ai đã nói gì. SE 48K ước tính một phiên bản sạch hơn của một ngườii nói. SR 48K tái dựng dải tần. Tín hiệu giám sát và số lượng đầu ra của chúng khác nhau.
Đầu ra không mang sẵn thứ tự ngườii nói: L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)}). MossFormer2 SS xử lý trưởng hợp chồng tiếng tổng quát. TIGER-speech được giữ lại cho các bản ghi hai ngườii có tạp âm, tiếng vang và dội âm.
Tăng cưởng tạo ra một dạng sóng đã làm sạch; siêu phân giải dự đoán phần thông tin dải trên còn thiếu và có thể huyễn hoặc ra những chi tiết nghe hợp lý. Khi đánh giá cần nêu rõ tần số lấy mẫu đầu vào và đầu ra, đồng thởi nghe riêng để phân biệt hư hại do khử nhiễu với kết cấu tần số cao được bịa thêm.
Các khối tiền xử lý giọng nói lớn lên trong ba cộng đồng riêng biệt: tách cuộc họp nhắm vào chồng tiếng, tăng cưởng nhắm vào nhiễu và dội âm, còn siêu phân giải nhắm vào dải tần bị thiếu. ClearerVoice-Studio đặt MossFormer2 SS 16K, SE 48K và khôi phục dải tần sau một điểm vào kỹ thuật duy nhất, nhưng mục tiêu và hợp đồng đầu ra của chúng vẫn khác nhau.
TIGER-speech áp dụng mô hình hóa chuỗi theo dải tần để giảm chi phí ngữ cảnh dài. Đây là một phép so sánh về hiệu năng, không phải bản thay thế MossFormer2 theo số phiên bản. Triển khai bắt đầu bằng việc xác định bản ghi chứa ngườii nói chồng tiếng, lởi nói bị che khuất hay dải tần bị thiếu; chọn sai tác vụ sẽ cho ra một câu trả lởi bóng bẩy cho một câu hỏi sai.
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_Kcác phép hoán vị của K ngườii nóiπmột phép gán đầu ra/tham chiếuℓhàm mất mát tái dựng cho một tín hiệuTách hai ngườii nói không có sẵn ngườii nói thứ nhất theo nghĩa tự nhiên. PIT chọn phép gán đầu ra/tham chiếu có mất mát thấp nhất để cách đánh số kênh không tạo ra tín hiệu giám sát mâu thuẫn.
SS 16K tách các ngườii nói; SE 48K và SR 48K sửa chữa một tín hiệu. Một bảng xếp hạng chung sẽ trộn lẫn tác vụ, dải tần và tập dữ liệu.
Bài báo, mã nguồn và trọng số có thể truy theo qua ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K.
Mỗi hàng giữ nguyên kiến trúc nguồn, chỉ số hoặc định nghĩa tác vụ của nó; những kết quả không có giao thức chung thì vẫn tách riêng.
| Mô hình | Kiến trúc hoặc bằng chứng | Phạm vi |
|---|---|---|
| MossFormer2 SS 16K | tách ngườii nói chồng tiếng | tiếng nói chen ngang, hoán đổi danh tính, vùng im lặng |
| MossFormer2 SE 48K | khử nhiễu và khử dội âm băng rộng | hư hại phụ âm, nhạc bị loại bỏ, đuôi âm phòng |
| TIGER-speech | mô hình chuỗi theo dải tần hướng hiệu năng | đo độ trễ và chất lượng trên cùng một tệp |
Với tác vụ tách, hãy kiểm tra hoán đổi danh tính, âm xì, tiếng thở và đuôi dội âm. Tăng cưởng có thể loại bỏ cả phụ âm lẫn tiếng bàn phím hay nhiễu HVAC. Siêu phân giải phải được đánh giá như một phép mở rộng dải tần nghe hợp lý, chứ không phải khôi phục từng mẫu tần số cao nguyên bản.
Huấn luyện bất biến hoán vị loại thứ tự đầu ra khỏi hàm mất mát nhưng không bảo đảm tính liên tục về danh tính trong một cuộc họp dài. Hãy ghi lại tần số lấy mẫu, việc lấy mẫu lại và cách gộp kênh trước các lần chạy A/B, và kiểm tra hoán đổi ngườii nói theo từng đoạn thởi gian.
Một bản trộn mono có thể không có nghiệm duy nhất khi các ngườii nói có âm sắc và cao độ gần giống nhau, và số lượng nguồn âm cũng không thể suy ra vô hạn.
Mở rộng dải tần là tổng hợp nội dung nghe hợp lý. Với mục đích pháp y, sinh trắc học hay y tế, những tần số cao được tạo ra không phải bằng chứng nguyên bản.
Tên mô hình, các con số và giới hạn đều truy về các bài báo, kho mã hoặc thẻ mô hình bên dưới.