SFC-Locoformer: การบีบอัดสเปกตรัมแบบปรับได้และขอบเขตการสนทนาสำหรับ 11.8 dB DnR

อ่านเปเปอร์ / การแยกเสียงเชิงภาพยนตร์

DnR แยกมิกซ์ของรายการออกเป็นเสียงพูด ดนตรี และเอฟเฟกต์ แหล่งเสียงเหล่านั้นซ้อนทับกันทั้งในแกนเวลาและความถี่ ปัญหาจึงลดทอนไปเป็นแค่การตรวจจับกิจกรรมเสียงพูดไม่ได้ SFC-Locoformer, BandIt และ TIGER-DnR รับมืองานเดียวกันด้วยรูปแบบการบีบอัด ต้นทุนด้านลำดับ และหลักฐานที่เผยแพร่ต่างกันออกไป

การบีบอัดสเปกตรัม

STFT ให้สเปกตรัมเชิงซ้อน X(t,f) การจัดงบช่องให้ทุก bin ที่อยู่ติดกันเท่ากันหมด คือการเผางานคำนวณไปกับฟีเจอร์ที่สัมพันธ์กันสูง SFC เรียนรู้การฉายลงบนแกนสเปกตรัมที่กะทัดรัด:

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

ดีโคดเดอร์ใช้ cross-attention ส่งตัวแทนที่ถูกบีบอัดกลับไปยัง bin ความถี่เป้าหมาย นี่ไม่ใช่การตัดย่านความถี่สูงทิ้ง: ทรานเซียนต์ของพยัญชนะ ฮาร์มอนิกที่ค้างยาว และเอฟเฟกต์แถบกว้างยังพร้อมให้ตัวแยกเสียงใช้งาน

บริบทระดับใกล้และระดับไกล

บล็อกเฉพาะที่จับแรงกระแทก เสียงพ่น และจังหวะเปิดของกลอง ส่วนการสื่อสารข้ามหน้าต่างพาแทร็กดนตรีพื้น ประโยคสนทนา และบรรยากาศเสียงไปด้วย หากใช้สนาม attention หนาแน่นเพียงอันเดียว หน่วยความจำจะพุ่งตามความยาวของสัญญาณ Locoformer ผสานการผสมเฉพาะที่เข้ากับการแลกเปลี่ยนระยะไกลแบบประหยัด จน checkpoint ขนาด medium ที่เผยแพร่ยังใช้งานได้จริง

อ่านตัวเลข 11.8 dB ให้ถูก

Table II รายงาน 11.8 dB สำหรับ SFC-Locoformer medium และ 10.9 dB สำหรับ BandIt ภายใต้โปรโตคอลทดสอบ DnR เดียวกัน ฟังก์ชันเป้าหมายแบบไม่ขึ้นกับมาตราส่วนคือ:

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

ค่านี้ใช้จัดอันดับภายในโปรโตคอลเดียวกันเท่านั้น ไม่ใช่ฐานเปรียบเทียบกับ MUSDB, DnR รุ่นอื่น หรือคลิปที่คัดมาเอง ส่วนแต้มนำ 0.9 dB ก็ไม่ได้การันตีว่าจะชนะทุกฉากภาพยนตร์ เสียงเสียดแทรก ความกว้างของบรรยากาศ และทรานเซียนต์ของเอฟเฟกต์ยังต้องอาศัยการฟังแบบปิดตาเสมอ

โค้ดและน้ำหนักที่เผยแพร่

ผู้เขียนเผยแพร่เอนโคเดอร์ SFC-CA, SFC-Mamba และ BandIt ตัวแยก TF-Locoformer พร้อมน้ำหนักที่ฝึกไว้ล่วงหน้าบน MUSDB18-HQ และ DnR สถาปัตยกรรมในเปเปอร์ โค้ดในรีพอซิทอรี และไฟล์ในโมเดลการ์ดจึงตรวจสอบไขว้กันได้ ส่วนตัวเลข 11.8 dB ยังเป็นของโปรโตคอล DnR v2 ใน Table II เท่านั้น