ไวต์เปเปอร์การแยกเสียง 4 stem: เหตุผลที่ Huge-SCNet เหมาะกับ MSS
เครื่องมือ 4 stem ปัจจุบันของ TelkNet ใช้ Huge-SCNet-4stems V1.2 เพื่อแยกมิกซ์เต็มเป็น vocals, drums, bass และ other บทความนี้อธิบายเหตุผลผ่านประวัติ MSS จุดแข็งและข้อจำกัดของ Mel-Band RoFormer การทำ subband ของ SCNet และคะแนนสาธารณะ
บทวิเคราะห์โมเดล / TelkNet
เครื่องมือ 4 stem ปัจจุบันของ TelkNet ใช้ Huge-SCNet-4stems V1.2 เพื่อแยกมิกซ์เต็มเป็น vocals, drums, bass และ other บทความนี้อธิบายเหตุผลผ่านประวัติ MSS จุดแข็งและข้อจำกัดของ Mel-Band RoFormer การทำ subband ของ SCNet และคะแนนสาธารณะ
การแลกเปลี่ยนของสถาปัตยกรรม
Mel-Band RoFormer เด่นเรื่องรายละเอียดเสียงร้องจาก mel-band และ RoPE แต่การแยก 4 stem ต้องรักษากลอง เบส และรายละเอียดความถี่สูงใน other ด้วย
แนวทาง SCNet ใช้ subband modeling และ sparse compression เพื่อบาลานซ์ทั้งสี่ stem ดังนั้น Huge-SCNet-4stems V1.2 จึงเป็นขอบเขตโมเดลปัจจุบันของเครื่องมือนี้
MVSep Ensemble ใช้เป็นเพดานอ้างอิงคุณภาพได้ แต่ควรอธิบายว่าเป็น workflow หลายโมเดล ไม่ใช่โมเดลเดี่ยว
แหล่งอ้างอิง
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs