Phân tích tách âm thanh bốn stem: vì sao Huge-SCNet hợp với mục tiêu MSS
Công cụ bốn stem hiện tại của TelkNet dùng Huge-SCNet-4stems V1.2 để tách bản mix đầy đủ thành vocals, drums, bass và other. Bài viết giải thích lựa chọn qua lịch sử kiến trúc MSS, điểm mạnh và giới hạn của Mel-Band RoFormer, mô hình subband của SCNet và điểm số công khai.
PHÂN TÍCH MÔ HÌNH / TelkNet
Công cụ bốn stem hiện tại của TelkNet dùng Huge-SCNet-4stems V1.2 để tách bản mix đầy đủ thành vocals, drums, bass và other. Bài viết giải thích lựa chọn qua lịch sử kiến trúc MSS, điểm mạnh và giới hạn của Mel-Band RoFormer, mô hình subband của SCNet và điểm số công khai.
Đánh đổi kiến trúc
Mel-Band RoFormer mạnh ở chi tiết vocal nhờ mel-band và RoPE, nhưng tách bốn stem còn phải giữ drums, bass và chi tiết nhạc cụ tần số cao trong other.
Hướng SCNet dùng mô hình subband và sparse compression để cân bằng bốn stem; vì vậy Huge-SCNet-4stems V1.2 là ranh giới mô hình hiện tại của công cụ.
MVSep Ensemble có thể dùng làm tham chiếu trần chất lượng, nhưng nên được mô tả là workflow nhiều mô hình, không phải một mô hình đơn lẻ.
Tài liệu tham khảo
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs