Dört stem ses ayırma: Huge-SCNet neden MSS hedefine uyuyor
TelkNet’in mevcut dört stem aracı, tam miksi vokal, davul, bas ve diğer olarak ayırmak için Huge-SCNet-4stems V1.2 kullanır. Yazı, seçimi MSS mimari geçmişi, Mel-Band RoFormer sınırları, SCNet subband modelleme ve halka açık dört stem skorları üzerinden açıklar.
MODEL ANALİZİ / TelkNet
TelkNet’in mevcut dört stem aracı, tam miksi vokal, davul, bas ve diğer olarak ayırmak için Huge-SCNet-4stems V1.2 kullanır. Yazı, seçimi MSS mimari geçmişi, Mel-Band RoFormer sınırları, SCNet subband modelleme ve halka açık dört stem skorları üzerinden açıklar.
Mimari tercih
Mel-Band RoFormer mel-band ve RoPE sayesinde vokal ayrıntılarında güçlüdür; ancak dört stem ayırma davul, bas ve other içindeki yüksek frekanslı enstrüman ayrıntılarını da korumalıdır.
SCNet yolu subband modelleme ve sparse compression ile dört stemi daha dengeli işler. Bu yüzden Huge-SCNet-4stems V1.2 aracın mevcut model sınırıdır.
MVSep Ensemble kalite tavanı referansı olarak kullanılabilir, ancak tek model değil çok modelli workflow olarak anlatılmalıdır.
Kaynaklar
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs