Διαχωρισμός ήχου σε τέσσερα stems: γιατί το Huge-SCNet ταιριάζει στον στόχο MSS
Το τρέχον εργαλείο τεσσάρων stems του TelkNet χρησιμοποιεί Huge-SCNet-4stems V1.2 για να χωρίσει ένα πλήρες mix σε vocals, drums, bass και other. Το άρθρο εξηγεί την επιλογή μέσα από την ιστορία MSS, τα όρια του Mel-Band RoFormer, τη μοντελοποίηση subband του SCNet και δημόσιες βαθμολογίες.
ΑΝΑΛΥΣΗ ΜΟΝΤΕΛΟΥ / TelkNet
Το τρέχον εργαλείο τεσσάρων stems του TelkNet χρησιμοποιεί Huge-SCNet-4stems V1.2 για να χωρίσει ένα πλήρες mix σε vocals, drums, bass και other. Το άρθρο εξηγεί την επιλογή μέσα από την ιστορία MSS, τα όρια του Mel-Band RoFormer, τη μοντελοποίηση subband του SCNet και δημόσιες βαθμολογίες.
Αρχιτεκτονική επιλογή
Το Mel-Band RoFormer είναι ισχυρό στις λεπτομέρειες φωνής χάρη σε mel-band και RoPE, αλλά ο διαχωρισμός τεσσάρων stems πρέπει να προστατεύει και drums, bass και υψηλές συχνότητες στο other.
Η διαδρομή SCNet χρησιμοποιεί subband modeling και sparse compression για να ισορροπήσει τα τέσσερα stems. Γι’ αυτό το Huge-SCNet-4stems V1.2 είναι το τρέχον όριο μοντέλου.
Το MVSep Ensemble μπορεί να είναι αναφορά ανώτατης ποιότητας, αλλά πρέπει να περιγράφεται ως multi-model workflow και όχι ως ένα μοντέλο.
Πηγές
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs