Διαχωρισμός ήχου σε τέσσερα stems: γιατί το Huge-SCNet ταιριάζει στον στόχο MSS

Τα τέσσερα stems δεν είναι άλλη ονομασία για τα συνοδευτικά κομμάτια

Ο τυπικός διαχωρισμός τεσσάρων stems συνήθως σημαίνει φωνητικά, ντραμς, μπάσο και λοιπά. Τα φωνητικά είναι το τραγουδισμένο μέρος, τα ντραμς είναι το σετ κρουστών, το μπάσο είναι το μέρος του μπάσου και τα λοιπά περιέχουν τα υπόλοιπα όργανα: κιθάρα, πιάνο, έγχορδα, synthesizer, πνευστά, εφέ και άλλα. Το συνοδευτικό κομμάτι που ακούγεται όταν σιγήσουν τα φωνητικά είναι στην πραγματικότητα το άθροισμα των ντραμς, του μπάσου και των λοιπών.

Αυτός ο στόχος προέρχεται από τα κύρια σύνολα δεδομένων και την παράδοση αξιολόγησης στον διαχωρισμό μουσικών πηγών. Τα MUSDB18 και MUSDB18-HQ διαμορφώνουν εδώ και χρόνια την εκπαίδευση και την αξιολόγηση μοντέλων γύρω από αυτά τα τέσσερα stems. Όταν η κοινότητα λέει 4-stem, συνήθως εννοεί αυτόν τον στόχο εξόδου.

Η διάκριση αλλάζει την επιλογή εργαλείου. Αν ο στόχος είναι καθαρά φωνητικά ή ένα οργανικό κομμάτι χωρίς φωνητικά, ένας διαχωριστής φωνητικών δύο stems είναι πιο άμεση λύση. Αν ο στόχος είναι εξάσκηση στα ντραμς, ανάλυση μπάσου, sampling, remix ή καθαρισμός επεξεργάσιμου υλικού, τα τέσσερα stems είναι πιο χρήσιμα. Τα λοιπά δεν είναι ένα υποδεέστερο συνοδευτικό κομμάτι· είναι το δυσκολότερο σύνολο οργάνων του συστήματος.

Τέσσερα στάδια από το U-Net έως το SCNet

Ο διαχωρισμός μουσικών πηγών επιχειρεί να ανακτήσει πολλές πηγές από μία μικτή κυματομορφή σε χρόνο και συχνότητα. Τα παλαιότερα μοντέλα μπορούσαν να παράγουν αποτελέσματα που ακούγονταν ικανοποιητικά, αλλά τα τεχνουργήματα ήταν γνώριμα: διαρροή φωνητικών, πέρασμα των ντραμς, θολό μπάσο, απλωμένες υψηλές συχνότητες ή κατακερματισμένη αίσθηση φάσης σε πυκνές ενορχηστρώσεις.

Αυτή η ιστορία εξηγεί γιατί η επιλογή μοντέλου δεν μπορεί να περιοριστεί στην ποιότητα των φωνητικών. Ο διαχωρισμός τεσσάρων stems πρέπει επίσης να διατηρεί τα μεταβατικά των ντραμς, τις θεμελιώδεις συχνότητες και τις αρμονικές του μπάσου, τα όρια των φωνητικών και τις λεπτομέρειες υψηλής συχνότητας μέσα στα λοιπά.

Και η χρονολόγηση εξαρτάται από το εύρος των πηγών: η εργασία SCNet δημοσιοποιήθηκε τον Ιανουάριο του 2024, ενώ το Huge-SCNet-4stems V1.2 ανήκει στο μεταγενέστερο πλαίσιο των δημόσιων checkpoint. Γι' αυτό το χρονολόγιο χρησιμοποιεί το 2024-2026 αντί να υπονοεί ότι το ίδιο το SCNet εμφανίστηκε μόνο μετά το 2025.

Mel-Band RoFormer: ισχύς στα φωνητικά και όρια στα τέσσερα stems

Το Mel-Band RoFormer προτάθηκε από την ομάδα Speech, Audio, and Music Intelligence (SAMI) της ByteDance. Οι συγγραφείς της εργασίας είναι οι Ju-Chiang Wang, Wei-Tsung Lu και Minz Won, ενώ στη σελίδα τίτλου η συνεργασία αναφέρεται ως SAMI, ByteDance. Σελίδες της κοινότητας συνοψίζουν μερικές φορές αυτή τη γραμμή ως ByteDance AI Labs, αλλά η ακριβέστερη διατύπωση της πηγής είναι οι συγγραφείς της εργασίας και SAMI, ByteDance.

Το μοντέλο είναι ελκυστικό επειδή διαμορφώνει τις ζώνες συχνοτήτων πιο κοντά στην ανθρώπινη ακοή. Το αυτί είναι πιο ευαίσθητο στις χαμηλές και μεσαίες συχνότητες, όπου βρίσκονται οι θεμελιώδεις συχνότητες των φωνητικών, τα σύμφωνα, η αναπνοή και πολλά στοιχεία τονικού ύψους. Η προβολή mel-band προσφέρει λεπτομερέστερη αναπαράσταση αυτού του εύρους, βοηθώντας το μοντέλο να παρακολουθεί κύρια και δεύτερα φωνητικά, γλιστρήματα, βιμπράτο και ουρές αντήχησης.

Η οικογένεια RoFormer χρησιμοποιεί περιστροφική κωδικοποίηση θέσης, ή RoPE, τόσο στις ακολουθίες χρόνου όσο και στις ακολουθίες υποζωνών. Έτσι, οι βαθμολογίες προσοχής εξαρτώνται από τη σχετική θέση. Τα γλιστρήματα, οι παρατεταμένοι ήχοι και οι επαναλαμβανόμενες φράσεις αποτελούν χρήσιμες δομικές διαισθήσεις γι' αυτή την ιδιότητα, όμως η εργασία δοκιμάζει άμεσα μόνο τα ελεγχόμενα μοντέλα με RoPE έναντι χωρίς RoPE· δεν αναφέρει ξεχωριστές μετρικές για γλιστρήματα ή μακρές αρμονίες.

Η διαδρομή σήματος που ορίζει η εργασία

Το BS-RoFormer μετατρέπει πρώτα την κυματομορφή της μίξης σε μιγαδικό φασματογράφημα. Η προβολή ζωνών και ο ιεραρχικός Transformer εκτιμούν μια μιγαδική μάσκα, η μάσκα εφαρμόζεται στο φάσμα της μίξης και ο αντίστροφος STFT ανακατασκευάζει την κυματομορφή-στόχο. Το Mel-RoFormer αλλάζει την προβολή μέσα στο f_θ: επικαλυπτόμενες ζώνες mel αντικαθιστούν τον ευρετικό, μη επικαλυπτόμενο διαχωρισμό. Δεν αντικαθιστά ολόκληρη τη διαδρομή ανακατασκευής.

Γι' αυτό το Mel-Band RoFormer είναι μια ισχυρή διαδρομή για εργασίες φωνητικών/συνοδείας, κύριων/δεύτερων φωνητικών και εξαγωγής καθαρών φωνητικών. Το πρόβλημα είναι ότι ο διαχωρισμός τεσσάρων stems δεν αφορά μόνο τα φωνητικά. Πρέπει επίσης να διαχωρίσει ντραμς, μπάσο και λοιπά, ενώ τα λοιπά συχνά περιέχουν τις δυσκολότερες οργανικές λεπτομέρειες υψηλής συχνότητας.

Μετά τις εργασίες: πώς το RoFormer έγινε ένα ανοικτό οικοσύστημα εργαλείων

Το BS-RoFormer εμφανίστηκε τον Σεπτέμβριο του 2023 με δύο είδη τεκμηρίων σε μία εργασία. Το μεγαλύτερο σύστημα L=12, εκπαιδευμένο με MUSDB18HQ και 500 εσωτερικά τραγούδια, κατέγραψε τη συμμετοχή της SAMI-ByteDance που κατέλαβε την πρώτη θέση στο SDX23. Μικρότερα μοντέλα μόνο με MUSDB18HQ παρείχαν ελεγχόμενες δοκιμές αφαίρεσης για RoPE, διαχωρισμό ζωνών και ανακατασκευή με επικάλυψη και μέσο όρο. Η εργασία δημοσίευσε την αρχιτεκτονική, τις συνθήκες εκπαίδευσης και τους πίνακες αποτελεσμάτων. Δεν επισύναψε το αρχικό checkpoint του SDX23 ούτε παρέπεμψε σε αποθετήριο εκπαίδευσης και εξαγωγής συμπερασμάτων της ByteDance/SAMI.

Το Mel-Band RoFormer ακολούθησε τον Οκτώβριο του 2023. Διατήρησε τους RoPE Transformer, τη μοντελοποίηση ακολουθιών εντός/μεταξύ ζωνών, τις μιγαδικές μάσκες και την ανακατασκευή κυματομορφής, αλλά αντικατέστησε τον χειροκίνητα σχεδιασμένο μη επικαλυπτόμενο διαχωρισμό με 60 επικαλυπτόμενες ζώνες mel. Η διαφορά ενός μήνα έχει σημασία: επρόκειτο για δημόσια αναθεώρηση της προβολής συχνοτήτων που προκλήθηκε από τον ίδιο τον περιορισμό της προηγούμενης εργασίας, όχι για δεύτερο επίσημο πακέτο checkpoint που κυκλοφόρησε μαζί με το κείμενο.

Ο εκτελέσιμος κώδικας συσσωρεύτηκε έξω από τις εργασίες. Το αποθετήριο lucidrains μετέτρεψε τα διαγράμματα και τις εξισώσεις σε κλάσεις μοντέλων PyTorch και προσκάλεσε ανοικτά άλλους να αναπαραγάγουν τον διαχωριστή. Η στερεοφωνική επεξεργασία, τα πολλαπλά stems εξόδου και η παραλλαγή Mel-Band έκαναν τη δομή επαναχρησιμοποιήσιμη, αλλά ο κώδικας μόνος του δεν μπορούσε να ανασυνθέσει τα εσωτερικά τραγούδια, την κατάσταση του optimizer, τη διάρκεια εκπαίδευσης ή τις τελικές παραμέτρους του διαγωνισμού.

Στη συνέχεια, το Music-Source-Separation-Training έδωσε σε αυτή την επαναχρησιμοποιήσιμη δομή ένα κοινό εργαστήριο: φορτωτές συνόλων δεδομένων, επαύξηση, εκπαίδευση, επικύρωση, συνέχιση από checkpoint, εξαγωγή συμπερασμάτων σε τμήματα, επικάλυψη και ensembling. Το README αποδίδει εύσημα στο lucidrains για την αναδημιουργία των μοντέλων RoFormer από τις εργασίες και δέχεται υποβολές μοντέλων από την κοινότητα. Μία αρχιτεκτονική μπορούσε πλέον να εκπαιδευτεί για διαχωρισμό φωνητικών/οργανικών, τέσσερα stems, υπο-stems ντραμς ή άλλους εξειδικευμένους στόχους. Δεν υπήρχε ένα ενιαίο κανονικό βάρος της κοινότητας.

Το μοντέλο φωνητικών της Kimberley Jensen έκανε τη διαδικασία συγκεκριμένη. Το αποθετήριο αναφέρει ότι εκπαιδεύτηκε σε περισσότερα δεδομένα με τον κώδικα του ZFTurbo, χρησιμοποιεί εξ ορισμού τμήμα οκτώ δευτερολέπτων και διαθέτει το num_overlap για τη μείωση των τεχνουργημάτων συρραφής με τίμημα μεγαλύτερο χρόνο εξαγωγής συμπερασμάτων. Αναγνωρίζει επίσης τους συντελεστές του συνόλου δεδομένων. Αυτές οι λεπτομέρειες εξηγούν γιατί ένα checkpoint διαθέσιμο για λήψη έχει χαρακτήρα που δεν μπορεί να περιγράψει μόνο το όνομα της αρχιτεκτονικής.

Η τρέχουσα σελίδα του MVSep αποδίδει τα πρώτα δημόσια βάρη υψηλής ποιότητας στην Kimberley Jensen και κατόπιν περιγράφει μεταγενέστερη τροποποίηση και συνέχιση της εκπαίδευσης των ανοικτών βαρών. Οι εκδόσεις Bas Curtiz, unwa, becruily, gabox και άλλες εμφανίζονται στην ίδια σελίδα με διαφορετικούς συμβιβασμούς πληρότητας, διαρροής, θορύβου και SDR. Πρόκειται για ένα διακλαδιζόμενο γενεαλογικό δέντρο βαρών: τα μοντέλα μοιράζονται το Mel-Band RoFormer, αλλά όχι τα δεδομένα, τον στόχο, το ιστορικό fine-tuning ή τον τελικό ήχο τους.

Ένα όνομα αρχιτεκτονικής μπορεί πλέον να αναφέρεται σε σύστημα διαγωνισμού, δοκιμή αφαίρεσης εργασίας, checkpoint φωνητικών, checkpoint τεσσάρων stems ή ensemble πλατφόρμας. Ένα ακριβές κείμενο πρέπει να φανερώνει τρία πράγματα: ποιος πρότεινε την αρχιτεκτονική, από πού προήλθαν τα τρέχοντα βάρη και ποια συνταγή εξαγωγής συμπερασμάτων παράγει το αποτέλεσμα. Χωρίς και τα τρία, φράσεις όπως «επίσημο μοντέλο της ByteDance» ή «βαθμολογία διαγωνισμού του Mel-Band για τέσσερα stems» συνενώνουν σιωπηρά διαφορετικά τεχνουργήματα από διαφορετικές στιγμές αυτής της ιστορίας.

Ελεγχόμενη σύγκριση: το Mel δεν αντικαθιστά το BS σε κάθε stem

Το καθαρότερο τεκμήριο είναι η ελεγχόμενη σύγκριση της εργασίας Mel-Band του 2023, όχι ένα μείγμα σελίδων του MVSep και άσχετων checkpoint της κοινότητας. Κάθε γραμμή παρακάτω χρησιμοποιεί MUSDB18HQ χωρίς πρόσθετα τραγούδια. Σε κάθε βάθος, η κύρια αλλαγή είναι η προβολή: οι ευρετικές, μη επικαλυπτόμενες ζώνες του BS-RoFormer αντικαθίστανται από 60 επικαλυπτόμενες ζώνες mel.

Το αποτέλεσμα είναι συμβιβασμός, όχι καθολική επικράτηση. Στο L=6, τα φωνητικά ανεβαίνουν από 10.78 σε 11.21 dB και τα ντραμς από 9.61 σε 9.91 dB, ενώ το μπάσο πέφτει από 11.43 σε 9.64 dB και τα λοιπά υποχωρούν από 7.86 σε 7.81 dB. Στο L=9, τα φωνητικά κερδίζουν 0.58 dB και τα λοιπά 0.13 dB, τα ντραμς χάνουν 0.32 dB και το μπάσο δεν αναφέρεται επειδή η εκπαίδευση προχωρούσε υπερβολικά αργά.

Η εργασία συνδέει το αποτέλεσμα του μπάσου με τη χαρτογράφηση συχνοτήτων. Το BS-RoFormer κατανέμει σκόπιμα λεπτές ζώνες στις χαμηλές συχνότητες, ενώ η προβολή mel είναι πιο χρήσιμη για τα φωνητικά και ορισμένους στόχους εκτός μπάσου. Συνεπώς, το χρήσιμο μηχανικό συμπέρασμα εξαρτάται από την εργασία: η προβολή mel είναι ισχυρή επιλογή για φωνητικά, αλλά το ψυχοακουστικό κίνητρο από μόνο του δεν αποδεικνύει υπεροχή στα τέσσερα stems.

Το SCNet και ο στόχος των τεσσάρων stems

Το SCNet εξετάζει το φάσμα με μεγαλύτερη έμφαση στην πληροφορία. Στους συγγραφείς της εργασίας περιλαμβάνονται οι Weinan Tong, Jiaxu Zhu, Jun Chen, Shiyin Kang, Tao Jiang, Yang Li, Zhiyong Wu και Helen Meng· η σελίδα τίτλου αναφέρει μεταξύ των συνεργαζόμενων ιδρυμάτων τα Shenzhen International Graduate School, Tsinghua University, Skywork AI PTE. LTD., Peng Cheng Lab και The Chinese University of Hong Kong. Αρχιτεκτονικά, το SCNet χωρίζει ρητά το φασματογράφημα της μίξης σε υποζώνες και χρησιμοποιεί αραιή συμπίεση για να διαχειριστεί τη διαφορετική πυκνότητα πληροφοριών αυτών των ζωνών. Με απλούστερα λόγια, δεν τοποθετεί σχεδόν όλη τη χωρητικότητα στην περιοχή των φωνητικών. Ωθεί το μοντέλο να εστιάζει στις περιοχές χρόνου-συχνότητας που μεταφέρουν πραγματικά χρήσιμο οργανικό σήμα.

Αυτό έχει σημασία για τέσσερα stems. Το μπάσο βρίσκεται χαμηλά, αλλά μεταφέρει σημαντικές αρμονικές. Τα ντραμς συνδυάζουν πολύ σύντομα μεταβατικά με πιατίνια και ήχο χώρου. Τα λοιπά μπορεί να περιέχουν ταυτόχρονα κιθάρα, πιάνο, έγχορδα, synthesizer και εφέ. Η μοντελοποίηση υποζωνών προσφέρει πιο στοχευμένη επεξεργασία σε διαφορετικές περιοχές συχνοτήτων, ενώ η αραιή συμπίεση κρατά την προσοχή μακριά από κενές περιοχές ή περιοχές με λίγη πληροφορία.

Η εργασία SCNet περιγράφει το πλήρες σύστημα ως έναν κωδικοποιητή ήχου, ένα δίκτυο διαχωρισμού που βασίζεται σε RNN διπλής διαδρομής και έναν αποκωδικοποιητή ήχου. Ο κωδικοποιητής χαρτογραφεί τη μίξη σε αναπαραστάσεις υποζωνών στο πεδίο συχνοτήτων, το δίκτυο διαχωρισμού μοντελοποιεί τη δομή σε χρόνο και συχνότητα και ο αποκωδικοποιητής ανακατασκευάζει τα stems-στόχους.

Το Huge-SCNet-4stems V1.2 ανήκει σε αυτή την προσέγγιση. Η σύμβαση εξόδου του είναι ένα ισορροπημένο σύνολο αρχείων φωνητικών, ντραμς, μπάσου και λοιπών που μπορούν να συνεχίσουν σε remix ή μεταγραφή, αντί για έναν στόχο βελτιστοποίησης μόνο για φωνητικά.

Είναι επίσης σημαντικό να διαχωρίζεται η εργασία SCNet από το checkpoint Huge-SCNet-4stems V1.2. Η εργασία παρέχει την αρχιτεκτονική αραιής συμπίεσης, τον σχεδιασμό υποζωνών και το ερευνητικό αποτέλεσμα στο MUSDB18-HQ· το τεχνούργημα προς λήψη είναι το δημόσιο checkpoint του Hugging Face huge_scnet_4stems_v1.2.ckpt. Αυτό το checkpoint της κοινότητας δεν μπορεί να κληρονομήσει το αποτέλεσμα 9.0 dB της εργασίας στο MUSDB18-HQ, επειδή διαφέρουν τα δεδομένα και η προέλευση της έκδοσης.

Και το όριο του κώδικα πρέπει να παραμείνει ξεχωριστό. Οι συγγραφείς της εργασίας δημοσιεύουν το thuhcsi/SCNet ως επίσημο αποθετήριο υλοποίησης, όμως το αποθετήριο αναφέρει ότι ο κώδικας εκπαίδευσης μένει να ολοκληρωθεί και παραπέμπει τους αναγνώστες στα HTDemucs, Music-Source-Separation-Training και SCNet-PyTorch ως προσωρινά πλαίσια εκπαίδευσης. Επομένως, το Huge-SCNet-4stems V1.2 πρέπει να περιγράφεται ως δημόσια επιλογή checkpoint τεσσάρων stems στην προσέγγιση SCNet, όχι ως το επίσημο πακέτο μοντέλου της εργασίας SCNet.

Το MVSep Ensemble ως ροή εργασίας πλατφόρμας

Το MVSep Ensemble 2025.06.30 αντιπροσωπεύει μια πολυμοντελική ροή εργασίας σε επίπεδο πλατφόρμας. Η δημόσια σελίδα αλγορίθμου απαριθμεί περισσότερες από μία οικογένειες μοντέλων. Η διαδρομή φωνητικών μπορεί να χρησιμοποιήσει UVR-MDX-NET, Demucs, MDX23C, VitLarge23, BS Roformer, Mel Roformer, SCNet XL και άλλες προσεγγίσεις, ενώ το μπάσο, τα ντραμς και τα λοιπά μπορούν να καλέσουν διαφορετικά Demucs ή συναφή μοντέλα.

Η δύναμη αυτού του είδους ensemble προέρχεται από την εξειδίκευση: υλικό με έντονα φωνητικά ανατίθεται σε ειδικούς φωνητικών, υλικό πλούσιο σε χαμηλές συχνότητες και μεταβατικά σε ισχυρότερους διαχωριστές οργάνων και κατόπιν τα αποτελέσματα συνδυάζονται. Μπορεί να αποτελεί αναφορά για το ανώτατο όριο ποιότητας, αλλά δεν είναι ένα checkpoint ούτε ένα αυτοτελές μοντέλο που ο χρήστης μπορεί να αναπαραγάγει κατεβάζοντας ένα μόνο αρχείο.

Το MVSep καταγράφει το ensemble 2025.06.30 με μέσο SDR 13.67. Ο αριθμός αυτός είναι χρήσιμος ως ανώτατο όριο φιλοξενούμενης πλατφόρμας, αλλά δεν πρέπει να τοποθετείται στην ίδια γραμμή με ένα αυτοτελές checkpoint. Αντικατοπτρίζει μια ροή εργασίας στην πλευρά του διακομιστή που μπορεί να συνδυάζει διαδρομές φωνητικών, οργανικών, μπάσου, ντραμς, λοιπών και πρόσθετων συγκεκριμένων οργάνων πριν παραγάγει το τελικό αποτέλεσμα.

Γι' αυτό, η συζήτηση ενός μοναδικού μοντέλου τεσσάρων stems διαθέσιμου για λήψη πρέπει να κρατά τα ensemble πλατφόρμας εκτός της κατηγορίας μεμονωμένου μοντέλου. Διαφορετικά, η σύγκριση μετατοπίζεται από την αρχιτεκτονική μοντέλου στη φιλοξενούμενη ροή εργασίας.

Δημόσια σύγκριση τεσσάρων stems

Ο παρακάτω πίνακας χρησιμοποιεί στοιχεία από τις αναφερόμενες δημόσιες σελίδες μοντέλων και benchmark. Οι βαθμολογίες βοηθούν να τοποθετηθεί κάθε μοντέλο κάτω από τον ίδιο στόχο τεσσάρων stems. Δεν πρέπει να διαβάζονται ως απόλυτη ετυμηγορία για κάθε τραγούδι, είδος ή περίπτωση ακρόασης.

Το εύρος των πηγών είναι σκόπιμα στενό: η γραμμή του Huge-SCNet-4stems V1.2 με 10.02 dB προέρχεται από τη δημόσια αναφορά HF / MVSep· τα SCNet XL IHF, BS Roformer και HTDemucs4 χρησιμοποιούν δημόσιες γραμμές ZFTurbo / MVSep Multisong. Δεν πρόκειται για ανάμεικτο πίνακα με αποτελέσματα της εργασίας SCNet στο MUSDB18-HQ, σελίδες φωνητικών Mel-Band και βαθμολογίες φιλοξενούμενης ροής MVSep Ensemble.

Πώς ερμηνεύονται οι βαθμολογίες

Υψηλότερο SDR συνήθως σημαίνει λιγότερη παραμόρφωση σε σχέση με το stem αναφοράς. Όμως το μέσο SDR δεν μπορεί να αντικαταστήσει την ακρόαση ούτε να συμπτύξει κάθε stem σε μία απάντηση. Ένα μοντέλο μπορεί να είναι ισχυρό στο μπάσο και στα ντραμς, ενώ άλλο διατηρεί καθαρότερα τα φωνητικά. Τα λοιπά είναι ιδιαίτερα δύσκολα επειδή περιέχουν πολλά όργανα.

Η αξία του Huge-SCNet-4stems V1.2 βρίσκεται στο σαφές όριο του τεχνουργήματος: ένα δημόσιο όνομα checkpoint, τυπική έξοδος τεσσάρων stems και ανιχνεύσιμα δημόσια στοιχεία αναφοράς. Το SCNet XL IHF παραμένει σημαντικό σημείο σύγκρισης. Το MVSep Ensemble παραμένει μια φιλοξενούμενη αναφορά για το ανώτατο όριο ποιότητας. Απαντούν σε διαφορετικά ερωτήματα.

Οι χρήστες πρέπει να ξεκινούν από τον στόχο. Χρησιμοποιήστε διαχωρισμό φωνητικών για τα καθαρότερα φωνητικά. Χρησιμοποιήστε διαχωρισμό τεσσάρων stems για επεξεργάσιμα φωνητικά, ντραμς, μπάσο και λοιπά. Χρησιμοποιήστε διαχωρισμό έξι stems όταν η κιθάρα και το πιάνο χρειάζονται δικά τους αρχεία.

Όριο εξόδου: ισορροπία τεσσάρων stems έναντι λεπτομέρειας έξι stems

Ο διαχωρισμός έξι stems αναλύει περαιτέρω τα λοιπά σε κιθάρα, πιάνο και τα εναπομείναντα λοιπά. Είναι πιο ευαίσθητος στα χτυπήματα κιθάρας, στις ατάκες του πιάνου, στην υφή των πλήκτρων και στις αρμονικές υψηλής συχνότητας. Επομένως, ένα checkpoint έξι stems του BS Roformer SW αντιπροσωπεύει διαφορετικό στόχο και σύμβαση εκπαίδευσης από το Huge-SCNet-4stems V1.2.

Αυτοί οι ισχυρισμοί ανήκουν σε ξεχωριστά επίπεδα: το RoFormer περιγράφει μια οικογένεια αρχιτεκτονικών, το Mel-Band στοχεύει στην αναπαράσταση φωνητικών, το SCNet εξισορροπεί τέσσερα stems και τα ensemble του MVSep συνδυάζουν φιλοξενούμενα στοιχεία. Το καθένα απαντά σε διαφορετικό ερώτημα για την αρχιτεκτονική, τον στόχο εξόδου, τη δημόσια διαθεσιμότητα, τη μορφή της ροής εργασίας ή τη σύμβαση εξαγωγής συμπερασμάτων.

Συμπέρασμα: επιλέξτε την αρχιτεκτονική, όχι τον όρο της μόδας

Ο διαχωρισμός τεσσάρων stems δεν είναι ένα συνοδευτικό κομμάτι με νέο όνομα ούτε ένα πεδίο όπου εφαρμόζεται το δημοφιλέστερο μοντέλο φωνητικών σε κάθε όργανο. Ζητά από το μοντέλο να εξισορροπήσει φωνητικά, ντραμς, μπάσο και λοιπά, ιδίως τα μεταβατικά των ντραμς, τις χαμηλές συχνότητες του μπάσου, τις υψηλές αρμονικές των οργάνων και το μικτό σύνολο οργάνων μέσα στα λοιπά.

Το Huge-SCNet-4stems V1.2 κατέχει σαφή θέση γύρω από αυτόν τον τυπικό στόχο τεσσάρων stems. Το Mel-Band RoFormer παραμένει σημαντικό για την κατανόηση του διαχωρισμού φωνητικών, ενώ το MVSep Ensemble παραμένει χρήσιμο ως φιλοξενούμενη αναφορά ποιότητας. Το καθένα ανήκει σε διαφορετικό επίπεδο της ιστορίας έρευνας και ανάπτυξης.