SoulX-Singer και YingMusic-Singer-Plus: μονάδα δίσκου και αναφορά μελωδίας, δύο διαδρομές σύνθεσης φωνής τραγουδιού

ΣΥΝΘΕΣΗ ΤΡΑΓΟΥΔΙΣΤΙΚΗΣ ΦΩΝΗΣ

Η λειτουργία score του SoulX δέχεται μεταδεδομένα που προέρχονται από MIDI. Το YingMusic-Singer-Plus δέχεται ένα απόσπασμα τραγουδιού που παρέχει τη μελωδία μαζί με τους επιθυμητούς στίχους. Το πρώτο χρειάζεται ευθυγράμμιση νότας και στίχου, ενώ το δεύτερο κωδικοποιεί τη μελωδία από τον ήχο.

Παραγωγή υπό συνθήκη

Η διαδρομή παραγωγής ακολουθεί την εξίσωση dx_t/dt = v_θ(x_t,t | l,m,r), με το πεδίο ταχύτητας να εξαρτάται από τους στίχους, τη μελωδία και την αναφορά χροιάς. Η λανθασμένη ευθυγράμμιση στρέφει αυτή την ολοκληρωμένη διαδρομή προς έναν κακό συμβιβασμό ανάμεσα στην προφορά, τον ρυθμό και τη φωνητική ταυτότητα.

Ευθυγράμμιση

Το SoulX μετατρέπει το MIDI σε τμηματοποιημένα μεταδεδομένα· οι συλλαβές πρέπει να συμφωνούν με τις ενάρξεις των νοτών. Το YingMusic αποφεύγει το ρητό MIDI, αλλά χρειάζεται μια καθαρή μελωδική φωνή, επειδή η διαρροή της συνοδείας μολύνει την αναπαράσταση της μελωδίας του.

Οι δημοσιευμένες διεπαφές διαφέρουν

Το SoulX-Singer επικεντρώνεται σε MIDI, στίχους και μια προτροπή χροιάς. Το YingMusic-Singer-Plus δίνει επιπλέον έμφαση στην ευέλικτη επεξεργασία στίχων και στην καθοδήγηση από μελωδία χωρίς επισημείωση κάθε νότας. Η σύγκριση πρέπει να διαχωρίζει το τονικό ύψος, τη διάρκεια, την άρθρωση και τη χροιά αναφοράς, αντί να περιορίζει και τα δύο συστήματα σε έναν ενιαίο διακόπτη τραγουδιού.

Από σταθερές πηγές σε διαχωρισμό υπό συνθήκη

Η σύμβαση εισόδου καθορίζει τι μπορεί να κάνει ένα σύστημα τραγουδιού. Το SoulX-Singer δίνει έμφαση στη zero-shot χροιά και στην παραγωγή τραγουδιού, ενώ το YingMusic-Singer-Plus συνδυάζει τους στίχους με συνθήκες μελωδίας ή παρτιτούρας. Και τα δύο παράγουν τραγούδι, αλλά το ένα εξαρτάται περισσότερο από τον ήχο αναφοράς και το άλλο από τη δομημένη μουσική.

Η σύνθεση τραγουδιού εξελίχθηκε από τη συνένωση και τα ακουστικά μοντέλα, στους νευρωνικούς vocoder, στα codec token και στις μεγάλες γεννήτριες. Το επίμονο πρόβλημα είναι η ευθυγράμμιση ανάμεσα στα φωνήματα, στη διάρκεια των νοτών, στο vibrato, στις αναπνοές και στη χροιά. Ένα εύηχο ρεφρέν μπορεί να κρύβει λανθασμένους στίχους και χρονική ολίσθηση από μέτρο σε μέτρο.

**Επίσημο ραντάρ υποκειμενικής απόδοσης του SoulX-Singer**Οι διαστάσεις που ελέγχονται από παρτιτούρα και από μελωδία προέρχονται από το δημοσιευμένο υλικό του SoulX-Singer.Επίσημη πηγή: assets/performance_radar.png

Οι συνθήκες παρτιτούρας και οι αναφορές μελωδίας δεν είναι εναλλάξιμες

ŝ=G(lyrics, pitch, duration, e_timbre, c_style)

pitchτονικό ύψος ή περίγραμμα μελωδίας
durationδιάρκεια νότας
e_timbreχροιά από εξουσιοδοτημένη προτροπή

Το SoulX-Singer χρησιμοποιεί στίχους, MIDI/μεταδεδομένα και μια προτροπή χροιάς· το YingMusic-Singer-Plus δέχεται πιο ευέλικτη καθοδήγηση μελωδίας. Το τονικό ύψος και η διάρκεια είναι επεξεργάσιμες συνθήκες παρτιτούρας, ενώ μια αναφορά μελωδίας μεταφέρει πρόσθετες πληροφορίες ερμηνείας.

Η ακρίβεια του τονικού ύψους, η διάρκεια, η καθαρότητα των στίχων, η ομοιότητα της χροιάς και οι αναπνοές είναι ξεχωριστοί έλεγχοι. Ένα επιλεγμένο δείγμα υψηλής νότας δεν μπορεί να τεκμηριώσει σταθερότητα σε ολόκληρο τραγούδι.

Το άρθρο, ο κώδικας και τα βάρη είναι προσβάσιμα μέσω των SoulX-Singer / άρθρο SoulX-Singer / YingMusic-Singer-Plus.

**Επίσημη αρχιτεκτονική του YingMusic-Singer-Plus**Οι διαδρομές εκπαίδευσης και inference, η εξαγωγή μελωδίας, το IPA και το conditional flow matching προέρχονται από το ίδιο το διάγραμμα του έργου.Επίσημη πηγή: assets/YingMusic-Singer.drawio.svg

Συγκρίσιμα αποτελέσματα με έναν κοινό ορισμό stem

Κάθε σειρά διατηρεί την αρχιτεκτονική, τη μετρική ή τον ορισμό εργασίας της πηγής της· τα αποτελέσματα χωρίς κοινό πρωτόκολλο παραμένουν χωριστά.

Μοντέλο	Αρχιτεκτονική ή τεκμήριο	Πεδίο
SoulX-Singer	zero-shot τραγούδι καθοδηγούμενο από αναφορά	ταυτότητα, στίχοι και σταθερότητα μεγάλης διάρκειας
YingMusic-Singer-Plus	στίχοι μαζί με μελωδία/παρτιτούρα	ευθυγράμμιση, φωνητική έκταση και tempo
παραδοσιακή αλυσίδα σύνθεσης τραγουδιού	ρητά ακουστικά χαρακτηριστικά μαζί με vocoder	σαφής έλεγχος αλλά περιορισμένη διατομεακή φυσικότητα

**Επίσημα αποτελέσματα επεξεργασίας του YingMusic-Singer-Plus**Τα αποτελέσματα ελέγχου μελωδίας και επεξεργασίας στίχων στα κινεζικά και στα αγγλικά διατηρούν την αρχική ομαδοποίηση εργασιών του έργου.Επίσημη πηγή: assets/results.png

Ακρόαση stem και συνέπεια της μίξης

Συγκρίνετε κάθε λέξη για παραλείψεις, καταπιωμένα σύμφωνα, επαναλήψεις και χρονισμό συμφώνων και κατόπιν εξετάστε την είσοδο στο τονικό ύψος, τα γλιστρήματα και το vibrato. Η φυσικότητα δεν υποκαθιστά την ακρίβεια του περιεχομένου.

Διατηρήστε σταθερά την τονικότητα, το BPM, το μέτρο και το απόσπασμα αναφοράς. Η συνοδεία και η αντήχηση της αναφοράς μπορούν να αντιγραφούν στην έξοδο.

Τα όρια του ορισμού stem στο σύνολο δεδομένων

Η κλωνοποίηση τραγουδιστή απαιτεί ρητή άδεια και δεν πρέπει να διευκολύνει πλαστοπροσωπία, εξαπάτηση ή παράκαμψη δικαιωμάτων.

Το μοντέλο δεν αντικαθιστά την ενορχήστρωση ή τη φωνητική καθοδήγηση. Η έκταση, η άρθρωση, το συναίσθημα και οι γλωσσικές συνήθειες εξακολουθούν να απαιτούν ανθρώπινη εργασία.

Άρθρα και δημόσια αρχεία για το SoulX-Singer

Τα ονόματα των μοντέλων, οι αριθμοί και οι περιορισμοί παραπέμπουν στα παρακάτω άρθρα, αποθετήρια ή κάρτες μοντέλων.