Μοντέλο
Vevo2: Αναδιοργάνωση τραγουδιού με βάση τρεις προϋποθέσεις: περιεχόμενο, ηχόχρωμα και ρυθμός.
Σύνθεση τραγουδιού/τεχνικές νότες
Σύνθεση τραγουδιού/τεχνικές νότες
© 2026 TelkNet. Ολα τα δικαιώματα διατηρούνται.
ΣΥΝΘΕΣΗ ΤΡΑΓΟΥΔΙΣΤΙΚΗΣ ΦΩΝΗΣ / ΤΕΧΝΙΚΟ ΣΗΜΕΙΩΜΑ
Το SoulX-Singer δέχεται στίχους και MIDI ως ρητή παρτιτούρα. Το Vevo2 καθοδηγείται από αναφορά: τα token περιεχομένου-ύφους και προσωδίας εξάγονται από ένα ηχητικό παράδειγμα προτού ένα ακουστικό μοντέλο συνθέσει την κυματομορφή-στόχο. Οι δύο διαδρομές δεν πρέπει να χρησιμοποιούν το ίδιο συμβόλαιο εισόδου.
Αν μία ακολουθία token μεταφέρει φωνήματα, τονικό ύψος, ρυθμό και χροιά, η αντικατάσταση ενός παράγοντα διαταράσσει τους υπόλοιπους. Η διαδρομή Vevo περιορίζει αυτή τη σύζευξη με χωριστούς κβαντιστές. Για την ακουστική λανθάνουσα μεταβλητή z, τα token περιεχομένου-ύφους c και τα token προσωδίας r, το flow matching μαθαίνει:
L_FM = E ||v_θ(z_t,t,c,r)-u_t||²
Η εξαγωγή ολοκληρώνει το εξαρτώμενο πεδίο ταχύτητας και ένας vocoder ανακατασκευάζει τον ήχο. Ο διαχωρισμός βελτιώνει τον έλεγχο, όμως η συνοδεία, οι ουρές αντήχησης του χώρου και τα χρονικά σφάλματα της αναφοράς μπορούν ακόμη να περάσουν στα token.
Το Vevo2 είναι κατάλληλο για τη μεταφορά ύφους τραγουδιού και προσωδίας από μια αναφορά. Δεν προσφέρει κάθε έναρξη, λήξη και velocity νότας MIDI ούτε την αντιστοίχιση στίχου-συλλαβής ως εξίσου αυστηρό συμβόλαιο επεξεργασίας. Το SoulX-Singer παραμένει η άμεση διαδρομή MIDI, ενώ το Vevo2 είναι το αντίστοιχο προφίλ που καθοδηγείται από αναφορά.
Οι αναπαραστάσεις περιεχομένου, προσωδίας και χροιάς του Vevo2 μπορούν ακόμη να διαρρέουν η μία στην άλλη, ενώ η αντήχηση, τα δεύτερα φωνητικά και η συνοδεία μολύνουν την προτροπή. Η ομοιότητα φωνής περιγράφει τη συμπεριφορά του μοντέλου· δεν παραχωρεί άδεια χρήσης της ταυτότητας ενός τραγουδιστή. Οι αναφορές και τα αποτελέσματα χρειάζονται εξουσιοδότηση και σαφή δήλωση ότι είναι συνθετικά.
Το Vevo2 είναι η διαδρομή zero-shot τραγουδιού του Amphion. Δεν διαβάζει το MIDI ως ακριβή παρτιτούρα· διαχωρίζει τις αναπαραστάσεις περιεχομένου, χροιάς, ύφους και προσωδίας και ανασυνδυάζει τον ήχο προτροπής με συνθήκες περιεχομένου. Βρίσκεται κοντά στα εργαλεία SoulX/YingMusic που καθοδηγούνται από παρτιτούρα, αλλά δεν είναι εναλλάξιμο με αυτά.
Παλαιότερα συστήματα μετατροπής και παραγωγής συχνά συσκεύαζαν ομιλητή, συναίσθημα και ρυθμό σε μία λανθάνουσα αναπαράσταση. Το Vevo χρησιμοποιεί ιεραρχική κβάντιση και παραγωγή για να περιορίσει τη σύζευξη. Η ικανότητα zero-shot προκύπτει από τα δεδομένα και την κωδικοποίηση της προτροπής· μια τυχαία σύντομη αναφορά δεν εγγυάται σταθερή ταυτότητα, στίχους και μελωδία.
ŷ=G(q_content(x_c),q_prosody(x_r),e_timbre(x_r))q_contentαναπαράσταση περιεχομένουq_prosodyαναπαράσταση προσωδίαςe_timbreενσωμάτωση χροιάςΈνας tokenizer περιεχομένου διατηρεί τους στίχους και την άρθρωση, ένας tokenizer προσωδίας μεταφέρει τον ρυθμό και το περίγραμμα, ενώ μια ενσωμάτωση χροιάς παρέχει ενδείξεις ταυτότητας. Η γεννήτρια τα ανασυνδυάζει· ο διαχωρισμός είναι στόχος και όχι εγγύηση.
Η διαδρομή του Vevo2 που καθοδηγείται από προτροπή δεν ακολουθεί παρτιτούρα MIDI. Η σύγκριση με τα SoulX/YingMusic πρέπει πρώτα να ορίσει αν ο στόχος είναι μεταφορά ύφους βάσει προτροπής ή επεξεργάσιμες νότες και ακριβής διάρκεια.
Η εργασία, ο κώδικας και τα βάρη είναι διαθέσιμα μέσω των πηγών κώδικας Amphion Vevo2 / βάρη Vevo2 / εργασία Vevo2.
Κάθε γραμμή διατηρεί την αρχιτεκτονική, τη μετρική ή τον ορισμό εργασίας της πηγής της· τα αποτελέσματα χωρίς κοινό πρωτόκολλο παραμένουν χωριστά.
| Μοντέλο | Αρχιτεκτονική ή τεκμήριο | Πεδίο |
|---|---|---|
| Vevo2 | περιεχόμενο μαζί με προτροπή zero-shot για ύφος/χροιά | διαχωρισμός, ταυτότητα και διακύμανση δειγματοληψίας |
| SoulX-Singer | τραγούδι καθοδηγούμενο από αναφορά | χροιά και στίχοι με την ίδια προτροπή |
| YingMusic-Singer-Plus | στίχοι μαζί με μελωδία/παρτιτούρα | νότες, διάρκεια και δυνατότητα επεξεργασίας |
Δημιουργήστε επανειλημμένα δείγματα από την ίδια προτροπή και εξετάστε χωριστά την καθαρότητα των στίχων, το περίγραμμα του τονικού ύψους, τον ρυθμό και τη χροιά. Η επιλογή ενός μόνο επιτυχημένου αποτελέσματος αποκρύπτει τη διακύμανση· η συνοδεία, τα δεύτερα φωνητικά και η αντήχηση δυσκολεύουν τον διαχωρισμό.
Καθορίστε τον στόχο όταν συγκρίνετε συστήματα που καθοδηγούνται από παρτιτούρα: το Vevo2 είναι κατάλληλο για μεταφορά ύφους/χροιάς βάσει προτροπής, ενώ τα μοντέλα MIDI/στίχων είναι κατάλληλα για επεξεργάσιμες νότες και ακριβή διάρκεια. Δεν μοιράζονται μία ενιαία τιμή ακρίβειας.
Ο διαχωρισμός των αναπαραστάσεων δεν ισοδυναμεί με αφαίρεση ταυτότητας. Τα χαρακτηριστικά πηγής και στόχου μπορούν να διαρρεύσουν και δεν υπάρχει εγγύηση ότι το αποτέλεσμα είναι ανώνυμο.
Οι προτροπές τραγουδιού απαιτούν άδεια και ο παραγόμενος ήχος χρειάζεται σαφή γνωστοποίηση. Η ομοιότητα δεν επιτρέπει την πλαστοπροσωπία.
Τα ονόματα μοντέλων, οι αριθμοί και οι περιορισμοί τεκμηριώνονται στις παρακάτω εργασίες, αποθετήρια ή κάρτες μοντέλων.