HQ-SVC και YingMusic-SVC: αποσυναρμολόγηση του περιεχομένου, F0, ενέργειας και χροιάς της μετατροπής φωνής τραγουδιού
Μετατροπή φωνής τραγουδιού / Σύγκριση τεχνολογίας
ΜΕΤΑΤΡΟΠΗ ΤΡΑΓΟΥΔΙΣΤΙΚΗΣ ΦΩΝΗΣ
Το SVC δεν αναμειγνύει την αναφορά-στόχο με την πηγή. Πρέπει να διατηρεί τους στίχους, τον χρονισμό και τη μελωδία της πηγής, αντικαθιστώντας τα στατιστικά της χροιάς. Η διαρροή περιεχομένου μετατρέπεται σε σφάλματα προφοράς ή σε διείσδυση ήχου από το υπόβαθρο.
Εξάρτηση από το τονικό ύψος
Το τονικό ύψος μπορεί να εκφραστεί σε ημιτόνια ως p=69+12log₂(f₀/440). Η αυτόματη μετατόπιση της φωνητικής έκτασης βοηθά όταν υπάρχουν μεγάλες διαφορές μεταξύ περιοχών, αλλά τα σφάλματα του F0 μετατρέπουν τις ολισθήσεις, την αναπνοή και την αρμονία σε λανθασμένες μελωδικές ενδείξεις.
Τι παρέχουν πραγματικά οι δύο εκδόσεις
Η κάρτα μοντέλου του HQ-SVC περιλαμβάνει κώδικα εξαγωγής συμπερασμάτων, FACodec, RMVPE και πόρους φωνοκωδικοποιητή. Το YingMusic-SVC δημοσιεύει έναν προσαρμογέα που λαμβάνει υπόψη το F0, ενεργειακά εξισορροπημένη αντιστοίχιση ροής και εκπαίδευση για αρμονικές παρεμβολές πραγματικών συνθηκών. Χωρίς κοινό σύνολο δοκιμών, το δημόσιο υλικό δεν τεκμηριώνει έναν νικητή μεταξύ των έργων.
Δύο μορφές επιμόλυνσης της εισόδου
Η διαρροή της συνοδείας στην πηγή αποκτά νέα χροιά κατά τη μετατροπή, ενώ η αντήχηση ή ο θόρυβος υποβάθρου στο δείγμα-στόχο μπορεί να εκληφθεί ως ταυτότητα. Τόσο η πηγή των κύριων φωνητικών όσο και η αναφορά-στόχος πρέπει να είναι καθαρές, και ο μετατραπείς ήχος χρειάζεται σαφή γνωστοποίηση ότι είναι συνθετικός.
Από σταθερές πηγές σε εξαρτημένο διαχωρισμό
Η μετατροπή τραγουδιστικής φωνής διατηρεί τους στίχους και τη μελωδία μιας εκτέλεσης, ενώ αντικαθιστά την αναπαράσταση που σχετίζεται με τη χροιά. Το HQ-SVC δίνει έμφαση σε μια αλυσίδα μετατροπής υψηλής ποιότητας· το YingMusic-SVC προσφέρει έναν διαφορετικό σχεδιασμό εξάρτησης από το περιεχόμενο, το F0 και τον τραγουδιστή. Σε αντίθεση με τη σύνθεση, η είσοδος είναι μια ήδη υπάρχουσα τραγουδιστική εκτέλεση.
Το SVC εξελίχθηκε από τη φασματική αντιστοίχιση προς κωδικοποιητές περιεχομένου, ρητό F0, παραγωγικούς αποκωδικοποιητές και ισχυρότερες αναπαραστάσεις τραγουδιστή. Ο διαχωρισμός παραμένει ατελής: η προφορά, η δυναμική και οι διαμορφωτές της πηγής μπορούν να διαρρεύσουν, ενώ ο ήχος του χώρου από την αναφορά-στόχο μπορεί να αντιγραφεί.
Η μετατροπή τραγουδιού διαχωρίζει το περιεχόμενο από τη χροιά-στόχο
ŷ=G(c(x_src),F0(x_src),E(x_src),e(x_ref))c(x_src)γλωσσικό περιεχόμενοF0,Eμελωδία και ενέργειαe(x_ref)συνθήκη χροιάς-στόχου
Το περιεχόμενο, το F0 και η ενέργεια προέρχονται από την εκτέλεση της πηγής· η χροιά-στόχος προέρχεται από την αναφορά. Ο ατελής διαχωρισμός αφήνει στοιχεία της ταυτότητας της πηγής ή μεταφέρει τον χρωματισμό του χώρου.
Μια πλήρης μίξη χρειάζεται πρώτα ένα καθαρό stem κύριων φωνητικών. Η διαρροή του διαχωρισμού αποκτά νέα χροιά κατά τη μετατροπή και μπορεί να γίνει δυσκολότερη στην αφαίρεση, επομένως τα δύο στάδια πρέπει να ελέγχονται μαζί.
Οι δημοσιεύσεις, ο κώδικας και τα βάρη είναι διαθέσιμα μέσω των HQ-SVC / YingMusic-SVC / δημοσίευση YingMusic-SVC.
Συγκρίσιμα αποτελέσματα με έναν ορισμό stem
Κάθε σειρά διατηρεί την αρχιτεκτονική, τη μετρική ή τον ορισμό εργασίας της πηγής της· τα αποτελέσματα χωρίς κοινό πρωτόκολλο παραμένουν χωριστά.
| Μοντέλο | Αρχιτεκτονική ή τεκμήριο | Πεδίο |
|---|---|---|
| HQ-SVC | προεπιλεγμένη αλυσίδα υψηλής ποιότητας | πιστότητα, καθαρότητα και σταθερότητα στην υψηλή περιοχή |
| YingMusic-SVC | σύγκριση περιεχομένου/F0/χροιάς | διατήρηση μεταξύ τραγουδιστών και γλωσσών |
| διαχωρισμός πηγών + SVC | πλήρης διαδρομή για μικτή είσοδο | η διαρροή από τον διαχωρισμό μεταφέρεται στη μετατροπή |
Ακρόαση stems και συνέπεια της μίξης
Ελέγξτε πρώτα τους στίχους και τον ρυθμό, έπειτα τα άλματα τονικού ύψους, τα συριστικά σύμφωνα, την αναπνευστικότητα και τα σπασίματα στην υψηλή περιοχή. Η αυτόματη μεταφορά αλλάζει τη φωνητική καταπόνηση και δεν μπορεί να συνοψιστεί από τη μέση ομοιότητα.
Χρησιμοποιήστε μια στεγνή, σόλο αναφορά-στόχο χωρίς συνοδεία και με χρήσιμη φωνητική έκταση. Ένα σύντομο δείγμα με αντήχηση μπορεί να μετατρέψει τον χρωματισμό του χώρου σε φαινομενική ταυτότητα.
Τα όρια του ορισμού stem στο σύνολο δεδομένων
Η μετατροπή δεν καταργεί τα πνευματικά ή τα δικαιώματα του ερμηνευτή. Η δημόσια κυκλοφορία απαιτεί άδεια τόσο για την εκτέλεση της πηγής όσο και για την ταυτότητα-στόχο.
Το σύστημα δεν εγγυάται ανωνυμοποίηση· χαρακτηριστικά της πηγής μπορεί να παραμείνουν, επομένως το SVC δεν είναι φίλτρο ιδιωτικότητας.
Δημοσιεύσεις και δημόσια αρχεία για το HQ-SVC
Τα ονόματα μοντέλων, οι αριθμοί και οι περιορισμοί προέρχονται από τις παρακάτω δημοσιεύσεις, τα αποθετήρια ή τις κάρτες μοντέλων.