AI Διασκευή Φωνητικά · TelkNet

Φωνή & φωνητικάΦόρτος εργασίας GPU

AI Διασκευή Φωνητικά

Χρήστες που κάνουν πειράματα χρωμάτων φωνής, επιδείξεις διασκευών ή δοκιμές φωνής χαρακτήρων

Μετατρεπόμενα φωνητικά, πρωτότυπες φωνητικές αναφορές και ήχος με δυνατότητα λήψης για επιδείξεις και ακρόαση

Πιστώσεις/χρήση 5Είσοδος αρχείου ήχουΜέγιστο 100 MBΕκτιμώμενο 180-900 δευτερόλεπτα

Εισαγωγή

Καθαρά φωνητικά, υλικό διασκευής ή ξεχωριστά φωνητικά στελέχη μέσω μιας αλυσίδας μετατροπής RVC v2

Μορφές ήχου

mp3wavflacoggm4aaac

Έξοδος

Το καλύτερο για

Χρήστες που κάνουν πειράματα χρωμάτων φωνής, επιδείξεις διασκευών ή δοκιμές φωνής χαρακτήρων

Μοντέλα, παράμετροι και πηγές

Ο αγωγός κάλυψης AI συνδυάζει διαχωρισμό, μετατροπή φωνής RVC και mixdown. Οι βασικές είσοδοι είναι ένα φωνητικό αρχείο και ένα μοντέλο φωνής στόχου.

RVC v2

Το RVC v2 μετατρέπει τη φωνητική χροιά εισόδου στο επιλεγμένο μοντέλο φωνής χαρακτήρων.

RVC Project TelkNet AI-RVC adapter HuBERT

Pipeline: τα φωνητικά πηγής διαχωρίζονται, μετατρέπονται με RVC και μετά αναμειγνύονται με συνοδεία.
Προεπιλογές: η κανονική διαδρομή ακολουθεί τη διαμόρφωση του καλύμματος του πακέτου AI-RVC.
Φωνητικό μοντέλο: το επιλεγμένο σημείο ελέγχου χαρακτήρων και η χροιά ελέγχου ευρετηρίου.

RMVPE / hybrid F0

Το RMVPE παρέχει εξαγωγή τόνου για την αλυσίδα μετατροπής τραγουδιού RVC.

RVC Project RMVPE

Pitch: υπολογίζει το περίγραμμα F0 που χρησιμοποιείται από το RVC για τη διατήρηση της μελωδίας και του τονισμού.
Υβριδική λειτουργία: μπορεί να συνδυαστεί με άλλες μεθόδους F0 όταν μια πηγή είναι δύσκολη.
Πλαίσιο αναφοράς: αναφέρεται μέσω της βιβλιογραφίας για την εκτίμηση του τόνου και τις συγκρίσεις F0.

RoFormer / Karaoke / Demucs separation

Η γραμμή κάλυψης AI διαχωρίζει τα φωνητικά/τη συνοδεία πριν από τη μετατροπή και τη μίξη.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Κύρια: Ο διαχωρισμός σε στυλ RoFormer προετοιμάζει καθαρά φωνητικά για μετατροπή.
Harmony: Ο διαχωρισμός καραόκε διατηρεί τα δεύτερα φωνητικά διαθέσιμα για μίξη.
Εναλλακτικά: Οι διαδρομές τύπου Demuc/UVR παρέχουν το πλαίσιο όταν το υλικό προέλευσης είναι δύσκολο.

Σύγκριση μοντέλων

Μοντέλο

Ρόλος

Γιατί χρησιμοποιείται

Επίπτωση στην έξοδο

ΜοντέλοRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

ΡόλοςΠυρήνας μετατροπής φωνής

Γιατί χρησιμοποιείταιΕφαρμόζει την επιλεγμένη χροιά χαρακτήρων μετά τον διαχωρισμό και την εξαγωγή του τόνου.

Επίπτωση στην έξοδοΜίξη μετατροπής φωνητικού και τελικού εξωφύλλου

ΜοντέλοRMVPE / hybrid F0

RVC Project RMVPE

ΡόλοςΠρωτεύων εξαγωγέας F0

Γιατί χρησιμοποιείταιΕπιλέχθηκε για παρακολούθηση τόνου φιλική προς το τραγούδι στην προεπιλεγμένη αλυσίδα κάλυψης AI-RVC.

Επίπτωση στην έξοδοΠερίγραμμα βήματος για μετατροπή RVC

ΜοντέλοRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

ΡόλοςΕκκαθάριση φωνής πριν από τη μετατροπή

Γιατί χρησιμοποιείταιΒελτιώνει την είσοδο που δίνεται στο RVC και διατηρεί εξόδους με επίγνωση της αρμονίας για μίξη.

Επίπτωση στην έξοδοΚαθαρά φωνητικά, δεύτερα φωνητικά και στελέχη συνοδείας

ΜοντέλοDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

ΡόλοςΕναλλακτική διαδρομή ασφαλείας

Γιατί χρησιμοποιείταιΔιατηρεί τη μετατροπή χρησιμοποιήσιμη όταν ένα μοντέλο ή συσκευή εξαγωγής δεν είναι κατάλληλο για την πηγή.

Επίπτωση στην έξοδοΕναλλακτικό βήμα ή διαδρομές διαχωρισμού όταν η προτιμώμενη διαδρομή δεν είναι διαθέσιμη

Χαρτί και σημειώσεις αναφοράς

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

Η HuBERT παρέχει πλαίσιο αναπαράστασης ομιλίας για αγωγούς μετατροπής φωνής τύπου RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

Το RMVPE είναι ένας ισχυρός εκτιμητής τόνου που χρησιμοποιείται σε αγωγούς μετατροπής φωνής.

ISCA PDF

RVC Project

Official repository - current

Οι αναφορές RVC εξηγούν τη μετατροπή φωνής που βασίζεται σε ανάκτηση και γιατί οι επιλογές μοντέλου, ευρετηρίου και F0 επηρεάζουν την έξοδο.

RVC WebUI

Επίσημα / αποθετήρια

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Έγγραφα / τεχνικές σημειώσεις

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Οδηγός παραμέτρων

Μοντέλο φωνής: επιλέγει τα βάρη χαρακτήρων-στόχων και τον δείκτη ανάκτησης.
Pitch Shift: προσαρμόζει την πηγή κατά ημιτόνια ώστε να ταιριάζει με το εύρος στόχου.
Αναλογία ευρετηρίου: ελέγχει πόσο επηρεάζει το χρώμα της φωνής ο δείκτης ανάκτησης.
Μέθοδος F0: επιλέγει τα RMVPE, CREPE, Harvest ή άλλη διαδρομή εξαγωγής τόνου.
Separator: χρησιμοποιεί RoFormer, UVR5 ή Demucs πριν από τη μετατροπή.
Διοχέτευση μετατροπής: προεπιλογή για την ομαδοποιημένη αλυσίδα κάλυψης AI-RVC. η επίσημη διαδρομή 1:1 μπορεί ακόμα να επιλεγεί χειροκίνητα.
Χειριστήρια μίξης: προσαρμόστε τα φωνητικά, τη συνοδεία, την αντήχηση και το μείγμα αυθεντικών φωνητικών.

Θήκες χρήσης

Δημιουργήστε επιδείξεις εξωφύλλων και δοκιμές φωνής χαρακτήρων
Επικυρώστε μια φωνητική κατεύθυνση πριν από τη βαθύτερη παραγωγή
Τροφοδοτήστε τα διαχωρισμένα φωνητικά σε μια ροή εργασίας κατάντη τραγουδιού

Ροή εργασιών

1Προτιμήστε να ανεβάσετε ήδη διαχωρισμένο φωνητικό υλικό
2Υποβάλετε την εργασία μετατροπής με τη φωνητική κατεύθυνση προορισμού
3Ακούστε το αποτέλεσμα πριν αποφασίσετε για περαιτέρω ανάμειξη ή γυάλισμα

Λίστα ελέγχου πριν από την πτήση

Όσο πιο καθαρό είναι το φωνητικό, τόσο πιο σταθερό είναι το αποτέλεσμα μετατροπής
Ο διαχωρισμός των φωνητικών πρώτα συνήθως ξεπερνά την τροφοδοσία μικτού ήχου απευθείας στο RVC
Η έξοδος ταιριάζει σε επιδείξεις και επικύρωση κατεύθυνσης — η μετά την παραγωγή εξακολουθεί να συνιστάται πριν από τη δημόσια κυκλοφορία

Απαιτείται σύνδεση για τη χρήση αυτού του εργαλείου

Συνδεθείτε ή δημιουργήστε έναν λογαριασμό για να ανεβάσετε αρχεία, να υποβάλετε εργασίες και να ελέγξετε τα αποτελέσματα στον χώρο εργασίας σας.

Οι πληροφορίες του εργαλείου περιήγησης είναι πάντα δωρεάν - δεν απαιτείται λογαριασμός.