AI Covergesang · TelkNet

Stimme und GesangGPU-Arbeitslast

AI Covergesang

Benutzer, die Stimmfarbenexperimente, Cover-Demos oder Stimmversuche mit Charakteren durchführen

Konvertierter Gesang, Original-Gesangsreferenzen und herunterladbares Audio für Demos und Hörtests

5 Credits/NutzungEingabe von AudiodateienMax. 100 MBGeschätzte 180-900 Sekunden

Eingabe

Sauberer Gesang, Covermaterial oder getrennte Gesangsstämme über eine RVC v2-Konvertierungskette

Audioformate

mp3wavflacoggm4aaac

Ausgabe

Konvertierter Gesang, Original-Gesangsreferenzen und herunterladbares Audio für Demos und Hörtests

Am besten für

Benutzer, die Stimmfarbenexperimente, Cover-Demos oder Stimmversuche mit Charakteren durchführen

Modelle, Parameter und Quellen

Die AI-Cover-Pipeline kombiniert Trennung, RVC-Sprachkonvertierung und Mixdown. Die Kerneingaben sind eine Stimmdatei und ein Zielstimmmodell.

RVC v2

RVC v2 wandelt das eingegebene Stimm-Timbre in das ausgewählte Charakter-Stimmenmodell um.

RVC Project TelkNet AI-RVC adapter HuBERT

Pipeline: RVC v2 wandelt den abgetrennten Quellgesang in das ausgewählte Stimmmodell um und mischt ihn dann mit der Begleitung.
Empfohlene TelkNet-Standardeinstellungen: aktuelle Pipeline, RoFormer-Trennzeichen, ensemble:vocal_rvc, hybrid F0, index_ratio 0,50.
Sprachmodell: Die ausgewählte voice_model_id wählt den RVC-Prüfpunkt und den optionalen FAISS-Index.

RMVPE / hybrid F0

RMVPE ist der robuste Stimmtonhöhenschätzer, der vom RVC-Pfad und der Hybrid-F0-Option verwendet wird.

RVC Project RMVPE

Pitch-Rolle: Verfolgt den Quellgesang F0 vor der Konvertierung, sodass das Ziel-Timbre der Melodie folgt.
Hybridmodus: Kombiniert RMVPE mit alternativen Extraktoren für eine erstklassige Gesangsabdeckung.
Öffentliche Beweise: Das RMVPE-Interspeech-Papier berichtet über Top-RPA/RCA/OA für mehrere polyphone Stimmtonhöhen-Datensätze.

RoFormer / Karaoke / Demucs separation

Die AI-Cover-Pipeline trennt Gesang/Begleitung vor der Konvertierung und dem Mixdown.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Primäres Trennzeichen: Das RoFormer vocal_rvc-Ensemble bereitet klare Vocals und Begleitung vor RVC vor.
Harmoniepfad: Durch die Karaoke-Lead-/Back-Trennung können Lead-Vocals, Backing-Vocals und harmoniebewusste Begleitung exportiert werden.
Fallbacks: Demucs- und UVR5-Routen bleiben aus Kompatibilitätsgründen wählbar, RoFormer ist jedoch die Standardeinstellung, bei der die Qualität an erster Stelle steht.

Modellvergleich

Modell

Rolle

Warum es verwendet wird

Auswirkungen auf die Ausgabe

ModellRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

RolleSprachkonvertierungskern

Warum es verwendet wirdRVC v2 liefert das ausgewählte Ziel-Timbre und eine indexgestützte Konvertierung.

Auswirkungen auf die AusgabeKonvertierter Gesang

ModellRMVPE / hybrid F0

RVC Project RMVPE

RolleTonhöhenextraktion

Warum es verwendet wirdRMVPE eignet sich hervorragend für polyphones Singen und ist der Tonhöhenpfad, bei dem die Qualität an erster Stelle steht.

Auswirkungen auf die AusgabeMelodie/F0-Kontur

ModellRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

RolleGesangsvorbereitung

Warum es verwendet wirdRoFormer vocal_rvc ist das Standardtrennzeichen für eine sauberere RVC-Eingabe.

Auswirkungen auf die AusgabeGesangs- und Begleit-Stems

ModellDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RolleKompatibilitätstrennzeichen

Warum es verwendet wirdDemucs/UVR5 bleiben nützlich, wenn sich eine bestimmte Quelle außerhalb von RoFormer besser verhält.

Auswirkungen auf die AusgabeAlternative Stiele

Papier- und Benchmark-Notizen

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT bietet selbstüberwachte Sprachdarstellungen, die von Sprachkonvertierungspipelines im RVC-Stil verwendet werden.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE ist ein robuster Stimmtonhöhenschätzer von Interspeech 2023, der für polyphone Musik entwickelt wurde und für die qualitätsorientierte F0-Extraktion verwendet wird.

ISCA PDF

RVC Project

Official repository - current

Das RVC-Projekt ist die offizielle technische Quelle für den abrufbasierten Sprachkonvertierungsworkflow von VITS/HuBERT.

RVC WebUI

Offiziell / Repositories

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Papiere / technische Hinweise

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Parameterleitfaden

Sprachmodell: Wählt die Zielzeichengewichte und den Abrufindex aus.
Tonhöhenverschiebung: Passt die Quelle in Halbtönen an den Zielbereich an.
Indexverhältnis: steuert, wie stark sich der Abrufindex auf die Stimmfarbe auswirkt.
F0-Methode: wählt RMVPE, CREPE, Harvest oder einen anderen Pitch-Extraktionspfad aus.
Trennzeichen: verwendet vor der Konvertierung RoFormer, UVR5 oder Demucs.
Konvertierungspipeline: Standardmäßig wird die gebündelte AI-RVC-Cover-Kette verwendet. Die offizielle 1:1-Route kann weiterhin manuell ausgewählt werden.
Mix-Regler: Passen Sie Gesang, Begleitung, Hall und Original-Gesangsmischung an.

Anwendungsfälle

Erstellen Sie Cover-Demos und Charakter-Stimmen-Testversionen
Überprüfen Sie eine Sprachrichtung, bevor Sie tiefer in die Produktion einsteigen
Führen Sie getrennte Vocals in einen nachgelagerten Gesangsworkflow ein

Arbeitsablauf

1Laden Sie lieber bereits separiertes Gesangsmaterial hoch
2Senden Sie die Konvertierungsaufgabe mit der Ziel-Sprachrichtung
3Hören Sie sich das Ergebnis an, bevor Sie sich zum weiteren Mischen oder Polieren entscheiden

Checkliste vor dem Flug

Je sauberer der Gesang ist, desto stabiler ist das Konvertierungsergebnis
Normalerweise ist es besser, zuerst den Gesang zu trennen, als gemischtes Audio direkt in RVC einzuspeisen
Die Ausgabe eignet sich für Demos und Richtungsvalidierung – eine Nachbearbeitung vor der Veröffentlichung wird dennoch empfohlen

Für die Nutzung dieses Tools ist eine Anmeldung erforderlich

Melden Sie sich an oder erstellen Sie ein Konto, um Dateien hochzuladen, Aufgaben zu senden und Ergebnisse in Ihrem Arbeitsbereich zu überprüfen.

Das Durchsuchen von Tool-Informationen ist immer kostenlos – es ist kein Konto erforderlich.