Lädt...

RVC-Stimmumwandlung und KI-Songcover · TelkNet

Stimme und GesangGPU ArbeitsbelastungAI-RVC v1.6.0 · Wechselbuch RVC · Quellcode AI-RVC · Quellcode RVC v2 · Publikation RMVPE · Quellcode RMVPE · Publikation MelBandRoformers · Gewichte bs-roformer-karaoke · Gewichte karaoke_bs_roformer · Gewichte MVSep 9205 BS-Kar AVG (lead/back vocals) · Publikation BS-Roformer-Leap · Gewichte python-audio-separator · Quellcode demucs · Quellcode Leap XE / Leap Instrumental / Karaoke separation · Publikation Leap XE / Leap Instrumental / Karaoke separation · Publikation

KI-Covergesang

30 Credits/NutzungAudiodatei-EingangMaximal 2048 MBGeschätzte 180-900 Sekunden

Eingabe

Reinigen Sie vocals, decken Sie das Material ab oder trennen Sie vocal stems durch eine RVC-v2-Umwandlungskette

Audioformate

mp3wavflacoggm4aaac

Ausgabe

Konvertierte vocals, Original-vocal-Referenzen und herunterladbare Audiodateien für Demos und Hörtests

Anwendungsfall

Stimm-Farb-Konvertierung, Cover-Demos und Charakter-Stimmenexperimente

Schnelles Feedback

Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.

Modelle, Parameter und Quellen

Die KI-Cover-Pipeline kombiniert Trennung, RVC Sprachumwandlung und Mixdown. Die Kerneingaben sind eine vocal-Datei und ein Ziel-Sprachmodell.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 wandelt die Eingabe vocal Klangfarbe in das ausgewählte Charakter-Sprachmodell um.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Standard-vocal-/Begleittrennung. BS-RoFormer Leap XE 90-Bänder geben die vocal stem aus, und BS-RoFormer Leap Instrumental-Bänder geben die Begleitung stem aus.
Sprachmodell: wählt die Zielgewichte und den Abrufindex aus.

RMVPE

AI-RVC v1.6.0 verwendet standardmäßig RMVPE zur Ermittlung der Gesangstonhöhe.

RVC Project Dream-High/RMVPE RMVPE

Tonhöhenrolle: Verfolgt Quelle vocal F0 vor der Umwandlung, sodass der Zieltimbre der Melodie folgt.
Dieser Modus nutzt RMVPE zur Tonhöhenextraktion.
Öffentliche Beweise: Die RMVPE Interspeech Studie berichtet über die besten RPA/RCA/OA auf mehreren polyphonen vocal Tonfalldatensätzen.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Harmonie-Trennung: MVSep 9205 liefert das Lead-/Begleiter-mit-Harmonie-Element, BS-RoFormer Leap XE 90 Bands vocals mit Harmonie, und BS-RoFormer Leap Instrumental Bands liefern die Begleitreferenz.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

Aktive MVSep 9205 checkpoints: BS-Kar-Gabox_IS, BS-Kar-Frazer&Becruily und BS-Kar-Anvuew mit avg_wave Ensemble.
MVSep 9205 Ausgaben: vocals_without_harmony plus Begleitung+instrumental aus dem originalen Komplettmix.

Leap XE / Leap Instrumental / Karaoke separation

Die KI-Cover-Pipeline trennt vocals/Begleitung vor der Umwandlung und dem Mixdown.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Primärer Trenner: Leap XE 90 bereitet vocals vor, und Leap Instrumental Public 62 bereitet Begleitung vor RVC vor.
Harmoniepfad: MVSep 9205 Lead/Back kann Lead und Backing vocal stems exportieren, bevor RVC Mischen beginnt.
Separator: verwendet vor der Umwandlung RoFormer, UVR5 oder Demucs.

Modellvergleich

Modell

Rolle

Warum es verwendet wird

Auswirkung der Ausgabe

ModellRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

RolleKern der Sprachumwandlung

Warum es verwendet wirdRVC v2 liefert die ausgewählte Zieltimbre und die indexunterstützte Umwandlung.

Auswirkung der AusgabeUmgewandelte vocals

ModellRMVPE

RVC Project Dream-High/RMVPE RMVPE

RolleTüch-Extraktion

Warum es verwendet wirdTonhöhenrolle: Verfolgt Quelle vocal F0 vor der Umwandlung, sodass der Zieltimbre der Melodie folgt.

Auswirkung der AusgabeMelodie/F0-Kontur

ModellBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

RolleGesangsvorbereitung

Warum es verwendet wirdStandard-vocal-/Begleittrennung. BS-RoFormer Leap XE 90-Bänder geben die vocal stem aus, und BS-RoFormer Leap Instrumental-Bänder geben die Begleitung stem aus.

Auswirkung der AusgabeGesang und Begleitung stems

ModellBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

RolleGesangsvorbereitung

Warum es verwendet wirdStandard-vocal-/Begleittrennung. BS-RoFormer Leap XE 90-Bänder geben die vocal stem aus, und BS-RoFormer Leap Instrumental-Bänder geben die Begleitung stem aus.

Auswirkung der AusgabeGesang und Begleitung stems

ModellDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RolleKompatibilitätstrenner

Warum es verwendet wirdDemucs/UVR5 bleiben nützlich, wenn sich eine bestimmte Quelle außerhalb RoFormer besser verhält.

Auswirkung der AusgabeAlternative stems

Alle Bewertungsquellen (1)

Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.

RMVPE · Table 1 ↗
Ausführbare Einträge 0 / Originalzeilen 6
Nicht eingestuft: 6
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Papier- und Benchmark-Notizen

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT bietet selbstüberwachte Sprachrepräsentationen, die von RVC-ähnlichen Sprachkonvertierungs-Pipelines verwendet werden.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE ist ein robuster Interspeech 2023 vocal Tonhöhenschätzer, der für polyphone Musik entwickelt wurde und für die qualitativ hochwertige F0-Extraktion verwendet wird.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Das RVC-Projekt ist die offizielle technische Quelle für den VITS/HuBert-Abruf-basierten Sprachkonvertierungsworkflow.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Parameterleitfaden

Sprachmodell: wählt die Zielgewichte und den Abrufindex aus.
Tonverschiebung: Passt die Quelle um Halbtöne an, um dem Zielbereich gerecht zu werden.
Indexverhältnis: Bestimmt, wie sehr der Abrufindex die Stimmfarbe beeinflusst.
Offizieller Modus · Verwendet UVR5-Trennung und Stimmumwandlung von RVC/Applio ohne zusätzliche Enthallung oder Nachbearbeitung.
Mix-Steuerung: Passen Sie vocals, Begleitung, Hall und Original-vocal-Blend an.

Anwendungsfälle

Build-Cover-Demos und Charakter-Stimm-Tests
Validiere eine Stimmrichtung vor tieferer Produktion
Feed trennte vocals in einen nachgelagerten Sing-Workflow

Arbeitsablauf

1Ich bevorzuge es, bereits getrennte vocal Materialien hochzuladen
2Reichen Sie die Umwandlungsaufgabe mit der Ziel-Sprachanweisung ein
3Hören Sie sich das Ergebnis an, bevor Sie sich für weiteres Mischen oder Polieren entscheiden

Prüfpunkte

Je sauberer der vocal, desto stabiler ist das Umwandlungsergebnis
Das Trennen vocals zuerst schlägt normalerweise das direkte Einspeisen von gemischtem Audio in RVC
Prüfe Konsonanten, gehaltene und hohe Töne auf Verständlichkeit, Tonhöhensprünge und Gesangslautstärke in der Mischung mit der Begleitung.