Ładowanie...

Konwersja głosu RVC i covery piosenek z AI · TelkNet

Głos i śpiewGPU obciążenia pracąAI-RVC v1.6.0 · Changelog RVC · Kod źródłowy AI-RVC · Kod źródłowy RVC v2 · Publikacja RMVPE · Kod źródłowy RMVPE · Publikacja MelBandRoformers · Wagi bs-roformer-karaoke · Wagi karaoke_bs_roformer · Wagi MVSep 9205 BS-Kar AVG (lead/back vocals) · Publikacja BS-Roformer-Leap · Wagi python-audio-separator · Kod źródłowy demucs · Kod źródłowy Leap XE / Leap Instrumental / Karaoke separation · Publikacja Leap XE / Leap Instrumental / Karaoke separation · Publikacja

Wokale cover AI

30 kredyty/wykorzystanieWejście pliku audioMaksymalnie 2048 MBSzacowany czas 180-900 sekund

Wejście

Czyste vocals, materiał okładkowy lub rozdzielone vocal stems przez łańcuch konwersji RVC v2

Formaty audio

mp3wavflacoggm4aaac

Produkcja

Przekonwertowane vocals, oryginalne vocal odniesienia oraz pobieralny dźwięk do dem i testów odsłuchowych

Przypadek użycia

Konwersja głosu na kolor, dema coverów i eksperymenty z głosem postaci

Modele, parametry i źródła

Pipeline coverów AI łączy separację, konwersję głosu RVC oraz miksowanie. Główne wejścia to plik vocal i docelowy model głosowy.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 konwertuje barwę vocal wejściowej na wybrany model głosu postaci.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Standardowe rozdzielenie vocal/akompaniamentu. BS-RoFormer Leap XE 90 to vocal stem, a BS-RoFormer Leap Instrumental pasma stem akompaniamentu.
Model głosu: wybiera docelowe wagi znaków i wskaźnik wyszukiwania.

RMVPE

AI-RVC v1.6.0 domyślnie używa RMVPE do wyznaczania wysokości dźwięków wokalu.

RVC Project Dream-High/RMVPE RMVPE

Rola wysokości dźwięku: ścieżki źródłowe vocal F0 przed konwersją, aby docelowa barwa odpowiadała melodii.
Ten tryb używa RMVPE do wyodrębniania wysokości dźwięku.
Publiczne dowody: artykuł z RMVPE Interspeech roku przedstawia najlepsze wyniki RPA/RCA/OA na wielu polifonicznych vocal wysokościowych zbiorach danych.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Rozdzielenie harmonii: MVSep 9205 zapewnia partię prowadzącą/akompaniamentową z harmonią, BS-RoFormer zespoły Leap XE 90 dostarczają vocals harmonię, a BS-RoFormer Leap Instrumental zespoły stanowią punkt odniesienia do akompaniamentu.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

Aktywne MVSep 9205 checkpoints: BS-Kar-Gabox_IS, BS-Kar-Frazer &Becruily oraz BS-Kar-Anvuew z avg_wave zespołem.
MVSep 9205 wyjścia: vocals_without_harmony plus podkład + instrumentalny z oryginalnego pełnego miksu.

Leap XE / Leap Instrumental / Karaoke separation

Pipeline AI rozdziela vocals/akompaniament przed konwersją i mixdown.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Separator główny: Leap XE 90 przygotowuje vocals, a Leap Instrumentalzny 62 przygotowuje akompaniament przed RVC.
Ścieżka harmonii: MVSep 9205 lead/back może eksportować lead i vocal stems backing przed RVC miksowaniem.
Separator: używa RoFormer, UVR5 lub Demucs przed konwersją.

Porównanie modeli

Model

Rola

Dlaczego jest używany

Wpływ na produkcję

ModelRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

RolaRdzeń konwersji głosu

Dlaczego jest używanyRVC v2 dostarcza wybrany kolor barwy celu oraz konwersję wspomaganą indeksem.

Wpływ na produkcjęPrzerobione vocals

ModelRMVPE

RVC Project Dream-High/RMVPE RMVPE

RolaEkstrakcja smoły

Dlaczego jest używanyRola wysokości dźwięku: ścieżki źródłowe vocal F0 przed konwersją, aby docelowa barwa odpowiadała melodii.

Wpływ na produkcjęKontur melodii/F0

ModelBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

RolaPrzygotowanie wokalne

Dlaczego jest używanyStandardowe rozdzielenie vocal/akompaniamentu. BS-RoFormer Leap XE 90 to vocal stem, a BS-RoFormer Leap Instrumental pasma stem akompaniamentu.

Wpływ na produkcjęWokal i akompaniament stems

ModelBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

RolaPrzygotowanie wokalne

Dlaczego jest używanyStandardowe rozdzielenie vocal/akompaniamentu. BS-RoFormer Leap XE 90 to vocal stem, a BS-RoFormer Leap Instrumental pasma stem akompaniamentu.

Wpływ na produkcjęWokal i akompaniament stems

ModelDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RolaSeparator zgodności

Dlaczego jest używanyDemucs/UVR5 pozostają użyteczne, gdy konkretne źródło zachowuje się lepiej poza RoFormer.

Wpływ na produkcjęAlternatywne stems

Wszystkie źródła ocen (1)

Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.

RMVPE · Table 1 ↗
Do wdrożenia 0 / wiersze źródłowe 6
Poza rankingiem: 6
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Notatki z artykułu i benchmarków

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT zapewnia samodzielnie nadzorowane reprezentacje mowy wykorzystywane przez potoki konwersji głosu w stylu RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE to solidny estymator vocal wysokości dźwięku Interspeech 2023, zaprojektowany do muzyki polifonicznej i używany do ekstrakcji F0 z naciskiem na jakość.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Projekt RVC jest oficjalnym źródłem technicznym dla procesu konwersji głosu opartego na pobieraniu VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Przewodnik po parametrach

Model głosu: wybiera docelowe wagi znaków i wskaźnik wyszukiwania.
Przesunięcie wysokości dźwięku: dostosowuje źródło o półtony, aby dopasować się do zakresu docelowego.
Wskaźnik indeksu: kontroluje, jak bardzo wskaźnik wyszukiwania wpływa na kolor głosu.
Tryb oficjalny · Używa separacji UVR5 i konwersji głosu RVC/Applio bez dodatkowego usuwania pogłosu ani obróbki końcowej.
Sterowanie miksem: dostosuj vocals, akompaniament, pogłos i oryginalne vocal blend.

Przypadki użycia

Demo okładek i próby głosu postaci
Zweryfikować kierunek głosu przed głębszą produkcją
Feed rozdzielał vocals na dalszy workflow śpiewu

Przepływ pracy

1Wolę przesyłać już rozdzielone materiały vocal
2Złóż zadanie konwersji z docelowym kierunkiem głosu
3Posłuchaj efektu, zanim zdecydujesz się na dalszy miks lub dopracowanie

Co sprawdzić

Im czystsze vocal, tym stabilniejszy efekt konwersji
Rozdzielenie vocals najpierw zwykle bije jak bezpośrednie podanie miksowanego dźwięku do RVC
Sprawdź spółgłoski, długie i wysokie dźwięki: czytelność wymowy, skoki wysokości i poziom wokalu z akompaniamentem.