Wokale w coverach AI · TelkNet

Głos i wokalObciążenie GPU

Wokale w coverach AI

Użytkownicy przeprowadzający eksperymenty z kolorem głosu, demonstracje okładek lub próby głosu postaci

Przekonwertowane wokale, oryginalne odniesienia do wokali i pliki audio do pobrania na potrzeby wersji demonstracyjnych i testów odsłuchowych

Kredyty/wykorzystanie 5Wejście pliku audioMaks. 100 MBSzacowane 180-900 sekundy

Wejście

Czysty wokal, materiał coverowy lub oddzielne ścieżki wokalne poprzez łańcuch konwersji RVC v2

Formaty audio

mp3wavflacoggm4aaac

Wyjście

Przekonwertowane wokale, oryginalne odniesienia do wokali i pliki audio do pobrania na potrzeby wersji demonstracyjnych i testów odsłuchowych

Najlepsze dla

Użytkownicy przeprowadzający eksperymenty z kolorem głosu, demonstracje okładek lub próby głosu postaci

Modele, parametry i źródła

Potok AI obejmuje separację, konwersję głosu RVC i miksowanie. Podstawowe dane wejściowe to plik wokalny i docelowy model głosu.

RVC v2

RVC v2 konwertuje barwę wejściowego wokalu na model głosu wybranej postaci.

RVC Project TelkNet AI-RVC adapter HuBERT

Pipeline: RVC v2 konwertuje oddzielony wokal źródłowy na wybrany model głosu, a następnie miksuje z akompaniamentem.
Zalecane ustawienia domyślne TelkNet: bieżący potok, separator RoFormer, zespół:vocal_rvc, hybryda F0, wskaźnik_indeksu 0,50.
Model głosu: wybrany identyfikator_modelu głosu wybiera punkt kontrolny RVC i opcjonalny indeks FAISS.

RMVPE / hybrid F0

RMVPE to solidny estymator wysokości głosu używany w ścieżce RVC i hybrydowej opcji F0.

RVC Project RMVPE

Rola wysokości tonu: śledzi źródłowy wokal F0 przed konwersją, tak aby docelowa barwa odpowiadała melodii.
Tryb hybrydowy: łączy RMVPE z alternatywnymi ekstraktorami, zapewniając najwyższej jakości pokrycie śpiewu.
Dowody publiczne: artykuł RMVPE Interspeech opisuje najlepsze RPA/RCA/OA w wielu zbiorach danych o polifonicznej wysokości głosu.

RoFormer / Karaoke / Demucs separation

Potok AI coverów oddziela wokale/akompaniament przed konwersją i miksowaniem.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Główny separator: zespół RoFormer wokal_rvc przygotowuje czyste wokale i akompaniament przed RVC.
Ścieżka harmonii: Separacja lead/back w Karaoke umożliwia eksport wokali prowadzących, chórków i akompaniamentu uwzględniającego harmonię.
Awarie: Trasy Demucs i UVR5 pozostają do wyboru ze względu na kompatybilność, ale RoFormer jest domyślnym rozwiązaniem stawiającym na jakość.

Porównanie modeli

Modelka

Rola

Dlaczego się go używa

Wpływ wyjściowy

ModelkaRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

RolaRdzeń konwersji głosu

Dlaczego się go używaRVC v2 zapewnia wybraną docelową barwę i konwersję wspomaganą indeksem.

Wpływ wyjściowyPrzekonwertowany wokal

ModelkaRMVPE / hybrid F0

RVC Project RMVPE

RolaEkstrakcja smoły

Dlaczego się go używaRMVPE jest odporny na śpiew polifoniczny i jest ścieżką dźwiękową o najwyższej jakości.

Wpływ wyjściowyKontur melodii/F0

ModelkaRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

RolaPrzygotowanie wokalne

Dlaczego się go używaRoFormer wokal_rvc jest domyślnym separatorem zapewniającym czystsze wejście RVC.

Wpływ wyjściowyWokale i akompaniamenty

ModelkaDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

RolaSeparator zgodności

Dlaczego się go używaDemucs/UVR5 pozostają przydatne, gdy określone źródło zachowuje się lepiej poza RoFormerem.

Wpływ wyjściowyAlternatywne łodygi

Notatki papierowe i porównawcze

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT zapewnia samonadzorowane reprezentacje mowy używane przez potoki konwersji głosu w stylu RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE to solidny estymator wysokości głosu Interspeech 2023 przeznaczony do muzyki polifonicznej i używany do ekstrakcji F0 o najwyższej jakości.

ISCA PDF

RVC Project

Official repository - current

Projekt RVC jest oficjalnym źródłem technicznym procesu konwersji głosu opartego na wyszukiwaniu VITS/HuBERT.

RVC WebUI

Oficjalne / repozytoria

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Dokumenty/notatki techniczne

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Przewodnik po parametrach

Model głosu: wybiera docelową wagę znaków i indeks wyszukiwania.
Pitch shift: dostosowuje źródło o pół tony, aby dopasować je do zakresu docelowego.
Współczynnik indeksu: kontroluje, w jakim stopniu indeks wyszukiwania wpływa na kolor głosu.
Metoda F0: wybiera RMVPE, CREPE, Harvest lub inną ścieżkę ekstrakcji smoły.
Separator: używa RoFormer, UVR5 lub Demucs przed konwersją.
Potok konwersji: domyślnie jest to dołączony łańcuch osłon AI-RVC; oficjalną trasę 1:1 można nadal wybrać ręcznie.
Sterowanie miksowaniem: dostosuj wokal, akompaniament, pogłos i mieszankę oryginalnego wokalu.

Przypadki użycia

Twórz wersje demonstracyjne okładek i wersje próbne głosu postaci
Zweryfikuj kierunek głosu przed głębszą produkcją
Podaj oddzielne wokale do dalszego procesu śpiewania

Przepływ pracy

1Wolę przesłać już oddzielony materiał wokalny
2Prześlij zadanie konwersji z docelowym kierunkiem głosu
3Posłuchaj wyniku, zanim podejmiesz decyzję o dalszym mieszaniu lub polerowaniu

Lista kontrolna przed lotem

Im czystszy wokal, tym stabilniejszy wynik konwersji
Oddzielenie najpierw wokalu zwykle jest lepsze od wprowadzenia zmiksowanego dźwięku bezpośrednio do RVC
Dane wyjściowe odpowiadają demom i weryfikacji kierunku — nadal zaleca się postprodukcję przed publikacją

Aby móc korzystać z tego narzędzia, wymagane jest zalogowanie się

Zaloguj się lub utwórz konto, aby przesyłać pliki, przesyłać zadania i przeglądać wyniki w swoim obszarze roboczym.

Informacje o narzędziach do przeglądania są zawsze bezpłatne – nie jest potrzebne żadne konto.