Загрузка...

Преобразование голоса RVC и ИИ-каверы песен · TelkNet

Голос и пениеGPU нагрузкаAI-RVC v1.6.0 · Журнал изменений RVC · Исходный код AI-RVC · Исходный код RVC v2 · Статья RMVPE · Исходный код RMVPE · Статья MelBandRoformers · Веса bs-roformer-karaoke · Веса karaoke_bs_roformer · Веса MVSep 9205 BS-Kar AVG (lead/back vocals) · Статья BS-Roformer-Leap · Веса python-audio-separator · Исходный код demucs · Исходный код Leap XE / Leap Instrumental / Karaoke separation · Статья Leap XE / Leap Instrumental / Karaoke separation · Статья

Кавер-вокал AI

30 кредиты/использованиеВвод аудиофайловМаксимум 2048 MBОценка 180-900 секунд

Вход

Очистить vocals, покрыть материал или отделить vocal stems через цепочку преобразования RVC v2

Аудиоформаты

mp3wavflacoggm4aaac

Результаты

Конвертированные vocals, оригинальные vocal ссылки и загружаемое аудио для демонстраций и тестов прослушивания

Сценарий использования

Конвертация цвета голоса, демо обложек и эксперименты с голосом персонажей

Быстрый отзыв

В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.

Модели, параметры и источники

AI-конвейер каверов сочетает разделение, RVC-преобразование голоса и сведение. Основные входы — это vocal файл и целевая голосовая модель.

RVC v2RMVPEMVSep 9205 BS-Kar AVG (lead/back vocals)BS-RoFormer Leap XE 90 bands (vocals pre-separation)BS-RoFormer Leap Instrumental (accompaniment pre-separation)Leap XE / Leap Instrumental / Karaoke separationDemucs / UVR5 fallbackRMVPE Interspeech Table 1 — MIR-1KRMVPEPolyCREPEHARMOF0JDC

RVC v2

RVC v2 преобразует вход vocal тембр в выбранную модель голоса персонажа.

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

Стандартное разделение vocal/аккомпанемента. BS-RoFormer диапазоны Leap XE 90 выводят vocal stem, а диапазоны BS-RoFormer Leap Instrumental — аккомпанемент stem.
Голосовая модель: выбирает целевые веса символа и индекс поиска.

RMVPE

AI-RVC v1.6.0 по умолчанию использует RMVPE для определения высоты вокала.

RVC Project Dream-High/RMVPE RMVPE

Роль высоты звука: треки отдают источник vocal F0 до преобразования, чтобы целевой тембр следовал мелодии.
В этом режиме высота тона извлекается с помощью RMVPE.
Публичные данные: статья RMVPE Interspeech года сообщает о лучших RPA/RCA/OA по множеству полифонических vocal набора данных.

MVSep 9205 BS-Kar AVG (lead/back vocals)

Разделение гармонии: MVSep 9205 обеспечивает лид-партию/аккомпанемент с гармонией, BS-RoFormer ленты Leap XE 90 обеспечивают vocals гармонию, а BS-RoFormer Leap Instrumental группы — сопровождение.

MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer Mel-Band RoFormer

Активные MVSep 9205 checkpoints: BS-Kar-Gabox_IS, BS-Kar-Frazer и Becruily, а также BS-Kar-Anvuew с avg_wave ансамблем.
MVSep 9205 выход: vocals_without_harmony плюс бэк-вокал + инструментал из оригинального полного микса.

Leap XE / Leap Instrumental / Karaoke separation

Конвейер AI cover разделяет vocals/аккомпанемент до преобразования и сведения.

pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms BS-RoFormer HT Demucs

Основной разделитель: Leap XE 90 готовит vocals, а Leap Instrumental Public 62 готовит аккомпанемент перед RVC.
Путь гармонии: MVSep 9205 лид/назад может экспортировать лид и бэкинг vocal stems до RVC сведения.
Separator: использует RoFormer, UVR5 или Demuc перед конверсией.

Сравнение моделей

Модель

Роль

Почему он используется

Влияние на выход

МодельRVC v2

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 HuBERT

РольЯдро преобразования голоса

Почему он используетсяRVC V2 обеспечивает выбранный тембр цели и конвертацию с помощью индекса.

Влияние на выходКонвертированные vocals

МодельRMVPE

RVC Project Dream-High/RMVPE RMVPE

РольЭкстракция тональности

Почему он используетсяРоль высоты звука: треки отдают источник vocal F0 до преобразования, чтобы целевой тембр следовал мелодии.

Влияние на выходКонтур мелодии/F0

МодельBS-RoFormer Leap XE 90 bands (vocals pre-separation)

pcunwa Leap XE weights MVSep 10178 Leap XE BS-RoFormer

РольПодготовка вокала

Почему он используетсяСтандартное разделение vocal/аккомпанемента. BS-RoFormer диапазоны Leap XE 90 выводят vocal stem, а диапазоны BS-RoFormer Leap Instrumental — аккомпанемент stem.

Влияние на выходВокал и сопровождение stems

МодельBS-RoFormer Leap Instrumental (accompaniment pre-separation)

Leap Instrumental configuration Leap Instrumental checkpoint BS-RoFormer

РольПодготовка вокала

Влияние на выходВокал и сопровождение stems

МодельDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

РольСепаратор совместимости

Почему он используетсяDemuc/UVR5 остаются полезными, когда конкретный источник лучше ведёт себя вне RoFormer.

Влияние на выходАльтернативные stems

Все источники оценок (1)

Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.

RMVPE · Table 1 ↗
Развёртываемых 0 / исходных строк 6
Вне рейтинга: 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
PYIN [6] · CREPE [7] · HARMOF0 [9] · CRN-Raw [13] · JDC [14] · RMVPEPoly

Бумажные и эталонные заметки

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT предоставляет самоконтролируемые представления речи, используемые в конвейерах преобразования голоса в стиле RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE — это надёжный vocal оценки высоты высоты Interspeech 2023, разработанный для полифонической музыки и используемый для высококачественной экстракции F0.

ISCA PDF Dream-High/RMVPE

RVC Project

Official repository - current

Проект RVC является официальным техническим источником для рабочего процесса голосового преобразования на основе поиска VITS/HuBERT.

RVC WebUI AI-RVC workflow AI-RVC v1.6.0

Официальные / хранилища

RVC Project TelkNet AI-RVC workflow AI-RVC v1.6.0 Dream-High/RMVPE MVSep 9205 GaboxR67 bs_karaoke_gabox_IS becruily Frazer/Becruily weights anvuew karaoke_bs_roformer pcunwa Leap XE weights MVSep 10178 Leap XE Leap Instrumental configuration Leap Instrumental checkpoint python-audio-separator facebookresearch/demucs MVSep algorithms

Статьи / технические заметки

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Руководство по параметрам

Голосовая модель: выбирает целевые веса символа и индекс поиска.
Сдвиг высоты: регулирует источник на полутоны, чтобы соответствовать целевому диапазону.
Коэффициент индекса: определяет, насколько индекс поиска влияет на цвет голоса.
Официальный режим · Использует разделение UVR5 и преобразование голоса RVC/Applio без дополнительного удаления реверберации и постобработки.
Управление микшированием: настройка vocals, аккомпанемента, реверберации и оригинального vocal.

Сценарии использования

Демо обложек сборки и испытания голоса персонажей
Проверяйте режиссуру голоса до более глубокого производства
Разделили vocals в следующий рабочий процесс пения

Рабочий процесс

1Предпочитаю загружать уже отделённые vocal материалы
2Отправьте задачу на конвертацию с указанием голосового направления цели
3Послушайте результат, прежде чем решать дальнейшее сведение или полировку

Что проверить

Чем чище vocal, тем стабильнее результат преобразования
Сначала отделяя vocals обычно бывает по тому, что микшированный звук подаёт напрямую в RVC
Проверьте согласные, протяжные и высокие ноты: чёткость произношения, скачки высоты и уровень вокала вместе с аккомпанементом.

Связанные сценарии

Найдите способы обработки и шаги для своего материала.

Преобразование голоса RVC · онлайн-инструмент и руководство по модели Создание каверов с ИИ · онлайн-инструмент и руководство по модели Клонирование голоса ZONOS2 TTS · онлайн-инструмент и руководство по модели