AI Кавер-вокал · TelkNet

Голос и вокалРабочая нагрузка GPU

AI Кавер-вокал

Пользователи, проводящие эксперименты с цветом голоса, демоверсии обложек или испытания голоса персонажей.

Конвертированный вокал, оригинальные вокальные отсылки и загружаемый аудиофайл для демо-версий и тестов прослушивания.

5 кредиты/использованиеВвод аудиофайлаМакс 100 MBПримерное время 180-900 секунд

Ввод

Чистый вокал, кавер-материал или отдельные вокальные основы с помощью цепочки преобразования RVC v2.

Аудио форматы

mp3wavflacoggm4aaac

Выход

Лучшее для

Пользователи, проводящие эксперименты с цветом голоса, демоверсии обложек или испытания голоса персонажей.

Модели, параметры и источники

Конвейер покрытия AI сочетает в себе разделение, преобразование голоса RVC и микширование. Основными входными данными являются вокальный файл и целевая модель голоса.

RVC v2

RVC v2 преобразует входной тембр голоса в модель голоса выбранного персонажа.

RVC Project TelkNet AI-RVC adapter HuBERT

Конвейер: RVC v2 преобразует выделенный исходный вокал в выбранную голосовую модель, а затем микширует с аккомпанементом.
Рекомендуемые значения по умолчанию TelkNet: текущий конвейер, разделитель RoFormer, ансамбль: vocal_rvc, гибридный F0, index_ratio 0,50.
Модель голоса: выбранный voice_model_id выбирает контрольную точку RVC и дополнительный индекс FAISS.

RMVPE / hybrid F0

RMVPE — это надежный инструмент оценки высоты голоса, используемый в тракте RVC и гибридной опции F0.

RVC Project RMVPE

Роль высоты тона: отслеживает исходный вокал F0 перед преобразованием, чтобы целевой тембр соответствовал мелодии.
Гибридный режим: сочетает RMVPE с альтернативными экстракторами для качественного покрытия пения.
Публичные доказательства: в документе RMVPE Interspeech сообщается о лучших RPA/RCA/OA по множественным наборам данных по высоте полифонического голоса.

RoFormer / Karaoke / Demucs separation

Конвейер AI-каверов разделяет вокал/аккомпанемент перед преобразованием и сведением.

python-audio-separator facebookresearch/demucs MVSep algorithms Mel-Band RoFormer BS-RoFormer HT Demucs

Первичный разделитель: Ансамбль RoFormer voice_rvc готовит чистый вокал и аккомпанемент перед РВК.
Путь гармонии: разделение ведущей и задней части караоке позволяет экспортировать ведущий вокал, бэк-вокал и аккомпанемент с учетом гармонии.
Резервные варианты: маршруты Demucs и UVR5 остаются доступными для совместимости, но RoFormer является приоритетным по умолчанию.

Сравнение моделей

Модель

Роль

Почему он используется

Влияние на выход

МодельRVC v2

RVC Project TelkNet AI-RVC adapter HuBERT

РольЯдро преобразования голоса

Почему он используетсяRVC v2 обеспечивает выбранный целевой тембр и преобразование с помощью индекса.

Влияние на выходКонвертированный вокал

МодельRMVPE / hybrid F0

RVC Project RMVPE

РольИзвлечение смолы

Почему он используетсяRMVPE устойчив к полифоническому пению и представляет собой путь подачи звука, ориентированный на качество.

Влияние на выходМелодия/контур F0

МодельRoFormer vocal_rvc ensemble

python-audio-separator MVSep algorithms Mel-Band RoFormer BS-RoFormer

РольВокальная подготовка

Почему он используетсяRoFormer voice_rvc — это разделитель по умолчанию для более чистого ввода RVC.

Влияние на выходВокал и аккомпанемент

МодельDemucs / UVR5 fallback

facebookresearch/demucs HT Demucs python-audio-separator

РольРазделитель совместимости

Почему он используетсяDemucs/UVR5 остаются полезными, когда конкретный источник ведет себя лучше за пределами RoFormer.

Влияние на выходАльтернативные основы

Бумажные и контрольные заметки

HuBERT: Self-Supervised Speech Representation Learning

IEEE/ACM TASLP - 2021

HuBERT обеспечивает самоконтролируемое представление речи, используемое конвейерами преобразования голоса в стиле RVC.

arXiv:2106.07447

RMVPE: A Robust Model for Vocal Pitch Estimation in Polyphonic Music

Interspeech - 2023

RMVPE — это надежный инструмент оценки высоты голоса Interspeech 2023, разработанный для полифонической музыки и используемый для качественного извлечения F0.

ISCA PDF

RVC Project

Official repository - current

Проект RVC является официальным техническим источником рабочего процесса преобразования голоса на основе поиска VITS/HuBERT.

RVC WebUI

Официальные/репозитории

RVC Project TelkNet AI-RVC adapter python-audio-separator facebookresearch/demucs MVSep algorithms

Документы/технические примечания

HuBERT RMVPE Mel-Band RoFormer BS-RoFormer HT Demucs

Руководство по параметрам

Модель голоса: выбирает целевой вес символов и индекс поиска.
Сдвиг высоты тона: регулирует источник на полутона в соответствии с целевым диапазоном.
Коэффициент индекса: контролирует, насколько индекс поиска влияет на цвет голоса.
Метод F0: выбирает RMVPE, CREPE, Harvest или другой путь извлечения тона.
Разделитель: перед преобразованием используется RoFormer, UVR5 или Demucs.
Конвейер преобразования: по умолчанию используется включенная в комплект цепочка покрытий AI-RVC; официальный маршрут 1:1 по-прежнему можно выбрать вручную.
Элементы управления микшированием: настраивайте вокал, аккомпанемент, реверберацию и смесь оригинального вокала.

Варианты использования

Создавайте демо-версии каверов и тестируйте голоса персонажей.
Подтвердите голосовое направление перед более глубоким производством
Подача разделенного вокала в последующий рабочий процесс пения

Рабочий процесс

1Предпочитаю загружать уже отделенный вокальный материал
2Отправьте задачу преобразования с целевым голосовым направлением
3Прослушайте результат, прежде чем принимать решение о дальнейшем смешивании или полировке.

Предполетный контрольный список

Чем чище вокал, тем стабильнее результат конвертации.
Обычно разделение вокала в первую очередь предпочтительнее, чем подача микшированного звука непосредственно в RVC.
Выходные данные подходят для демонстраций и проверки направления — перед публичным выпуском по-прежнему рекомендуется постобработка.

Для использования этого инструмента требуется вход в систему

Войдите или создайте учетную запись, чтобы загружать файлы, отправлять задачи и просматривать результаты в своем рабочем пространстве.

Просмотр информации об инструменте всегда бесплатен — учетная запись не требуется.