Vevo2: Реорганизация пения на основе трех условий: содержания, тембра и ритма.

СИНТЕЗ ПЕНИЯ / ТЕХНИЧЕСКАЯ ЗАМЕТКА

SoulX-Singer принимает текст и MIDI как явную партитуру. Vevo2 работает от эталона: token содержания и стиля, а также token просодии извлекаются из примера аудио до того, как акустическая модель строит целевую форму волны. Для этих двух путей нельзя использовать один входной контракт.

Зачем нужны два tokenizer

Если один поток token несёт фонемы, высоту, ритм и тембр, замена одного фактора нарушает остальные. Путь Vevo ослабляет эту связь с помощью раздельных квантователей. Для акустического скрытого представления z, token содержания и стиля c и token просодии r flow matching обучается следующему:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

При инференсе интегрируется условное поле скоростей, а vocoder восстанавливает аудио. Разделение улучшает управляемость, однако аккомпанемент, хвосты комнатной реверберации и временные ошибки эталона по-прежнему могут попасть в token.

Это не редактор партитуры

Vevo2 подходит для переноса стиля пения и просодии из эталона. Он не предоставляет каждое начало, окончание и velocity ноты MIDI, а также выравнивание текста по слогам в виде одинаково строгого контракта редактирования. SoulX-Singer остаётся прямым путём MIDI; Vevo2 — соответствующий ему профиль, управляемый эталоном.

Zero-shot сходство и разрешение

Представления содержания, просодии и тембра в Vevo2 всё ещё могут проникать друг в друга, а реверберация, бэк-вокал и аккомпанемент загрязняют prompt. Сходство голоса описывает поведение модели, но не даёт разрешения использовать личность певца. Для эталонов и результатов нужны разрешение и ясное указание на синтетическое происхождение.