Vevo2: Реорганізація співу на основі трьох умов: змісту, тембру та ритму.

СИНТЕЗ СПІВУ / ТЕХНІЧНА НОТАТКА

SoulX-Singer приймає текст пісні та MIDI як явну партитуру. Vevo2 керується референсом: токени змісту-стилю та просодії видобуваються зі зразка аудіо, перш ніж акустична модель побудує цільову хвильову форму. Ці два шляхи не повинні мати один контракт вхідних даних.

Навіщо два токенізатори

Якщо один потік токенів містить фонеми, висоту, ритм і тембр, заміна одного чинника порушує інші. Шлях Vevo зменшує це зчеплення за допомогою окремих квантувачів. Для акустичної латентної змінної z, токенів змісту-стилю c і токенів просодії r flow matching навчається:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

Під час інференсу інтегрується умовне поле швидкості, а вокодер відновлює аудіо. Відокремлення поліпшує керованість, але акомпанемент, хвости реверберації та часові помилки в референсі все одно можуть потрапити в токени.

Це не редактор партитури

Vevo2 підходить для перенесення стилю співу й просодії з референсу. Він не надає кожен початок і кінець MIDI-ноти, силу атаки та вирівнювання складів із текстом як однаково суворий контракт редагування. SoulX-Singer залишається прямим MIDI-шляхом; Vevo2 — відповідний профіль, керований референсом.

Zero-shot подібність і дозвіл

Представлення змісту, просодії та тембру у Vevo2 усе ще можуть проникати одне в одне, а реверберація, бек-вокал і акомпанемент — забруднювати prompt. Подібність голосу описує поведінку моделі; вона не дає дозволу використовувати особу співака. Референси та результати потребують дозволу й чіткої позначки про синтетичне походження.

Від фіксованих джерел до зумовленого розділення

Vevo2 — це шлях Amphion для zero-shot співу. Він не читає MIDI як точну партитуру; натомість відокремлює представлення змісту, тембру, стилю й просодії та повторно поєднує аудіо prompt із умовами змісту. Він близький до інструментів SoulX/YingMusic, зумовлених партитурою, але не взаємозамінний із ними.

Попередні системи перетворення та генерації часто пакували мовця, емоцію й ритм в одну латентну змінну. Vevo використовує ієрархічне квантування та генерацію, щоб зменшити зчеплення. Zero-shot здатність походить із даних і кодування prompt; довільний короткий референс не гарантує стабільності особи, тексту й мелодії.

**Рисунок 1 зі статті Vevo2: єдиний конвеєр інференсу**Оригінальний рисунок зіставляє умови тексту, просодії, стилю й тембру із завданнями TTS, SVS, VC, SVC та редагування.Офіційне джерело: рисунок 1

Багаторівневі умови для змісту, просодії та тембру

ŷ=G(q_content(x_c),q_prosody(x_r),e_timbre(x_r))

q_contentпредставлення змісту
q_prosodyпредставлення просодії
e_timbreвбудовування тембру

Токенізатор змісту зберігає текст і артикуляцію, токенізатор просодії передає ритм і контур, а вбудовування тембру надає ознаки особи. Генератор повторно їх поєднує; відокремлення є метою, а не гарантією.

Шлях Vevo2, керований prompt, не слідує MIDI-партитурі. Перед порівнянням із SoulX/YingMusic слід визначити, чи потрібне перенесення стилю за prompt, чи редаговані ноти й точна тривалість.

Статтю, код і ваги можна простежити за посиланнями Вихідний код Amphion Vevo2 / Ваги Vevo2 / Стаття Vevo2.

**Рисунок 2 зі статті Vevo2: єдині токенізатори мовлення та співу**Вхідні дані, етапи VQ і шляхи відновлення для токенізаторів просодії та змісту-стилю походять з оригінального рисунка статті.Офіційне джерело: рисунок 2

Порівнювані результати за одного визначення stem

Кожен рядок зберігає архітектуру джерела, метрику або визначення завдання; результати без спільного протоколу залишаються окремими.

Модель	Архітектура або доказ	Межі застосування
Vevo2	зміст і zero-shot prompt стилю/тембру	відокремлення, особа й мінливість вибірки
SoulX-Singer	спів, керований референсом	тембр і текст за того самого prompt
YingMusic-Singer-Plus	текст і мелодія/партитура	ноти, тривалість і можливість редагування

Прослуховування stem і узгодженість міксу

Слід багаторазово семплювати з того самого prompt і окремо перевіряти чіткість тексту, контур висоти, ритм і тембр. Вибір одного результату приховує мінливість; акомпанемент, бек-вокал і реверберація ускладнюють відокремлення.

Порівнюючи системи, керовані партитурою, потрібно зафіксувати мету: Vevo2 підходить для перенесення стилю/тембру на основі prompt, а моделі MIDI/тексту — для редагованих нот і точної тривалості. Вони не мають єдиного спільного показника точності.

Межі визначення stem у наборі даних

Відокремлення представлень не усуває особу. Ознаки джерела й цілі можуть проникати одна в одну, анонімність результату не гарантується.

Використання співочих prompt потребує дозволу, а згенероване аудіо — чіткого маркування. Подібність не дозволяє видавати себе за іншу особу.

Статті й загальнодоступні файли для вихідного коду Amphion Vevo2

Назви моделей, числа й обмеження походять із наведених нижче статей, репозиторіїв або карток моделей.