Vevo2: Şarkı söylemenin üç koşula göre yeniden düzenlenmesi: içerik, tını ve ritim.

ŞARKI SÖYLEME SENTEZİ / TEKNİK NOT

SoulX-Singer, şarkı sözlerini ve MIDI’yi açık bir nota partisyonu olarak kabul eder. Vevo2 ise referansla çalışır: bir akustik model hedef dalga biçimini oluşturmadan önce örnek sesten içerik-stil ve prozodi tokenları çıkarılır. İki yol aynı girdi sözleşmesini paylaşmamalıdır.

Neden iki tokenizer var?

Tek bir token akışı fonemleri, perdeyi, ritmi ve tınıyı taşıyorsa bir faktörü değiştirmek diğerlerini de bozar. Vevo yolu, ayrı niceleyicilerle bu bağlaşımı azaltır. Akustik gizil değişken z, içerik-stil tokenları c ve prozodi tokenları r için flow matching şunu öğrenir:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

Çıkarım, koşullu hız alanını bütünler ve bir vocoder sesi yeniden oluşturur. Ayırma kontrolü artırır, ancak referanstaki eşlik, oda yankısı kuyrukları ve zamanlama hataları yine de tokenlara girebilir.

Bir nota editörü değil

Vevo2, şarkı söyleme stilini ve prozodiyi bir referanstan taşımaya uygundur. Her MIDI başlangıcını, bitişini, velocity değerini ve şarkı sözü-hece hizalamasını eşit derecede katı bir düzenleme sözleşmesi olarak sunmaz. SoulX-Singer doğrudan MIDI yolu olmaya devam eder; Vevo2 ise ona karşılık gelen referansla çalışan profildir.

Zero-shot benzerlik ve izin

Vevo2’nin içerik, prozodi ve tını temsilleri hâlâ birbirine sızabilir; yankı, geri vokaller ve eşlik ise promptu kirletebilir. Ses benzerliği model davranışını açıklar, bir şarkıcının kimliğini kullanma izni vermez. Referanslar ve çıktılar için izin alınmalı, sentetik oldukları açıkça belirtilmelidir.