Vevo2：內容、音色、韻律三條件的歌聲重組

歌聲合成 / 技術筆記

SoulX-Singer 以歌詞和 MIDI 作為明確樂譜。Vevo2 則由參考音訊驅動：先從示例音訊提取內容—風格與韻律 token，再由聲學模型建立目標波形。這兩條路線不應共用同一套輸入規格。

為何需要兩個 tokenizer

如果同一串 token 同時承載音素、音高、節奏與音色，替換其中一項就會擾動其他因素。Vevo 路線用彼此獨立的量化器降低這種耦合。對聲學潛變量 z、內容—風格 token c 和韻律 token r，flow matching 學習：

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

推理過程會積分條件速度場，再由 vocoder 重建音訊。拆分可改善控制能力，但參考音訊中的伴奏、空間殘響和時序錯誤仍可能進入 token。

不是樂譜編輯器

Vevo2 適合從參考音訊承接歌唱風格與韻律。它沒有把每個 MIDI 起音、止音、力度及歌詞音節對齊都公開成同等嚴格的編輯規格。SoulX-Singer 仍是直接採用 MIDI 的路線；Vevo2 則是對應的參考驅動設定。

零樣本相似度與授權

Vevo2 的內容、韻律與音色表徵仍可能彼此洩漏，混響、和聲及伴奏也會污染提示音訊。聲音相似度只描述模型行為，不代表取得使用歌手身分的許可。參考音訊與輸出都必須獲得授權，並清楚揭露內容由合成產生。