Vevo2: Reorganisation des Gesangs basierend auf drei Bedingungen: Inhalt, Klangfarbe und Rhythmus.

GESANGSSYNTHESE / TECHNISCHE NOTIZ

SoulX-Singer übernimmt Liedtext und MIDI als explizite Partitur. Vevo2 wird von einer Referenz gesteuert: Inhalt-Stil- und Prosodie-Token werden aus einem Audiobeispiel extrahiert, bevor ein akustisches Modell die Zielwellenform erzeugt. Beide Wege sollten nicht denselben Eingabevertrag verwenden.

Warum zwei Tokenizer nötig sind

Wenn ein Tokenstrom Phoneme, Tonhöhe, Rhythmus und Timbre zugleich trägt, stört der Austausch eines Faktors auch die anderen. Der Vevo-Ansatz verringert diese Kopplung durch getrennte Quantisierer. Für die akustische Latentvariable z, die Inhalt-Stil-Token c und die Prosodie-Token r lernt Flow Matching:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

Bei der Inferenz wird das bedingte Geschwindigkeitsfeld integriert und ein Vocoder rekonstruiert das Audiosignal. Die Trennung verbessert die Steuerbarkeit, doch Begleitung, Raumfahnen und Timingfehler in der Referenz können weiterhin in die Token gelangen.

Kein Partitureditor

Vevo2 eignet sich dafür, Gesangsstil und Prosodie aus einer Referenz zu übernehmen. Es stellt nicht jeden MIDI-Einsatz, jedes Ende, jede Anschlagsstärke und jede Zuordnung von Textsilben als gleichermaßen strengen Bearbeitungsvertrag bereit. SoulX-Singer bleibt der direkte MIDI-Weg; Vevo2 ist das entsprechende referenzgesteuerte Profil.

Zero-Shot-Ähnlichkeit und Erlaubnis

Die Repräsentationen für Inhalt, Prosodie und Timbre in Vevo2 können weiterhin ineinander übergehen, während Hall, Begleitstimmen und Instrumentalbegleitung den Prompt verunreinigen. Stimmähnlichkeit beschreibt das Modellverhalten; sie erteilt keine Erlaubnis, die Identität einer Sängerin oder eines Sängers zu verwenden. Referenzen und Ausgaben benötigen eine Genehmigung und eine klare Kennzeichnung als synthetisch.