Vevo2: Sangende omorganisering baseret på tre forhold: indhold, klang og rytme.

SANGSYNTESE / TEKNISK NOTE

SoulX-Singer tager sangtekst og MIDI som en eksplicit nodeangivelse. Vevo2 styres af en reference: tokens for indhold-stil og prosodi udtrækkes fra eksempellyd, før en akustisk model opbygger målbølgeformen. De to veje bør ikke dele én inputkontrakt.

Hvorfor der er to tokenizers

Hvis én tokenstrøm bærer fonemer, tonehøjde, rytme og klangfarve, vil udskiftning af én faktor forstyrre de andre. Vevo-vejen reducerer denne kobling med separate kvantisatorer. For den akustiske latent z, indhold-stil-tokens c og prosodi-tokens r lærer flow matching:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

Inferensen integrerer det betingede hastighedsfelt, og en vocoder rekonstruerer lyden. Adskillelsen forbedrer styringen, men akkompagnement, rumklangens haler og timingfejl i referencen kan stadig komme med i tokens.

Ikke en nodeeditor

Vevo2 egner sig til at overføre sangstil og prosodi fra en reference. Den stiller ikke hvert MIDI-anslag, hver afslutning, velocity og tilpasning mellem tekst og stavelse til rådighed som en lige streng redigeringskontrakt. SoulX-Singer er fortsat den direkte MIDI-vej; Vevo2 er den tilsvarende referencestyrede profil.

Zero-shot-lighed og tilladelse

Vevo2’s repræsentationer af indhold, prosodi og klangfarve kan stadig lække ind i hinanden, mens rumklang, korstemmer og akkompagnement forurener prompten. Stemmelighed beskriver modellens adfærd; den giver ikke tilladelse til at bruge en sangers identitet. Referencer og output kræver godkendelse og tydelig oplysning om, at de er syntetiske.

Fra faste kilder til konditioneret separation

Vevo2 er Amphions vej til zero-shot-sang. Den læser ikke MIDI som en nøjagtig nodeangivelse; den adskiller repræsentationer af indhold, klangfarve, stil og prosodi og kombinerer promptlyd med indholdsbetingelser. Den ligger tæt på nodebetingede SoulX/YingMusic-værktøjer, men kan ikke erstatte dem.

Tidligere konverterings- og genereringssystemer samlede ofte taler, følelse og rytme i én latent. Vevo bruger hierarkisk kvantisering og generering til at reducere koblingen. Zero-shot-evnen kommer fra data og promptkodning; en vilkårlig kort reference garanterer ikke stabil identitet, sangtekst og melodi.

**Figur 1 i Vevo2-artiklen: samlet inferenspipeline**Den oprindelige figur kobler betingelser for tekst, prosodi, stil og klangfarve til TTS-, SVS-, VC-, SVC- og redigeringsopgaver.Officiel kilde: figur 1

Lagdelte betingelser for indhold, prosodi og klangfarve

ŷ=G(q_content(x_c),q_prosody(x_r),e_timbre(x_r))

q_contentindholdsrepræsentation
q_prosodyprosodirepræsentation
e_timbreindlejring af klangfarve

En indholdstokenizer bevarer sangtekst og artikulation, en prosoditokenizer bærer rytme og kontur, og en indlejring af klangfarve leverer identitetsspor. Generatoren kombinerer dem igen; adskillelse er et mål, ikke en garanti.

Vevo2’s promptstyrede vej følger ikke en MIDI-nodeangivelse. Før sammenligning med SoulX/YingMusic skal det fastlægges, om målet er promptbaseret stiloverførsel eller redigerbare noder og nøjagtig varighed.

Artikel, kode og vægte kan følges via Amphion Vevo2-kildekode / Vevo2-vægte / Vevo2-artikel.

**Figur 2 i Vevo2-artiklen: samlede tokenizers til tale og sang**Input, VQ-trin og rekonstruktionsveje for prosodi- og indhold-stil-tokenizers stammer fra artiklens oprindelige figur.Officiel kilde: figur 2

Sammenlignelige resultater under én stem-definition

Hver række bevarer sin oprindelige arkitektur, metrik eller opgavedefinition; resultater uden en fælles protokol holdes adskilt.

Model	Arkitektur eller evidens	Omfang
Vevo2	indhold plus zero-shot-prompt for stil/klangfarve	adskillelse, identitet og samplingsvarians
SoulX-Singer	referencestyret sang	klangfarve og sangtekst under samme prompt
YingMusic-Singer-Plus	sangtekst plus melodi/nodeangivelse	noder, varighed og redigerbarhed

Lytning til stems og mixkonsistens

Udtag flere samples fra den samme prompt, og undersøg sangtekstens tydelighed, tonehøjdekontur, rytme og klangfarve hver for sig. Udvælgelse af ét resultat skjuler variansen; akkompagnement, korstemmer og rumklang gør adskillelsen vanskeligere.

Fastlæg målet, når nodebaserede systemer sammenlignes: Vevo2 egner sig til promptbaseret overførsel af stil/klangfarve, mens MIDI-/tekstmodeller egner sig til redigerbare noder og nøjagtig varighed. De deler ikke én nøjagtighedsværdi.

Grænser for datasættets stem-definition

Adskillelse af repræsentationer fjerner ikke identitet. Træk fra kilde og mål kan lække, og outputtet er ikke garanteret anonymt.

Sangprompter kræver tilladelse, og genereret lyd skal mærkes tydeligt. Lighed giver ikke tilladelse til at udgive sig for en sanger.

Artikler og offentlige filer til Amphion Vevo2-kildekode

Modelnavne, tal og begrænsninger kan spores til nedenstående artikler, repositories eller modelkort.