Modell
Vevo2: Syngende omorganisering basert på tre forhold: innhold, klang og rytme.
Sangsyntese/tekniske noter
Sangsyntese/tekniske noter
SANGSYNTESE / TEKNISK NOTAT
SoulX-Singer tar imot sangtekst og MIDI som et eksplisitt partitur. Vevo2 er referansedrevet: token for innhold og stil samt token for prosodi trekkes ut fra eksempellyd før en akustisk modell bygger målbølgeformen. De to veiene bør ikke dele én inndatakontrakt.
Hvis én tokenstrøm bærer fonemer, tonehøyde, rytme og klang, vil utskifting av én faktor forstyrre de andre. Vevo-veien reduserer denne koblingen med separate kvantiserere. For akustisk latentrepresentasjon z, token for innhold og stil c og token for prosodi r lærer flow matching:
L_FM = E ||v_θ(z_t,t,c,r)-u_t||²
Inferensen integrerer det betingede hastighetsfeltet, og en vocoder rekonstruerer lyd. Separasjon gir bedre kontroll, men akkompagnement, romklanghaler og tidsfeil i referansen kan fremdeles komme inn i tokenene.
Vevo2 egner seg til å overføre sangstil og prosodi fra en referanse. Den tilbyr ikke hver MIDI-start, -slutt, velocity og justering mellom tekst og stavelse som en like streng redigeringskontrakt. SoulX-Singer forblir den direkte MIDI-veien; Vevo2 er den tilsvarende referansedrevne profilen.
Vevo2 sine representasjoner av innhold, prosodi og klang kan fortsatt lekke inn i hverandre, mens romklang, bakgrunnsvokal og akkompagnement forurenser prompten. Stemmelikhet beskriver modellens atferd; det gir ikke tillatelse til å bruke identiteten til en sanger. Referanser og utdata krever godkjenning og tydelig opplysning om at materialet er syntetisk.
Vevo2 er Amphion sin zero-shot-vei for sang. Den leser ikke MIDI som et nøyaktig partitur, men skiller representasjoner av innhold, klang, stil og prosodi og kombinerer prompt-lyd med innholdsbetingelser på nytt. Den ligger nær partiturstyrte SoulX/YingMusic-verktøy, men er ikke utskiftbar med dem.
Tidligere systemer for konvertering og generering pakket ofte taler, følelse og rytme inn i én latentrepresentasjon. Vevo bruker hierarkisk kvantisering og generering for å redusere koblingen. Zero-shot-evnen kommer fra data og promptkoding; en vilkårlig kort referanse garanterer ikke stabil identitet, tekst eller melodi.
ŷ=G(q_content(x_c),q_prosody(x_r),e_timbre(x_r))q_contentinnholdsrepresentasjonq_prosodyprosodirepresentasjone_timbreklang-embeddingEn innholdstokenizer bevarer tekst og artikulasjon, en prosoditokenizer bærer rytme og kontur, og en klang-embedding gir identitetssignaler. Generatoren kombinerer dem på nytt; disentanglement er et mål, ikke en garanti.
Vevo2 sin promptdrevne vei følger ikke MIDI-partitur. Sammenligning med SoulX/YingMusic må først fastsette om målet er promptbasert stiloverføring eller redigerbare noter og nøyaktig varighet.
Artikkel, kode og vekter kan følges gjennom Amphion Vevo2-kilde / Vevo2-vekter / Vevo2-artikkel.
Hver rad beholder arkitekturen, måleverdien eller oppgavedefinisjonen fra kilden sin; resultater uten en felles protokoll forblir separate.
| Modell | Arkitektur eller dokumentasjon | Omfang |
|---|---|---|
| Vevo2 | innhold samt zero-shot-prompt for stil og klang | disentanglement, identitet og samplingsvarians |
| SoulX-Singer | referansedrevet sang | klang og tekst under samme prompt |
| YingMusic-Singer-Plus | tekst samt melodi eller partitur | noter, varighet og redigerbarhet |
Generer flere eksempler fra samme prompt, og undersøk tekstklarhet, tonehøydekontur, rytme og klang separat. Å håndplukke ett resultat skjuler varians; akkompagnement, bakgrunnsvokal og romklang gjør disentanglement vanskeligere.
Fastsett målet når partiturstyrte systemer sammenlignes: Vevo2 egner seg til promptbasert overføring av stil og klang, mens MIDI- og tekstmodeller egner seg til redigerbare noter og nøyaktig varighet. De deler ikke én nøyaktighetsverdi.
Disentanglement av representasjoner er ikke fjerning av identitet. Egenskaper fra kilde og mål kan lekke, og utdataene er ikke garantert anonyme.
Sangprompter krever tillatelse, og generert lyd må merkes tydelig. Likhet gir ikke tillatelse til å utgi seg for å være en annen.
Modellnavn, tall og begrensninger kan spores til artiklene, repositoriene eller modellkortene nedenfor.