Model
Vevo2: Reorganizacija pjevanja zasnovana na tri uvjeta: sadržaj, tembar i ritam.
Sinteza pjevanja/tehničke note
Sinteza pjevanja/tehničke note
SINTEZA PJEVANJA / TEHNIČKA BILJEŠKA
SoulX-Singer prihvata tekst i MIDI kao eksplicitnu partituru. Vevo2 se vodi referencom: tokeni sadržaja i stila te tokeni prozodije izdvajaju se iz primjera zvuka prije nego što akustički model izgradi ciljni talasni oblik. Ove dvije putanje ne trebaju dijeliti isti ulazni ugovor.
Ako jedan tok tokena nosi foneme, visinu tona, ritam i boju glasa, zamjena jednog faktora remeti ostale. Vevo putanja smanjuje tu spregu odvojenim kvantizatorima. Za akustičku latentnu reprezentaciju z, tokene sadržaja i stila c i tokene prozodije r, flow matching uči:
L_FM = E ||v_θ(z_t,t,c,r)-u_t||²
Zaključivanje integriše uslovno polje brzine, a vocoder rekonstruiše zvuk. Razdvajanje poboljšava upravljanje, ali pratnja, završeci sobnog odjeka i greške u vremenu iz reference i dalje mogu ući u tokene.
Vevo2 je prikladan za prenošenje stila pjevanja i prozodije iz reference. Ne izlaže svaki MIDI početak, završetak, velocity ni poravnanje teksta sa slogovima kao jednako strog ugovor za uređivanje. SoulX-Singer ostaje direktna MIDI putanja; Vevo2 je odgovarajući profil vođen referencom.
Vevo2 reprezentacije sadržaja, prozodije i boje glasa i dalje se mogu prelijevati jedna u drugu, dok reverb, prateći vokali i pratnja kontaminiraju prompt. Sličnost glasa opisuje ponašanje modela; ne daje dozvolu za korištenje identiteta pjevača. Reference i izlazi zahtijevaju odobrenje i jasno označavanje sintetičkog porijekla.
Vevo2 je Amphionova zero-shot putanja za pjevanje. Ne čita MIDI kao preciznu partituru; razdvaja reprezentacije sadržaja, boje glasa, stila i prozodije te ponovo spaja prompt zvuk s uslovima sadržaja. Bliska je alatima SoulX/YingMusic uslovljenim partiturom, ali nije međusobno zamjenjiva s njima.
Raniji sistemi konverzije i generisanja često su pakovali govornika, emociju i ritam u jednu latentnu reprezentaciju. Vevo koristi hijerarhijsku kvantizaciju i generisanje kako bi smanjio spregu. Zero-shot sposobnost dolazi iz podataka i kodiranja prompta; proizvoljna kratka referenca ne garantuje stabilan identitet, tekst i melodiju.
ŷ=G(q_content(x_c),q_prosody(x_r),e_timbre(x_r))q_contentreprezentacija sadržajaq_prosodyreprezentacija prozodijee_timbreembedding boje glasaTokenizator sadržaja čuva tekst i artikulaciju, tokenizator prozodije prenosi ritam i konturu, a embedding boje glasa daje naznake identiteta. Generator ih ponovo spaja; razdvajanje je cilj, a ne garancija.
Vevo2 putanja vođena promptom ne prati MIDI partituru. Poređenje sa SoulX/YingMusic prvo mora utvrditi da li je cilj prijenos stila zasnovan na promptu ili note koje se mogu uređivati i tačno trajanje.
Rad, kod i težine mogu se pratiti kroz izvor Amphion Vevo2 / težine Vevo2 / rad Vevo2.
Svaki red zadržava arhitekturu, metriku ili definiciju zadatka iz svog izvora; rezultati bez zajedničkog protokola ostaju odvojeni.
| Model | Arhitektura ili dokaz | Opseg |
|---|---|---|
| Vevo2 | sadržaj uz zero-shot prompt stila i boje glasa | razdvajanje, identitet i varijansa uzorkovanja |
| SoulX-Singer | pjevanje vođeno referencom | boja glasa i tekst pod istim promptom |
| YingMusic-Singer-Plus | tekst uz melodiju ili partituru | note, trajanje i mogućnost uređivanja |
Više puta uzorkujte iz istog prompta i odvojeno provjerite jasnoću teksta, konturu visine tona, ritam i boju glasa. Biranje jednog najboljeg rezultata skriva varijansu; pratnja, prateći vokali i reverb otežavaju razdvajanje.
Utvrdite cilj pri poređenju sistema vođenih partiturom: Vevo2 odgovara prijenosu stila i boje glasa iz prompta, dok MIDI i tekstualni modeli odgovaraju notama koje se mogu uređivati i tačnom trajanju. Ne dijele jednu vrijednost tačnosti.
Razdvajanje reprezentacija nije uklanjanje identiteta. Osobine izvora i cilja mogu se prelijevati, a anonimnost izlaza nije zagarantovana.
Promptovi za pjevanje zahtijevaju dozvolu, a generisani zvuk jasno označavanje. Sličnost ne daje pravo na lažno predstavljanje.
Nazivi modela, brojevi i ograničenja potiču iz radova, repozitorija ili kartica modela navedenih ispod.