Zyphra ZONOS2: otvoreni TTS MoE za vjerno kloniranje glasa

Od Zonos-v0.1 do ZONOS2: podaci, kapacitet modela i uslovljavanje promijenili su se zajedno

ZONOS2 nije veća kopija modela Zonos-v0.1. Prethodni model imao je oko 1.6B parametara i obučen je na približno 200,000 sati govora. Na tekstualnom ulazu oslanjao se na fonemizaciju i jezičke oznake, a njegova reprezentacija govornika prenosila je manje detalja. Ta verzija uspostavila je otvoreni put zero-shot kloniranja glasa, ali se i dalje suočavala s uobičajenim TTS kompromisima: gusto skaliranje usporavalo je generisanje u stvarnom vremenu, fonemski rječnici otežavali su višejezični tekst i prebacivanje između jezika, a kompaktan vektor govornika mogao je odbaciti detalje glasa i snimka prisutne u referentnom isječku.

Zyphra je u modelu ZONOS2 pomjerila sve tri granice. Skup za obuku porastao je s oko 200,000 sati na više od šest miliona sati. Ukupna veličina modela povećana je s 1.6B na 8B parametara, dok rijetko MoE usmjeravanje održava aktivni skup blizu 900M u svakom koraku. Izdanje navodi četiri puta veću propusnost u stvarnom vremenu od prethodnog modela. Kapacitet zato može obuhvatiti šire varijacije jezika, naglasaka, prozodije i uslova snimanja bez potrebe da svaki token izvršava cijelu mrežu od 8B.

Promijenilo se i uslovljavanje govornika. Zyphra opisuje novi ECAPA-TDNN embedding kao model s 20 puta većom propusnošću informacija od prethodnog modela govornika. Ta propusnost odnosi se na količinu informacija o govorniku koju embedding može prenijeti, a ne na frekvenciju uzorkovanja izlaznog WAV-a. To pomaže objasniti razliku između vjernog kloniranja i studijski čistog govora: šum, odziv prostorije, dah i neobična tekstura glasa mogu biti dokaz identiteta u jednom zadatku, a nedostaci koje treba ukloniti u drugom.

Tekstualni put prešao je s eksplicitne fonemizacije i jezičkih oznaka na normalizovane UTF-8 bajtove. Kineski znakovi, japanska pisma, korejski, brojevi, interpunkcija i prebacivanje jezika više ne moraju prolaziti kroz jedan fiksni rječnik izgovora prije ulaska u model. Bajtni ulaz ne garantuje ispravan izgovor višeznačnih znakova ili fraziranje, ali uklanja nekoliko tačaka kvara front enda: nedostajuće unose u rječniku, pogrešne jezičke oznake i čvrste jezičke granice unutar rečenice.

Samo više podataka ostavilo bi model s bučnim ciljem, pa zvanični opis koristi obuku u tri faze. Predobuka prolazi kroz cijeli skup tokom osam epoha uz minimalno filtriranje slaganja transkripta i bez informacija o kloniranju govornika. Mid-training pooštrava slaganje transkripta i odabir skupa kako bi smanjio halucinacije, pogrešan izgovor i ponavljanja. Završna faza annealinga uvodi embeddinge govornika, kontrolu brzine govora i uslove kvaliteta uz strožije filtriranje. Pokrivenost se uči prva; kontrolisan izgovor i kloniranje usmjeravaju se kasnije.

Kloniranje glasa više je od sličnosti

Pokrivanje kloniranja glasa često se svodi na jedno pitanje: zvuči li kao referentni govornik? To je važno, ali nije dovoljno za alat. Upotrebljiv TTS sistem zavisi i od prirodnosti, stabilnosti, jezičke pokrivenosti, latencije, licenciranja i zahtjevnosti postavljanja. ZONOS2 je zanimljiv jer ne prati samo priču zatvorenih API-ja o „govoru sličnijem čovjeku“. Visokovjerno kloniranje spaja s otvorenim putem za lokalno pokretanje.

To mijenja kompromis korisnika. Zatvoreni TTS API-ji praktični su za hostovane pozive i ujednačenu naplatu. Mnogi otvoreni TTS projekti fleksibilni su za eksperimente, ali zahtijevaju da korisnici sami riješe probleme kvaliteta, okruženja i izvršavanja. ZONOS2 je između tih polova jer spaja kvalitetno kloniranje glasa, otvorene materijale modela i radni tok proizvoda koji korisnici mogu isprobati na stranici.

Izdanje je model i skup za zaključivanje, a ne vanjski glasovni API. Njegov javni ugovor kombinuje referentni zvuk, ciljni tekst, jezik i kontrole uzorkovanja; rezultat i dalje zavisi od predobrade, dekodiranja kodeka i odabranog checkpointa.

Šta je zaista novo

Vrijedi razdvojiti tri zvanična detalja. Prvi je arhitektura: ZONOS2 je rijetki Mixture of Experts TTS model. Zyphra ga opisuje kao model s ukupno 8B parametara i približno 900M aktivnih tokom zaključivanja. To znači da model nije samo gusto skaliran naviše; MoE dizajn omogućava većem skupu parametara da koegzistira s ciljem TTS-a u stvarnom vremenu.

Drugi je zvučna reprezentacija. Kartica modela navodi da ZONOS2 tokom zaključivanja koristi normalizovane nemo TN UTF-8 bajtove i ECAPA-TDNN embedding govornika, a zatim MoE okosnica generiše DAC tokene. Zvanični članak kompanije Zyphra opisuje DAC put kao generator zvuka od 44.1 kHz. To je važno jer su namjene detaljnija naracija, glas lika, podcast i višejezično kloniranje glasa, a ne telefonija s niskom frekvencijom uzorkovanja.

Treći je jezička pokrivenost. Kartica modela navodi Tier 1 kao engleski, mandarinski kineski i japanski; Tier 2 kao korejski, ruski, italijanski, portugalski, francuski, španski, vijetnamski, njemački, hebrejski i nizozemski; a Tier 3 kao švedski, hindi, tamilski, telugu, tajlandski, norveški, bengalski, tagaloški, arapski, danski, indonezijski, poljski, ukrajinski, rumunski, finski, mađarski, litvanski, estonski, slovački, hrvatski i latvijski. Sama podjela na nivoe predstavlja granicu: podrška ne znači da će se svaki jezik, naglasak i referentni isječak ponašati jednako.

Kako čitati tvrdnju benchmarka

Stranica izdanja kompanije Zyphra navodi snažne rezultate u seed-tts eval i novom ZTTS1-Eval, s naglaskom na sličnost govornika, prozodiju, prirodnost i vjernost kloniranja glasa. Precizno čitanje ograničeno je izvorom: to je Zyphra benchmark i način predstavljanja primjera, a ne univerzalna garancija da će svako kasnije generisanje nadmašiti svaki zatvoreni ili otvoreni model.

Rasprava o evaluaciji suptilnija je od jednog rezultata. Zyphra napominje da WER može biti nezgodan za TTS jer generisani glas može biti čišći od stvarnog ljudskog govora i zato lakši za ASR transkripciju, a da pritom nije nužno vjerniji klon referentnog govornika. ZONOS2 izričito naglašava vjernost glasa i nudi stabilnu i ekspresivnu orijentaciju: jedna favorizuje čišći stabilan izlaz, dok druga cilja vjernije prirodno kloniranje.

ZONOS2 je otvoreno MoE TTS izdanje iz juna 2026. koje Zyphra izvještava pod određenim uslovima TTS i evaluacije kloniranja glasa. Kvalitet referentnog zvuka, ciljni jezik, dužina teksta, kontrola stila i konfiguracija uzorkovanja ostaju odvojene varijable, pa objavljeni rezultati ostaju unutar navedenog protokola.

Poređenje s uobičajenim TTS putevima

Upotreba kao radni tok alata

Korisnički tok je jednostavan: učitajte referentni glas, unesite tekst koji treba izgovoriti, odaberite jezik i parametre te primite rezultat u WAV datoteci.

Za korisnike je glavna vrijednost manji teret postavljanja: ne moraju pripremati istraživačko okruženje niti razumjeti svaki detalj implementacije prije evaluacije modela ZONOS2 putem referentnog glasa, teksta, jezika i parametara kvaliteta.

Praktične napomene za upotrebu

Činjenice o ZONOS2 i tumačenje proizvoda