Zyphra ZONOS2: åpent TTS MoE for høyoppløst stemmekloning

Fra Zonos-v0.1 til ZONOS2: data, modellkapasitet og betinging endret seg sammen

ZONOS2 er ikke bare en større kopi av Zonos-v0.1. Den forrige modellen hadde rundt 1,6 milliarder parametere og var trent på omtrent 200 000 timer tale. Den brukte fonemisering og språketiketter i tekstinngangen, og talerrepresentasjonen bar mindre detalj. Denne versjonen etablerte en åpen rute for zero-shot-stemmekloning, men møtte fortsatt vanlige TTS-avveininger: Tett skalering gjorde sanntidsgenerering tregere, fonemordbøker kompliserte flerspråklig og kodevekslende tekst, og en kompakt talervektor kunne miste vokale og opptakstekniske detaljer i referanseklippet.

Zyphra flyttet alle tre grensene i ZONOS2. Treningssettet økte fra rundt 200 000 timer til mer enn seks millioner timer. Den totale modellen vokste fra 1,6B til 8B parametere, mens sparsom MoE-ruting holder det aktive settet nær 900M for hvert trinn. Utgivelsen oppgir fire ganger høyere sanntidsgjennomstrømning enn forrige modell. Kapasiteten kan dermed romme større variasjon i språk, aksent, prosodi og opptaksforhold uten at hvert token må kjøre hele 8B-nettverket.

Talerbetingingen ble også endret. Zyphra beskriver den nye ECAPA-TDNN-embeddingen som å ha 20 ganger båndbredden til den tidligere talermodellen. Båndbredde viser her til hvor mye talerinformasjon embeddingen kan bære, ikke samplingsfrekvensen til WAV-filen. Det forklarer skillet mellom troverdig kloning og studioklar tale: Støy, romrespons, pust og uvanlig vokal tekstur kan være identitetsbevis i én oppgave og feil som bør fjernes i en annen.

Tekstbanen gikk fra eksplisitt fonemisering og språketiketter til normaliserte UTF-8-byte. Kinesiske tegn, japanske skriftsystemer, koreansk, tall, tegnsetting og kodeveksling trenger ikke lenger å gå gjennom én fast uttaleordbok før modellen. Byte-inndata garanterer ikke riktige flertydige uttaler eller frasering, men fjerner flere feilkilder i inngangen: manglende ordbokoppføringer, feil språketiketter og harde språkgrenser i en setning.

Mer data alene ville gitt et støyende mål, derfor beskrives trening i tre faser. Fortreningen bruker hele datasettet i åtte epoker med minimal filtrering etter samsvar med transkripsjonen og uten informasjon for talerkloning. Mellomtreningen strammer inn samsvar og datautvalg for å redusere hallusinasjoner, feiluttale og gjentakelser. En avsluttende annealing-fase innfører talerembeddinger, kontroll av talehastighet og kvalitetsbetingelser under strengere filtrering. Dekning læres først; kontrollerbar uttale og kloning konsentreres senere.

Stemmekloning handler om mer enn likhet

Omtale av stemmekloning reduseres ofte til ett spørsmål: Ligner det på referansetaleren? Det er viktig, men ikke nok for et verktøy. Et brukbart TTS-system avhenger også av naturlighet, stabilitet, språkdekning, forsinkelse, lisens og oppsett. ZONOS2 er interessant fordi modellen ikke bare følger fortellingen fra lukkede API-er om «mer menneskelig tale». Den kombinerer kloning med høy troverdighet og en åpen bane for lokal kjøring.

Det endrer brukerens avveining. Lukkede TTS-API-er er praktiske for driftede kall og ensartet fakturering. Mange åpne TTS-prosjekter er fleksible i eksperimenter, men krever at brukeren selv løser kvalitet, miljø og kjøretid. ZONOS2 ligger mellom disse ytterpunktene ved å kombinere stemmekloning av høy kvalitet, åpne modellmaterialer og en produktflyt som kan prøves fra nettstedet.

Utgivelsen er en modell og inferensstakk, ikke et eksternt stemme-API. Den offentlige kontrakten kombinerer referanselyd, måltekst, språk og samplingskontroller; resultatet avhenger fortsatt av forbehandling, codec-dekoding og valgt kontrollpunkt.

Dette er faktisk nytt

Tre offisielle detaljer bør holdes fra hverandre. Den første er arkitekturen: ZONOS2 er en sparsom Mixture of Experts-modell for TTS. Zyphra beskriver 8B totale parametere, med rundt 900M aktive under inferens. Modellen er altså ikke bare en tett modell som er skalert opp; MoE-utformingen lar en større parameterbank sameksistere med et mål om TTS i sanntid.

Den andre er lydrepresentasjonen. Modellkortet sier at ZONOS2 bruker normaliserte UTF-8-byte fra nemo TN og en ECAPA-TDNN-talerembedding under inferens, før MoE-kjernen genererer DAC-tokener. Zyphras artikkel beskriver DAC-ruten som produksjon av lyd ved 44,1 kHz. Det er relevant fordi bruksområdet er detaljert fortellerstemme, karakterstemmer, podkast og flerspråklig stemmekloning, ikke telefoni med lav samplingsfrekvens.

Den tredje er språkdekning. Modellkortet oppgir nivå 1 som engelsk, mandarin-kinesisk og japansk; nivå 2 som koreansk, russisk, italiensk, portugisisk, fransk, spansk, vietnamesisk, tysk, hebraisk og nederlandsk; og nivå 3 som svensk, hindi, tamil, telugu, thai, norsk, bengali, tagalog, arabisk, dansk, indonesisk, polsk, ukrainsk, rumensk, finsk, ungarsk, litauisk, estisk, slovakisk, kroatisk og latvisk. Inndelingen er i seg selv en grense: Støtte betyr ikke at alle språk, aksenter og referanseklipp fungerer likt.

Slik bør resultatpåstanden leses

Zyphras utgivelsesside oppgir sterke resultater i seed-tts eval og den nye ZTTS1-Eval, med vekt på talerlikhet, prosodi, naturlighet og troverdig stemmekloning. Den presise lesningen er kildeavgrenset: Dette er Zyphras rammeverk for evaluering og eksempler, ikke en universell garanti for at enhver etterfølgende generering overgår alle lukkede eller åpne modeller.

Evalueringsdiskusjonen er også mer nyansert enn én poengsum. Zyphra påpeker at WER kan være vanskelig for TTS, fordi en generert stemme kan være renere enn faktisk mennesketale og dermed enklere for ASR å transkribere, uten nødvendigvis å være en mer tro kopi av referansetaleren. ZONOS2 legger uttrykkelig vekt på vokal troverdighet og tilbyr stabile og uttrykksfulle retninger: Den ene prioriterer renere, stabil tale, mens den andre søker mer troverdig, naturlig kloning.

ZONOS2 er en åpen MoE-modell for TTS fra juni 2026, rapportert av Zyphra under bestemte oppsett for TTS og stemmekloning. Kvaliteten på referanselyden, målspråket, tekstlengden, stilkontrollen og samplingsoppsettet er fortsatt egne variabler, så publiserte resultater må holdes innenfor den angitte protokollen.

Sammenlignet med vanlige TTS-ruter

Bruk som verktøyflyt

Brukerflyten er enkel: Last opp en referansestemme, skriv inn teksten som skal leses, velg språk og parametere, og motta en WAV-fil som resultat.

For brukere er hovedverdien mindre oppsettsarbeid: De trenger ikke forberede et forskningsmiljø eller forstå alle implementasjonsdetaljer før ZONOS2 vurderes gjennom referansestemme, tekst, språk og kvalitetsparametere.

Praktiske råd

Fakta om ZONOS2 og produktforståelse