Zyphra ZONOS2: et åbent TTS-MoE til stemmekloning i høj kvalitet

Fra Zonos-v0.1 til ZONOS2: data, modelkapacitet og betingning blev ændret samtidig

ZONOS2 er ikke blot en større kopi af Zonos-v0.1. Den tidligere model havde omkring 1.6B parametre og blev trænet på cirka 200,000 timers tale. Den benyttede fonemisering og sprogmærker i tekstfrontenden, og dens talerrepræsentation rummede færre detaljer. Den version etablerede en åben vej til zero-shot-stemmekloning, men stod stadig over for de almindelige TTS-afvejninger: tæt skalering gjorde realtidsgenerering langsommere, fonemordbøger gjorde flersproget og kodeskiftende tekst mere kompliceret, og en kompakt talervektor kunne miste vokale detaljer og optagedetaljer fra referenceklippet.

Zyphra flyttede alle tre grænser i ZONOS2. Træningssættet voksede fra omkring 200,000 timer til mere end seks millioner timer. Modellens samlede størrelse steg fra 1.6B til 8B parametre, mens sparsom MoE-routing holder det aktive sæt tæt på 900M ved hvert trin. Udgivelsen rapporterer fire gange højere realtidsgennemløb end den tidligere model. Kapaciteten kan derfor rumme større variation i sprog, accent, prosodi og optageforhold, uden at hvert token skal køre gennem hele 8B-netværket.

Talerbetingningen blev også ændret. Zyphra beskriver den nye ECAPA-TDNN-embedding som havende 20 gange så stor båndbredde som den tidligere talermodel. Denne båndbredde handler om, hvor mange taleroplysninger en embedding kan rumme, ikke om samplingsfrekvensen i den færdige WAV. Det er med til at forklare udgivelsens skelnen mellem trofast kloning og studie-ren tale: støj, rumrespons, vejrtrækning og usædvanlig stemmetekstur kan være identitetsbeviser i én opgave og fejl, der skal fjernes, i en anden.

Tekstvejen gik fra eksplicit fonemisering og sprogmærker til normaliserede UTF-8 bytes. Kinesiske tegn, japanske skriftsystemer, koreansk, tal, tegnsætning og kodeskift behøver ikke længere passere én fast udtaleordbog, før de når modellen. Byteinput garanterer ikke korrekt udtale af flertydige ord eller korrekt frasering, men fjerner flere fejlkilder i frontenden: manglende ordbogsopslag, forkerte sprogmærker og hårde sproggrænser midt i en sætning.

Flere data alene ville have efterladt modellen med et støjfyldt mål, så den officielle beskrivelse anvender træning i tre faser. Fortræningen kører hele datasættet i 8 epoker med minimal filtrering efter overensstemmelse i transskriptionen og uden oplysninger til stemmekloning. Mellemtræningen strammer kravene til transskriptionsoverensstemmelse og datasætvalg for at reducere hallucinationer, fejludtaler og gentagelser. En afsluttende annealing-fase indfører talerembeddings, kontrol af talehastighed og kvalitetsbetingelser under strengere filtrering. Først læres dækningen; senere koncentreres den kontrollerbare udtale og kloning.

Stemmekloning handler om mere end lighed

Dækningen af stemmekloning bliver ofte reduceret til ét spørgsmål: lyder det som referencetaleren? Det er vigtigt, men ikke nok for et værktøj. Et anvendeligt TTS-system afhænger også af naturlighed, stabilitet, sprogdækning, latenstid, licens og opsætningsbyrde. ZONOS2 er interessant, fordi den ikke blot følger fortællingen fra lukkede API'er om »mere menneskelig tale«. Den kombinerer naturtro kloning med en åben vej til lokal kørsel.

Det ændrer brugerens afvejning. Lukkede TTS-API'er er praktiske til hostede kald og ensartet afregning. Mange åbne TTS-projekter er fleksible til forsøg, men kræver, at brugeren selv løser problemer med kvalitet, miljø og runtime. ZONOS2 placerer sig mellem disse yderpunkter ved at kombinere stemmekloning i høj kvalitet, åbne modelmaterialer og et produktflow, som brugere kan afprøve på webstedet.

Udgivelsen er en model og en inferensstak frem for et eksternt stemme-API. Den offentlige kontrakt kombinerer referencelyd, måltekst, sprog og samplingskontroller; resultatet afhænger fortsat af forbehandling, codec-afkodning og det valgte checkpoint.

Hvad er reelt nyt?

Tre officielle detaljer bør holdes adskilt. Den første er arkitekturen: ZONOS2 er en sparsom Mixture of Experts-TTS-model. Zyphra beskriver den som 8B parametre i alt med cirka 900M aktive under inferens. Det betyder, at modellen ikke blot er en tæt model, der er skaleret op; MoE-designet lader en større parameterpulje eksistere sammen med et mål om TTS i realtid.

Den anden er lydrepræsentationen. Modelkortet oplyser, at ZONOS2 anvender nemo TN normalized UTF-8 bytes og en ECAPA-TDNN-talerembedding under inferens og derefter benytter MoE-backbonen til at generere DAC-tokens. Zyphras officielle artikel beskriver DAC-vejen som en kilde til lyd ved 44.1 kHz. Det er vigtigt, fordi det tilsigtede formål er detaljeret fortællerstemme, karakterstemmer, podcasts og flersproget stemmekloning frem for telefoni med lav samplingsfrekvens.

Den tredje er sprogdækningen. Modelkortet anfører Tier 1 som English, Mandarin Chinese og Japanese; Tier 2 som Korean, Russian, Italian, Portuguese, French, Spanish, Vietnamese, German, Hebrew og Dutch; og Tier 3 som Swedish, Hindi, Tamil, Telugu, Thai, Norwegian, Bengali, Tagalog, Arabic, Danish, Indonesian, Polish, Ukrainian, Romanian, Finnish, Hungarian, Lithuanian, Estonian, Slovak, Croatian og Latvian. Selve niveauinddelingen er en grænse: understøttelse betyder ikke, at alle sprog, accenter og referenceklip opfører sig ens.

Sådan skal benchmarkpåstanden læses

Zyphras udgivelsesside rapporterer stærke resultater i seed-tts eval og den nye ZTTS1-Eval med vægt på talerlighed, prosodi, naturlighed og troværdighed i stemmekloning. Den præcise læsning er afgrænset af kilden: dette er Zyphras benchmark- og eksempelramme, ikke en universel garanti for, at enhver efterfølgende generering slår alle lukkede eller åbne modeller.

Evalueringsdiskussionen er også mere nuanceret end én enkelt score. Zyphra bemærker, at WER kan være vanskelig at bruge til TTS, fordi en genereret stemme kan være renere end ægte mennesketale og derfor lettere for ASR at transskribere, uden nødvendigvis at være en mere trofast kopi af referencetaleren. ZONOS2 fremhæver udtrykkeligt stemmemæssig troværdighed og tilbyder stabile og udtryksfulde retninger: den ene prioriterer renere, stabilt output, mens den anden sigter efter mere trofast og naturlig kloning.

ZONOS2 er en åben MoE-TTS-udgivelse fra juni 2026, som Zyphra rapporterer under bestemte evalueringsforhold for TTS og stemmekloning. Kvaliteten af referencelyden, målsproget, tekstlængden, stilkontrollen og samplingsopsætningen er stadig separate variabler, så de offentliggjorte resultater gælder inden for den angivne protokol.

Sammenlignet med almindelige TTS-veje

Brug som værktøjsflow

Brugerforløbet er enkelt: Upload en referencestemme, indtast den tekst, der skal oplæses, vælg sprog og parametre, og modtag resultatet som en WAV-fil.

Den største værdi for brugerne er en lavere opsætningsbyrde: De behøver ikke forberede et forskningsmiljø eller forstå alle implementeringsdetaljer, før de vurderer ZONOS2 ud fra referencestemme, tekst, sprog og kvalitetsparametre.

Praktiske råd

Fakta om ZONOS2 og en produktorienteret læsning