Zyphra ZONOS2: un TTS MoE aperto per voice cloning ad alta fedeltà

Da Zonos-v0.1 a ZONOS2: dati, capacità del modello e condizionamento sono cambiati insieme

ZONOS2 non è una copia ingrandita di Zonos-v0.1. Il modello precedente aveva circa 1.6B parametri ed era stato addestrato su circa 200,000 ore di parlato. Usava fonemizzazione ed etichette linguistiche all'ingresso del testo, mentre la rappresentazione del parlante conteneva meno dettagli. Quella versione aveva aperto un percorso di clonazione vocale zero-shot, ma affrontava ancora i consueti compromessi del TTS: la scalabilità densa rallentava la generazione in tempo reale, i dizionari di fonemi complicavano il testo multilingue e con alternanza di codice, e un vettore del parlante compatto poteva scartare dettagli vocali e di registrazione presenti nella clip di riferimento.

Con ZONOS2 Zyphra ha spostato tutti e tre i confini. Il set di addestramento è cresciuto da circa 200,000 ore a oltre sei milioni. La dimensione totale del modello è passata da 1.6B a 8B parametri, mentre il routing MoE sparso mantiene il set attivo vicino a 900M per ogni passaggio. Il rilascio dichiara un throughput in tempo reale quattro volte superiore al modello precedente. La capacità può così accogliere una varietà più ampia di lingue, accenti, prosodia e condizioni di registrazione senza chiedere a ogni token di eseguire l'intera rete 8B.

Anche il condizionamento del parlante è cambiato. Zyphra descrive il nuovo embedding ECAPA-TDNN come dotato di una larghezza di banda 20 volte superiore a quella del modello precedente. Qui la larghezza di banda indica la quantità di informazioni sul parlante che l'embedding può trasportare, non la frequenza di campionamento del WAV in uscita. Aiuta a spiegare la distinzione del rilascio tra clonazione fedele e voce pulita da studio: rumore, risposta della stanza, respiro e texture vocale insolita possono essere prove di identità in un'attività e difetti da rimuovere in un'altra.

Il percorso testuale è passato da fonemizzazione esplicita ed etichette linguistiche a byte UTF-8 normalizzati. Caratteri cinesi, scritture giapponesi, coreano, numeri, punteggiatura e code-switching non devono più attraversare un unico dizionario di pronuncia fisso prima di raggiungere il modello. L'input in byte non garantisce polifoni o fraseggio corretti, ma elimina diversi punti di errore iniziali: voci mancanti nel dizionario, etichette linguistiche errate e confini rigidi tra lingue all'interno della frase.

Una maggiore quantità di dati, da sola, avrebbe lasciato al modello un obiettivo rumoroso; la descrizione ufficiale adotta quindi un addestramento in tre fasi. Il preaddestramento percorre l'intero set per otto epoche, con un filtraggio minimo della corrispondenza delle trascrizioni e senza informazioni sulla clonazione vocale. Il mid-training rende più severi la corrispondenza delle trascrizioni e la selezione del set, per ridurre allucinazioni, errori di pronuncia e ripetizioni. Una fase finale di annealing introduce embedding del parlante, controlli della velocità di eloquio e condizioni di qualità con un filtraggio più rigoroso. Prima si apprende la copertura; la pronuncia controllabile e la clonazione vengono concentrate in seguito.

La clonazione vocale è più della somiglianza

La valutazione della clonazione vocale spesso si riduce a una domanda: assomiglia al parlante di riferimento? È importante, ma non basta per uno strumento. Un sistema TTS utilizzabile dipende anche da naturalezza, stabilità, copertura linguistica, latenza, licenza e difficoltà di configurazione. ZONOS2 è interessante perché non segue soltanto il racconto delle API chiuse sulla «voce più umana». Abbina una clonazione ad alta fedeltà a un percorso aperto eseguibile in locale.

Questo cambia il compromesso per l'utente. Le API TTS chiuse sono comode per chiamate ospitate e fatturazione uniforme. Molti progetti TTS aperti sono flessibili per gli esperimenti, ma richiedono agli utenti di risolvere autonomamente problemi di qualità, ambiente e runtime. ZONOS2 si colloca tra questi estremi, combinando clonazione vocale di alta qualità, materiali del modello aperti e un flusso di prodotto che gli utenti possono provare dal sito.

Il rilascio è un modello con stack di inferenza, non un'API vocale esterna. Il suo contratto pubblico combina audio di riferimento, testo di destinazione, lingua e controlli di campionamento; il risultato dipende ancora da pre-elaborazione, decodifica del codec e checkpoint selezionato.

Che cosa c'è davvero di nuovo

Tre dettagli ufficiali vanno distinti. Il primo è l'architettura: ZONOS2 è un modello TTS sparso Mixture of Experts. Zyphra lo descrive come 8B parametri totali, con circa 900M attivi durante l'inferenza. Non si tratta quindi di un semplice modello denso ingrandito; il progetto MoE consente a un insieme di parametri più ampio di convivere con l'obiettivo del TTS in tempo reale.

Il secondo è la rappresentazione audio. La scheda del modello afferma che ZONOS2 usa byte UTF-8 normalizzati da nemo TN e un embedding del parlante ECAPA-TDNN durante l'inferenza, quindi impiega il backbone MoE per generare token DAC. L'articolo ufficiale di Zyphra presenta il percorso DAC come capace di produrre audio a 44.1 kHz. È rilevante perché l'uso previsto riguarda narrazione dettagliata, voci di personaggi, podcast e clonazione vocale multilingue, non telefonia a bassa frequenza di campionamento.

Il terzo è la copertura linguistica. La scheda del modello indica nel Tier 1 inglese, cinese mandarino e giapponese; nel Tier 2 coreano, russo, italiano, portoghese, francese, spagnolo, vietnamita, tedesco, ebraico e olandese; e nel Tier 3 svedese, hindi, tamil, telugu, thailandese, norvegese, bengalese, tagalog, arabo, danese, indonesiano, polacco, ucraino, romeno, finlandese, ungherese, lituano, estone, slovacco, croato e lettone. La suddivisione stessa rappresenta un confine: il supporto non implica che ogni lingua, accento e clip di riferimento si comportino allo stesso modo.

Come leggere l'affermazione sui benchmark

La pagina di rilascio di Zyphra riporta risultati solidi su seed-tts eval e sul nuovo ZTTS1-Eval, con enfasi su somiglianza del parlante, prosodia, naturalezza e fedeltà della clonazione vocale. La lettura corretta resta circoscritta alla fonte: è il quadro di benchmark e campioni di Zyphra, non una garanzia universale che ogni generazione successiva superi qualsiasi modello chiuso o aperto.

La discussione sulla valutazione è anche più sfumata di un singolo punteggio. Zyphra osserva che il WER può essere problematico per il TTS, perché una voce generata può essere più pulita del parlato umano reale e quindi più facile da trascrivere per l'ASR, senza essere necessariamente una copia più fedele del parlante di riferimento. ZONOS2 mette esplicitamente in risalto la fedeltà vocale e offre orientamenti stable ed expressive: uno privilegia un output più pulito e stabile, l'altro punta a una clonazione naturale più fedele.

ZONOS2 è un rilascio TTS MoE aperto del giugno 2026 che Zyphra documenta secondo specifiche condizioni di valutazione TTS e clonazione vocale. Qualità dell'audio di riferimento, lingua di destinazione, lunghezza del testo, controllo dello stile e configurazione di campionamento restano variabili separate; i risultati pubblicati rimangono quindi entro il protocollo dichiarato.

Confronto con i percorsi TTS comuni

Usarlo come flusso di strumenti

Il percorso dell'utente è semplice: caricare una voce di riferimento, inserire il testo da pronunciare, scegliere lingua e parametri e ricevere come risultato un file WAV.

Per gli utenti, il valore principale è il minore onere di configurazione: non devono preparare un ambiente di ricerca né comprendere ogni dettaglio implementativo prima di valutare ZONOS2 attraverso voce di riferimento, testo, lingua e parametri di qualità.

Indicazioni pratiche per l'uso

Fatti su ZONOS2 e lettura del prodotto