Zyphra ZONOS2 : un TTS MoE ouvert pour le clonage vocal haute fidélité

De Zonos-v0.1 à ZONOS2 : les données, la capacité du modèle et le conditionnement ont évolué ensemble

ZONOS2 n'est pas une simple version agrandie de Zonos-v0.1. Le modèle précédent comptait environ 1.6B de paramètres et avait été entraîné sur près de 200,000 heures de parole. Son entrée texte reposait sur la phonémisation et des étiquettes de langue, et sa représentation du locuteur transportait moins de détails. Cette version avait établi une voie ouverte de clonage vocal zero-shot, mais restait confrontée aux compromis habituels du TTS : la mise à l'échelle dense ralentissait la génération temps réel, les dictionnaires de phonèmes compliquaient les textes multilingues et alternant les langues, et un vecteur de locuteur compact pouvait écarter des détails vocaux et d'enregistrement présents dans l'extrait de référence.

Zyphra a repoussé ces trois limites dans ZONOS2. Le jeu d'entraînement est passé d'environ 200,000 heures à plus de six millions d'heures. La taille totale du modèle est passée de 1.6B à 8B de paramètres, tandis que le routage MoE clairsemé maintient près de 900M paramètres actifs à chaque étape. La publication annonce un débit temps réel quatre fois supérieur à celui du modèle précédent. La capacité peut ainsi couvrir davantage de langues, d'accents, de prosodies et de conditions d'enregistrement sans demander à chaque token d'exécuter l'intégralité du réseau 8B.

Le conditionnement du locuteur a lui aussi changé. Zyphra décrit le nouvel embedding ECAPA-TDNN comme disposant de 20 fois la bande passante du modèle de locuteur précédent. Cette bande passante désigne la quantité d'informations sur le locuteur que l'embedding peut porter, et non la fréquence d'échantillonnage du fichier WAV produit. Elle aide à comprendre la distinction faite dans la publication entre clonage fidèle et voix propre comme en studio : bruit, réponse de la pièce, respiration et texture vocale atypique peuvent constituer une preuve d'identité pour une tâche et des défauts à supprimer pour une autre.

Le parcours texte est passé de la phonémisation explicite et des balises de langue à des octets UTF-8 normalisés. Les caractères chinois, les écritures japonaises, le coréen, les nombres, la ponctuation et l'alternance de langues n'ont plus à traverser un dictionnaire de prononciation fixe avant d'atteindre le modèle. L'entrée en octets ne garantit pas la bonne lecture des polyphones ni le bon phrasé, mais elle élimine plusieurs points de défaillance en amont : entrées absentes du dictionnaire, étiquettes de langue erronées et frontières linguistiques rigides au sein d'une phrase.

Davantage de données seulement aurait laissé au modèle un objectif bruité ; la description officielle adopte donc un entraînement en trois étapes. Le préentraînement parcourt le jeu complet pendant huit époques, avec un filtrage minimal de concordance des transcriptions et sans information de clonage vocal. L'entraînement intermédiaire resserre la concordance des transcriptions et la sélection des données afin de réduire hallucinations, erreurs de prononciation et répétitions. Une dernière phase d'annealing introduit embeddings de locuteur, contrôles du débit de parole et conditions de qualité sous un filtrage plus strict. La couverture est apprise d'abord ; la prononciation contrôlable et le clonage sont concentrés plus tard.

Le clonage vocal ne se résume pas à la ressemblance

L'évaluation du clonage vocal se réduit souvent à une question : la voix ressemble-t-elle au locuteur de référence ? C'est important, mais insuffisant pour un outil. Un système TTS exploitable dépend aussi du naturel, de la stabilité, de la couverture linguistique, de la latence, de la licence et de la charge d'installation. ZONOS2 est intéressant parce qu'il ne suit pas seulement le récit des API fermées promettant une « voix plus humaine ». Il associe un clonage haute fidélité à une voie ouverte exécutable localement.

Cela modifie le compromis pour l'utilisateur. Les API TTS fermées sont pratiques pour les appels hébergés et une facturation uniforme. De nombreux projets TTS ouverts sont flexibles pour les expériences, mais imposent aux utilisateurs de résoudre eux-mêmes les questions de qualité, d'environnement et d'exécution. ZONOS2 se place entre ces deux pôles en associant clonage vocal de haute qualité, ressources de modèle ouvertes et flux produit que les utilisateurs peuvent essayer depuis le site.

La publication fournit un modèle et une pile d'inférence plutôt qu'une API vocale externe. Son contrat public combine audio de référence, texte cible, langue et réglages d'échantillonnage ; le résultat dépend encore du prétraitement, du décodage du codec et du checkpoint choisi.

Ce qui est réellement nouveau

Trois éléments officiels méritent d'être distingués. Le premier est l'architecture : ZONOS2 est un modèle TTS clairsemé de type Mixture of Experts. Zyphra le décrit avec 8B de paramètres au total et environ 900M actifs pendant l'inférence. Il ne s'agit donc pas d'un simple modèle dense agrandi ; la conception MoE permet à une réserve de paramètres plus vaste de coexister avec un objectif de TTS temps réel.

Le deuxième est la représentation audio. Selon la fiche du modèle, ZONOS2 utilise lors de l'inférence des octets UTF-8 normalisés par nemo TN et un embedding de locuteur ECAPA-TDNN, puis le backbone MoE génère des tokens DAC. L'article officiel de Zyphra présente la voie DAC comme produisant un son à 44.1 kHz. Ce point compte, car les usages visés sont la narration détaillée, les voix de personnages, les podcasts et le clonage vocal multilingue, plutôt que la téléphonie à faible fréquence d'échantillonnage.

Le troisième est la couverture linguistique. La fiche du modèle place au Tier 1 l'anglais, le chinois mandarin et le japonais ; au Tier 2 le coréen, le russe, l'italien, le portugais, le français, l'espagnol, le vietnamien, l'allemand, l'hébreu et le néerlandais ; et au Tier 3 le suédois, l'hindi, le tamoul, le télougou, le thaï, le norvégien, le bengali, le tagalog, l'arabe, le danois, l'indonésien, le polonais, l'ukrainien, le roumain, le finnois, le hongrois, le lituanien, l'estonien, le slovaque, le croate et le letton. Cette hiérarchie constitue elle-même une limite : la prise en charge ne signifie pas que chaque langue, accent et extrait de référence se comportera de façon identique.

Comment interpréter l'affirmation sur les benchmarks

La page de publication de Zyphra annonce de solides résultats sur seed-tts eval et le nouveau ZTTS1-Eval, en insistant sur la ressemblance du locuteur, la prosodie, le naturel et la fidélité du clonage vocal. La lecture exacte reste circonscrite à la source : il s'agit du cadre de benchmark et d'exemples de Zyphra, et non d'une garantie universelle selon laquelle chaque génération en aval surpassera tous les modèles fermés ou ouverts.

La discussion sur l'évaluation est également plus subtile qu'un score unique. Zyphra note que le WER peut être délicat pour le TTS, car une voix générée peut être plus propre que la parole humaine réelle et donc plus facile à transcrire par l'ASR, sans être forcément un clone plus fidèle du locuteur de référence. ZONOS2 met explicitement l'accent sur la fidélité vocale et propose des orientations stable et expressive : l'une privilégie une sortie plus propre et stable, l'autre vise un clonage naturel plus fidèle.

ZONOS2 est une publication TTS MoE ouverte de juin 2026, dont Zyphra rend compte selon des paramètres précis d'évaluation du TTS et du clonage vocal. La qualité de l'audio de référence, la langue cible, la longueur du texte, le contrôle du style et la configuration d'échantillonnage restent des variables distinctes ; les résultats publiés demeurent donc dans les limites du protocole annoncé.

Comparaison avec les voies TTS courantes

L'utiliser comme flux d'outils

Le parcours utilisateur est simple : téléverser une voix de référence, saisir le texte à prononcer, choisir la langue et les paramètres, puis recevoir un fichier WAV en résultat.

Pour les utilisateurs, la valeur principale tient à la charge d'installation réduite : ils n'ont pas à préparer un environnement de recherche ni à comprendre chaque détail d'implémentation avant d'évaluer ZONOS2 à l'aide de la voix de référence, du texte, de la langue et des paramètres de qualité.

Conseils pratiques d'utilisation

Faits sur ZONOS2 et lecture du produit