Zyphra ZONOS2: un TTS MoE abierto para clonación de voz de alta fidelidad

De Zonos-v0.1 a ZONOS2: datos, capacidad y acondicionamiento cambiaron a la vez

ZONOS2 no es una copia más grande de Zonos-v0.1. El modelo anterior tenía cerca de 1.600 millones de parámetros y se entrenó con unas 200.000 horas de voz. Usaba fonemización y etiquetas de idioma en la entrada textual, mientras que su representación del hablante conservaba menos detalles. Aquella versión estableció una ruta abierta de clonación zero-shot, pero mantenía las dificultades habituales del TTS: el escalado denso ralentizaba la generación, los diccionarios de fonemas complicaban el texto multilingüe y el cambio de código, y un vector compacto podía perder detalles vocales y de grabación presentes en el clip de referencia.

Zyphra desplazó los tres límites en ZONOS2. El conjunto de entrenamiento pasó de unas 200.000 horas a más de seis millones. El tamaño total creció de 1.6B a 8B parámetros, mientras el enrutamiento MoE disperso mantiene cerca de 900M activos en cada paso. El lanzamiento indica un rendimiento en tiempo real cuatro veces superior al modelo anterior. Así, la capacidad puede alojar más variedad de idiomas, acentos, prosodia y condiciones de grabación sin pedir que cada token ejecute la red completa de 8B.

También cambió el acondicionamiento del hablante. Zyphra describe el nuevo embedding ECAPA-TDNN con un ancho de banda veinte veces mayor que el modelo previo. Aquí, «ancho de banda» se refiere a cuánta información del hablante puede transportar el embedding, no a la frecuencia de muestreo del WAV. Esto aclara la diferencia entre clonación fiel y voz limpia de estudio: el ruido, la respuesta de sala, la respiración y una textura vocal singular pueden ser pruebas de identidad en un trabajo y defectos que eliminar en otro.

La ruta textual dejó la fonemización explícita y las etiquetas de idioma para usar bytes UTF-8 normalizados. Los caracteres chinos, las escrituras japonesas, el coreano, los números, la puntuación y el cambio de código ya no tienen que pasar por un único diccionario de pronunciación antes de llegar al modelo. La entrada por bytes no garantiza una pronunciación o un fraseo correctos, pero elimina varios puntos de fallo: entradas ausentes, etiquetas erróneas y fronteras rígidas entre idiomas dentro de una frase.

Más datos por sí solos habrían dejado un objetivo ruidoso, por eso la descripción oficial utiliza tres fases de entrenamiento. El preentrenamiento recorre todo el conjunto durante ocho épocas, con un filtrado mínimo de concordancia con la transcripción y sin información para clonar hablantes. El entrenamiento intermedio endurece la concordancia y la selección para reducir alucinaciones, errores de pronunciación y repeticiones. Una fase final de annealing introduce embeddings de hablante, controles de velocidad y condiciones de calidad con un filtrado más estricto. Primero se aprende la cobertura; después se concentra la pronunciación controlable y la clonación.

Clonar una voz es más que lograr parecido

La cobertura sobre clonación suele reducirse a una pregunta: ¿suena como la persona de referencia? Es importante, pero no basta para una herramienta. Un sistema TTS útil también depende de naturalidad, estabilidad, cobertura lingüística, latencia, licencia y dificultad de instalación. ZONOS2 resulta interesante porque no se limita al relato de las API cerradas sobre una voz «más humana». Combina clonación de alta fidelidad con una ruta abierta de ejecución local.

Esto cambia el compromiso del usuario. Las API cerradas son cómodas para llamadas alojadas y facturación uniforme. Muchos proyectos abiertos son flexibles para experimentar, pero obligan a resolver por cuenta propia calidad, entorno y ejecución. ZONOS2 queda entre ambos polos al combinar clonación de alta calidad, materiales abiertos y un flujo de producto que se puede probar desde el sitio.

El lanzamiento es un modelo y una pila de inferencia, no una API externa de voz. Su contrato público combina audio de referencia, texto objetivo, idioma y controles de muestreo; el resultado todavía depende del preprocesamiento, la decodificación del códec y el checkpoint elegido.

Qué hay realmente de nuevo

Conviene separar tres detalles oficiales. El primero es la arquitectura: ZONOS2 es un modelo TTS Mixture of Experts disperso. Zyphra lo describe con 8B parámetros totales y unos 900M activos durante la inferencia. No es simplemente un modelo denso ampliado; el diseño MoE permite que un banco mayor de parámetros conviva con el objetivo de TTS en tiempo real.

El segundo es la representación del audio. La ficha indica que ZONOS2 usa bytes UTF-8 normalizados por nemo TN y un embedding de hablante ECAPA-TDNN durante la inferencia, antes de que la base MoE genere tokens DAC. El artículo oficial encuadra esta ruta como productora de audio a 44,1 kHz. Es relevante porque el uso previsto abarca narración detallada, voces de personajes, pódcast y clonación multilingüe, no telefonía con baja frecuencia de muestreo.

El tercero es la cobertura de idiomas. La ficha sitúa en el nivel 1 el inglés, el chino mandarín y el japonés; en el nivel 2 el coreano, ruso, italiano, portugués, francés, español, vietnamita, alemán, hebreo y neerlandés; y en el nivel 3 el sueco, hindi, tamil, telugu, tailandés, noruego, bengalí, tagalo, árabe, danés, indonesio, polaco, ucraniano, rumano, finés, húngaro, lituano, estonio, eslovaco, croata y letón. La propia división marca un límite: «compatible» no significa que todos los idiomas, acentos y clips se comporten igual.

Cómo leer la afirmación del benchmark

La página de Zyphra comunica resultados sólidos en seed-tts eval y el nuevo ZTTS1-Eval, con énfasis en parecido del hablante, prosodia, naturalidad y fidelidad de clonación. La lectura correcta se limita a la fuente: es el marco de benchmark y muestras de Zyphra, no una garantía universal de que cualquier generación posterior supere a todos los modelos abiertos o cerrados.

La evaluación también es más sutil que una sola puntuación. Zyphra señala que WER puede ser una medida difícil para TTS, porque una voz generada puede ser más limpia que el habla humana real y, por tanto, más fácil de transcribir por ASR, sin ser necesariamente una copia más fiel. ZONOS2 destaca la fidelidad vocal y ofrece orientaciones estable y expresiva: una favorece resultados más limpios y estables; la otra busca una clonación natural más fiel.

ZONOS2 es un lanzamiento abierto de TTS MoE de junio de 2026 que Zyphra evalúa bajo configuraciones específicas de síntesis y clonación. La calidad del audio de referencia, el idioma objetivo, la longitud del texto, el control de estilo y los parámetros de muestreo siguen siendo variables independientes; los resultados publicados permanecen dentro del protocolo declarado.

Comparación con rutas habituales de TTS

Uso como flujo de herramienta

El recorrido es sencillo: subir una voz de referencia, escribir el texto que se pronunciará, elegir idioma y parámetros y recibir un archivo WAV como resultado.

Para el usuario, el valor principal es la menor carga de instalación: no necesita preparar un entorno de investigación ni comprender cada detalle antes de evaluar ZONOS2 con voz de referencia, texto, idioma y parámetros de calidad.

Notas prácticas

Datos de ZONOS2 y lectura del producto