Zyphra ZONOS2: TTS MoE aberto para clonagem de voz de alta fidelidade

Do Zonos-v0.1 ao ZONOS2: dados, capacidade e condicionamento mudaram juntos

O ZONOS2 não é uma cópia maior do Zonos-v0.1. O modelo anterior tinha cerca de 1,6 bilhão de parâmetros e foi treinado com aproximadamente 200 mil horas de fala. Ele dependia de fonemização e rótulos de idioma na entrada textual, e sua representação do falante preservava menos detalhes. Essa versão estabeleceu uma rota aberta de clonagem zero-shot, mas ainda enfrentava os compromissos típicos de TTS: o aumento denso tornava a geração em tempo real mais lenta, dicionários de fonemas complicavam texto multilíngue e alternância de código, e um vetor compacto de falante podia descartar detalhes vocais e de gravação presentes no clipe de referência.

A Zyphra deslocou esses três limites no ZONOS2. O conjunto de treinamento cresceu de cerca de 200 mil horas para mais de seis milhões. O tamanho total passou de 1.6B para 8B parâmetros, enquanto o roteamento MoE esparso mantém perto de 900M ativos em cada etapa. O lançamento informa desempenho em tempo real quatro vezes maior que o modelo anterior. Assim, a capacidade pode acomodar mais variação de idioma, sotaque, prosódia e condições de gravação sem exigir que cada token execute toda a rede de 8B.

O condicionamento de falante também mudou. A Zyphra descreve o novo embedding ECAPA-TDNN como tendo 20 vezes a largura de banda do modelo anterior. Aqui, largura de banda significa a quantidade de informação sobre o falante que o embedding consegue carregar, e não a taxa de amostragem do WAV. Isso ajuda a explicar a distinção entre clonagem fiel e fala limpa de estúdio: ruído, resposta da sala, respiração e textura vocal incomum podem ser evidências de identidade em uma tarefa e defeitos a remover em outra.

O caminho textual deixou a fonemização explícita e os rótulos de idioma para usar bytes UTF-8 normalizados. Caracteres chineses, sistemas de escrita japoneses, coreano, números, pontuação e alternância de código já não precisam passar por um único dicionário fixo de pronúncia antes de chegar ao modelo. A entrada em bytes não garante polifonia ou fraseado corretos, mas remove vários pontos de falha: entradas ausentes no dicionário, rótulos de idioma errados e fronteiras rígidas de língua dentro da frase.

Mais dados, por si só, deixariam um objetivo ruidoso; por isso a descrição oficial usa treinamento em três estágios. O pré-treinamento percorre o conjunto inteiro por oito épocas, com filtragem mínima de concordância com a transcrição e sem dados de clonagem. O treinamento intermediário torna mais rígidos a concordância e o recorte do conjunto para reduzir alucinações, pronúncias erradas e repetições. Uma etapa final de annealing introduz embeddings de falante, controles de velocidade e condições de qualidade sob filtragem mais rigorosa. A cobertura é aprendida primeiro; a pronúncia controlável e a clonagem se concentram depois.

Clonagem de voz é mais do que semelhança

A cobertura sobre clonagem costuma se resumir a uma pergunta: o resultado soa como o falante de referência? Isso importa, mas não basta para uma ferramenta. Um sistema TTS utilizável também depende de naturalidade, estabilidade, cobertura de idiomas, latência, licença e dificuldade de configuração. O ZONOS2 é interessante porque não segue apenas a narrativa das APIs fechadas sobre “fala mais humana”. Ele combina clonagem de alta fidelidade com um caminho aberto de execução local.

Isso altera o compromisso para o usuário. APIs fechadas são convenientes para chamadas hospedadas e cobrança uniforme. Muitos projetos abertos são flexíveis em experimentos, mas exigem que o usuário resolva sozinho qualidade, ambiente e runtime. O ZONOS2 fica entre esses polos ao unir clonagem de alta qualidade, materiais de modelo abertos e um fluxo de produto que os usuários podem experimentar pelo site.

O lançamento é um modelo e uma pilha de inferência, não uma API de voz externa. O contrato público combina áudio de referência, texto-alvo, idioma e controles de amostragem; o resultado ainda depende de pré-processamento, decodificação do codec e checkpoint escolhido.

O que há de fato de novo

Três detalhes oficiais precisam ser separados. O primeiro é a arquitetura: o ZONOS2 é um modelo TTS esparso do tipo Mixture of Experts. A Zyphra o descreve com 8B parâmetros totais e cerca de 900M ativos na inferência. Portanto, não se trata apenas de um modelo denso ampliado; o desenho MoE permite que um conjunto maior de parâmetros conviva com a meta de TTS em tempo real.

O segundo é a representação de áudio. O cartão informa que o ZONOS2 usa bytes UTF-8 normalizados pelo nemo TN e um embedding de falante ECAPA-TDNN durante a inferência, para então empregar a base MoE na geração de tokens DAC. O artigo oficial enquadra esse caminho como produtor de áudio a 44,1 kHz. Isso importa porque o uso pretendido inclui narração detalhada, vozes de personagens, podcasts e clonagem multilíngue, em vez de telefonia com baixa taxa de amostragem.

O terceiro é a cobertura de idiomas. O cartão lista o nível 1 como inglês, mandarim e japonês; o nível 2 como coreano, russo, italiano, português, francês, espanhol, vietnamita, alemão, hebraico e neerlandês; e o nível 3 como sueco, hindi, tâmil, télugo, tailandês, norueguês, bengali, tagalo, árabe, dinamarquês, indonésio, polonês, ucraniano, romeno, finlandês, húngaro, lituano, estoniano, eslovaco, croata e letão. A própria classificação estabelece um limite: suporte não significa comportamento idêntico em todos os idiomas, sotaques e clipes.

Como ler a alegação de benchmark

A página da Zyphra informa resultados fortes no seed-tts eval e no novo ZTTS1-Eval, com ênfase em semelhança do falante, prosódia, naturalidade e fidelidade da clonagem. A leitura correta fica restrita à fonte: esse é o enquadramento da Zyphra para benchmark e amostras, não uma garantia universal de que toda geração posterior superará todos os modelos abertos ou fechados.

A discussão de avaliação é mais sutil que uma única pontuação. A Zyphra observa que WER pode ser uma medida difícil para TTS, porque uma voz gerada pode ser mais limpa que a fala humana real e, assim, mais fácil para ASR transcrever, sem necessariamente ser uma cópia mais fiel do falante. O ZONOS2 enfatiza fidelidade vocal e oferece orientações estável e expressiva: uma favorece saída mais limpa e estável; a outra busca clonagem natural mais fiel.

O ZONOS2 é um lançamento aberto de TTS MoE de junho de 2026, relatado pela Zyphra sob configurações específicas de avaliação de síntese e clonagem. Qualidade do áudio de referência, idioma-alvo, extensão do texto, controle de estilo e configuração de amostragem continuam sendo variáveis separadas; os resultados publicados permanecem dentro do protocolo declarado.

Comparação com rotas comuns de TTS

Uso como fluxo de ferramenta

O fluxo é simples: enviar uma voz de referência, digitar o texto a ser falado, escolher idioma e parâmetros e receber um arquivo WAV como resultado.

Para o usuário, o principal valor é a menor carga de configuração: não é preciso preparar um ambiente de pesquisa nem entender cada detalhe da implementação antes de avaliar o ZONOS2 com voz de referência, texto, idioma e parâmetros de qualidade.

Observações práticas

Dados do ZONOS2 e leitura do produto