Zyphra ZONOS2: otwarty TTS MoE do wysokiej jakości klonowania głosu

Od Zonos-v0.1 do ZONOS2: dane, pojemność modelu i warunkowanie zmieniły się razem

ZONOS2 nie jest większą kopią Zonos-v0.1. Poprzedni model miał około 1.6B parametrów i był trenowany na mniej więcej 200,000 godzin mowy. Na wejściu tekstowym opierał się na fonemizacji i etykietach językowych, a reprezentacja mówcy przenosiła mniej szczegółów. Ta wersja ustanowiła otwartą ścieżkę klonowania głosu zero-shot, ale nadal mierzyła się z typowymi kompromisami TTS: gęste skalowanie spowalniało generowanie w czasie rzeczywistym, słowniki fonemów komplikowały tekst wielojęzyczny i code-switching, a zwarty wektor mówcy mógł odrzucać szczegóły głosu i nagrania obecne w klipie referencyjnym.

W ZONOS2 Zyphra przesunęła wszystkie trzy granice. Zbiór treningowy wzrósł z około 200,000 godzin do ponad sześciu milionów godzin. Całkowity rozmiar modelu zwiększył się z 1.6B do 8B parametrów, a rzadkie trasowanie MoE utrzymuje aktywny zestaw blisko 900M na każdym kroku. Wydanie raportuje czterokrotnie większą przepustowość czasu rzeczywistego niż poprzedni model. Pojemność może więc obejmować szerszą zmienność języków, akcentów, prozodii i warunków nagrania bez wykonywania całej sieci 8B dla każdego tokenu.

Zmieniło się również warunkowanie mówcy. Zyphra opisuje nowy embedding ECAPA-TDNN jako mający 20 razy większą przepustowość informacyjną niż poprzedni model mówcy. Dotyczy ona ilości informacji o mówcy przenoszonej przez embedding, a nie częstotliwości próbkowania wyjściowego WAV. Pomaga to zrozumieć rozróżnienie między wiernym klonowaniem a studyjnie czystą mową: szum, odpowiedź pomieszczenia, oddech i nietypowa faktura głosu mogą być dowodem tożsamości w jednym zadaniu, a wadami do usunięcia w innym.

Ścieżka tekstowa przeszła od jawnej fonemizacji i tagów językowych do znormalizowanych bajtów UTF-8. Chińskie znaki, japońskie systemy pisma, koreański, liczby, interpunkcja i code-switching nie muszą już przechodzić przez jeden stały słownik wymowy przed dotarciem do modelu. Wejście bajtowe nie gwarantuje poprawnej wymowy wieloznacznych znaków ani frazowania, ale usuwa kilka punktów awarii front endu: brakujące hasła słownika, błędne etykiety języka i sztywne granice językowe wewnątrz zdania.

Same dodatkowe dane pozostawiłyby model z zaszumionym celem, dlatego oficjalny opis mówi o treningu trzyetapowym. Pretrening przechodzi przez pełny zbiór przez osiem epok, z minimalnym filtrowaniem zgodności transkrypcji i bez informacji o klonowaniu mówcy. Mid-training zaostrza wymagania dotyczące zgodności transkrypcji i doboru zbioru, aby ograniczyć halucynacje, błędną wymowę i powtórzenia. Ostatni etap annealingu wprowadza embeddingi mówcy, sterowanie tempem mowy i warunki jakości przy surowszym filtrowaniu. Najpierw uczone jest pokrycie, a kontrolowana wymowa i klonowanie są skupione później.

Klonowanie głosu to więcej niż podobieństwo

Omówienie klonowania głosu często sprowadza się do jednego pytania: czy brzmi jak mówca referencyjny? To ważne, ale niewystarczające dla narzędzia. Użyteczny system TTS zależy również od naturalności, stabilności, pokrycia języków, opóźnienia, licencji i nakładu konfiguracji. ZONOS2 jest interesujący, ponieważ nie podąża wyłącznie za narracją zamkniętych API o „bardziej ludzkiej mowie”. Łączy wysokiej jakości klonowanie z otwartą ścieżką lokalnego uruchomienia.

To zmienia kompromis użytkownika. Zamknięte API TTS są wygodne przy hostowanych wywołaniach i jednolitym rozliczaniu. Wiele otwartych projektów TTS zapewnia elastyczność eksperymentów, lecz wymaga od użytkowników samodzielnego rozwiązania problemów jakości, środowiska i działania. ZONOS2 znajduje się pomiędzy tymi biegunami, łącząc wysokiej jakości klonowanie głosu, otwarte materiały modelu i przepływ produktu, który można wypróbować w witrynie.

Wydanie jest modelem i stosem wnioskowania, a nie zewnętrznym API głosowym. Jego publiczny kontrakt łączy dźwięk referencyjny, tekst docelowy, język i sterowanie próbkowaniem; wynik nadal zależy od przetwarzania wstępnego, dekodowania kodeka i wybranego checkpointu.

Co jest faktycznie nowe

Warto rozdzielić trzy oficjalne szczegóły. Pierwszy to architektura: ZONOS2 jest rzadkim modelem TTS typu Mixture of Experts. Zyphra opisuje go jako łącznie 8B parametrów, z około 900M aktywnych podczas wnioskowania. Oznacza to, że nie jest to tylko gęsty model powiększony skalowaniem; konstrukcja MoE pozwala większej puli parametrów współistnieć z celem TTS w czasie rzeczywistym.

Drugi dotyczy reprezentacji audio. Karta modelu podaje, że podczas wnioskowania ZONOS2 używa znormalizowanych bajtów UTF-8 z nemo TN oraz embeddingu mówcy ECAPA-TDNN, a następnie rdzeń MoE generuje tokeny DAC. Oficjalny artykuł Zyphra przedstawia ścieżkę DAC jako wytwarzającą dźwięk 44.1 kHz. To ważne, ponieważ zamierzone zastosowania obejmują bardziej szczegółową narrację, głos postaci, podcast i wielojęzyczne klonowanie głosu, a nie telefonię o niskiej częstotliwości próbkowania.

Trzeci to pokrycie języków. Karta modelu wymienia Tier 1: angielski, chiński mandaryński i japoński; Tier 2: koreański, rosyjski, włoski, portugalski, francuski, hiszpański, wietnamski, niemiecki, hebrajski i niderlandzki; Tier 3: szwedzki, hindi, tamilski, telugu, tajski, norweski, bengalski, tagalski, arabski, duński, indonezyjski, polski, ukraiński, rumuński, fiński, węgierski, litewski, estoński, słowacki, chorwacki i łotewski. Sam podział na poziomy wyznacza granicę: obsługa nie oznacza identycznego działania każdego języka, akcentu i klipu referencyjnego.

Jak czytać deklarację benchmarkową

Strona wydania Zyphra raportuje mocne wyniki w seed-tts eval i nowym ZTTS1-Eval, podkreślając podobieństwo mówcy, prozodię, naturalność i wierność klonowania głosu. Dokładna interpretacja musi pozostać w zakresie źródła: to benchmark i sposób prezentacji próbek Zyphra, a nie powszechna gwarancja, że każde późniejsze generowanie pokona każdy zamknięty lub otwarty model.

Dyskusja o ocenie jest też subtelniejsza niż pojedynczy wynik. Zyphra zauważa, że WER bywa kłopotliwy dla TTS, ponieważ wygenerowany głos może być czystszy niż prawdziwa ludzka mowa, a więc łatwiejszy do transkrypcji przez ASR, nie będąc przy tym wierniejszym klonem mówcy referencyjnego. ZONOS2 wyraźnie akcentuje wierność wokalną i oferuje orientacje stabilną oraz ekspresyjną: pierwsza faworyzuje czystszy, stabilny wynik, a druga dąży do wierniejszego naturalnego klonowania.

ZONOS2 to otwarte wydanie MoE TTS z czerwca 2026 roku, raportowane przez Zyphra w określonych warunkach oceny TTS i klonowania głosu. Jakość dźwięku referencyjnego, język docelowy, długość tekstu, sterowanie stylem i konfiguracja próbkowania pozostają osobnymi zmiennymi, dlatego opublikowane wyniki obowiązują w granicach podanego protokołu.

Porównanie z popularnymi ścieżkami TTS

Użycie jako przepływu narzędziowego

Przepływ użytkownika jest prosty: prześlij głos referencyjny, wpisz tekst do wypowiedzenia, wybierz język i parametry, a następnie odbierz wynik w pliku WAV.

Główną wartością dla użytkowników jest mniejszy nakład konfiguracji: przed oceną ZONOS2 za pomocą głosu referencyjnego, tekstu, języka i parametrów jakości nie muszą przygotowywać środowiska badawczego ani rozumieć każdego szczegółu implementacji.

Praktyczne uwagi dotyczące użycia

Fakty o ZONOS2 i interpretacja produktowa