Zyphra ZONOS2: yüksek sadakatli ses klonlama için açık TTS MoE

Zonos-v0.1'den ZONOS2'ye: veri, model kapasitesi ve koşullandırma birlikte değişti

ZONOS2, Zonos-v0.1'in yalnızca büyütülmüş bir kopyası değildir. Önceki model yaklaşık 1.6B parametreye sahipti ve yaklaşık 200,000 saatlik konuşmayla eğitilmişti. Metin girişinde fonemleştirmeye ve dil etiketlerine dayanıyordu; konuşmacı temsili ise daha az ayrıntı taşıyordu. Bu sürüm açık bir zero-shot ses klonlama yolu oluşturmuştu, ancak alışılmış TTS dengeleri sürüyordu: Yoğun ölçeklendirme gerçek zamanlı üretimi yavaşlatıyor, fonem sözlükleri çok dilli ve dil değiştiren metinleri karmaşıklaştırıyor, kompakt konuşmacı vektörü de referans klipteki ses ve kayıt ayrıntılarını kaybedebiliyordu.

Zyphra, ZONOS2'de bu üç sınırın tümünü ileri taşıdı. Eğitim kümesi yaklaşık 200,000 saatten altı milyon saatin üzerine çıktı. Toplam model boyutu 1.6B'den 8B parametreye yükselirken seyrek MoE yönlendirmesi her adımda etkin kümeyi 900M civarında tutuyor. Sürüm, önceki modele göre dört kat daha yüksek gerçek zamanlı iş hacmi bildiriyor. Böylece kapasite; her tokenın 8B ağının tamamını çalıştırmasını gerektirmeden daha geniş dil, aksan, prozodi ve kayıt çeşitliliğini taşıyabiliyor.

Konuşmacı koşullandırması da değişti. Zyphra yeni ECAPA-TDNN embedding'ini, önceki konuşmacı modelinin 20 katı bant genişliğine sahip olarak tanımlıyor. Buradaki bant genişliği, çıktı WAV dosyasının örnekleme hızını değil, embedding'in taşıyabildiği konuşmacı bilgisi miktarını ifade ediyor. Bu ayrım, sürümün sadık klonlama ile stüdyo temizliğindeki konuşma arasında neden fark gözettiğini açıklıyor: Gürültü, oda tepkisi, nefes ve alışılmadık ses dokusu bir görevde kimlik kanıtı, başka bir görevde giderilecek kusur olabilir.

Metin yolu açık fonemleştirme ve dil etiketlerinden normalleştirilmiş UTF-8 baytlarına geçti. Çince karakterler, Japonca yazılar, Korece, sayılar, noktalama ve dil değiştirme artık modele ulaşmadan önce tek bir sabit telaffuz sözlüğünden geçmek zorunda değil. Bayt girdisi doğru çok sesliliği veya ifadeyi garanti etmez; ancak sözlükte eksik girişler, yanlış dil etiketleri ve cümle içindeki katı dil sınırları gibi birkaç ön uç hata noktasını ortadan kaldırır.

Daha fazla veri tek başına modeli gürültülü bir hedefle bırakırdı; bu nedenle resmî açıklama üç aşamalı eğitim kullanıyor. Ön eğitim, tüm veri kümesini en az transkript uyumu filtresiyle ve ses klonlama bilgisi olmadan sekiz epoch boyunca işler. Ara eğitim, halüsinasyonları, yanlış telaffuzları ve tekrarları azaltmak için transkript uyumunu ve veri kümesi seçimini sıkılaştırır. Son annealing aşaması, daha katı filtreleme altında konuşmacı embedding'lerini, konuşma hızı kontrollerini ve kalite koşullarını ekler. Önce kapsam öğrenilir; denetlenebilir telaffuz ve klonlama daha sonra yoğunlaştırılır.

Ses klonlama benzerlikten fazlasıdır

Ses klonlama kapsamı çoğu zaman tek bir soruya indirgenir: Referans konuşmacı gibi mi duyuluyor? Bu önemlidir, ancak bir araç için yeterli değildir. Kullanılabilir bir TTS sistemi doğallık, kararlılık, dil kapsamı, gecikme, lisans ve kurulum yüküne de bağlıdır. ZONOS2 yalnızca kapalı API'lerin “daha insansı konuşma” anlatısını izlememesiyle ilgi çekiyor; yüksek doğruluklu klonlamayı açık, yerel çalıştırma yoluyla eşleştiriyor.

Bu durum kullanıcının dengesini değiştiriyor. Kapalı TTS API'leri barındırılan çağrılar ve tek tip ücretlendirme için kullanışlıdır. Birçok açık TTS projesi deneylerde esnektir, ancak kalite, ortam ve çalışma zamanı sorunlarını kullanıcıların kendilerinin çözmesini ister. ZONOS2, yüksek kaliteli ses klonlamayı, açık model materyallerini ve kullanıcıların siteden deneyebileceği bir ürün iş akışını bir araya getirerek bu iki uç arasında konumlanıyor.

Sürüm, haricî bir ses API'sinden çok bir model ve çıkarım yığınıdır. Herkese açık sözleşmesi referans sesi, hedef metni, dili ve örnekleme kontrollerini birleştirir; sonuç yine ön işlemeye, kodek çözmeye ve seçilen kontrol noktasına bağlıdır.

Gerçekte yeni olan nedir?

Üç resmî ayrıntıyı birbirinden ayırmak gerekir. Birincisi mimaridir: ZONOS2, seyrek bir Mixture of Experts TTS modelidir. Zyphra onu toplam 8B parametreli, çıkarım sırasında yaklaşık 900M parametresi etkin bir model olarak tanımlıyor. Dolayısıyla yalnızca yukarı ölçeklenmiş yoğun bir model değildir; MoE tasarımı, daha büyük bir parametre havuzunun gerçek zamanlı TTS hedefiyle bir arada çalışmasına olanak tanır.

İkincisi ses temsilidir. Model kartı, ZONOS2'nin çıkarım sırasında nemo TN ile normalleştirilmiş UTF-8 baytları ve ECAPA-TDNN konuşmacı embedding'i kullandığını, ardından MoE omurgasıyla DAC tokenları ürettiğini söylüyor. Zyphra'nın resmî makalesi DAC yolunu 44.1 kHz ses üreten bir sistem olarak sunuyor. Bu önemlidir; çünkü amaç düşük örnekleme hızlı telefon değil, daha ayrıntılı anlatım, karakter sesi, podcast ve çok dilli ses klonlamadır.

Üçüncüsü dil kapsamıdır. Model kartında Tier 1 olarak İngilizce, Mandarin Çincesi ve Japonca; Tier 2 olarak Korece, Rusça, İtalyanca, Portekizce, Fransızca, İspanyolca, Vietnamca, Almanca, İbranice ve Felemenkçe; Tier 3 olarak İsveççe, Hintçe, Tamilce, Telugu dili, Tayca, Norveççe, Bengalce, Tagalog dili, Arapça, Danca, Endonezce, Lehçe, Ukraynaca, Rumence, Fince, Macarca, Litvanca, Estonca, Slovakça, Hırvatça ve Letonca listeleniyor. Katmanlandırmanın kendisi bir sınırdır: Destek, her dilin, aksanın ve referans klibin aynı şekilde davranacağı anlamına gelmez.

Karşılaştırma iddiası nasıl okunmalı?

Zyphra'nın sürüm sayfası seed-tts eval ve yeni ZTTS1-Eval altında; konuşmacı benzerliği, prozodi, doğallık ve ses klonlama doğruluğuna vurgu yapan güçlü sonuçlar bildiriyor. Doğru yorum kaynakla sınırlıdır: Bu, Zyphra'nın karşılaştırma ve örnek çerçevesidir; sonraki her üretimin bütün kapalı veya açık modellerden üstün olacağına dair evrensel bir garanti değildir.

Değerlendirme tartışması tek bir puandan daha inceliklidir. Zyphra, üretilen bir ses gerçek insan konuşmasından daha temiz ve bu nedenle ASR tarafından daha kolay yazıya geçirilebilirken referans konuşmacının daha sadık bir klonu olmayabileceği için WER'nin TTS açısından sorunlu olabileceğini belirtiyor. ZONOS2 ses doğruluğunu açıkça vurguluyor ve stable ile expressive yönelimleri sunuyor: Biri daha temiz, kararlı çıktıyı; diğeri ise daha sadık, doğal klonlamayı hedefliyor.

ZONOS2, Zyphra'nın belirli TTS ve ses klonlama değerlendirme koşulları altında raporladığı Haziran 2026 tarihli açık bir MoE TTS sürümüdür. Referans ses kalitesi, hedef dil, metin uzunluğu, stil denetimi ve örnekleme yapılandırması ayrı değişkenler olarak kalır; bu nedenle yayımlanan sonuçlar belirtilen protokolün sınırları içindedir.

Yaygın TTS yollarıyla karşılaştırma

Bir araç iş akışı olarak kullanmak

Kullanıcı akışı basittir: Bir referans ses yükleyin, söylenecek metni girin, dili ve parametreleri seçin ve sonuç olarak bir WAV dosyası alın.

Kullanıcılar için temel değer daha düşük kurulum yüküdür: Referans ses, metin, dil ve kalite parametreleriyle ZONOS2'yi değerlendirmeden önce araştırma ortamı hazırlamaları veya her uygulama ayrıntısını anlamaları gerekmez.

Pratik kullanım notları

ZONOS2 gerçekleri ve ürün yorumu