Zyphra ZONOS2: ein offenes TTS-MoE für hochgetreues Voice Cloning

Von Zonos-v0.1 zu ZONOS2: Daten, Modellkapazität und Konditionierung änderten sich gemeinsam

ZONOS2 ist keine größere Kopie von Zonos-v0.1. Das vorherige Modell hatte etwa 1.6B Parameter und wurde mit rund 200,000 Stunden Sprachmaterial trainiert. Am Texteingang stützte es sich auf Phonemisierung und Sprachkennzeichnungen, während seine Sprecherrepräsentation weniger Details trug. Diese Version etablierte einen offenen Weg zum Zero-Shot-Stimmenklonen, stand aber weiterhin vor den üblichen TTS-Zielkonflikten: Dichte Skalierung verlangsamte die Echtzeitgenerierung, Phonemwörterbücher erschwerten mehrsprachigen und sprachgemischten Text, und ein kompakter Sprechervektor konnte Stimm- und Aufnahmedetails aus dem Referenzclip verwerfen.

Zyphra verschob in ZONOS2 alle drei Grenzen. Der Trainingsdatensatz wuchs von etwa 200,000 auf mehr als sechs Millionen Stunden. Die gesamte Modellgröße stieg von 1.6B auf 8B Parameter, während dünn besetztes MoE-Routing die aktive Menge pro Schritt nahe 900M hält. Die Veröffentlichung meldet einen vierfach höheren Echtzeitdurchsatz als beim Vorgängermodell. Die Kapazität kann dadurch mehr Sprachen, Akzente, Prosodie und Aufnahmevarianten abbilden, ohne dass jedes Token das vollständige 8B-Netzwerk ausführen muss.

Auch die Sprecherkonditionierung änderte sich. Zyphra beschreibt das neue ECAPA-TDNN-Embedding mit der 20-fachen Bandbreite des früheren Sprechermodells. Diese Bandbreite bezeichnet die Menge an Sprecherinformationen, die das Embedding tragen kann, nicht die Abtastrate der ausgegebenen WAV-Datei. Das erklärt die Unterscheidung der Veröffentlichung zwischen originalgetreuem Klonen und studioreiner Sprache: Rauschen, Raumantwort, Atemgeräusche und ungewöhnliche Stimmtexturen können bei einem Auftrag Identitätsmerkmale und bei einem anderen zu entfernende Fehler sein.

Der Textpfad wechselte von ausdrücklicher Phonemisierung und Sprach-Tags zu normalisierten UTF-8-Bytes. Chinesische Schriftzeichen, japanische Schriften, Koreanisch, Zahlen, Satzzeichen und Sprachwechsel müssen nicht mehr ein festes Aussprachewörterbuch durchlaufen, bevor sie das Modell erreichen. Byte-Eingaben garantieren keine korrekten Polyphone oder Phrasierungen, beseitigen aber mehrere Fehlerquellen am Eingang: fehlende Wörterbucheinträge, falsche Sprachkennzeichnungen und harte Sprachgrenzen innerhalb eines Satzes.

Mehr Daten allein hätten dem Modell ein verrauschtes Lernziel hinterlassen, daher beschreibt die offizielle Dokumentation ein dreistufiges Training. Das Vortraining durchläuft den vollständigen Datensatz acht Epochen lang, mit minimaler Filterung nach Transkriptübereinstimmung und ohne Informationen zum Stimmenklonen. Das mittlere Training verschärft Transkriptübereinstimmung und Datensatzauswahl, um Halluzinationen, Fehlaussprachen und Wiederholungen zu verringern. Eine abschließende Annealing-Phase führt Sprecher-Embeddings, Sprechgeschwindigkeitssteuerung und Qualitätsbedingungen unter strengerer Filterung ein. Zuerst wird Abdeckung gelernt; steuerbare Aussprache und Klonen werden später gebündelt.

Stimmenklonen ist mehr als Ähnlichkeit

Die Bewertung des Stimmenklonens wird häufig auf eine Frage reduziert: Klingt es wie die Referenzperson? Das ist wichtig, reicht für ein Werkzeug aber nicht aus. Ein brauchbares TTS-System hängt ebenso von Natürlichkeit, Stabilität, Sprachabdeckung, Latenz, Lizenzierung und Einrichtungsaufwand ab. ZONOS2 ist interessant, weil es nicht nur der Erzählung geschlossener APIs von „menschlicher klingender Sprache“ folgt, sondern hochpräzises Klonen mit einem offenen, lokal ausführbaren Weg verbindet.

Das verändert den Zielkonflikt für Nutzer. Geschlossene TTS-APIs sind praktisch für gehostete Aufrufe und einheitliche Abrechnung. Viele offene TTS-Projekte sind für Experimente flexibel, verlangen aber, dass Nutzer Qualitäts-, Umgebungs- und Laufzeitprobleme selbst lösen. ZONOS2 liegt zwischen diesen Polen, indem es hochwertiges Stimmenklonen, offene Modellmaterialien und einen Produkt-Workflow kombiniert, den Nutzer über die Website ausprobieren können.

Die Veröffentlichung ist ein Modell samt Inferenz-Stack und keine externe Stimmen-API. Ihr öffentlicher Vertrag verbindet Referenzaudio, Zieltext, Sprache und Sampling-Steuerung; das Ergebnis hängt weiterhin von Vorverarbeitung, Codec-Decodierung und gewähltem Checkpoint ab.

Was tatsächlich neu ist

Drei offizielle Details sollten getrennt betrachtet werden. Erstens die Architektur: ZONOS2 ist ein dünn besetztes TTS-Modell vom Typ Mixture of Experts. Zyphra beschreibt es mit insgesamt 8B Parametern, von denen bei der Inferenz rund 900M aktiv sind. Das Modell ist also nicht bloß ein dichteres Modell in größerem Maßstab; durch das MoE-Design kann ein größerer Parameterpool mit dem Ziel Echtzeit-TTS vereinbart werden.

Zweitens die Audiorepräsentation. Laut Modellkarte verwendet ZONOS2 bei der Inferenz durch nemo TN normalisierte UTF-8-Bytes und ein ECAPA-TDNN-Sprecher-Embedding; anschließend erzeugt das MoE-Rückgrat DAC-Tokens. Zyphras offizieller Artikel beschreibt den DAC-Pfad als Erzeuger von Audio mit 44.1 kHz. Das ist relevant, weil der vorgesehene Einsatz detailreiche Erzählstimmen, Charakterstimmen, Podcasts und mehrsprachiges Stimmenklonen umfasst, nicht Telefonie mit niedriger Abtastrate.

Drittens die Sprachabdeckung. Die Modellkarte führt in Tier 1 Englisch, Mandarin-Chinesisch und Japanisch auf; in Tier 2 Koreanisch, Russisch, Italienisch, Portugiesisch, Französisch, Spanisch, Vietnamesisch, Deutsch, Hebräisch und Niederländisch; und in Tier 3 Schwedisch, Hindi, Tamil, Telugu, Thailändisch, Norwegisch, Bengalisch, Tagalog, Arabisch, Dänisch, Indonesisch, Polnisch, Ukrainisch, Rumänisch, Finnisch, Ungarisch, Litauisch, Estnisch, Slowakisch, Kroatisch und Lettisch. Die Einteilung ist selbst eine Grenze: Unterstützung bedeutet nicht, dass sich jede Sprache, jeder Akzent und jeder Referenzclip gleich verhält.

Wie die Benchmark-Aussage zu lesen ist

Zyphras Veröffentlichungsseite meldet starke Ergebnisse bei seed-tts eval und dem neuen ZTTS1-Eval, mit Schwerpunkt auf Sprecherähnlichkeit, Prosodie, Natürlichkeit und Genauigkeit des Stimmenklonens. Die korrekte Lesart bleibt auf die Quelle begrenzt: Es handelt sich um Zyphras Benchmark- und Beispielrahmen, nicht um eine allgemeine Garantie, dass jede nachgelagerte Generierung jedes geschlossene oder offene Modell übertrifft.

Die Bewertungsdiskussion ist zudem differenzierter als eine einzelne Punktzahl. Zyphra weist darauf hin, dass WER für TTS schwierig sein kann, weil eine erzeugte Stimme sauberer als echte menschliche Sprache und dadurch für ASR leichter zu transkribieren sein kann, ohne zwingend eine originalgetreuere Kopie der Referenzstimme zu sein. ZONOS2 betont ausdrücklich Stimmgenauigkeit und bietet stabile sowie expressive Ausrichtungen: Die eine bevorzugt sauberere, stabile Ausgaben, die andere zielt auf natürlicheres, originalgetreueres Klonen.

ZONOS2 ist eine offene MoE-TTS-Veröffentlichung vom Juni 2026, über die Zyphra unter bestimmten TTS- und Stimmenklon-Bedingungen berichtet. Qualität des Referenzaudios, Zielsprache, Textlänge, Stilsteuerung und Sampling-Konfiguration bleiben getrennte Variablen; die veröffentlichten Ergebnisse gelten daher innerhalb des angegebenen Protokolls.

Vergleich mit gängigen TTS-Wegen

Nutzung als Werkzeug-Workflow

Der Nutzerablauf ist einfach: Eine Referenzstimme hochladen, den zu sprechenden Text eingeben, Sprache und Parameter wählen und als Ergebnis eine WAV-Datei erhalten.

Der Hauptnutzen für Anwender ist der geringere Einrichtungsaufwand: Sie müssen keine Forschungsumgebung vorbereiten oder jedes Implementierungsdetail verstehen, bevor sie ZONOS2 anhand von Referenzstimme, Text, Sprache und Qualitätsparametern bewerten.

Praktische Nutzungshinweise

ZONOS2: Fakten und Produkteinordnung