Zyphra ZONOS2: ανοιχτό TTS MoE για voice cloning υψηλής πιστότητας

Από το Zonos-v0.1 στο ZONOS2: δεδομένα, χωρητικότητα μοντέλου και συνθήκες άλλαξαν μαζί

Το ZONOS2 δεν είναι ένα μεγαλύτερο αντίγραφο του Zonos-v0.1. Το προηγούμενο μοντέλο είχε περίπου 1.6B παραμέτρους και εκπαιδεύτηκε σε περίπου 200,000 ώρες ομιλίας. Βασιζόταν στη φωνηματοποίηση και στις ετικέτες γλώσσας στην είσοδο κειμένου, ενώ η αναπαράσταση του ομιλητή μετέφερε λιγότερες λεπτομέρειες. Εκείνη η έκδοση καθιέρωσε μια ανοιχτή διαδρομή zero-shot κλωνοποίησης φωνής, αλλά εξακολουθούσε να αντιμετωπίζει τους συνήθεις συμβιβασμούς του TTS: η πυκνή κλιμάκωση επιβράδυνε την παραγωγή πραγματικού χρόνου, τα λεξικά φωνημάτων δυσκόλευαν το πολύγλωσσο κείμενο και την εναλλαγή γλωσσών, ενώ ένα συμπαγές διάνυσμα ομιλητή μπορούσε να απορρίψει λεπτομέρειες φωνής και ηχογράφησης από το απόσπασμα αναφοράς.

Η Zyphra μετακίνησε και τα τρία όρια στο ZONOS2. Το σύνολο εκπαίδευσης αυξήθηκε από περίπου 200,000 ώρες σε περισσότερες από έξι εκατομμύρια. Το συνολικό μέγεθος του μοντέλου ανέβηκε από 1.6B σε 8B παραμέτρους, ενώ η αραιή δρομολόγηση MoE διατηρεί το ενεργό σύνολο κοντά στα 900M ανά βήμα. Η κυκλοφορία αναφέρει τετραπλάσια ρυθμαπόδοση πραγματικού χρόνου σε σχέση με το προηγούμενο μοντέλο. Έτσι, η χωρητικότητα μπορεί να καλύψει ευρύτερη ποικιλία γλωσσών, προφορών, προσωδίας και συνθηκών ηχογράφησης χωρίς κάθε token να εκτελεί ολόκληρο το δίκτυο 8B.

Άλλαξαν επίσης οι συνθήκες ομιλητή. Η Zyphra περιγράφει το νέο embedding ECAPA-TDNN ως έχον 20 φορές το εύρος ζώνης του προηγούμενου μοντέλου ομιλητή. Το εύρος ζώνης εδώ αφορά την ποσότητα πληροφοριών ομιλητή που μπορεί να μεταφέρει το embedding, όχι τον ρυθμό δειγματοληψίας του WAV εξόδου. Αυτό εξηγεί τη διάκριση της κυκλοφορίας ανάμεσα στην πιστή κλωνοποίηση και στην καθαρή, στουντιακή ομιλία: θόρυβος, απόκριση χώρου, αναπνοή και ασυνήθιστη φωνητική υφή μπορεί να είναι τεκμήρια ταυτότητας σε μία εργασία και ελαττώματα προς αφαίρεση σε μια άλλη.

Η διαδρομή κειμένου πέρασε από ρητή φωνηματοποίηση και ετικέτες γλώσσας σε κανονικοποιημένα byte UTF-8. Οι κινεζικοί χαρακτήρες, τα ιαπωνικά συστήματα γραφής, τα κορεατικά, οι αριθμοί, η στίξη και η εναλλαγή γλωσσών δεν χρειάζεται πλέον να περάσουν από ένα σταθερό λεξικό προφοράς πριν φτάσουν στο μοντέλο. Η είσοδος byte δεν εγγυάται σωστή ανάγνωση πολυφώνων ή φραστική απόδοση, αλλά αφαιρεί αρκετά σημεία αστοχίας στην είσοδο: ελλείψεις λεξικού, λανθασμένες ετικέτες γλώσσας και άκαμπτα γλωσσικά όρια μέσα σε μία πρόταση.

Τα περισσότερα δεδομένα από μόνα τους θα άφηναν στο μοντέλο έναν θορυβώδη στόχο, γι' αυτό η επίσημη περιγραφή χρησιμοποιεί εκπαίδευση τριών σταδίων. Η προεκπαίδευση διατρέχει όλο το σύνολο για οκτώ εποχές, με ελάχιστο φιλτράρισμα συμφωνίας μεταγραφής και χωρίς πληροφορίες κλωνοποίησης φωνής. Η ενδιάμεση εκπαίδευση αυστηροποιεί τη συμφωνία μεταγραφής και την επιλογή δεδομένων, ώστε να μειωθούν οι παραισθήσεις, οι λανθασμένες προφορές και οι επαναλήψεις. Ένα τελικό στάδιο annealing εισάγει embeddings ομιλητή, ελέγχους ταχύτητας ομιλίας και συνθήκες ποιότητας με αυστηρότερο φιλτράρισμα. Πρώτα μαθαίνεται η κάλυψη· η ελεγχόμενη προφορά και η κλωνοποίηση συγκεντρώνονται αργότερα.

Η κλωνοποίηση φωνής είναι κάτι περισσότερο από ομοιότητα

Η αξιολόγηση της κλωνοποίησης φωνής συχνά περιορίζεται σε μία ερώτηση: ακούγεται σαν τον ομιλητή αναφοράς; Αυτό έχει σημασία, αλλά δεν αρκεί για ένα εργαλείο. Ένα αξιοποιήσιμο σύστημα TTS εξαρτάται επίσης από τη φυσικότητα, τη σταθερότητα, τη γλωσσική κάλυψη, την καθυστέρηση, την αδειοδότηση και το βάρος εγκατάστασης. Το ZONOS2 έχει ενδιαφέρον επειδή δεν ακολουθεί μόνο την αφήγηση των κλειστών API περί «πιο ανθρώπινης ομιλίας». Συνδυάζει κλωνοποίηση υψηλής πιστότητας με ανοιχτή διαδρομή τοπικής εκτέλεσης.

Αυτό αλλάζει τον συμβιβασμό για τον χρήστη. Τα κλειστά TTS API είναι βολικά για φιλοξενούμενες κλήσεις και ενιαία χρέωση. Πολλά ανοιχτά έργα TTS είναι ευέλικτα για πειράματα, αλλά απαιτούν από τους χρήστες να λύσουν μόνοι τους θέματα ποιότητας, περιβάλλοντος και εκτέλεσης. Το ZONOS2 βρίσκεται ανάμεσα σε αυτούς τους πόλους, συνδυάζοντας κλωνοποίηση φωνής υψηλής ποιότητας, ανοιχτό υλικό μοντέλου και μια ροή προϊόντος που οι χρήστες μπορούν να δοκιμάσουν από τον ιστότοπο.

Η κυκλοφορία είναι μοντέλο και στοίβα inference, όχι εξωτερικό API φωνής. Η δημόσια σύμβασή της συνδυάζει ήχο αναφοράς, κείμενο-στόχο, γλώσσα και ελέγχους δειγματοληψίας· το αποτέλεσμα εξακολουθεί να εξαρτάται από την προεπεξεργασία, την αποκωδικοποίηση codec και το επιλεγμένο checkpoint.

Τι είναι πραγματικά νέο

Τρεις επίσημες λεπτομέρειες αξίζει να διαχωριστούν. Πρώτη είναι η αρχιτεκτονική: το ZONOS2 είναι ένα αραιό μοντέλο TTS Mixture of Experts. Η Zyphra το περιγράφει με 8B συνολικές παραμέτρους και περίπου 900M ενεργές κατά το inference. Αυτό σημαίνει ότι δεν είναι απλώς ένα πυκνό μοντέλο που κλιμακώθηκε προς τα πάνω· ο σχεδιασμός MoE επιτρέπει σε μια μεγαλύτερη δεξαμενή παραμέτρων να συνυπάρχει με τον στόχο TTS πραγματικού χρόνου.

Δεύτερη είναι η αναπαράσταση ήχου. Η κάρτα μοντέλου αναφέρει ότι το ZONOS2 χρησιμοποιεί κανονικοποιημένα από το nemo TN byte UTF-8 και ένα embedding ομιλητή ECAPA-TDNN κατά το inference, και κατόπιν το backbone MoE παράγει tokens DAC. Το επίσημο άρθρο της Zyphra περιγράφει τη διαδρομή DAC ως παραγωγό ήχου 44.1 kHz. Αυτό έχει σημασία επειδή η προβλεπόμενη χρήση είναι λεπτομερής αφήγηση, φωνές χαρακτήρων, podcast και πολύγλωσση κλωνοποίηση φωνής, όχι τηλεφωνία χαμηλού ρυθμού δειγματοληψίας.

Τρίτη είναι η γλωσσική κάλυψη. Η κάρτα μοντέλου κατατάσσει στο Tier 1 τα αγγλικά, τα κινεζικά Μανδαρινικά και τα ιαπωνικά· στο Tier 2 τα κορεατικά, ρωσικά, ιταλικά, πορτογαλικά, γαλλικά, ισπανικά, βιετναμικά, γερμανικά, εβραϊκά και ολλανδικά· και στο Tier 3 τα σουηδικά, χίντι, ταμίλ, τελούγκου, ταϊλανδικά, νορβηγικά, μπενγκάλι, ταγκαλόγκ, αραβικά, δανικά, ινδονησιακά, πολωνικά, ουκρανικά, ρουμανικά, φινλανδικά, ουγγρικά, λιθουανικά, εσθονικά, σλοβακικά, κροατικά και λετονικά. Η ίδια η διαβάθμιση είναι όριο: η υποστήριξη δεν σημαίνει ότι κάθε γλώσσα, προφορά και απόσπασμα αναφοράς θα συμπεριφέρεται με τον ίδιο τρόπο.

Πώς να διαβάσετε τον ισχυρισμό του benchmark

Η σελίδα κυκλοφορίας της Zyphra αναφέρει ισχυρά αποτελέσματα στο seed-tts eval και στο νέο ZTTS1-Eval, με έμφαση στην ομοιότητα ομιλητή, την προσωδία, τη φυσικότητα και την πιστότητα κλωνοποίησης φωνής. Η ακριβής ανάγνωση περιορίζεται στην πηγή: πρόκειται για το πλαίσιο benchmark και δειγμάτων της Zyphra, όχι για καθολική εγγύηση ότι κάθε μεταγενέστερη παραγωγή θα ξεπερνά κάθε κλειστό ή ανοιχτό μοντέλο.

Η συζήτηση της αξιολόγησης είναι επίσης πιο σύνθετη από έναν μόνο βαθμό. Η Zyphra σημειώνει ότι το WER μπορεί να είναι προβληματικό για το TTS, επειδή μια παραγόμενη φωνή μπορεί να είναι καθαρότερη από πραγματική ανθρώπινη ομιλία και άρα ευκολότερη στη μεταγραφή από ASR, χωρίς να είναι απαραίτητα πιο πιστό αντίγραφο του ομιλητή αναφοράς. Το ZONOS2 δίνει ρητή έμφαση στη φωνητική πιστότητα και προσφέρει κατευθύνσεις stable και expressive: η πρώτη προτιμά καθαρότερη, σταθερή έξοδο, ενώ η δεύτερη στοχεύει σε πιο πιστή φυσική κλωνοποίηση.

Το ZONOS2 είναι μια ανοιχτή κυκλοφορία MoE TTS του Ιουνίου 2026, την οποία η Zyphra αναφέρει υπό συγκεκριμένες ρυθμίσεις αξιολόγησης TTS και κλωνοποίησης φωνής. Η ποιότητα του ήχου αναφοράς, η γλώσσα-στόχος, το μήκος κειμένου, ο έλεγχος ύφους και η διαμόρφωση δειγματοληψίας παραμένουν ξεχωριστές μεταβλητές, επομένως τα δημοσιευμένα αποτελέσματα ισχύουν εντός του δηλωμένου πρωτοκόλλου.

Σύγκριση με συνήθεις διαδρομές TTS

Χρήση ως ροή εργαλείων

Η ροή του χρήστη είναι απλή: μεταφορτώστε μια φωνή αναφοράς, εισαγάγετε το κείμενο που θα εκφωνηθεί, επιλέξτε γλώσσα και παραμέτρους και λάβετε ως αποτέλεσμα ένα αρχείο WAV.

Για τους χρήστες, η κύρια αξία είναι το μικρότερο βάρος εγκατάστασης: δεν χρειάζεται να ετοιμάσουν ερευνητικό περιβάλλον ούτε να κατανοήσουν κάθε λεπτομέρεια υλοποίησης πριν αξιολογήσουν το ZONOS2 μέσω φωνής αναφοράς, κειμένου, γλώσσας και παραμέτρων ποιότητας.

Πρακτικές σημειώσεις χρήσης

Στοιχεία ZONOS2 και ανάγνωση προϊόντος