Zyphra ZONOS2: відкритий TTS MoE для високоточного клонування голосу

Від Zonos-v0.1 до ZONOS2: дані, місткість моделі та кондиціювання змінювалися разом

ZONOS2 — не просто збільшена копія Zonos-v0.1. Попередня модель мала близько 1.6B параметрів і навчалася приблизно на 200,000 годинах мовлення. На вході тексту вона покладалася на фонемізацію та мовні мітки, а представлення мовця містило менше деталей. Та версія проклала відкритий шлях до zero-shot клонування голосу, але й далі стикалася зі звичними компромісами TTS: щільне масштабування сповільнювало генерацію в реальному часі, словники фонем ускладнювали багатомовний текст і перемикання мов, а компактний вектор мовця міг втрачати деталі голосу й запису, наявні в референсному уривку.

У ZONOS2 Zyphra посунула всі три межі. Навчальний набір зріс приблизно з 200,000 годин до більш ніж шести мільйонів. Загальний розмір моделі збільшився з 1.6B до 8B параметрів, тоді як розріджена маршрутизація MoE утримує активний набір біля 900M на кожному кроці. У релізі заявлено вчетверо вищу пропускну здатність у реальному часі порівняно з попередньою моделлю. Завдяки цьому місткість охоплює більше мов, акцентів, просодичних і записувальних варіацій, не змушуючи кожен token виконувати всю мережу 8B.

Кондиціювання мовця також змінилося. Zyphra описує новий embedding ECAPA-TDNN як такий, що має у 20 разів більшу пропускну здатність за попередню модель мовця. Тут пропускна здатність означає обсяг інформації про мовця, який здатен нести embedding, а не частоту дискретизації вихідного WAV. Це допомагає зрозуміти відмінність між точним клонуванням і студійно чистим мовленням: шум, відгук приміщення, дихання та незвична голосова фактура в одному завданні можуть бути свідченнями особи, а в іншому — вадами, які слід усунути.

Текстовий тракт перейшов від явної фонемізації та мовних тегів до нормалізованих байтів UTF-8. Китайські ієрогліфи, японські системи письма, корейська, числа, пунктуація та перемикання мов більше не повинні проходити через один фіксований словник вимови, перш ніж потрапити до моделі. Байтове введення не гарантує правильної вимови поліфонів або фразування, проте усуває кілька точок відмови на вході: відсутні словникові статті, хибні мовні мітки та жорсткі межі мов усередині речення.

Самі лише додаткові дані залишили б моделі зашумлену ціль, тому офіційний опис передбачає триетапне навчання. Попереднє навчання проходить увесь набір протягом восьми епох із мінімальним фільтруванням відповідності транскриптів і без інформації про клонування голосу. На проміжному етапі вимоги до відповідності транскриптів і відбору даних посилюються, щоб зменшити галюцинації, помилки вимови та повтори. Завершальний етап annealing додає embeddings мовця, керування темпом мовлення та умови якості за суворішої фільтрації. Спочатку модель засвоює охоплення, а керована вимова й клонування зосереджуються на пізніших етапах.

Клонування голосу — це більше, ніж схожість

Оцінювання клонування голосу часто зводять до одного питання: чи звучить результат як референсний мовець? Це важливо, але для інструмента недостатньо. Практична TTS-система залежить також від природності, стабільності, мовного охоплення, затримки, ліцензування та складності налаштування. ZONOS2 цікава тим, що не лише наслідує наратив закритих API про «більш людське мовлення», а поєднує високоточне клонування з відкритим шляхом локального запуску.

Це змінює компроміс для користувача. Закриті TTS API зручні для розміщених викликів і єдиного тарифікування. Чимало відкритих TTS-проєктів гнучкі для експериментів, але змушують користувачів самостійно розв'язувати питання якості, середовища та виконання. ZONOS2 розташовується між цими полюсами, поєднуючи якісне клонування голосу, відкриті матеріали моделі та продуктовий процес, який можна випробувати на сайті.

Реліз є моделлю та стеком інференсу, а не зовнішнім голосовим API. Його відкритий контракт поєднує референсне аудіо, цільовий текст, мову й параметри семплювання; результат і далі залежить від попередньої обробки, декодування кодека та вибраної контрольної точки.

Що насправді нового

Варто розмежувати три офіційні деталі. Перша — архітектура: ZONOS2 є розрідженою TTS-моделлю Mixture of Experts. Zyphra описує її як модель із 8B параметрів загалом і приблизно 900M активних під час інференсу. Отже, це не просто щільна модель більшого масштабу; конструкція MoE дає змогу більшому пулу параметрів співіснувати з метою TTS реального часу.

Друга — представлення аудіо. За карткою моделі, під час інференсу ZONOS2 використовує нормалізовані nemo TN байти UTF-8 та embedding мовця ECAPA-TDNN, після чого основа MoE генерує токени DAC. Офіційна стаття Zyphra описує DAC-тракт як такий, що створює аудіо 44.1 kHz. Це важливо, адже передбачене застосування охоплює деталізовану оповідь, голоси персонажів, подкасти та багатомовне клонування голосу, а не телефонію з низькою частотою дискретизації.

Третя — мовне охоплення. Картка моделі відносить до Tier 1 англійську, китайську мандаринську та японську; до Tier 2 — корейську, російську, італійську, португальську, французьку, іспанську, в'єтнамську, німецьку, іврит і нідерландську; до Tier 3 — шведську, гінді, тамільську, телугу, тайську, норвезьку, бенгальську, тагальську, арабську, данську, індонезійську, польську, українську, румунську, фінську, угорську, литовську, естонську, словацьку, хорватську та латиську. Поділ на рівні сам по собі є межею: підтримка не означає, що кожна мова, акцент і референсний уривок поводитимуться однаково.

Як читати заяву про бенчмарки

Сторінка релізу Zyphra повідомляє про високі результати в seed-tts eval і новому ZTTS1-Eval, наголошуючи на схожості мовця, просодії, природності й точності клонування голосу. Точне прочитання обмежене джерелом: це рамка бенчмарків і прикладів Zyphra, а не універсальна гарантія, що кожна подальша генерація перевершить усі закриті або відкриті моделі.

Обговорення оцінювання також складніше за один бал. Zyphra зауважує, що WER може бути незручним для TTS: згенерований голос може бути чистішим за реальне людське мовлення й тому легшим для розпізнавання ASR, не обов'язково будучи точнішим клоном референсного мовця. ZONOS2 виразно наголошує на точності голосу та пропонує режими stable й expressive: перший надає перевагу чистішому стабільному виходу, другий спрямований на природніше й точніше клонування.

ZONOS2 — відкритий реліз MoE TTS від червня 2026 року, який Zyphra оцінює за конкретних налаштувань TTS і клонування голосу. Якість референсного аудіо, цільова мова, довжина тексту, керування стилем і конфігурація семплювання залишаються окремими змінними, тому опубліковані результати діють у межах зазначеного протоколу.

Порівняння з поширеними підходами TTS

Використання як інструментального процесу

Послідовність дій проста: завантажити зразок голосу, ввести текст для озвучення, вибрати мову й параметри та отримати файл WAV.

Головна цінність для користувачів — менша складність налаштування: їм не потрібно готувати дослідницьке середовище чи розуміти кожну деталь реалізації, перш ніж оцінювати ZONOS2 за голосом-зразком, текстом, мовою та параметрами якості.

Практичні поради з використання

Факти про ZONOS2 та продуктове прочитання