Zyphra ZONOS2: открытый TTS MoE для высокоточного клонирования голоса

От Zonos-v0.1 к ZONOS2: данные, ёмкость модели и кондиционирование изменились вместе

ZONOS2 — не просто увеличенная копия Zonos-v0.1. Предыдущая модель насчитывала около 1.6B параметров и обучалась примерно на 200,000 часах речи. На текстовом входе она полагалась на фонемизацию и языковые метки, а представление диктора переносило меньше деталей. Та версия создала открытый путь zero-shot-клонирования голоса, но по-прежнему сталкивалась с обычными компромиссами TTS: плотное масштабирование замедляло генерацию в реальном времени, словари фонем усложняли многоязычный текст и переключение языков, а компактный вектор диктора мог отбрасывать детали голоса и записи, присутствующие в референсном клипе.

В ZONOS2 Zyphra сдвинула все три границы. Обучающий набор вырос примерно с 200,000 часов до более чем шести миллионов часов. Общий размер модели увеличился с 1.6B до 8B параметров, а разреженная маршрутизация MoE удерживает активный набор около 900M на каждом шаге. Релиз заявляет четырёхкратное увеличение пропускной способности в реальном времени по сравнению с предыдущей моделью. Поэтому ёмкость способна охватывать более широкую вариативность языков, акцентов, просодии и условий записи, не заставляя каждый токен выполнять всю сеть 8B.

Кондиционирование диктора также изменилось. По описанию Zyphra, новый embedding ECAPA-TDNN имеет в 20 раз большую информационную пропускную способность, чем предыдущая модель диктора. Речь идёт о количестве сведений о дикторе, которое способен переносить embedding, а не о частоте дискретизации выходного WAV. Это помогает понять различие релиза между точным клонированием и студийно чистой речью: шум, отклик помещения, дыхание и необычная фактура голоса в одной задаче могут служить признаками личности, а в другой — дефектами, которые нужно убрать.

Текстовый тракт перешёл от явной фонемизации и языковых тегов к нормализованным байтам UTF-8. Китайские иероглифы, японские системы письма, корейский язык, числа, пунктуация и переключение языков больше не должны проходить через один фиксированный словарь произношения до попадания в модель. Байтовый ввод не гарантирует правильного чтения многозначных символов или фразировки, но устраняет несколько точек отказа front end: отсутствующие словарные записи, неправильные языковые метки и жёсткие языковые границы внутри предложения.

Одни только дополнительные данные оставили бы модель с шумной целью, поэтому официальное описание предусматривает трёхэтапное обучение. Предобучение проходит по полному набору восемь эпох с минимальной фильтрацией согласованности транскрипции и без информации для клонирования диктора. Mid-training ужесточает согласованность транскрипции и отбор набора, чтобы снизить галлюцинации, ошибки произношения и повторы. Финальный этап annealing вводит embedding диктора, управление темпом речи и условия качества при более строгой фильтрации. Сначала изучается охват, а управляемое произношение и клонирование концентрируются позже.

Клонирование голоса — это больше, чем сходство

Обсуждение клонирования голоса часто сводится к одному вопросу: похоже ли звучание на референсного диктора? Это важно, но для инструмента недостаточно. Пригодная система TTS зависит также от естественности, стабильности, охвата языков, задержки, лицензирования и сложности настройки. ZONOS2 интересна тем, что не следует только истории закрытых API о «более человечной речи». Она сочетает высокоточное клонирование с открытым путём локального запуска.

Это меняет компромисс пользователя. Закрытые API TTS удобны для хостинговых вызовов и единообразного биллинга. Многие открытые проекты TTS гибки для экспериментов, но заставляют пользователей самостоятельно решать вопросы качества, окружения и исполнения. ZONOS2 занимает промежуточное положение, сочетая качественное клонирование голоса, открытые материалы модели и продуктовый процесс, который пользователь может испытать на сайте.

Релиз представляет собой модель и стек инференса, а не внешнее голосовое API. Его публичный контракт объединяет референсное аудио, целевой текст, язык и параметры семплирования; результат всё равно зависит от предобработки, декодирования кодека и выбранного checkpoint.

Что действительно нового

Стоит разделить три официальных аспекта. Первый — архитектура: ZONOS2 является разреженной TTS-моделью Mixture of Experts. Zyphra описывает её как модель с 8B параметров всего и примерно 900M активных во время инференса. То есть это не просто плотная модель, увеличенная в масштабе; конструкция MoE позволяет большему пулу параметров сосуществовать с целью TTS в реальном времени.

Второй — представление аудио. В карточке модели сказано, что во время инференса ZONOS2 использует нормализованные nemo TN байты UTF-8 и embedding диктора ECAPA-TDNN, после чего основа MoE генерирует токены DAC. Официальная статья Zyphra описывает тракт DAC как производящий аудио 44.1 kHz. Это важно, поскольку предполагаемые применения — более детальная речь, озвучивание, голоса персонажей, подкасты и многоязычное клонирование, а не телефония с низкой частотой дискретизации.

Третий — охват языков. Карточка модели относит к Tier 1 английский, китайский мандарин и японский; к Tier 2 — корейский, русский, итальянский, португальский, французский, испанский, вьетнамский, немецкий, иврит и нидерландский; к Tier 3 — шведский, хинди, тамильский, телугу, тайский, норвежский, бенгальский, тагальский, арабский, датский, индонезийский, польский, украинский, румынский, финский, венгерский, литовский, эстонский, словацкий, хорватский и латышский. Само деление на уровни задаёт границу: поддержка не означает одинаковое поведение для каждого языка, акцента и референсного клипа.

Как читать заявление о benchmark

Страница релиза Zyphra сообщает о сильных результатах в seed-tts eval и новом ZTTS1-Eval, делая акцент на сходстве диктора, просодии, естественности и точности клонирования голоса. Корректное прочтение ограничено источником: это benchmark и подача примеров Zyphra, а не универсальная гарантия того, что каждая последующая генерация превзойдёт любую закрытую или открытую модель.

Обсуждение оценки также тоньше одного балла. Zyphra отмечает, что WER может быть неудобной метрикой для TTS, поскольку сгенерированный голос бывает чище реальной человеческой речи и потому легче транскрибируется ASR, не обязательно являясь более точным клоном референсного диктора. ZONOS2 явно подчёркивает вокальную точность и предлагает стабильную и экспрессивную ориентации: первая отдаёт приоритет чистому стабильному результату, вторая стремится к более точному естественному клонированию.

ZONOS2 — открытый релиз MoE TTS июня 2026 года, который Zyphra оценивает в конкретных условиях TTS и клонирования голоса. Качество референсного аудио, целевой язык, длина текста, управление стилем и конфигурация семплирования остаются отдельными переменными, поэтому опубликованные результаты сохраняются в рамках заявленного протокола.

Сравнение с распространёнными путями TTS

Использование в качестве инструментального процесса

Пользовательский процесс прост: загрузите референсный голос, введите текст, который нужно произнести, выберите язык и параметры и получите результат в виде файла WAV.

Главная ценность для пользователей — снижение сложности настройки: им не нужно готовить исследовательское окружение или понимать каждую деталь реализации, прежде чем оценить ZONOS2 по референсному голосу, тексту, языку и параметрам качества.

Практические замечания по использованию

Факты о ZONOS2 и продуктовая интерпретация