Zyphra ZONOS2：高忠実度ボイスクローン向けのオープン TTS MoE

Zonos-v0.1からZONOS2へ：データ、モデル容量、条件付けが同時に変わった

ZONOS2は、Zonos-v0.1を単に大型化したものではない。前モデルは約1.6Bパラメータで、約200,000時間の音声を用いて学習された。テキストのフロントエンドでは音素化と言語ラベルに依存し、話者表現に保持できる詳細も少なかった。このモデルはオープンなゼロショット音声クローンの経路を確立したが、一般的なTTSのトレードオフは残っていた。密なモデルのスケーリングはリアルタイム生成を遅くし、音素辞書は多言語やコードスイッチを含むテキストを複雑にし、小さな話者ベクトルは参照クリップに含まれる声や録音の細部を失う可能性があった。

ZyphraはZONOS2で、この3つの境界をすべて動かした。学習データは約200,000時間から600万時間超へ拡大した。モデル全体は1.6Bから8Bパラメータへ増えた一方、スパースMoEルーティングによって各ステップでアクティブになる集合を約900Mに抑える。リリースでは、前モデルの4倍のリアルタイムスループットを報告している。これにより、すべてのトークンが8Bネットワーク全体を実行せずに、より広い言語、アクセント、韻律、録音条件を保持できる容量を確保した。

話者条件付けも変わった。Zyphraは新しいECAPA-TDNN埋め込みについて、前の話者モデルの20倍の帯域幅を持つと説明している。ここでいう帯域幅とは、埋め込みが保持できる話者情報の量であり、出力WAVのサンプリング周波数ではない。これは、リリース資料が忠実なクローンとスタジオ品質のクリーンな音声を区別する理由も示している。ノイズ、部屋の響き、息遣い、独特な声の質感は、ある用途では個人性を示す証拠だが、別の用途では除去すべき欠点になり得る。

テキスト経路は、明示的な音素化と言語タグから、正規化されたUTF-8 bytesへ移行した。漢字、日本語の各文字体系、韓国語、数字、句読点、コードスイッチは、モデルに届く前に一つの固定された発音辞書を通る必要がない。バイト入力は多音字や区切りの正しさを保証しないが、辞書にない項目、誤った言語ラベル、文中の硬直した言語境界といったフロントエンドの障害点をいくつか取り除く。

データを増やすだけでは学習目標にノイズが残るため、公式説明では3段階の学習を採用している。事前学習では、文字起こしの一致に対する最小限のフィルタリングを行い、話者クローン情報を加えずに全データセットを8 epoch学習する。中間学習では、文字起こしの一致基準とデータセット選別を厳しくして、幻覚、誤読、反復を抑える。最後のアニーリング段階では、より厳格なフィルタリングの下で、話者埋め込み、発話速度制御、品質条件を導入する。まず範囲を学習し、その後に制御可能な発音とクローンへ集中する構成である。

音声クローンは類似度だけでは決まらない

音声クローンはしばしば、「参照した話者らしく聞こえるか」という一つの問いに集約される。これは重要だが、ツールとして使うには十分ではない。実用的なTTSシステムには、自然さ、安定性、対応言語、遅延、ライセンス、導入負荷も関わる。ZONOS2が興味深いのは、閉鎖型APIによる「より人間らしい音声」という物語だけを追っていない点だ。高忠実度のクローンと、ローカルで実行できるオープンな経路を組み合わせている。

これによって利用者のトレードオフが変わる。閉鎖型TTS APIは、ホストされた呼び出しと一貫した課金の面で便利である。多くのオープンTTSプロジェクトは実験の自由度が高い一方、品質、環境、実行時の問題を利用者自身が解決しなければならない。ZONOS2は、高品質な音声クローン、公開されたモデル資料、サイトから試せる製品ワークフローを組み合わせることで、その中間に位置する。

このリリースは外部の音声APIではなく、モデルと推論スタックである。公開された仕様は、参照音声、対象テキスト、言語、サンプリング制御を組み合わせる。結果は引き続き、前処理、コーデックのデコード、選択したチェックポイントに左右される。

実際に新しくなった点

公式資料のうち、3つの詳細は分けて捉える必要がある。第一はアーキテクチャだ。ZONOS2はスパースなMixture of Experts TTSモデルである。Zyphraは、総パラメータ8B、推論時のアクティブパラメータ約900Mと説明している。つまり、密なモデルを単純に拡大したのではない。MoE設計により、大きなパラメータプールとリアルタイムTTSという目標を両立させている。

第二は音声表現である。モデルカードによると、ZONOS2は推論時にnemo TN normalized UTF-8 bytesとECAPA-TDNN話者埋め込みを使い、その後MoEバックボーンでDACトークンを生成する。Zyphraの公式記事は、このDAC経路が44.1 kHz音声を生成すると説明している。これは、低サンプリング周波数の電話音声ではなく、細部を重視するナレーション、キャラクターボイス、Podcast、多言語音声クローンを想定している点で重要だ。

第三は言語対応である。モデルカードはTier 1をEnglish、Mandarin Chinese、Japanese、Tier 2をKorean、Russian、Italian、Portuguese、French、Spanish、Vietnamese、German、Hebrew、Dutchとしている。Tier 3にはSwedish、Hindi、Tamil、Telugu、Thai、Norwegian、Bengali、Tagalog、Arabic、Danish、Indonesian、Polish、Ukrainian、Romanian、Finnish、Hungarian、Lithuanian、Estonian、Slovak、Croatian、Latvianを挙げる。この階層自体が一つの境界であり、対応しているからといって、すべての言語、アクセント、参照クリップが同じように動作するわけではない。

ベンチマークの主張をどう読むか

Zyphraのリリースページは、seed-tts evalと新しいZTTS1-Evalで強い結果を報告し、話者類似度、韻律、自然さ、音声クローンの忠実度を強調している。正確に読むには、出典の範囲を守る必要がある。これはZyphraによるベンチマークとサンプルの枠組みであり、すべての下流生成があらゆる閉鎖型・オープンモデルを上回るという普遍的な保証ではない。

評価をめぐる議論は、単一のスコアよりも繊細である。Zyphraは、生成音声が実際の人間の音声よりクリーンでASRが文字起こししやすい場合でも、参照話者をより忠実に複製したとは限らないため、WERはTTSの評価には扱いにくいことがあると指摘する。ZONOS2は声の忠実度を明確に重視し、安定志向と表現志向を用意している。前者はよりクリーンで安定した出力を、後者は自然な声をより忠実に複製することを目指す。

ZONOS2は、Zyphraが特定のTTSおよび音声クローン評価条件で結果を報告した、2026年6月のオープンMoE TTSリリースである。参照音声の品質、対象言語、テキスト長、スタイル制御、サンプリング設定はそれぞれ別の変数であり、公開結果は明示されたプロトコルの範囲内にとどまる。

一般的なTTS経路との比較

ツールワークフローとして使う

利用の流れは単純だ。参照音声をアップロードし、読み上げるテキストを入力し、言語とパラメータを選択して、WAVファイルの結果を受け取る。

利用者にとって主な利点は、導入負荷が下がることにある。研究環境を準備したり、実装の詳細をすべて理解したりしなくても、参照音声、テキスト、言語、品質パラメータを通じてZONOS2を評価できる。

実用上の注意点

ZONOS2の事実と製品としての読み方