Zyphra ZONOS2: 고충실도 음성 클로닝을 위한 오픈 TTS MoE

Zonos-v0.1에서 ZONOS2로: 데이터, 모델 용량, 조건화가 함께 바뀌다

ZONOS2는 Zonos-v0.1을 단순히 확대한 모델이 아니다. 이전 모델은 약 1.6B 매개변수로 구성됐고, 약 200,000시간의 음성으로 학습했다. 텍스트 전처리 단계에서는 음소 변환과 언어 레이블에 의존했으며, 화자 표현에 담을 수 있는 세부 정보도 더 적었다. 이 모델은 오픈 제로샷 음성 복제 경로를 마련했지만, 일반적인 TTS의 절충점을 피하지는 못했다. 밀집 모델의 확장은 실시간 생성을 늦추고, 음소 사전은 다국어와 코드 스위칭 텍스트를 복잡하게 만들며, 작은 화자 벡터는 참조 클립에 담긴 발성 및 녹음의 세부 정보를 잃을 수 있었다.

Zyphra는 ZONOS2에서 이 세 가지 경계를 모두 바꿨다. 학습 데이터는 약 200,000시간에서 600만 시간 이상으로 늘었다. 전체 모델 크기는 1.6B에서 8B 매개변수로 커졌지만, 희소 MoE 라우팅은 단계마다 활성 집합을 약 900M으로 유지한다. 공개 자료는 이전 모델보다 실시간 처리량이 4배 높다고 보고한다. 그 결과 모든 토큰이 전체 8B 네트워크를 실행하지 않고도 더 다양한 언어, 억양, 운율, 녹음 조건을 담을 수 있는 용량을 확보했다.

화자 조건화도 달라졌다. Zyphra는 새로운 ECAPA-TDNN 임베딩의 대역폭이 이전 화자 모델보다 20배 넓다고 설명한다. 여기서 대역폭은 임베딩이 담을 수 있는 화자 정보의 양을 뜻하며, 출력 WAV의 샘플링 레이트를 가리키지 않는다. 이는 이번 공개가 충실한 복제와 스튜디오처럼 깨끗한 음성을 구분하는 이유도 설명한다. 잡음, 공간 반응, 숨소리, 특이한 음색은 어떤 작업에서는 정체성의 근거지만, 다른 작업에서는 제거할 결함일 수 있다.

텍스트 경로는 명시적인 음소 변환과 언어 태그에서 정규화된 UTF-8 bytes로 바뀌었다. 중국어 문자, 일본어 문자 체계, 한국어, 숫자, 문장 부호, 코드 스위칭은 모델에 도달하기 전에 하나의 고정된 발음 사전을 거칠 필요가 없다. 바이트 입력이 다의 발음이나 문장 구분의 정확성을 보장하지는 않지만, 사전에 없는 항목, 잘못된 언어 레이블, 문장 안의 경직된 언어 경계 등 여러 전처리 실패 지점을 없앤다.

데이터만 늘리면 학습 목표가 지나치게 혼잡해질 수 있어 공식 설명은 3단계 학습을 제시한다. 사전 학습은 화자 복제 정보 없이, 전사 일치 여부를 최소한으로만 거른 전체 데이터셋을 8 epoch 동안 사용한다. 중간 학습은 전사 일치 기준과 데이터셋 선별을 강화해 환각, 오독, 반복을 줄인다. 마지막 어닐링 단계에서는 더 엄격한 필터링 아래 화자 임베딩, 발화 속도 제어, 품질 조건을 도입한다. 먼저 폭넓은 범위를 학습하고, 이후 제어 가능한 발음과 복제에 집중하는 방식이다.

음성 복제는 유사도만의 문제가 아니다

음성 복제를 다룰 때 흔히 ‘참조 화자처럼 들리는가’라는 한 가지 질문으로 축소한다. 이는 중요하지만 도구로 사용하기에는 충분하지 않다. 실용적인 TTS 시스템에는 자연스러움, 안정성, 언어 범위, 지연 시간, 라이선스, 구축 부담도 중요하다. ZONOS2가 흥미로운 이유는 ‘사람 같은 음성’이라는 폐쇄형 API의 이야기만 따르지 않기 때문이다. 고충실도 복제와 로컬에서 실행할 수 있는 오픈 경로를 함께 제공한다.

이는 사용자의 절충점을 바꾼다. 폐쇄형 TTS API는 호스팅 호출과 일관된 과금 면에서 편리하다. 많은 오픈 TTS 프로젝트는 실험에 유연하지만, 품질, 환경, 런타임 문제를 사용자가 직접 해결해야 한다. ZONOS2는 고품질 음성 복제, 공개된 모델 자료, 사이트에서 사용자가 시험할 수 있는 제품 워크플로를 결합해 두 극단 사이에 자리한다.

이번 공개는 외부 음성 API가 아니라 모델과 추론 스택이다. 공개 입력 규약은 참조 오디오, 목표 텍스트, 언어 및 샘플링 제어를 결합하며, 결과는 여전히 전처리, 코덱 디코딩, 선택한 체크포인트에 따라 달라진다.

실제로 새로워진 점

공식 자료의 세 가지 세부 사항은 나누어 살펴볼 가치가 있다. 첫째는 아키텍처다. ZONOS2는 희소 Mixture of Experts TTS 모델이다. Zyphra는 전체 매개변수 8B, 추론 시 활성 매개변수 약 900M으로 설명한다. 즉, 단순히 밀집 모델의 크기를 키운 것이 아니라 MoE 설계를 통해 큰 매개변수 풀과 실시간 TTS 목표를 함께 달성하려는 모델이다.

둘째는 오디오 표현이다. 모델 카드에 따르면 ZONOS2는 추론 시 nemo TN normalized UTF-8 bytes와 ECAPA-TDNN 화자 임베딩을 사용한 뒤 MoE 백본으로 DAC 토큰을 생성한다. Zyphra 공식 글은 DAC 경로가 44.1 kHz 오디오를 만든다고 설명한다. 이는 낮은 샘플링 레이트의 전화 음성보다 세부 묘사가 중요한 내레이션, 캐릭터 음성, Podcast, 다국어 음성 복제를 겨냥한다는 점에서 의미가 있다.

셋째는 언어 지원 범위다. 모델 카드는 Tier 1에 English, Mandarin Chinese, Japanese를, Tier 2에 Korean, Russian, Italian, Portuguese, French, Spanish, Vietnamese, German, Hebrew, Dutch를 기재한다. Tier 3에는 Swedish, Hindi, Tamil, Telugu, Thai, Norwegian, Bengali, Tagalog, Arabic, Danish, Indonesian, Polish, Ukrainian, Romanian, Finnish, Hungarian, Lithuanian, Estonian, Slovak, Croatian, Latvian이 포함된다. 등급 구분 자체가 하나의 경계다. 언어를 지원한다는 사실이 모든 언어, 억양, 참조 클립에서 동일한 결과를 보장하지는 않는다.

벤치마크 주장을 읽는 법

Zyphra 출시 페이지는 seed-tts eval과 새로운 ZTTS1-Eval에서 강한 결과를 얻었다고 보고하며, 화자 유사도, 운율, 자연스러움, 음성 복제 충실도를 강조한다. 정확한 해석은 출처 범위를 지키는 것이다. 이는 Zyphra가 설정한 벤치마크와 예시의 프레임이며, 모든 다운스트림 생성이 모든 폐쇄형 또는 오픈 모델을 능가한다는 보편적 보장이 아니다.

평가에 관한 논의는 단일 점수보다 더 미묘하다. Zyphra는 생성 음성이 실제 사람의 음성보다 깨끗해 ASR이 더 쉽게 받아쓸 수 있지만, 그렇다고 참조 화자를 더 충실하게 복제한 것은 아닐 수 있으므로 WER가 TTS 평가에서 애매할 수 있다고 지적한다. ZONOS2는 음색의 충실도를 명시적으로 강조하고 안정적 방향과 표현적 방향을 제시한다. 전자는 더 깨끗하고 안정적인 출력을, 후자는 자연스러운 음성을 더 충실히 복제하는 것을 목표로 한다.

ZONOS2는 Zyphra가 특정 TTS 및 음성 복제 평가 조건에서 결과를 보고한 2026년 6월의 오픈 MoE TTS 공개 모델이다. 참조 오디오 품질, 목표 언어, 텍스트 길이, 스타일 제어, 샘플링 구성은 각각 별도의 변수이므로, 공개 결과는 명시된 프로토콜 범위 안에서 해석해야 한다.

일반적인 TTS 경로와 비교

도구 워크플로로 사용하는 법

사용자 흐름은 간단하다. 참조 음성을 업로드하고, 말하게 할 텍스트를 입력하고, 언어와 매개변수를 선택한 뒤 WAV 파일 결과를 받는다.

사용자가 얻는 가장 큰 이점은 구축 부담이 줄어든다는 점이다. 연구 환경을 준비하거나 모든 구현 세부 사항을 이해하지 않아도 참조 음성, 텍스트, 언어, 품질 매개변수를 통해 ZONOS2를 평가할 수 있다.

실사용 참고 사항

ZONOS2의 사실과 제품 관점의 해석