Zyphra ZONOS2: TTS MoE mở cho voice cloning trung thực cao

Từ Zonos-v0.1 đến ZONOS2: dữ liệu, năng lực và điều kiện hóa cùng thay đổi

ZONOS2 không phải bản sao lớn hơn của Zonos-v0.1. Mô hình trước có khoảng 1,6 tỷ tham số và được huấn luyện trên gần 200 nghìn giờ tiếng nói. Nó dựa vào chuyển đổi âm vị và nhãn ngôn ngữ ở đầu vào văn bản, còn biểu diễn người nói chứa ít chi tiết hơn. Phiên bản đó thiết lập lộ trình sao chép giọng zero-shot mở, nhưng vẫn gặp những đánh đổi quen thuộc của TTS: mở rộng mô hình dày làm chậm tạo giọng thời gian thực, từ điển âm vị gây khó cho văn bản đa ngôn ngữ và chuyển mã, còn vector người nói nhỏ gọn có thể bỏ mất chi tiết giọng và bản thu trong đoạn tham chiếu.

Zyphra thay đổi cả ba giới hạn trong ZONOS2. Tập huấn luyện tăng từ khoảng 200 nghìn lên hơn sáu triệu giờ. Quy mô tổng tăng từ 1.6B lên 8B tham số, trong khi định tuyến MoE thưa giữ số tham số hoạt động gần 900M cho mỗi bước. Bản phát hành công bố thông lượng thời gian thực cao gấp bốn lần mô hình trước. Nhờ vậy, năng lực mô hình có thể bao quát nhiều biến thể ngôn ngữ, giọng vùng, ngữ điệu và điều kiện ghi âm hơn mà không yêu cầu mỗi token chạy toàn bộ mạng 8B.

Điều kiện hóa người nói cũng thay đổi. Zyphra mô tả embedding ECAPA-TDNN mới có băng thông gấp 20 lần mô hình người nói trước. Băng thông ở đây nói đến lượng thông tin người nói mà embedding có thể mang, không phải tần số lấy mẫu của tệp WAV. Điều này giúp giải thích khác biệt giữa sao chép trung thực và tiếng nói sạch kiểu phòng thu: nhiễu, đáp ứng phòng, hơi thở và chất giọng lạ có thể là bằng chứng danh tính trong một tác vụ nhưng lại là lỗi cần loại bỏ ở tác vụ khác.

Đường văn bản chuyển từ âm vị hóa và nhãn ngôn ngữ rõ ràng sang byte UTF-8 được chuẩn hóa. Chữ Hán, hệ chữ Nhật, tiếng Hàn, số, dấu câu và chuyển mã không còn phải đi qua một từ điển phát âm cố định trước khi vào mô hình. Đầu vào byte không đảm bảo cách đọc đa âm hay ngắt câu chính xác, nhưng loại bỏ nhiều điểm lỗi ở giao diện trước: từ thiếu trong từ điển, nhãn ngôn ngữ sai và ranh giới ngôn ngữ cứng trong một câu.

Chỉ tăng dữ liệu sẽ để lại mục tiêu nhiều nhiễu, vì vậy mô tả chính thức dùng ba giai đoạn huấn luyện. Tiền huấn luyện chạy toàn bộ tập dữ liệu trong tám epoch với lọc tối thiểu theo độ khớp bản chép và không có thông tin sao chép người nói. Huấn luyện trung gian siết độ khớp và lựa chọn dữ liệu nhằm giảm ảo giác, phát âm sai và lặp lại. Giai đoạn annealing cuối đưa vào embedding người nói, điều khiển tốc độ và điều kiện chất lượng dưới bộ lọc chặt hơn. Độ bao phủ được học trước; phát âm có kiểm soát và sao chép tập trung ở giai đoạn sau.

Sao chép giọng nói không chỉ là độ giống

Các bài viết về sao chép giọng thường thu gọn còn một câu hỏi: nghe có giống người nói tham chiếu không? Điều đó quan trọng nhưng chưa đủ cho một công cụ. Hệ thống TTS hữu dụng còn phụ thuộc vào độ tự nhiên, ổn định, phạm vi ngôn ngữ, độ trễ, giấy phép và gánh nặng cài đặt. ZONOS2 đáng chú ý vì không chỉ đi theo câu chuyện “giọng giống người hơn” của API đóng. Nó kết hợp sao chép độ trung thực cao với lộ trình chạy cục bộ mở.

Điều đó thay đổi sự đánh đổi của người dùng. API TTS đóng thuận tiện cho cuộc gọi lưu trữ và tính phí đồng nhất. Nhiều dự án TTS mở linh hoạt cho thử nghiệm nhưng đòi hỏi người dùng tự xử lý chất lượng, môi trường và runtime. ZONOS2 nằm giữa hai cực bằng cách kết hợp sao chép giọng chất lượng cao, tài liệu mô hình mở và quy trình sản phẩm có thể thử từ trang web.

Bản phát hành là mô hình cùng ngăn xếp suy luận, không phải API giọng nói bên ngoài. Hợp đồng công khai kết hợp âm thanh tham chiếu, văn bản đích, ngôn ngữ và điều khiển lấy mẫu; kết quả vẫn phụ thuộc vào tiền xử lý, giải mã codec và checkpoint được chọn.

Những điểm thực sự mới

Cần tách ba chi tiết chính thức. Thứ nhất là kiến trúc: ZONOS2 là mô hình TTS Mixture of Experts thưa. Zyphra mô tả tổng cộng 8B tham số với khoảng 900M hoạt động khi suy luận. Do đó, đây không chỉ là một mô hình dày được tăng kích thước; thiết kế MoE cho phép một kho tham số lớn cùng tồn tại với mục tiêu TTS thời gian thực.

Thứ hai là biểu diễn âm thanh. Thẻ mô hình cho biết ZONOS2 sử dụng byte UTF-8 do nemo TN chuẩn hóa và embedding người nói ECAPA-TDNN trong suy luận, sau đó dùng lõi MoE tạo token DAC. Bài viết của Zyphra mô tả đường DAC tạo âm thanh 44,1 kHz. Điều này quan trọng vì mục tiêu là giọng kể chi tiết, giọng nhân vật, podcast và sao chép đa ngôn ngữ, thay vì điện thoại tần số lấy mẫu thấp.

Thứ ba là phạm vi ngôn ngữ. Thẻ liệt kê tầng 1 gồm tiếng Anh, tiếng Trung Quan thoại và tiếng Nhật; tầng 2 gồm tiếng Hàn, Nga, Ý, Bồ Đào Nha, Pháp, Tây Ban Nha, Việt, Đức, Hebrew và Hà Lan; tầng 3 gồm tiếng Thụy Điển, Hindi, Tamil, Telugu, Thái, Na Uy, Bengal, Tagalog, Ả Rập, Đan Mạch, Indonesia, Ba Lan, Ukraina, Romania, Phần Lan, Hungary, Litva, Estonia, Slovakia, Croatia và Latvia. Chính cách phân tầng đã là một giới hạn: hỗ trợ không có nghĩa mọi ngôn ngữ, giọng vùng và đoạn tham chiếu đều hoạt động như nhau.

Cách đọc tuyên bố benchmark

Trang phát hành của Zyphra báo cáo kết quả mạnh trên seed-tts eval và ZTTS1-Eval mới, nhấn mạnh độ giống người nói, ngữ điệu, tự nhiên và độ trung thực sao chép. Cách đọc chính xác phải giới hạn theo nguồn: đây là khung benchmark và mẫu của Zyphra, không phải bảo đảm phổ quát rằng mọi lần tạo sau đó sẽ vượt mọi mô hình mở hoặc đóng.

Thảo luận đánh giá cũng tinh tế hơn một điểm số. Zyphra lưu ý WER có thể khó dùng cho TTS vì giọng được tạo đôi khi sạch hơn lời nói thật và dễ để ASR chép lại hơn, nhưng chưa chắc trung thành hơn với người tham chiếu. ZONOS2 nhấn mạnh độ trung thực giọng và cung cấp hướng ổn định lẫn biểu cảm: một hướng ưu tiên đầu ra sạch, ổn định; hướng kia nhằm sao chép tự nhiên trung thực hơn.

ZONOS2 là bản TTS MoE mở tháng 6 năm 2026 mà Zyphra báo cáo trong các thiết lập đánh giá tổng hợp và sao chép cụ thể. Chất lượng âm thanh tham chiếu, ngôn ngữ đích, độ dài văn bản, điều khiển phong cách và cấu hình lấy mẫu vẫn là các biến riêng; kết quả công bố chỉ nằm trong giao thức đã nêu.

So sánh với các lộ trình TTS phổ biến

Sử dụng như một quy trình công cụ

Quy trình rất đơn giản: tải lên giọng tham chiếu, nhập văn bản cần đọc, chọn ngôn ngữ và tham số, rồi nhận tệp WAV kết quả.

Giá trị chính với người dùng là giảm gánh nặng cài đặt: họ không cần chuẩn bị môi trường nghiên cứu hay hiểu mọi chi tiết triển khai trước khi đánh giá ZONOS2 qua giọng tham chiếu, văn bản, ngôn ngữ và tham số chất lượng.

Lưu ý sử dụng thực tế

Dữ kiện ZONOS2 và cách hiểu sản phẩm