Zyphra ZONOS2: TTS MoE แบบเปิดสำหรับการโคลนเสียงคุณภาพสูง

จาก Zonos-v0.1 สู่ ZONOS2: ข้อมูล ความจุโมเดล และการกำหนดเงื่อนไขเปลี่ยนไปพร้อมกัน

ZONOS2 ไม่ใช่เพียงสำเนา Zonos-v0.1 ที่ใหญ่ขึ้น โมเดลก่อนหน้ามีพารามิเตอร์ราว 1.6B และฝึกด้วยเสียงพูดประมาณ 200,000 ชั่วโมง ใช้การแปลงเป็นหน่วยเสียงและป้ายภาษาในส่วนต้นของข้อความ ขณะที่ตัวแทนผู้พูดเก็บรายละเอียดได้น้อยกว่า รุ่นนั้นสร้างเส้นทางการโคลนเสียง zero-shot แบบเปิดไว้แล้ว แต่ยังเผชิญการแลกเปลี่ยนทั่วไปของ TTS: การขยายแบบหนาแน่นทำให้การสร้างแบบเรียลไทม์ช้าลง พจนานุกรมหน่วยเสียงทำให้ข้อความหลายภาษาและข้อความสลับภาษาซับซ้อนขึ้น และเวกเตอร์ผู้พูดขนาดกะทัดรัดอาจทิ้งรายละเอียดเสียงกับการบันทึกที่อยู่ในคลิปอ้างอิง

Zyphra ขยับขอบเขตทั้งสามใน ZONOS2 ชุดฝึกเพิ่มจากประมาณ 200,000 ชั่วโมงเป็นมากกว่าหกล้านชั่วโมง ขนาดโมเดลรวมเพิ่มจาก 1.6B เป็น 8B พารามิเตอร์ ขณะที่การกำหนดเส้นทาง MoE แบบกระจายทำให้ชุดที่ทำงานในแต่ละขั้นอยู่ใกล้ 900M รุ่นเผยแพร่รายงานปริมาณงานเรียลไทม์สูงกว่ารุ่นก่อนสี่เท่า ความจุจึงรองรับภาษา สำเนียง ฉันทลักษณ์ และสภาพการบันทึกที่หลากหลายขึ้น โดยไม่ต้องให้ทุก token เรียกใช้เครือข่าย 8B ทั้งหมด

การกำหนดเงื่อนไขผู้พูดก็เปลี่ยนไป Zyphra อธิบายว่า embedding ECAPA-TDNN ใหม่มีแบนด์วิดท์มากกว่าโมเดลผู้พูดเดิม 20 เท่า แบนด์วิดท์นี้หมายถึงปริมาณข้อมูลผู้พูดที่ embedding รองรับได้ ไม่ใช่อัตราสุ่มตัวอย่างของ WAV ขาออก จึงช่วยอธิบายการแยกระหว่างการโคลนที่ซื่อตรงกับเสียงสะอาดแบบสตูดิโอ: เสียงรบกวน การตอบสนองของห้อง ลมหายใจ และลักษณะเสียงที่แปลกอาจเป็นหลักฐานยืนยันตัวตนในงานหนึ่ง แต่เป็นข้อบกพร่องที่ต้องลบในอีกงานหนึ่ง

เส้นทางข้อความเปลี่ยนจากการแปลงเป็นหน่วยเสียงและแท็กภาษาอย่างชัดเจน มาเป็นไบต์ UTF-8 ที่ปรับรูปแบบแล้ว อักษรจีน ระบบอักษรญี่ปุ่น ภาษาเกาหลี ตัวเลข เครื่องหมายวรรคตอน และการสลับภาษา ไม่ต้องผ่านพจนานุกรมการออกเสียงแบบตายตัวเล่มเดียวก่อนถึงโมเดลอีกต่อไป อินพุตแบบไบต์ไม่รับประกันการอ่านอักษรหลายเสียงหรือการแบ่งวลีที่ถูกต้อง แต่ลดจุดผิดพลาดในส่วนต้นหลายอย่าง ได้แก่ คำที่ไม่มีในพจนานุกรม ป้ายภาษาผิด และขอบเขตภาษาแข็งตัวภายในประโยค

การเพิ่มข้อมูลเพียงอย่างเดียวจะทำให้โมเดลมีเป้าหมายที่เต็มไปด้วยสัญญาณรบกวน คำอธิบายอย่างเป็นทางการจึงใช้การฝึกสามช่วง การฝึกล่วงหน้าวิ่งข้อมูลทั้งชุดแปด epoch โดยกรองความตรงของบทถอดเสียงให้น้อยที่สุดและไม่มีข้อมูลโคลนเสียง ช่วงฝึกกลางเข้มงวดกับความตรงของบทถอดเสียงและการเลือกชุดข้อมูลมากขึ้น เพื่อลดการหลอน การออกเสียงผิด และการทำซ้ำ ช่วง annealing สุดท้ายเพิ่ม embedding ผู้พูด การควบคุมอัตราการพูด และเงื่อนไขคุณภาพภายใต้การกรองที่เข้มงวดยิ่งขึ้น ระบบเรียนรู้ความครอบคลุมก่อน แล้วจึงเน้นการออกเสียงที่ควบคุมได้และการโคลนในภายหลัง

การโคลนเสียงมีมากกว่าความคล้าย

การประเมินการโคลนเสียงมักถูกย่อเหลือคำถามเดียว: ฟังคล้ายผู้พูดอ้างอิงหรือไม่ เรื่องนี้สำคัญ แต่ยังไม่พอสำหรับเครื่องมือ ระบบ TTS ที่ใช้งานได้ยังขึ้นอยู่กับความเป็นธรรมชาติ ความเสถียร ความครอบคลุมภาษา เวลาแฝง สัญญาอนุญาต และภาระการตั้งค่า ZONOS2 น่าสนใจเพราะไม่ได้เดินตามเรื่องเล่าของ API แบบปิดที่ว่า “เสียงเหมือนมนุษย์มากขึ้น” เท่านั้น แต่จับคู่การโคลนที่ละเอียดเที่ยงตรงกับเส้นทางเปิดที่ทำงานในเครื่อง

สิ่งนี้เปลี่ยนการแลกเปลี่ยนของผู้ใช้ API TTS แบบปิดสะดวกต่อการเรียกบริการแบบโฮสต์และการคิดค่าบริการรูปแบบเดียว โครงการ TTS แบบเปิดจำนวนมากยืดหยุ่นสำหรับการทดลอง แต่ให้ผู้ใช้แก้ปัญหาคุณภาพ สภาพแวดล้อม และรันไทม์ด้วยตนเอง ZONOS2 อยู่ระหว่างสองขั้ว โดยผสานการโคลนเสียงคุณภาพสูง ทรัพยากรโมเดลแบบเปิด และกระบวนการผลิตภัณฑ์ที่ผู้ใช้ลองผ่านเว็บไซต์ได้

รุ่นเผยแพร่นี้เป็นโมเดลและสแต็กอนุมาน ไม่ใช่ API เสียงภายนอก ข้อตกลงสาธารณะรวมเสียงอ้างอิง ข้อความเป้าหมาย ภาษา และการควบคุมการสุ่มตัวอย่าง ผลลัพธ์ยังขึ้นอยู่กับการประมวลผลล่วงหน้า การถอดรหัส codec และเช็กพอยต์ที่เลือก

อะไรคือสิ่งใหม่จริง ๆ

มีรายละเอียดอย่างเป็นทางการสามข้อที่ควรแยกกัน ข้อแรกคือสถาปัตยกรรม: ZONOS2 เป็นโมเดล TTS แบบ Mixture of Experts ที่กระจายตัว Zyphra อธิบายว่ามีพารามิเตอร์รวม 8B และทำงานราว 900M ระหว่างอนุมาน นั่นหมายความว่าไม่ใช่เพียงโมเดลหนาแน่นที่ขยายขึ้น การออกแบบ MoE ทำให้แหล่งพารามิเตอร์ที่ใหญ่กว่าสามารถอยู่ร่วมกับเป้าหมาย TTS แบบเรียลไทม์

ข้อที่สองคือการแทนค่าเสียง การ์ดโมเดลระบุว่า ZONOS2 ใช้ไบต์ UTF-8 ที่ปรับรูปแบบโดย nemo TN และ embedding ผู้พูด ECAPA-TDNN ระหว่างอนุมาน จากนั้นใช้แกน MoE สร้าง token DAC บทความอย่างเป็นทางการของ Zyphra ระบุว่าเส้นทาง DAC ผลิตเสียง 44.1 kHz เรื่องนี้สำคัญเพราะเป้าหมายคือคำบรรยายที่ละเอียด เสียงตัวละคร พอดแคสต์ และการโคลนเสียงหลายภาษา มากกว่าโทรศัพท์ที่ใช้อัตราสุ่มตัวอย่างต่ำ

ข้อที่สามคือความครอบคลุมภาษา การ์ดโมเดลระบุ Tier 1 เป็นภาษาอังกฤษ จีนกลาง และญี่ปุ่น; Tier 2 เป็นเกาหลี รัสเซีย อิตาลี โปรตุเกส ฝรั่งเศส สเปน เวียดนาม เยอรมัน ฮีบรู และดัตช์; Tier 3 เป็นสวีเดน ฮินดี ทมิฬ เตลูกู ไทย นอร์เวย์ เบงกาลี ตากาล็อก อาหรับ เดนมาร์ก อินโดนีเซีย โปแลนด์ ยูเครน โรมาเนีย ฟินแลนด์ ฮังการี ลิทัวเนีย เอสโตเนีย สโลวัก โครเอเชีย และลัตเวีย การแบ่งระดับเป็นขอบเขตในตัวเอง การรองรับไม่ได้หมายความว่าทุกภาษา สำเนียง และคลิปอ้างอิงจะทำงานเหมือนกัน

ควรอ่านคำกล่าวอ้างผลทดสอบอย่างไร

หน้าประกาศของ Zyphra รายงานผลที่ดีภายใต้ seed-tts eval และ ZTTS1-Eval ใหม่ โดยเน้นความคล้ายผู้พูด ฉันทลักษณ์ ความเป็นธรรมชาติ และความเที่ยงตรงในการโคลนเสียง การอ่านที่ถูกต้องต้องจำกัดตามแหล่งที่มา นี่คือกรอบผลทดสอบและตัวอย่างของ Zyphra ไม่ใช่การรับประกันสากลว่าการสร้างปลายทางทุกครั้งจะเหนือกว่าทุกโมเดลแบบปิดหรือเปิด

การอภิปรายการประเมินยังละเอียดกว่าคะแนนเดียว Zyphra ระบุว่า WER อาจไม่เหมาะกับ TTS เพราะเสียงที่สร้างขึ้นอาจสะอาดกว่าเสียงมนุษย์จริง ทำให้ ASR ถอดเสียงง่ายกว่า โดยไม่จำเป็นต้องเป็นการโคลนผู้พูดอ้างอิงที่ซื่อตรงกว่า ZONOS2 เน้นความเที่ยงตรงของเสียงอย่างชัดเจน และมีแนวทาง stable กับ expressive: แนวทางหนึ่งเน้นผลลัพธ์สะอาดและเสถียร อีกแนวทางมุ่งการโคลนธรรมชาติที่ซื่อตรงกว่า

ZONOS2 เป็นรุ่น MoE TTS แบบเปิดจากเดือนมิถุนายน 2026 ที่ Zyphra รายงานภายใต้การตั้งค่าประเมิน TTS และการโคลนเสียงเฉพาะ คุณภาพเสียงอ้างอิง ภาษาเป้าหมาย ความยาวข้อความ การควบคุมสไตล์ และการกำหนดค่าการสุ่มตัวอย่างยังเป็นตัวแปรแยกจากกัน ผลที่เผยแพร่จึงอยู่ภายในโพรโทคอลที่ระบุ

เปรียบเทียบกับเส้นทาง TTS ทั่วไป

ใช้เป็นกระบวนการเครื่องมือ

ขั้นตอนสำหรับผู้ใช้เรียบง่าย: อัปโหลดเสียงอ้างอิง ป้อนข้อความที่จะให้อ่าน เลือกภาษาและพารามิเตอร์ แล้วรับไฟล์ WAV เป็นผลลัพธ์

คุณค่าหลักสำหรับผู้ใช้คือภาระการตั้งค่าที่ลดลง ไม่ต้องเตรียมสภาพแวดล้อมวิจัยหรือเข้าใจรายละเอียดการทำงานทั้งหมด ก่อนประเมิน ZONOS2 ผ่านเสียงอ้างอิง ข้อความ ภาษา และพารามิเตอร์คุณภาพ

หมายเหตุการใช้งานจริง

ข้อเท็จจริง ZONOS2 และการอ่านผลิตภัณฑ์