dots.tts: ตัวแปรแฝงเสียงต่อเนื่อง การจับคู่โฟลว์ และคำพูดระยะไกล 48 kHz

การสังเคราะห์เสียงพูด

dots.tts ไม่ได้ย่อเสียงพูดให้กลายเป็นโทเค็นเสียงแบบไม่ต่อเนื่อง AudioVAE จัดเตรียมตัวแปรแฝงแบบต่อเนื่อง ตัวเข้ารหัสเชิงความหมายบีบอัดแพตช์ที่สร้างขึ้นให้กับโครงหลักภาษา และหัว flow ทำนายวิถีเชิงเสียงถัดไป

flow matching แบบมีเงื่อนไข

โมเดลเรียนรู้ L=E||v_θ(x_t,t,h,s)-u_t||² โดยมีเงื่อนไขจากสถานะซ่อนของภาษา h และข้อมูลผู้พูด s SOAR เพิ่มการจัดเรียงแบบแก้ไขตนเอง ส่วน MF กลั่นวิถีให้เหลือเพียงสี่การประเมิน

SOAR กับ MeanFlow แลกข้อผิดพลาดที่ต่างกัน

ตาราง Seed-TTS-Eval อย่างเป็นทางการให้ SOAR มีค่า SIM เฉลี่ย 79.2 ในทั้งสามชุดแบ่งที่เผยแพร่ และโมเดล MeanFlow สี่ขั้นตอนได้ 78.2 SOAR ถูกจัดเรียงแบบแก้ไขตนเอง ส่วน MeanFlow กลั่นวิถีครูที่ยาวกว่าให้เป็นศิษย์สี่ขั้นตอน ซึ่งเปลี่ยนทั้งความเร็วและรูปแบบความล้มเหลวเชิงเสียง

เสียงอ้างอิงกับเสียงแบบสุ่ม

คำแนะนำการใช้งานอย่างเป็นทางการแนะให้ใช้เสียงอ้างอิงที่สั้นและสะอาด โดยถ้อยคำถอดเทปต้องตรงกับการบันทึก โดยปกติประมาณสิบวินาทีก็เพียงพอแล้ว พรอมป์ที่ยาวกว่าไม่ได้ทำให้การโคลนดีขึ้นโดยอัตโนมัติ การสุ่มโดยไม่มีเสียงอ้างอิงไม่ใช่ตัวตนของตัวละครที่คงอยู่ถาวร