Vevo2: การปรับโครงสร้างการร้องเพลงตามเงื่อนไขสามประการ: เนื้อหา จังหวะ และจังหวะ

การสังเคราะห์เสียงร้อง / บันทึกทางเทคนิค

SoulX-Singer รับเนื้อร้องและ MIDI เป็นโน้ตเพลงที่ระบุไว้อย่างชัดเจน ส่วน Vevo2 ขับเคลื่อนด้วยเสียงอ้างอิง โดยแยก token ของเนื้อหา-สไตล์และสัทสัมพันธ์จากเสียงตัวอย่าง ก่อนให้โมเดลอะคูสติกสร้างรูปคลื่นเป้าหมาย ทั้งสองเส้นทางไม่ควรใช้ข้อตกลงอินพุตชุดเดียวกัน

เหตุใดจึงต้องมี tokenizer สองตัว

หากสตรีม token เดียวบรรจุทั้งหน่วยเสียง ระดับเสียง จังหวะ และลักษณะเสียง การแทนที่ปัจจัยหนึ่งจะรบกวนปัจจัยอื่น เส้นทาง Vevo ลดการเชื่อมโยงนี้ด้วยตัวควอนไทซ์แยกกัน สำหรับตัวแปรแฝงทางอะคูสติก z, token เนื้อหา-สไตล์ c และ token สัทสัมพันธ์ r, flow matching จะเรียนรู้:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

ขั้นอนุมานอินทิเกรตสนามความเร็วแบบมีเงื่อนไข แล้ว vocoder จึงสร้างเสียงกลับคืน การแยกองค์ประกอบช่วยให้ควบคุมได้ดีขึ้น แต่เสียงประกอบ หางเสียงก้องของห้อง และข้อผิดพลาดด้านเวลาในเสียงอ้างอิงยังอาจเข้าไปอยู่ใน token

ไม่ใช่โปรแกรมแก้ไขโน้ตเพลง

Vevo2 เหมาะกับการนำสไตล์การร้องและสัทสัมพันธ์มาจากเสียงอ้างอิง แต่ไม่ได้เปิดให้แก้ไขจุดเริ่ม จุดสิ้นสุด velocity ของ MIDI และการจัดแนวเนื้อร้องกับพยางค์ทุกตำแหน่งภายใต้ข้อตกลงที่เข้มงวดเท่ากัน SoulX-Singer ยังคงเป็นเส้นทาง MIDI โดยตรง ส่วน Vevo2 เป็นโปรไฟล์ที่ขับเคลื่อนด้วยเสียงอ้างอิงซึ่งสอดคล้องกัน

ความคล้ายแบบ zero-shot และการอนุญาต

ตัวแทนเนื้อหา สัทสัมพันธ์ และลักษณะเสียงของ Vevo2 ยังอาจรั่วเข้าหากัน ขณะที่เสียงก้อง เสียงร้องประสาน และเสียงประกอบอาจปนเปื้อน prompt ความคล้ายของเสียงร้องอธิบายพฤติกรรมของโมเดลเท่านั้น ไม่ได้ให้สิทธิ์ใช้ตัวตนของนักร้อง เสียงอ้างอิงและผลลัพธ์ต้องได้รับอนุญาตและระบุให้ชัดเจนว่าเป็นเสียงสังเคราะห์