Vevo2: إعادة تنظيم الغناء بناء على ثلاثة شروط: المحتوى والجرس والإيقاع.

توليد الغناء / ملاحظة تقنية

يستقبل SoulX-Singer الكلمات وMIDI بوصفهما نوتة موسيقية صريحة. أما Vevo2 فيقوده المرجع: إذ تُستخرج token المحتوى والأسلوب وtoken التنغيم من صوت نموذجي قبل أن يبني النموذج الصوتي waveform الهدف. لا ينبغي للمسارين أن يتشاركا عقد إدخال واحدًا.

لماذا نستخدم tokenizer اثنين

إذا حمل stream واحد من token الفونيمات وطبقة الصوت والإيقاع والجرس، فإن استبدال عامل واحد يربك العوامل الأخرى. يقلل مسار Vevo هذا الترابط باستخدام quantizer منفصلة. بالنسبة إلى التمثيل الصوتي الكامن z، وtoken المحتوى والأسلوب c، وtoken التنغيم r، يتعلم flow matching ما يلي:

L_FM = E ||v_θ(z_t,t,c,r)-u_t||²

يدمج الاستدلال حقل السرعة الشرطي، ثم يعيد vocoder بناء الصوت. يحسن الفصل القدرة على التحكم، لكن المرافقة وذيول صدى الغرفة وأخطاء التوقيت في المرجع قد تظل تدخل إلى token.

ليس محرر نوتة موسيقية

يناسب Vevo2 نقل أسلوب الغناء والتنغيم من مرجع. لكنه لا يعرض كل بداية ونهاية وvelocity في MIDI، ولا محاذاة الكلمات مع المقاطع، بوصفها عقود تحرير متساوية في الصرامة. يظل SoulX-Singer المسار المباشر لـ MIDI؛ أما Vevo2 فهو ملف التعريف المقابل الذي يقوده المرجع.

تشابه zero-shot والإذن

قد تظل تمثيلات المحتوى والتنغيم والجرس في Vevo2 تتسرب بعضها إلى بعض، بينما يلوث الصدى والغناء الخلفي والمرافقة prompt. يصف تشابه الصوت سلوك النموذج؛ ولا يمنح إذنًا باستخدام هوية المغني. تحتاج المراجع والمخرجات إلى تصريح وإفصاح واضح عن كونها مصطنعة.