Модель
SoulX-Singer і YingMusic-Singer-Plus: драйв партитури та посилання на мелодію, два шляхи синтезу співочого голосу
Синтез співу / порівняння маршруту
Синтез співу / порівняння маршруту
© 2026 TelkNet. Всі права захищені.
СИНТЕЗ СПІВУ
Режим score у SoulX приймає метадані, отримані з MIDI. YingMusic-Singer-Plus приймає вокальний фрагмент із мелодією та цільовим текстом. Першому потрібне вирівнювання нот із текстом, а другий кодує мелодію з аудіо.
Генеративна траєкторія описується рівнянням dx_t/dt = v_θ(x_t,t | l,m,r), де поле швидкості зумовлене текстом, мелодією та референсом тембру. Помилка вирівнювання відхиляє цю інтегровану траєкторію до невдалого компромісу між вимовою, ритмом та ідентичністю голосу.
SoulX перетворює MIDI на сегментовані метадані; склади мають збігатися з початками нот. YingMusic не потребує явного MIDI, але йому потрібен чистий мелодійний вокал, оскільки проникнення акомпанементу забруднює представлення мелодії.
SoulX-Singer зосереджений на MIDI, тексті та промпті тембру. YingMusic-Singer-Plus додатково наголошує на гнучкому редагуванні тексту й мелодійному керуванні без понотної анотації. Під час порівняння потрібно окремо оцінювати висоту, тривалість, артикуляцію та референсний тембр, а не зводити обидві системи до одного перемикача синтезу співу.
Контракт вхідних даних визначає можливості системи синтезу співу. SoulX-Singer робить акцент на zero-shot тембрі та генерації співу; YingMusic-Singer-Plus поєднує текст з умовами мелодії або партитури. Обидві системи створюють спів, але одна більше залежить від референсного аудіо, а друга — від структурованого музичного матеріалу.
Синтез співу пройшов шлях від конкатенації та акустичних моделей через нейронні вокодери й токени кодеків до великих генераторів. Незмінною проблемою залишається вирівнювання фонем, тривалості нот, vibrato, дихання та тембру. Один плавний приспів може приховувати неправильний текст і ритмічний дрейф між тактами.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchвисота або контур мелодіїdurationтривалість нотиe_timbreтембр з авторизованого промптуSoulX-Singer використовує текст, MIDI/метадані та промпт тембру; YingMusic-Singer-Plus приймає гнучкіше мелодійне керування. Висота й тривалість є редагованими умовами партитури, тоді як референс мелодії несе додаткову інформацію про виконання.
Точність висоти, тривалість, чіткість тексту, подібність тембру та дихання — окремі перевірки. Один відібраний приклад високої ноти не може підтвердити стабільність протягом усієї пісні.
Статтю, код і ваги можна знайти в матеріалах SoulX-Singer / статті SoulX-Singer / YingMusic-Singer-Plus.
Кожен рядок зберігає архітектуру, метрику або визначення завдання свого джерела; результати без спільного протоколу залишаються окремими.
| Модель | Архітектура або доказ | Сфера |
|---|---|---|
| SoulX-Singer | zero-shot спів під керуванням референсу | ідентичність, текст і стабільність на довгих фрагментах |
| YingMusic-Singer-Plus | текст разом із мелодією/партитурою | вирівнювання, діапазон і tempo |
| традиційний конвеєр синтезу співу | явні акустичні ознаки та вокодер | чітке керування, але обмежена міждоменна природність |
Порівняйте кожне слово, перевіряючи пропуски, проковтнуті приголосні, повторення та часову точність приголосних, а потім оцініть входження у висоту, ковзання й vibrato. Природність не замінює точності змісту.
Залишайте незмінними тональність, BPM, метр і фрагмент референсу. Акомпанемент і реверберація з референсу можуть бути скопійовані у вихід.
Клонування голосу співака потребує явного дозволу й не повинно сприяти видаванню себе за іншу особу, обману або обходу прав.
Модель не замінює аранжування чи вокальної режисури. Діапазон, дикція, емоція та мовні звички все одно потребують роботи людини.
Назви моделей, числа й обмеження походять із наведених нижче статей, репозиторіїв або карток моделей.