Модель
SoulX-Singer и YingMusic-Singer-Plus: партитура и ссылка на мелодию, два маршрута синтеза певческого голоса
Синтез пения/сравнение маршрутов
Синтез пения/сравнение маршрутов
СИНТЕЗ ПЕНИЯ
Нотный режим SoulX принимает метаданные, полученные из MIDI. YingMusic-Singer-Plus принимает вокальный фрагмент, задающий мелодию, и целевой текст. Первому требуется выравнивание нот и текста, второй кодирует мелодию из аудио.
Генеративный путь следует уравнению dx_t/dt = v_θ(x_t,t | l,m,r), где поле скоростей обусловлено текстом, мелодией и тембровым референсом. Ошибка выравнивания отклоняет этот интегрируемый путь к неудачному компромиссу между произношением, ритмом и идентичностью голоса.
SoulX преобразует MIDI в сегментированные метаданные; слоги должны совпадать с моментами начала нот. YingMusic обходится без явного MIDI, но требует чистой вокальной мелодии, поскольку просачивание аккомпанемента загрязняет её представление.
SoulX-Singer строится вокруг MIDI, текста и тембрового промпта. YingMusic-Singer-Plus дополнительно делает акцент на гибком редактировании текста и управлении мелодией без понотной разметки. При сравнении необходимо отдельно оценивать высоту, длительность, артикуляцию и референсный тембр, а не сводить обе системы к одному переключателю пения.
Формат входных данных определяет возможности системы синтеза пения. SoulX-Singer ориентирован на тембр в режиме zero-shot и генерацию вокала; YingMusic-Singer-Plus сочетает текст с условиями мелодии или нотной записи. Обе системы создают пение, но одна сильнее зависит от референсного аудио, а другая — от структурированного музыкального материала.
Синтез пения прошёл путь от конкатенации и акустических моделей до нейронных вокодеров, токенов кодеков и крупных генераторов. Постоянной проблемой остаётся выравнивание фонем, длительностей нот, вибрато, дыхания и тембра. Бегло звучащий припев может скрывать ошибки в тексте и смещение по тактам.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchвысота тона или контур мелодииdurationдлительность нотыe_timbreтембр из промпта, используемого с разрешенияSoulX-Singer использует текст, MIDI/метаданные и тембровый промпт; YingMusic-Singer-Plus принимает более гибкое управление мелодией. Высота и длительность представляют собой редактируемые нотные условия, тогда как референс мелодии несёт дополнительную информацию об исполнении.
Точность высоты, длительность, разборчивость текста, сходство тембра и дыхание проверяются раздельно. Один отобранный образец с высокой нотой не доказывает стабильность на протяжении всей песни.
Статьи, код и веса доступны через SoulX-Singer / статью SoulX-Singer / YingMusic-Singer-Plus.
В каждой строке сохранены архитектура, метрика или определение задачи из соответствующего источника; результаты без общего протокола рассматриваются отдельно.
| Модель | Архитектура или свидетельства | Область оценки |
|---|---|---|
| SoulX-Singer | референсный синтез пения в режиме zero-shot | идентичность голоса, текст и стабильность длинных фрагментов |
| YingMusic-Singer-Plus | текст и мелодия/нотная запись | выравнивание, диапазон и темп |
| традиционный конвейер синтеза пения | явные акустические признаки и вокодер | понятное управление при ограниченной естественности между доменами |
Сравните каждое слово на предмет пропусков, проглоченных согласных, повторов и времени вступления согласных, затем проверьте вступление по высоте, глиссандо и вибрато. Естественность не заменяет точность содержания.
Не меняйте тональность, BPM, размер и границы референсного фрагмента. Аккомпанемент и реверберация из референса могут переноситься в результат.
Клонирование голоса певца требует явного разрешения и не должно использоваться для выдачи себя за другого, обмана или обхода прав.
Модель не заменяет аранжировку или вокальную режиссуру. Диапазон, дикция, эмоции и языковые привычки по-прежнему требуют работы человека.
Названия моделей, числа и ограничения восходят к перечисленным ниже статьям, репозиториям или карточкам моделей.