Для кого Розділення вокалу та акомпанементу (RoFormer)?

Розділення та stem Завантажити vocal та акомпанемент WAV stems

Розділення та stemGPU навантаження

Розділення вокалу та акомпанементу

Q: З якими завданнями Розділення вокалу та акомпанементу (RoFormer) може допомогти?

Розділення та stem; Завантажити vocal та акомпанемент WAV stems; Позиціонування: open-weight, локально розгортання з двома stem vocal/акомпанемент для практики, каверів, мікшування та підготовки семплів.; Повні пісні, кавер-джерела або змішане аудіо; BS-RoFormer діапазони Leap XE 90 виводять vocals, а BS PolarFormer public ONNX 62 діапазони виводить супровод.; Розділення вокалу / акомпанементу: витяг vocal матеріалу; Розділення вокалу / акомпанементу: експортний акомпанементний матеріал

Q: Які моделі та ключові слова пов'язані з Розділення вокалу та акомпанементу (RoFormer)?

BS-RoFormer Leap XE 90 bands (vocals output), BS PolarFormer public ONNX 62 bands (accompaniment output), MVSep 10178 Leap XE, pcunwa Leap XE weights, BS-RoFormer, MVSep 10009 PolarFormer public, BS PolarFormer public ONNX, audio-separator runtime

Позиціонування: open-weight, локально розгортання з двома stem vocal/акомпанемент для практики, каверів, мікшування та підготовки семплів.

Завантажити vocal та акомпанемент WAV stems

4 кредити/використанняВведення файлуMax 50 MBОцінка — 180-900 секунди

Вхідні дані

Повні пісні, кавер-джерела або змішане аудіо; BS-RoFormer діапазони Leap XE 90 виводять vocals, а BS PolarFormer public ONNX 62 діапазони виводить супровод.

Підтримувані формати

mp3wavflacoggm4aaacaifaiffmp4movmkv

Вихід

Завантажити vocal та акомпанемент WAV stems

Кейс використання

Моделі, параметри та джерела

Розділення відкритих vocal/акомпанементу: vocal stem походить з BS-RoFormer діапазонів Leap XE 90, а акомпанемент stem — з BS PolarFormer public ONNX 62 діапазонів для редагування, каверів, підготовки транскрипції та подальшої аудіороботи.

BS-RoFormer Leap XE 90 bands (vocals output)BS PolarFormer public ONNX 62 bands (accompaniment output)MVSep 10178 Leap XEpcunwa Leap XE weightsBS-RoFormerMVSep 10009 PolarFormer publicBS PolarFormer public ONNXaudio-separator runtimepython-audio-separatoraudio-separator PyPIaudio-separator model weightsMVSep metrics + verified weights

BS-RoFormer Leap XE 90 bands (vocals output)

MVSep 10178 Leap XE pcunwa Leap XE weights BS-RoFormer

BS PolarFormer public ONNX 62 bands (accompaniment output)

MVSep 10009 PolarFormer public BS PolarFormer public ONNX BS-RoFormer

audio-separator runtime

Обгортка для UVR/MVSep типу роздільника checkpoints. Він забезпечує завантаження моделі, експорт WAV stem та обробку аудіоформатів з підтримкою FFmpeg, які використовується цим інструментом.

python-audio-separator audio-separator PyPI audio-separator model weights

Публічна таблиця лідерів: Підтверджений рейтинг у публічній вазі vocals / Підтверджений рейтинг акомпанементу за загальною вагою

Обсяг відкритих локально розгортаних моделей: таблиці містять лише рядки з перевіреними доступними для завантаження вагами або конфігураціями та шляхом локального запуску. SOTA й «Найкращий» стосуються тільки показаних перевірених рядків, не включають хостовані, лише API чи комерційні системи й не є універсальним рейтингом.

Підтверджений рейтинг у публічній вазі vocals

MVSep metrics + verified weights

Підтверджений багатопісенний варіант лише vocals SDR рядів. TelkNet використовує Leap XE 90 для vocals; Hosted, API-only або неперевірені рядки MVSep виключені з цього рейтингу.

Ранг	Модель	Вокал SDR (dB)	Докладні метрики
MVSep entry 10178	BS-RoFormer Leap XE 90 bands (pcunwa)TelkNetMVSep 10178 metric	11.7577SOTA	Інструментальна SDR (dB)17.5303
MVSep entry 10009	BS PolarFormer public ONNX 62 bands (bgkb/ZFTurbo)MVSep 10009 metric	11.7575	Інструментальна SDR (dB)18.0650Найкращий
MVSep entry 10173	BS-RoFormer Leap vocal-only (pcunwa)MVSep 10173 metric	11.7398
MVSep entry 10146	BS-RoFormer Leap 62 bands (pcunwa)MVSep 10146 metric	11.7222	Інструментальна SDR (dB)17.7794

Підтверджений рейтинг акомпанементу за загальною вагою

MVSep metrics + verified weights

Підтверджений лише багатопісенний інструментальний SDR ряди. TelkNet використовує BS PolarFormer public ONNX 62 для акомпанементу; Хостовані, лише API або неперевірені MVSep рядки виключаються.

Ранг	Модель	Інструментальна SDR (dB)	Докладні метрики
MVSep entry 10009	BS PolarFormer public ONNX 62 bands (bgkb/ZFTurbo)TelkNetMVSep 10009 metric	18.0650SOTA	Вокал SDR (dB)11.7575
MVSep entry 10146	BS-RoFormer Leap 62 bands (pcunwa)MVSep 10146 metric	17.7794	Вокал SDR (dB)11.7222
MVSep entry 10178	BS-RoFormer Leap XE 90 bands (pcunwa)MVSep 10178 metric	17.5303	Вокал SDR (dB)11.7577Найкращий

Паперові та бенчмаркові нотатки

Music Source Separation with Band-Split RoPE Transformer

SDX23 music separation track - 2023

BS-RoFormer використовує спектрограми з розділенням смуги плюс RoPE-трансформатори; система SDX23 посіла перше місце за розділенням музичних джерел, а менша версія показала середній показник 9,80 дБ SDR на MUSDB18HQ.

arXiv:2309.02612

The Sound Demixing Challenge 2023 - Music Demixing Track

TISMIR - 2024

Папір для деміксування музики SDX23 містить надійні тести MSS, тести на прослуховування, а також підтверджує, що найкраща система покращилася порівняно з попереднім викликом більш ніж на 1,6 дБ SDR MDXDB21.

TISMIR 2024

Офіційні / репозиторії

MVSep 10178 Leap XE pcunwa Leap XE weights MVSep 10009 PolarFormer public BS PolarFormer public ONNX python-audio-separator audio-separator PyPI audio-separator model weights

Статті / технічні нотатки

BS-RoFormer

Керівництво параметрів

Спочатку розділяємо: розділяйте vocals/акомпанемент або stems перед транскрибуванням цільового аудіо.
Зберігайте окремі треки: зберігайте stems або треки для окремого завантаження.
Виділений маршрут: цей інструмент використовує шлях моделі, обраний для цього робочого процесу.

Сценарії використання

Розділення вокалу / акомпанементу: витяг vocal матеріалу
Розділення вокалу / акомпанементу: експортний акомпанементний матеріал
Розділення вокалу та акомпанементу: підготуйте чистіші stems для MIDI або RVC

Робочий процес

1Завантажте повний джерело пісні або каверу
2Запустіть окремо vocals етап Leap XE 90 і PolarFormer Public 62 акомпанемент, а потім експортуйте два справжніх stems.
3Завантажити vocal та акомпанемент WAV stems

Передпольотний чек-лист

Віддаю перевагу чистому аудіо з обмеженим кліпінгом, дисторшном або реверберацією
Розділення вокалу та акомпанементу: перевіряйте vocal та акомпанемент окремо
Розділення вокалу та акомпанементу: обробка матеріалу, а не фінальний ремонт мастерингу

Пов'язані сценарії

Ці сторінки названі за задачами, які шукають користувачі, і ведуть до інструментів, меж моделі, джерел та FAQ.

RVC voice conversion: онлайн-інструмент і посібник з моделі AI cover maker: онлайн-інструмент і посібник з моделі vocal remover: онлайн-інструмент і посібник з моделі four stem splitter: онлайн-інструмент і посібник з моделі six stem splitter: онлайн-інструмент і посібник з моделі

Швидкий відгук

Напишіть тут свою пропозицію чи прохання й надішліть. Ми уважно слухаємо кожного й намагаємося втілювати гарні ідеї в реальні функції.

Розділення вокалу та акомпанементу (RoFormer) · TelkNet