Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
arXiv - 2026
Зафіксований README Sony: MUSDB18-HQ, медіана медіан museval. Порівняння лише за цим протоколом, окремо від MVSEP та інших статей.
Завантаження...
Розділяйте основний вокал, гармонії та акомпанемент або отримуйте сухий вокал для каверів і караоке.
Вхідні дані
Підтримує введення у форматах, таких як mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Підтримувані формати
Вихід
2 × WAV
Кейс використання
Sony MIMO BS-RoFormer розділяє вокал і акомпанемент за три ітерації; доступні Large та Small. У складних міксах можливі перетікання звуку. Порівняння з Leap сайту за однакових умов немає.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.
Sony MIMO BS-RoFormer розділяє вокал і акомпанемент; доступні версії Large та Small. У складних міксах можуть залишатися сторонні партії.
Обгортка для UVR/MVSep типу роздільника checkpoints. Він забезпечує завантаження моделі, експорт WAV stem та обробку аудіоформатів з підтримкою FFmpeg, які використовується цим інструментом.
Розділення гармоній: MVSep 9205 забезпечує соло/акомпанемент з гармонією, BS-RoFormer гурти Leap XE 90 забезпечують vocals гармонією, а BS-RoFormer Leap Instrumental гурти — референс акомпанементу.
Вилучення сухого вокалу: Leap XE 90 bands дає провідний вокал, BS-RoFormer Leap Instrumental референс акомпанементу, MVSep 9205 BS-Kar AVG прибирає фонові гармонії, а модель dereverb anvuew BS-RoFormer усуває реверберацію.
MelBand Aspiration відокремлює дихання й повітряні призвуки; є стандартна та м'якша версії. Можуть виділятися фрикативні приголосні. Використовуйте окремий вокал і перевіряйте дикцію.
MelBand Aspiration відокремлює дихання й повітряні призвуки; є стандартна та м'якша версії. Можуть виділятися фрикативні приголосні. Використовуйте окремий вокал і перевіряйте дикцію.
arXiv - 2026
Зафіксований README Sony: MUSDB18-HQ, медіана медіан museval. Порівняння лише за цим протоколом, окремо від MVSEP та інших статей.
SDX23 music separation track - 2023
BS-RoFormer використовує спектрограми з розділенням смуги плюс RoPE-трансформатори; система SDX23 посіла перше місце за розділенням музичних джерел, а менша версія показала середній показник 9,80 дБ SDR на MUSDB18HQ.
TISMIR - 2024
Папір для деміксування музики SDX23 містить надійні тести MSS, тести на прослуховування, а також підтверджує, що найкраща система покращилася порівняно з попереднім викликом більш ніж на 1,6 дБ SDR MDXDB21.
arXiv / ISMIR late-breaking demo - 2023
Mel-RoFormer замінює евристичні неперекриваючі діапазони на перекриваючі мел-діапазони піддіапазонів і демонструє кращу сепарацію, ніж BS-RoFormer для vocals, drums та інших stems на MUSDB18HQ.
Категорій виходу: 2
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Кожен набір ваг зазначено один раз у кожному тесті з найкращим опублікованим результатом за вибраною метрикою. Загальна оцінка походить з одного випробування. Розгорніть список, щоб порівняти випробування та налаштування.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 4 / початкових рядків 4
Зафіксований README Sony: MUSDB18-HQ, медіана медіан museval. Порівняння лише за цим протоколом, окремо від MVSEP та інших статей.
| Місце за метрикою | Модель | Умова тесту | Params | Input length | Batch Size | Training Steps | museval SDR · (Vocals / Accomp) | Download |
|---|---|---|---|---|---|---|---|---|
| - | Sony BS-RoFormer Small baselineВідкриті ваги · Код інференсу | Small | 12.1 M | 4 sec | 96 | 1,000,000 | 9.64 / 16.80 | Download |
| - | Sony MIMO BS-RoFormer SmallВідкриті ваги · Код інференсу | Small | 16.3 M | 4 sec | 96 | 1,000,000 | 10.17 / 17.64 | Download |
| - | Sony BS-RoFormer Large baselineВідкриті ваги · Код інференсу | Large | 72.2 M | 8 sec | 96 | 1,000,000 | 11.40 / 18.48 | Download |
| - | Sony MIMO BS-RoFormer LargeМодель на сайтіВідкриті ваги · Код інференсу | Large | 71.4 M | 8 sec | 96 | 1,000,000 | 11.62 / 19.04 | Download |
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 4 / початкових рядків 4
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 4 / початкових рядків 4
Зафіксований README Sony: MUSDB18-HQ, медіана медіан museval. Порівняння лише за цим протоколом, окремо від MVSEP та інших статей.
| Місце за метрикою | Модель | Умова тесту | Params | Input length | Batch Size | Training Steps | museval SDR · (Vocals / Accomp) | Download |
|---|---|---|---|---|---|---|---|---|
| - | Sony BS-RoFormer Small baselineВідкриті ваги · Код інференсу | Small | 12.1 M | 4 sec | 96 | 1,000,000 | 9.64 / 16.80 | Download |
| - | Sony MIMO BS-RoFormer SmallВідкриті ваги · Код інференсу | Small | 16.3 M | 4 sec | 96 | 1,000,000 | 10.17 / 17.64 | Download |
| - | Sony BS-RoFormer Large baselineВідкриті ваги · Код інференсу | Large | 72.2 M | 8 sec | 96 | 1,000,000 | 11.40 / 18.48 | Download |
| - | Sony MIMO BS-RoFormer LargeВідкриті ваги · Код інференсу | Large | 71.4 M | 8 sec | 96 | 1,000,000 | 11.62 / 19.04 | Download |