Завантаження...

Вокал у MIDI · ROSVOT / GAME · TelkNet

MIDI / транскрипціяGPU навантаженняGAME · Вихідний код GAME v1.0.3 · Ваги GAME v1.0.3 · Журнал змін GAME · Стаття GAME · Стаття

Вокал у MIDI

Перетворюйте спів, наспівування або вокальні доріжки на MIDI. Порівняйте ROSVOT, GAME, SOME і VOCANO та виправте мелодію.

25 кредити/використанняВведення файлуМаксимум 100 MBОцінка — 45-1800 секунди

Вхідні дані

Завантажте сольний спів, наспів або відокремлений провідний вокал. Якщо є лише готова пісня, виберіть «Повна пісня» — провідний вокал буде відокремлено до транскрипції.

Підтримувані формати

mp3wavflacoggm4aaacaifaiffmp4movmkv

Вихід

MIDI

Кейс використання

Копіювання заспіваної мелодії в DAW для редагування, дублювання, програмування синтезатора або нотного запису.

Виберіть сімейство моделей

Вокал у MIDI · ROSVOTДоступноСтійкий шлях для співу із шумом або проникненням акомпанементу; поточний офіційний checkpoint навчено переважно на співі путунхуа.Вокал у MIDI · GAMEДоступноПеретворює спів на MIDI з налаштуваннями мови, сегментації та розпізнавання нот.Вокал у MIDI · SOMEДоступноSOME — швидкий і легкий шлях від співу до MIDI.Вокал у MIDI · VOCANOДоступноVOCANO виділяє висоту вокалу через Patch-CNN і визначає межі нот за допомогою PyramidNet-110. В оприлюдненому режимі інференсу немає додаткових налаштувань моделі.

Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.

Вартість, час, формати й параметри залежать від обраної моделі.

Швидкий відгук

У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.

Моделі, параметри та джерела

Перетворює спів на MIDI з налаштуваннями мови, сегментації та розпізнавання нот.

ROSVOTROSVOT paper, Table 1ROSVOT + RWBDVOCANO: A Note Transcription Framework for Singing Voice in Polyphonic MusicRobust Singing Voice Transcription Serves SynthesisGAME: Generative Adaptive MIDI ExtractorSOME: Singing-Oriented MIDI ExtractorGAMESOMEVOCANO

ROSVOT

Стійкий шлях для співу із шумом або проникненням акомпанементу; поточний офіційний checkpoint навчено переважно на співі путунхуа.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Поріг меж нот ROSVOT: типово 0.85, діапазон 0–1.
Поріг меж слів ROSVOT: типово 0.5, діапазон 0–1.

GAME

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Залиште поле порожнім, щоб GAME використав офіційний ID мови 0. Це не автоматичне розпізнавання; вибирайте мову, лише якщо вона відома.
Поріг сегментації — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Радіус сегментації (с) — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Початок D3PM — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Кроки знешумлення GAME: типово 8, діапазон 1–128.
Поріг оцінювання — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Після транскрипції аналізує ритм оригіналу й записує темп у MIDI, зберігаючи час звучання нот.
Окремі результати оцінювання GAME v1.0.3 ще не додані.

SOME

SOME — швидкий і легкий шлях від співу до MIDI.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Після транскрипції аналізує ритм оригіналу й записує темп у MIDI, зберігаючи час звучання нот.

VOCANO

VOCANO виділяє висоту вокалу через Patch-CNN і визначає межі нот за допомогою PyramidNet-110. В оприлюдненому режимі інференсу немає додаткових налаштувань моделі.

VOCANO source and official weights VOCANO ISMIR 2021 paper

Для акапельного або вже відокремленого вокалу виберіть «Лише вокал / вокальний stem». У режимі «Повна пісня» спочатку відокремлюється провідний вокал.

Паперові та бенчмаркові нотатки

Окремі результати оцінювання GAME v1.0.3 ще не додані.

GAME

Паперові та бенчмаркові нотатки

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

SOME — швидкий і легкий шлях від співу до MIDI.

Technical guide (pinned)Baseline weights

Офіційні / репозиторії

ROSVOT source (pinned)ROSVOT project page GAME v1.0.3 source (pinned)GAME v1.0.3 weights SOME source (pinned)SOME baseline weights VOCANO source and official weights

Статті / технічні нотатки

ROSVOT paper GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Керівництво параметрів

Для акапельного або вже відокремленого вокалу виберіть «Лише вокал / вокальний stem». У режимі «Повна пісня» спочатку відокремлюється провідний вокал.
Залиште поле порожнім, щоб GAME використав офіційний ID мови 0. Це не автоматичне розпізнавання; вибирайте мову, лише якщо вона відома.
Поріг сегментації — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Радіус сегментації (с) — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Початок D3PM — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Кроки знешумлення GAME: типово 8, діапазон 1–128.
Поріг оцінювання — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Після транскрипції аналізує ритм оригіналу й записує темп у MIDI, зберігаючи час звучання нот.
Поріг меж нот ROSVOT: типово 0.85, діапазон 0–1.
Поріг меж слів ROSVOT: типово 0.5, діапазон 0–1.

Сценарії використання

Перетворіть рядок головного вокалу на нотатки, які можна редагувати.
Порівняйте чотири моделі транскрипції, якщо запис має обрив, шум або нечіткі межі нот.
Використовуйте MIDI як орієнтир у DAW, а потім виправляйте висоту та довжину ноти на слух.

Робочий процес

1Виберіть тип запису й завантажте сольний вокал, вокальний stem або повну пісню. Повна пісня спершу розділяється.
2Почніть із типової моделі; порівнюйте чотири версії, якщо один результат важко оцінити.
3Перемикайтеся між оригінальним вокалом і кожним піаніно, виправте вибраний MIDI, а потім завантажте його.

Що перевірити

Цей інструмент слідує за проспіваною головною мелодією; він не перебудовує барабани, акорди чи повне аранжування.
GAME відкриває елементи керування мовою та сегментацією. Випущений контрольний пункт ROSVOT в основному навчається мандаринському співу.
Порівняння виконує чотири окремі перетворення та повертає чотири незалежні MIDI-файли, не об’єднуючи моделі.

Моделі в цій галузі

Записів: 3

Містить відкриті результати тестування моделей, що використовуються тут і поза сайтом. Типово показано повну таблицю джерела; для порівняння можна вибрати умови й метрики. Оцінки за різних умов тестування не можна порівнювати безпосередньо.

Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.

Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.

Порівняльний тестКатегорія

GAME 1.0 · Чистий вокал

Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.

Приватні дані авторів, 100 відкладених записів; кожен розмір використовує своє найкраще опубліковане K. OA — загальна покадрова точність, не F1 нот; її не поєднують із ROSVOT.

Ранжувати за метрикою

GAME 1.0 · Чистий вокал
Місце за метрикою	Модель	Загальний рейтинг у межах цього протоколу↑OA (%)	QER (%)↓	Presence F1 (%)↑	RPA (%)↑	Pitch RMSE↓	Chamfer (frames)↓
1	GAME 1.0 Medium · K=8 Відкриті ваги · Код інференсу Відкриті ваги Код інференсу`GAME-1.0.3-medium-onnx.zip`Ліцензія ваг (заява репозиторію): MIT	95.03	12.3	99.23	94.86	0.552	1.44
1	GAME 1.0 Large · K=1Модель на сайті Відкриті ваги · Код інференсу Відкриті ваги Код інференсу`GAME-1.0.3-large-onnx.zip`Ліцензія ваг (заява репозиторію): MIT	95.03	12.87	99.15	94.92	0.684	1.44
3	GAME 1.0 Small · K=2 Відкриті ваги · Код інференсу Відкриті ваги Код інференсу`GAME-1.0.3-small-onnx.zip`Ліцензія ваг (заява репозиторію): MIT	94.99	13.13	99.14	94.99	0.653	1.5

Початкові записи (3)

Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.

GAME · Technical Report §10 ↗Перевірено: 2026-09-27

Усі джерела оцінок (1)

Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.

ROSVOT paper, Table 1 ↗
Для розгортання 2 / початкових рядків 10
Поза рейтингом: 8
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Усі первинні результати та джерела

Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.

ROSVOT paper, Table 1

Для розгортання 2 / початкових рядків 10

Поза рейтингом: 8

Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Ранжувати за метрикою

ROSVOT paper, Table 1
Місце за метрикою	Модель	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Місце за метрикою	Модель	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Відкриті ваги · Код інференсу checkpoints.zip · rosvot + rwbd + rmvpe Код інференсуЛіцензію ваг не вказано	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W ) Відкриті ваги · Код інференсу checkpoints.zip · rosvot + rwbd + rmvpe Код інференсуЛіцензію ваг не вказано	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Початкові записи (2)

ROSVOT paper, Table 1 ↗Перевірено: 2026-10-25