Загрузка...

Вокал в MIDI · ROSVOT / GAME · TelkNet

MIDI / транскрипцияGPU нагрузкаROSVOT · Исходный код rosvot-checkpoints.zip · Веса ROSVOT · Статья

Вокал в MIDI

Преобразуйте пение, напев или вокальную дорожку в MIDI. Сравните ROSVOT, GAME, SOME и VOCANO и исправьте мелодию.

25 кредиты/использованиеВвод файловМаксимум 100 MBОценка 45-1800 секунд

Вход

Загрузите сольное пение, напев или отделённый ведущий вокал. Если есть только готовая песня, выберите «Полная песня» — ведущий вокал будет отделён до транскрипции.

Поддерживаемые форматы

mp3wavflacoggm4aaacaifaiffmp4movmkv

Результаты

MIDI

Сценарий использования

Копирование спетой мелодии в DAW для редактирования, дублирования, синтезаторного программирования или черновика нот.

Выберите семейство моделей

Вокал в MIDI · ROSVOTДоступноУстойчивый путь для пения с шумом или проникновением аккомпанемента; текущий официальный чекпойнт обучен в основном на пении на путунхуа.Вокал в MIDI · GAMEДоступноПреобразует пение в MIDI с настройками языка, сегментации и распознавания нот.Вокал в MIDI · SOMEДоступноSOME — быстрый и лёгкий путь преобразования вокала в MIDI.Вокал в MIDI · VOCANOДоступноVOCANO извлекает высоту вокала с помощью Patch-CNN и определяет границы нот через PyramidNet-110. В опубликованном режиме инференса нет дополнительных настроек модели.

Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.

Стоимость, время, форматы и параметры зависят от выбранной модели.

Быстрый отзыв

В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.

Модели, параметры и источники

Устойчивый путь для пения с шумом или проникновением аккомпанемента; текущий официальный чекпойнт обучен в основном на пении на путунхуа.

ROSVOTROSVOT paper, Table 1ROSVOT + RWBDVOCANO: A Note Transcription Framework for Singing Voice in Polyphonic MusicRobust Singing Voice Transcription Serves SynthesisGAME: Generative Adaptive MIDI ExtractorSOME: Singing-Oriented MIDI ExtractorGAMESOMEVOCANO

ROSVOT

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Порог границ нот ROSVOT: по умолчанию 0.85, диапазон 0–1.
Порог границ слов ROSVOT: по умолчанию 0.5, диапазон 0–1.

GAME

Преобразует пение в MIDI с настройками языка, сегментации и распознавания нот.

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Оставьте поле пустым, чтобы использовать официальный ID языка 0 в GAME. Это не автоматическое распознавание; выбирайте язык, только если он известен.
Порог сегментации — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Радиус сегментации (с) — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Начало D3PM — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Шаги шумоподавления GAME: по умолчанию 8, диапазон 1–128.
Порог оценки — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
После транскрипции анализирует ритм оригинала и записывает темп в MIDI, сохраняя время звучания нот.
Отдельные результаты оценки GAME v1.0.3 пока не добавлены.

SOME

SOME — быстрый и лёгкий путь преобразования вокала в MIDI.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

После транскрипции анализирует ритм оригинала и записывает темп в MIDI, сохраняя время звучания нот.

VOCANO

VOCANO извлекает высоту вокала с помощью Patch-CNN и определяет границы нот через PyramidNet-110. В опубликованном режиме инференса нет дополнительных настроек модели.

VOCANO source and official weights VOCANO ISMIR 2021 paper

Для а капелла или уже отделённого вокала выберите «Только вокал / вокальный stem». В режиме «Полная песня» сначала отделяется ведущий вокал.

Бумажные и эталонные заметки

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

Преобразует пение в MIDI с настройками языка, сегментации и распознавания нот.

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

SOME — быстрый и лёгкий путь преобразования вокала в MIDI.

Technical guide (pinned)Baseline weights

Официальные / хранилища

ROSVOT source (pinned)ROSVOT project page GAME v1.0.3 source (pinned)GAME v1.0.3 weights SOME source (pinned)SOME baseline weights VOCANO source and official weights

Статьи / технические заметки

ROSVOT paper GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Руководство по параметрам

Для а капелла или уже отделённого вокала выберите «Только вокал / вокальный stem». В режиме «Полная песня» сначала отделяется ведущий вокал.
Оставьте поле пустым, чтобы использовать официальный ID языка 0 в GAME. Это не автоматическое распознавание; выбирайте язык, только если он известен.
Порог сегментации — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Радиус сегментации (с) — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Начало D3PM — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
Шаги шумоподавления GAME: по умолчанию 8, диапазон 1–128.
Порог оценки — Официальный параметр модели; при сомнении оставьте значение по умолчанию.
После транскрипции анализирует ритм оригинала и записывает темп в MIDI, сохраняя время звучания нот.
Порог границ нот ROSVOT: по умолчанию 0.85, диапазон 0–1.
Порог границ слов ROSVOT: по умолчанию 0.5, диапазон 0–1.

Сценарии использования

Превратите вокальную партию в редактируемые ноты.
Сравните четыре модели транскрипции, когда в записи есть кровотечение, шум или нечеткие границы нот.
Используйте MIDI в качестве направляющей в DAW, затем корректируйте высоту и длину нот на слух.

Рабочий процесс

1Выберите тип записи и загрузите сольный вокал, вокальный stem или полную песню. Полная песня сначала разделяется.
2Начните с модели по умолчанию; сравнивайте четыре версии, если один результат трудно оценить.
3Переключитесь между оригинальным вокалом и каждым фортепианным роллом, исправьте выбранный MIDI, а затем загрузите его.

Что проверить

Этот инструмент повторяет спетую ведущую мелодию; он не восстанавливает барабаны, аккорды или полную аранжировку.
GAME предоставляет средства управления языком и сегментацией. Выпущенный ROSVOT контрольно-пропускной пункт в основном обучен пению на китайском языке.
Сравнение выполняет четыре отдельные конвертации и возвращает четыре независимых MIDI-файла, не объединяя модели.

Модели в этой области

Записей: 2

Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.

Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.

Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.

ТестКатегория рейтинга

ROSVOT paper, Table 1

Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.

Развёртываемых 2 / исходных строк 10

Вне рейтинга: 8

Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Ранжировать по метрике

ROSVOT paper, Table 1
Место по метрике	Модель	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Место по метрике	Модель	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Открытые веса · Код инференса checkpoints.zip · rosvot + rwbd + rmvpe Код инференсаЛицензия весов не указана	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W )Модель на сайте Открытые веса · Код инференса checkpoints.zip · rosvot + rwbd + rmvpe Код инференсаЛицензия весов не указана	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Исходные записи (2)

Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.

ROSVOT paper, Table 1 ↗Проверено: 2026-10-25

Все источники оценок (1)

Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.

ROSVOT paper, Table 1 ↗
Развёртываемых 2 / исходных строк 10
Вне рейтинга: 8
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Все исходные результаты и источники

Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.

ROSVOT paper, Table 1

Развёртываемых 2 / исходных строк 10

Вне рейтинга: 8

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Ранжировать по метрике

ROSVOT paper, Table 1
Место по метрике	Модель	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Место по метрике	Модель	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Открытые веса · Код инференса checkpoints.zip · rosvot + rwbd + rmvpe Код инференсаЛицензия весов не указана	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W ) Открытые веса · Код инференса checkpoints.zip · rosvot + rwbd + rmvpe Код инференсаЛицензия весов не указана	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Исходные записи (2)

ROSVOT paper, Table 1 ↗Проверено: 2026-10-25

Связанные сценарии

Найдите способы обработки и шаги для своего материала.

Аудио в MIDI · онлайн-инструмент и руководство по модели