Завантаження...

Вокальна мелодія для MIDI · TelkNet

MIDI / транскрипціяGPU навантаження

Вокальна мелодія для MIDI

Одна модель: 25 кредитів · порівняння всіх чотирьох: 250 кредитівВведення файлуMax 100 MBОцінка — 45-1800 секунди

Вхідні дані

Завантажте сольний спів, наспів або відокремлений провідний вокал. Якщо є лише готова пісня, виберіть «Повна пісня» — провідний вокал буде відокремлено до транскрипції.

Підтримувані формати

mp3wavflacoggm4aaacaifaiffmp4movmkv

Вихід

Одна редагована нотатка MIDI від кожної вибраної моделі. Лірика, криві вібрато та решта аранжування не включені.

Кейс використання

Копіювання заспіваної мелодії в DAW для редагування, дублювання, програмування синтезатора або нотного запису.

Моделі, параметри та джерела

Перетворює спів а капела, наспів або відокремлений провідний вокал на редаговані MIDI-ноти. Типово вибрано ROSVOT. Порівняння окремо запускає GAME, ROSVOT, SOME і VOCANO, щоб результати можна було прослухати перед вибором. Одна модель коштує 5 кредитів, усі чотири — 45.

GAMEROSVOTSOMEVOCANOGAME v1.0.3 source (pinned)GAME v1.0.3 weightsGAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)ROSVOT source (pinned)ROSVOT project pageROSVOT paperSOME source (pinned)

GAME

GAME перетворює спів на MIDI з офіційними параметрами меж, D3PM та оцінки. Якщо мову не вибрано, використовується офіційний ID 0; це не розпізнавання мови й не примусова китайська.

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Залиште поле порожнім, щоб GAME використав офіційний ID мови 0. Це не автоматичне розпізнавання; вибирайте мову, лише якщо вона відома.
Поріг сегментації — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Радіус сегментації (с) — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Початок D3PM — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Кількість кроків шумозаглушення GAME D3PM. Типове значення upstream — 8, визначено лише мінімум 1; 128 — ліміт публічного завдання TelkNet, а не максимум upstream.
Поріг оцінювання — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Після інференсу Beat This final0 записує в MIDI коректний сталий темп або покрокову карту темпу, зберігаючи положення всіх подій у секундах. Якщо коректні дані про долі отримати неможливо, завдання завершується помилкою, а MIDI з типовим темпом моделі не видається.

ROSVOT

Стійкий шлях для співу із шумом або проникненням акомпанементу; поточний офіційний checkpoint навчено переважно на співі путунхуа.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Поріг межі ноти ROSVOT; типове значення upstream — 0,85. Діапазон 0–1 — перевірка вводу TelkNet, а не обмеження парсера upstream.
Поріг межі слова ROSVOT; типове значення upstream — 0,5. Діапазон 0–1 — перевірка вводу TelkNet, а не обмеження парсера upstream.

SOME

SOME — швидкий і легкий шлях від співу до MIDI.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Після інференсу Beat This final0 записує в MIDI коректний сталий темп або покрокову карту темпу, зберігаючи положення всіх подій у секундах. Якщо коректні дані про долі отримати неможливо, завдання завершується помилкою, а MIDI з типовим темпом моделі не видається.

VOCANO

VOCANO виділяє висоту вокалу через Patch-CNN і визначає межі нот за допомогою PyramidNet-110. В оприлюдненому режимі інференсу немає додаткових налаштувань моделі.

VOCANO source and official weights VOCANO ISMIR 2021 paper

Для акапельного або вже відокремленого вокалу виберіть «Лише вокал / вокальний stem». У режимі «Повна пісня» спочатку відокремлюється провідний вокал.

Парний інструмент

Розділення вокалу та акомпанементу

Позиціонування: open-weight, локально розгортання з двома stem vocal/акомпанемент для практики, каверів, мікшування та підготовки семплів.

Відкрити Розділення вокалу та акомпанементу

Парний інструмент

Транскрипція багатоінструментального MIDI (YourMT3+)

Можна редагувати MIDI чернетки з повних міксу, а також чистіші соло/інструментальні інструменти, такі як piano/клавішні, guitar, bass, drums, струнні/духові інструменти та vocal чернетки

Відкрити Транскрипція багатоінструментального MIDI (YourMT3+)

Паперові та бенчмаркові нотатки

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

SOME — швидкий і легкий шлях від співу до MIDI.

Technical guide (pinned)Baseline weights

Офіційні / репозиторії

GAME v1.0.3 source (pinned)GAME v1.0.3 weights ROSVOT source (pinned)ROSVOT project page SOME source (pinned)SOME baseline weights VOCANO source and official weights

Статті / технічні нотатки

GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)ROSVOT paper SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Керівництво параметрів

Для акапельного або вже відокремленого вокалу виберіть «Лише вокал / вокальний stem». У режимі «Повна пісня» спочатку відокремлюється провідний вокал.
Залиште поле порожнім, щоб GAME використав офіційний ID мови 0. Це не автоматичне розпізнавання; вибирайте мову, лише якщо вона відома.
Поріг сегментації — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Радіус сегментації (с) — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Початок D3PM — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Кількість кроків шумозаглушення GAME D3PM. Типове значення upstream — 8, визначено лише мінімум 1; 128 — ліміт публічного завдання TelkNet, а не максимум upstream.
Поріг оцінювання — Офіційний параметр моделі; якщо не впевнені, залиште типове значення.
Після інференсу Beat This final0 записує в MIDI коректний сталий темп або покрокову карту темпу, зберігаючи положення всіх подій у секундах. Якщо коректні дані про долі отримати неможливо, завдання завершується помилкою, а MIDI з типовим темпом моделі не видається.
Поріг межі ноти ROSVOT; типове значення upstream — 0,85. Діапазон 0–1 — перевірка вводу TelkNet, а не обмеження парсера upstream.
Поріг межі слова ROSVOT; типове значення upstream — 0,5. Діапазон 0–1 — перевірка вводу TelkNet, а не обмеження парсера upstream.

Сценарії використання

Перетворіть рядок головного вокалу на нотатки, які можна редагувати.
Порівняйте чотири моделі транскрипції, якщо запис має обрив, шум або нечіткі межі нот.
Використовуйте MIDI як орієнтир у DAW, а потім виправляйте висоту та довжину ноти на слух.

Робочий процес

1Виберіть тип запису й завантажте сольний вокал, вокальний stem або повну пісню. Повна пісня спершу розділяється.
2Почніть із типової моделі; порівнюйте чотири версії, якщо один результат важко оцінити.
3Перемикайтеся між оригінальним вокалом і кожним піаніно, виправте вибраний MIDI, а потім завантажте його.

Перед надсиланням

Цей інструмент слідує за проспіваною головною мелодією; він не перебудовує барабани, акорди чи повне аранжування.
GAME відкриває елементи керування мовою та сегментацією. Випущений контрольний пункт ROSVOT в основному навчається мандаринському співу.
Порівняння чотирьох версій коштує 45 кредитів за файл і виконує чотири окремі транскрипції. Воно повертає чотири незалежні MIDI без злиття моделей.

Пов'язані сценарії

Якщо у вас схожа задача, у цих гідах для кожного сценарію зазначено відповідні інструменти, межі моделі, джерела та відповіді на поширені запитання.

Аудіо в MIDI · онлайн-інструмент і посібник з моделі

Швидкий відгук

У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.