Спеціалізований аудіо в MIDI: п'ять моделей, п'ять різних екзаменаційних робіт F1 · TelkNet
Модель
Спеціалізований аудіо в MIDI: п'ять моделей, п'ять різних екзаменаційних робіт F1
Для цих моделей доступні відкриті ваги, підключення як інструмента або profile TelkNet, явний вибір версії та незмінні визначення runtime. Видимістю й допуском завдань керує статус Admin; для активації потрібні E2–E4, а для маршруту за замовчуванням також E5.
АВТОМАТИЧНА ТРАНСКРИПЦІЯ МУЗИКИ
GAPS, FiloSax, FiloBass, VioPTT і SwiftF0 видають MIDI, але їхні вхідні розподіли, мітки та допуски зіставлення різняться. Спершу направте інструмент до правильної моделі; порівнюйте лише в межах відповідного датасету.
Подієвий F1
Після зіставлення нот у межах допуску на онсет: P=TP/(TP+FP), R=TP/(TP+FN) і F1=2PR/(P+R). Зіставлення з урахуванням офсету суворіше, тож кожен F1 потребує свого допуску та визначення збігу.
Три родини моделювання
GAPS перетворює чисту або відокремлену сольну гітару на нотні події та MIDI. Позиції струн, лади, безперервна F0 і Pitch Bend не виводяться. Відрегулюйте силу натискання MIDI, порівнюючи з оригінальним записом. FiloSax призначений для одноголосних соло джазового саксофона й експортує в MIDI дискретні події висоти, початку та завершення. Безперервних траєкторій висоти, слайду чи вібрато він не створює. FiloBass призначений для одноголосного джазового контрабаса (double bass / upright bass), а не для баса загалом чи електробаса. Потрібен чистий або відокремлений stem; бочка й низькочастотні витоки можуть породжувати хибні ноти. VioPTT видає нотні події скрипки та одну з чотирьох міток техніки —détaché, flageolet, spiccato, pizzicato— або відсутність техніки. Velocity MIDI фіксована й не вимірює динаміку виконання. SwiftF0 відстежує одноголосний безперервний F0. TelkNet ділить контур на ноти й експортує MIDI, покадровий CSV висоти та графік. Поліфонічний повний мікс модель не транскрибує.
Ланцюжок обробки
Чисті або відокремлені записи соло-гітари, джазового саксофона, джазового контрабаса, скрипки соло чи одноголосної мелодії спрямовуються до відповідної спеціалізованої моделі.
Як розвивалися методи транскрипції
У сфері аудіо-MIDI немає єдиної моделі, що охоплює кожен інструмент і кожну метрику. GAPS націлена на гітару; FiloSax, FiloBass і VioPTT використовують діапазон і артикуляцію конкретного інструмента; SwiftF0 ближча до загального трекінгу висоти. Спільні формати файлів не роблять їхні навчальні розподіли еквівалентними.
Галузь пройшла шлях від покадрового визначення висоти до спільного передбачення онсету, офсету, висоти та швидкості, а згодом — до послідовного декодування повних нотних подій. Прогрес видно в повторюваних нотах, сустейні, слайдах і вібрато, а не лише у більшому F1. Оцінки зі статей лишаються несумісними, коли вікна допуску та правила зіставлення відрізняються.
Блок-схема створення датасету зі статті GAPSАудіо з YouTube і гітарні партитури проходять вирівнювання, ручну перевірку, повторне вирівнювання та фільтрацію транскрипцій, перш ніж утворити спеціалізований датасет.Офіційне джерело: Figure 1 / figs/GAPS_flowchart.png
Подієва транскрипція має оцінювати і онсет, і офсет
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPподії, що збігаються в межах допуску тієї статті
FPзайві передбачені події
FNпропущені події
Статті визначають істинно позитивні збіги по-різному: одні вимагають лише допуску на онсет, інші — ще й офсету, висоти чи техніки. Значення F1 непорівнянне, щойно його правило зіставлення прибрано.
GAPS, FiloSax, FiloBass, VioPTT і SwiftF0 націлені на різні інструменти та рівні анотації. Правильна маршрутизація важливіша за зведення максимумів із непов'язаних датасетів.
Статтю, код і ваги можна відстежити через Unified specialist runtime / статтю GAPS / VioPTT.
Теплова карта розподілу по грифу зі статті GAPSДовгохвостий розподіл комбінацій струна-лад показує, чому гітарну транскрипцію не звести до одного узагальненого подієвого F1.Офіційне джерело: figs/fret_heatmap.png
Порівнюйте лише після узгодження визначень подій
Кожен рядок зберігає вихідну архітектуру, метрику чи визначення задачі; результати без спільного протоколу лишаються окремими.
Модель
Початковий або похідний результат
Точна межа
GAPS
MIDI · pitch/onset/offset
GAPS перетворює чисту або відокремлену сольну гітару на нотні події та MIDI. Позиції струн, лади, безперервна F0 і Pitch Bend не виводяться. Відрегулюйте силу натискання MIDI, порівнюючи з оригінальним записом.
FiloSax
MIDI · pitch/onset/offset
FiloSax призначений для одноголосних соло джазового саксофона й експортує в MIDI дискретні події висоти, початку та завершення. Безперервних траєкторій висоти, слайду чи вібрато він не створює.
FiloBass
MIDI · pitch/onset/offset
FiloBass призначений для одноголосного джазового контрабаса (double bass / upright bass), а не для баса загалом чи електробаса. Потрібен чистий або відокремлений stem; бочка й низькочастотні витоки можуть породжувати хибні ноти.
VioPTT
MIDI + technique CSV
VioPTT видає нотні події скрипки та одну з чотирьох міток техніки —détaché, flageolet, spiccato, pizzicato— або відсутність техніки. Velocity MIDI фіксована й не вимірює динаміку виконання.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 відстежує одноголосний безперервний F0. TelkNet ділить контур на ноти й експортує MIDI, покадровий CSV висоти та графік. Поліфонічний повний мікс модель не транскрибує.
Слухова перевірка нотних подій
Фортепіано вимагає перевірки сустейну та повторюваних нот; саксофон і скрипка — слайдів, мелізмів і вібрато; бас легко сплутати з бас-барабаном і низькими гармоніками. Синтезатор може приховати помилки таймінгу, тож звіряйте піано-рол із формою хвилі.
Подієвий F1 змінюється разом із вікном допуску. Збіг онсетів у 50 ms, суворий збіг онсетів, оцінка нот з урахуванням офсету та покадровий F1 відповідають на різні запитання. Інструмент фіксує модель, поріг і квантування, щоб результати можна було перерахувати.
Музична інформація, якої MIDI не зберігає
MIDI зберігає символьні події, а не вихідний тембр, приміщення чи дотик. Помилки в розпізнаванні інструментів у міксі поширюються на аранжування та нотний запис.
Без спільного датасету та узгоджених правил допуску специфічні для джерела метрики лишаються окремими, а не породжують штучного міжстатейного переможця.
Статті та публічні файли для Unified specialist runtime
Назви моделей, числа й обмеження відстежуються до статей, репозиторіїв або карток моделей нижче.