Специализированный звук в MIDI: пять моделей, пять разных экзаменационных работ F1 · TelkNet
Модель
Специализированный звук в MIDI: пять моделей, пять разных экзаменационных работ F1
Для этих моделей доступны открытые веса, подключение как инструмента или profile TelkNet, явный выбор версии и неизменяемые определения runtime. Видимостью и допуском задач управляет статус Admin; для активации нужны E2–E4, а для маршрута по умолчанию также E5.
GAPS, FiloSax, FiloBass, VioPTT и SwiftF0 выдают MIDI, но их входные распределения, разметка и допуски сопоставления различаются. Сначала направьте инструмент по нужному пути, а сравнивайте только внутри соответствующего датасета.
Событийная F1
После сопоставления нот в пределах допуска по атаке вычисляются P=TP/(TP+FP), R=TP/(TP+FN) и F1=2PR/(P+R). Сопоставление с учётом отпускания строже, поэтому каждое значение F1 требует указания допуска и определения совпадения.
Три семейства моделей
GAPS преобразует чистую или отделённую сольную гитару в нотные события и MIDI. Позиции струн, лады, непрерывная F0 и Pitch Bend не выводятся. Настройте силу нажатия MIDI, сравнивая с исходной записью. FiloSax предназначен для одноголосных соло джазового саксофона и экспортирует в MIDI дискретные события высоты, начала и окончания. Непрерывные траектории высоты, слайдов и вибрато он не выдаёт. FiloBass предназначен для одноголосного джазового контрабаса (double bass / upright bass), а не для баса вообще или электрического баса. Нужен чистый или отделённый stem; бочка и низкочастотные утечки могут создавать ложные ноты. VioPTT выдаёт события скрипичных нот и одну из четырёх меток техники —détaché, flageolet, spiccato, pizzicato— либо отсутствие техники. Velocity MIDI фиксирована и не измеряет динамику исполнения. SwiftF0 отслеживает одноголосный непрерывный F0. TelkNet сегментирует контур на ноты и экспортирует MIDI, покадровый CSV высоты и график. Полноценный полифонический микс модель не транскрибирует.
Цепочка обработки
Чистые или отделённые записи соло-гитары, джазового саксофона, джазового контрабаса, скрипки соло или одноголосной мелодии направляются в соответствующую специализированную модель.
Как развивались методы транскрипции
В направлении аудио-в-MIDI нет единой модели, покрывающей все инструменты и метрики. GAPS нацелена на гитару; FiloSax, FiloBass и VioPTT используют специфический диапазон и артикуляцию инструмента; SwiftF0 ближе к общему трекингу высоты тона. Общие форматы файлов не делают их обучающие распределения эквивалентными.
Область прошла путь от покадрового определения высоты тона к совместному предсказанию атаки, отпускания, высоты и громкости, а затем к последовательному декодированию целых нотных событий. Прогресс заметен в повторных нотах, сустейне, слайдах и вибрато, а не только в росте F1. Оценки из статей остаются несопоставимыми, когда различаются окна допуска и правила сопоставления.
Блок-схема создания датасета из статьи GAPSАудио с YouTube и гитарные партитуры проходят выравнивание, ручную проверку, повторное выравнивание и фильтрацию транскрипций, прежде чем образовать специализированный датасет.Официальный источник: Figure 1 / figs/GAPS_flowchart.png
Событийная транскрипция должна оценивать и атаку, и отпускание
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPсобытия, совпавшие в пределах допуска этой статьи
FPлишние предсказанные события
FNпропущенные события
Статьи определяют истинно положительные совпадения по-разному: одни требуют только допуск по атаке, другие — ещё и отпускание, высоту или приём игры. Значение F1 теряет сопоставимость, как только убрать его правило сопоставления.
GAPS, FiloSax, FiloBass, VioPTT и SwiftF0 ориентированы на разные инструменты и уровни разметки. Правильная маршрутизация важнее, чем сбор максимумов из несвязанных датасетов.
Статью, код и веса можно отследить через Unified specialist runtime / GAPS paper / VioPTT.
Тепловая карта распределения по грифу из статьи GAPSДлиннохвостое распределение комбинаций «струна — лад» показывает, почему гитарную транскрипцию нельзя свести к одной агрегированной событийной F1.Официальный источник: figs/fret_heatmap.png
Сравнивайте только после согласования определений событий
Каждая строка сохраняет исходную архитектуру, метрику или постановку задачи; результаты без общего протокола остаются раздельными.
Модель
Исходный или производный результат
Точная граница
GAPS
MIDI · pitch/onset/offset
GAPS преобразует чистую или отделённую сольную гитару в нотные события и MIDI. Позиции струн, лады, непрерывная F0 и Pitch Bend не выводятся. Настройте силу нажатия MIDI, сравнивая с исходной записью.
FiloSax
MIDI · pitch/onset/offset
FiloSax предназначен для одноголосных соло джазового саксофона и экспортирует в MIDI дискретные события высоты, начала и окончания. Непрерывные траектории высоты, слайдов и вибрато он не выдаёт.
FiloBass
MIDI · pitch/onset/offset
FiloBass предназначен для одноголосного джазового контрабаса (double bass / upright bass), а не для баса вообще или электрического баса. Нужен чистый или отделённый stem; бочка и низкочастотные утечки могут создавать ложные ноты.
VioPTT
MIDI + technique CSV
VioPTT выдаёт события скрипичных нот и одну из четырёх меток техники —détaché, flageolet, spiccato, pizzicato— либо отсутствие техники. Velocity MIDI фиксирована и не измеряет динамику исполнения.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 отслеживает одноголосный непрерывный F0. TelkNet сегментирует контур на ноты и экспортирует MIDI, покадровый CSV высоты и график. Полноценный полифонический микс модель не транскрибирует.
Проверка нотных событий на слух
Фортепиано требует проверки сустейна и повторных нот; саксофону и скрипке нужны слайды, мелизмы и вибрато; бас легко спутать с бочкой и низкими гармониками. Синтезатор может скрывать ошибки тайминга, поэтому сверяйте пиано-ролл с волновой формой.
Событийная F1 меняется вместе с окном допуска. Совпадение атаки в 50 ms, строгое совпадение атаки, нотная оценка с учётом отпускания и покадровая F1 отвечают на разные вопросы. Инструмент записывает модель, порог и квантование, чтобы результаты можно было пересчитать.
Какая музыкальная информация теряется в MIDI
MIDI хранит символьные события, а не исходный тембр, помещение или прикосновение к инструменту. Ошибки в определении инструмента внутри микса распространяются на аранжировку и нотную запись.
Без общего датасета и согласованных правил допуска метрики из разных источников остаются раздельными, а не порождают искусственного победителя среди статей.
Статьи и публичные файлы для Unified specialist runtime
Названия моделей, числа и ограничения восходят к статьям, репозиториям или карточкам моделей ниже.