Beat This!: отслеживание битов без окончания DBN

ИЗВЛЕЧЕНИЕ МУЗЫКАЛЬНОЙ ИНФОРМАЦИИ / ТЕХНИЧЕСКАЯ ЗАМЕТКА

Задача отслеживания долей отвечает на вопрос, когда возникает пульс. Транскрипция нот определяет, какой инструмент сыграл какую высоту. Beat This! решает первую задачу и переносит в обучаемую последовательную модель значительную часть структуры, которая прежде возлагалась на динамическую байесовскую постобработку.

На выходе получаются две временные шкалы событий. BPM — это статистика, вычисляемая по интервалам между ними, а не единственное предсказание модели.

Устойчивое к сдвигу обучение

Человеческие аннотации долей не совпадают с точностью до отсчёта. При целевых импульсах y_t и покадровых вероятностях p_t обычная покадровая BCE штрафует музыкально допустимое предсказание, сдвинутое всего на несколько кадров. Компактно устойчивую к сдвигу целевую функцию можно представить так:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Допуск относится к обучению, а не к последующей привязке к сетке. Головы долей и сильных долей используют общее представление последовательности, но для более редких сильных долей всё равно требуется собственный путь принятия решения.

Вывод DBN из основного тракта

Классические системы используют DBN, чтобы задавать непрерывность темпа и переходы размера. Beat This! показывает, что основная модель способна выдавать устойчивые последовательности долей и сильных долей без этого этапа, настроенного под набор данных. События долей на шкале секунд, сильные доли и BPM, вычисляемый по интервалам, остаются тремя разными результатами.

Воспроизводимая приёмка

Официальный файл final0.ckpt закреплён по SHA-256, а задачи выполняются без доступа к сети. Поскольку итоговые модели во время обучения видели несколько открытых наборов данных для отслеживания долей, оценки на этих наборах могут быть завышены. Поэтому приёмка включает настоящую полную песню и экспортирует исходную таблицу времени для сеток DAW, нарезки и последующего квантования MIDI.

Как развивались методы транскрипции

Традиционно система отслеживания долей предсказывает активации нейронной сетью, а динамическая байесовская сеть выбирает последовательность. Beat This использует более мощное моделирование последовательностей и устойчивое к сдвигу обучение, чтобы напрямую выдавать стабильные доли и сильные доли, исключая DBN из тракта по умолчанию.

Удаление постобработки не устраняет музыкальные априорные знания. Размер, диапазон темпа и стиль аннотаций по-прежнему заложены в данных. Результаты ISMIR нужно рассматривать по каждому набору данных и каждой метрике; рубато, фрагменты без ударных и сложный размер остаются редкими трудными случаями.

Устойчивая к сдвигу функция потерь учитывает границы аннотаций

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

δнебольшой допустимый сдвиг кадров
Δокно допуска аннотации
BCEбинарная перекрёстная энтропия для активаций

Аннотации долей, сделанные людьми, могут различаться на несколько кадров. Устойчивое к сдвигу обучение ищет выравнивание в небольшом окне, снижая штраф за дрожание разметки, но не допуская произвольного сдвига на уровне всей песни.

Доли, сильные доли, BPM и ноты MIDI — разные выходные данные. Наложите предсказания на форму волны и сетку тактов, чтобы проверить половинный или двойной темп, затакты и фрагменты без ударных.

Статью, код и веса можно найти через исходный код и веса Beat This / статью ISMIR 2024.

Сравнивать можно только после согласования определений событий

В каждой строке сохранены архитектура, метрика или определение задачи из соответствующего источника; результаты без общего протокола рассматриваются отдельно.

Модель	Архитектура или свидетельства	Область оценки
Beat This без DBN	сквозное определение долей и сильных долей	тракт по умолчанию и устойчивость на длинных интервалах
Beat This с дополнительной постобработкой	специальные ограничения темпа	параметры нужно записывать, чтобы избежать скрытых изменений
активации и DBN	явное априорное знание темпа и переходов	устойчиво, но может зафиксироваться на неверном темпе

Проверка нотных событий на слух

Наложите предсказания на форму волны и сетку тактов, чтобы проверить половинный или двойной темп, затакты, изменения темпа и фрагменты без ударных. Средняя F-мера может скрыть сдвиг всей песни на одну долю.

Устойчивая к сдвигу функция потерь обеспечивает осмысленные градиенты рядом с границей аннотации; она не разрешает произвольное смещение временных меток.

Музыкальная информация, которую MIDI не сохраняет

Временные метки долей не являются полной партитурой. Сегментация, грув, коэффициент свинга и смена размера требуют анализа более высокого уровня.

Наборы данных используют разные окна, правила непрерывности и веса сильных долей, поэтому в рейтингах необходимо сохранять название протокола.

Статьи и открытые файлы с кодом и весами Beat This

Названия моделей, числа и ограничения восходят к перечисленным ниже статьям, репозиториям или карточкам моделей.