Beat This!: Відстеження тактів без закінчення DBN

ПОШУК МУЗИЧНОЇ ІНФОРМАЦІЇ / ТЕХНІЧНА НОТАТКА

Відстеження долей відповідає на питання, коли виникає пульс. Транскрипція нот визначає, який інструмент зіграв яку висоту. Beat This! розв'язує першу задачу й переносить у навчену послідовну модель значну частину структури, яку раніше покладали на динамічну баєсівську постобробку.

Вихід складається з двох часових шкал подій. BPM — це статистика, обчислена за інтервалами між ними, а не єдиний прогноз моделі.

Стійке до зсуву навчання

Людські анотації долей не збігаються з точністю до відліку. За цільових імпульсів y_t і покадрових імовірностей p_t звичайна покадрова BCE карає музично правильний прогноз, зсунутий лише на кілька кадрів. Стисло стійку до зсуву цільову функцію можна подати так:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Допуск належить до навчання, а не до подальшої операції прив'язки до сітки. Голови долей і сильних долей використовують спільне представлення послідовності, але рідші сильні долі все одно потребують власного шляху ухвалення рішення.

Виведення DBN з основного тракту

Класичні системи використовують DBN, щоб нав'язати безперервність темпу й переходи розміру. Beat This! показує, що основна модель здатна створювати стабільні послідовності долей і сильних долей без цього етапу, налаштованого на набір даних. Події долей у секундах, сильні долі й BPM, отриманий з інтервалів, залишаються трьома різними виходами.

Відтворюване приймання

Офіційний файл final0.ckpt зафіксовано за SHA-256, а завдання виконуються без доступу до мережі. Оскільки фінальні моделі під час навчання бачили кілька відкритих наборів даних долей, оцінки на цих наборах можуть бути завищеними. Тому приймання охоплює справжню повну пісню й експортує початкову таблицю часу для сіток DAW, нарізання та подальшого квантування MIDI.

Як розвивалися методи транскрипції

Традиційно система відстеження долей прогнозує активації нейронною мережею, а динамічна баєсівська мережа обирає послідовність. Beat This використовує потужніше моделювання послідовностей і стійке до зсуву навчання, щоб безпосередньо отримувати стабільні долі й сильні долі, виводячи DBN зі стандартного тракту.

Вилучення постобробки не усуває музичні апріорні знання. Розмір, діапазон темпу й стиль анотацій досі містяться в даних. Результати ISMIR слід розглядати за кожним набором даних і метрикою; рубато, фрагменти без ударних і складений розмір залишаються рідкісними складними випадками.

Стійка до зсуву функція втрат враховує межі анотацій

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

δневеликий дозволений зсув кадрів
Δвікно допуску анотації
BCEбінарна перехресна ентропія для активацій

Людські анотації долей можуть різнитися на кілька кадрів. Стійке до зсуву навчання шукає в невеликому вікні вирівнювання, знижуючи штраф за тремтіння розмітки, але не дозволяючи довільного зсуву на рівні всієї пісні.

Долі, сильні долі, BPM і ноти MIDI — різні вихідні дані. Накладіть прогнози на форму хвилі й сітку тактів, щоб перевірити половинний або подвійний темп, затакти й фрагменти без ударних.

Статтю, код і ваги можна знайти через вихідний код і ваги Beat This / статтю ISMIR 2024.

Порівнюйте лише після узгодження визначень подій

Кожен рядок зберігає архітектуру, метрику або визначення завдання зі свого джерела; результати без спільного протоколу розглядаються окремо.

Модель	Архітектура або свідчення	Сфера оцінювання
Beat This без DBN	наскрізне визначення долей і сильних долей	стандартний тракт і довготривала стабільність
Beat This із додатковою постобробкою	спеціальні обмеження темпу	записуйте параметри, щоб уникнути прихованих змін
активації та DBN	явне апріорне знання темпу/переходів	надійно, але може зафіксуватися на неправильному темпі

Перевірка нотних подій на слух

Накладіть прогнози на форму хвилі й сітку тактів, щоб перевірити половинний або подвійний темп, затакти, зміни темпу й фрагменти без ударних. Середня F-міра може приховати цілу пісню, зсунуту на одну долю.

Стійка до зсуву функція втрат дає змістовні градієнти поблизу межі анотації; вона не дозволяє довільного зсуву часових позначок.

Музична інформація, якої MIDI не зберігає

Часові позначки долей не є повною партитурою. Сегментація, грув, співвідношення свінгу й зміни розміру потребують аналізу вищого рівня.

Набори даних використовують різні вікна, правила безперервності й ваги сильних долей, тому рейтинги мають зберігати назву протоколу.

Статті й публічні файли з кодом і вагами Beat This

Назви моделей, числа й обмеження походять із наведених нижче статей, репозиторіїв або карток моделей.