Beat This!:不靠 DBN 收尾的節拍跟踪
音樂資訊檢索 / 論文解讀

音樂資訊檢索 / 技術說明
拍點追蹤問的是脈動何時出現,音符轉錄問的則是哪件樂器彈了哪個音高。Beat This! 解決前一個問題,並把過去交給動態貝葉斯後處理的大部分結構納入學習式序列模型。
容忍位移的監督
人工拍點標註不會精確到每個樣本都一致。以目標脈衝 y_t 與影格機率 p_t 為例,普通的逐影格 BCE 會懲罰只偏移幾個影格、但在音樂上仍然有效的預測。容忍位移目標可以簡寫為:
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
這個容忍範圍屬於訓練過程,不是事後吸附到格線的操作。拍點與小節重拍的輸出頭共用序列表示,但數量較少的小節重拍仍需要自己的決策路徑。
把 DBN 移出主要路徑
傳統系統使用 DBN 來施加速度連續性與拍號轉換限制。Beat This! 顯示,主要模型不必經過針對資料集調整的這個階段,也能產生穩定的拍點與小節重拍序列。秒級拍點事件、小節重拍,以及從間隔推導的 BPM,仍是三種不同輸出。
可重現的驗收
官方 final0.ckpt 以 SHA-256 固定版本,任務則離線執行。由於最終模型在訓練時看過數個公開拍點資料集,在這些資料集上的分數可能偏樂觀。因此,驗收也包含一首真實完整歌曲,並匯出原始時間表,供 DAW 格線、切片與下游 MIDI 量化使用。
轉錄方法如何演進
傳統拍點追蹤先以神經網路預測激活值,再由動態貝葉斯網路選出序列。Beat This 採用更強的序列建模與容忍位移監督,直接產生穩定的拍點和小節重拍,把 DBN 移出預設路徑。
移除後處理不等於移除音樂先驗。拍號、速度範圍與標註風格仍存在於資料中。解讀 ISMIR 結果時必須保留資料集與指標脈絡;自由速度、無鼓段落和複合拍號仍是長尾案例。
容忍位移損失可處理標註邊界
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δ允許的小幅影格位移Δ標註容忍視窗BCE激活值的二元交叉熵
人工拍點標註可能相差幾個影格。容忍位移監督會在一個小型對齊視窗內搜尋,減少標註抖動造成的懲罰,同時不允許整首歌曲任意漂移。
拍點、小節重拍、BPM 與 MIDI 音符是不同輸出。把預測疊加到波形與小節格線上,檢查半速/雙速、弱起和無鼓段落。
論文、原始碼與權重可透過 Beat This 原始碼與權重 / ISMIR 2024 論文查閱。
只有事件定義一致後才能比較
每一列都保留其來源架構、指標或任務定義;沒有共同協定的結果仍分開呈現。
| 模型 | 架構或證據 | 範圍 |
|---|---|---|
| 不含 DBN 的 Beat This | 端到端拍點與小節重拍 | 預設路徑與長時間穩定性 |
| 含選用後處理的 Beat This | 特殊速度限制 | 記錄參數以免出現隱藏變更 |
| 激活值加 DBN | 明確的速度/轉換先驗 | 穩健,但可能鎖定錯誤速度 |
音符事件的聽覺審查
把預測疊加到波形與小節格線上,檢查半速/雙速、弱起、速度變化和無鼓段落。平均 F-measure 可能掩蓋整首歌偏移一拍的問題。
容忍位移損失會在標註邊界附近提供合理的梯度;它不代表可以任意漂移時間戳記。
MIDI 無法保留的音樂資訊
拍點時間並不是完整樂譜。分段、律動、搖擺比例與拍號變化需要更高層級的分析。
各資料集使用不同視窗、連續性規則與小節重拍權重,因此排名必須保留協定名稱。
Beat This 原始碼與權重的論文及公開檔案
模型名稱、數字與限制均可追溯到下列論文、儲存庫或模型卡。