Beat This!: Beat-Tracking ohne DBN-Ende

MUSIKINFORMATIONSRETRIEVAL / TECHNISCHE NOTIZ

Beat-Tracking fragt, wann der Puls auftritt. Notentranskription fragt, welches Instrument welche Tonhöhe gespielt hat. Beat This! löst das erste Problem und verlagert einen Großteil der Struktur, die früher der dynamischen bayesschen Nachbearbeitung überlassen wurde, in das gelernte Sequenzmodell.

Verschiebungstolerante Supervision

Menschliche Beat-Annotationen stimmen nicht mit Sample-Genauigkeit überein. Bei Zielimpulsen y_t und Frame-Wahrscheinlichkeiten p_t bestraft eine gewöhnliche frameweise BCE eine musikalisch gültige Vorhersage, die nur um wenige Frames verschoben ist. Eine kompakte Darstellung der verschiebungstoleranten Zielfunktion lautet:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Die Toleranz gehört zum Training und ist keine nachträgliche Einrastoperation am Raster. Beat- und Downbeat-Köpfe teilen sich die Sequenzrepräsentation, doch die selteneren Downbeats benötigen weiterhin einen eigenen Entscheidungspfad.

Das DBN aus dem Hauptpfad entfernen

Klassische Systeme verwenden ein DBN, um Tempokontinuität und Taktwechsel durchzusetzen. Beat This! zeigt, dass das Hauptmodell stabile Beat- und Downbeat-Sequenzen ohne diese datensatzspezifisch abgestimmte Stufe erzeugen kann. Beat-Ereignisse in Sekunden, Downbeats und aus Intervallen abgeleitete BPM bleiben drei unterschiedliche Ausgaben.

Reproduzierbare Abnahme

Das offizielle final0.ckpt ist per SHA-256 festgeschrieben, und die Aufgaben laufen offline. Da die finalen Modelle beim Training mehrere öffentliche Beat-Datensätze gesehen haben, können die Ergebnisse auf diesen Datensätzen optimistisch ausfallen. Die Abnahme umfasst daher auch einen echten vollständigen Song und exportiert die rohe Zeittabelle für DAW-Raster, Slicing und nachgelagerte MIDI-Quantisierung.

Wie sich Transkriptionsmethoden entwickelt haben

Traditionelles Beat-Tracking sagt Aktivierungen mit einem neuronalen Netz voraus und lässt ein dynamisches Bayes-Netz die Sequenz auswählen. Beat This verwendet eine stärkere Sequenzmodellierung und verschiebungstolerante Supervision, um stabile Beats und Downbeats direkt zu erzeugen, und entfernt das DBN aus dem Standardpfad.

Der Verzicht auf Nachbearbeitung entfernt keine musikalischen Vorannahmen. Taktart, Tempobereich und Annotationsstil bleiben in den Daten enthalten. ISMIR-Ergebnisse müssen nach Datensatz und Metrik gelesen werden; Rubato, Passagen ohne Schlagzeug und zusammengesetzte Taktarten bleiben Langzeit-Randfälle.

Verschiebungstoleranter Verlust behandelt Annotationsgrenzen

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

• δkleine zulässige Frame-Verschiebung
• ΔToleranzfenster der Annotation
• BCEbinäre Kreuzentropie auf Aktivierungen

Menschliche Beat-Annotationen können um einige Frames voneinander abweichen. Verschiebungstolerante Supervision sucht in einem kleinen Ausrichtungsfenster und reduziert damit Strafen für Annotationsschwankungen, ohne eine beliebige Verschiebung des gesamten Songs zu erlauben.

Beat, Downbeat, BPM und MIDI-Noten sind unterschiedliche Ausgaben. Legen Sie Vorhersagen über Wellenform und Taktraster, um Halb-/Doppeltempo, Auftakte und Passagen ohne Schlagzeug zu prüfen.

Paper, Code und Gewichte lassen sich über Beat This – Quellcode und Gewichte / ISMIR-2024-Paper nachvollziehen.

Repository ansehen ↗

Erst vergleichen, wenn die Ereignisdefinitionen übereinstimmen

Jede Zeile behält die Architektur, Metrik oder Aufgabendefinition ihrer Quelle bei; Ergebnisse ohne gemeinsames Protokoll bleiben getrennt.

Modell	Architektur oder Evidenz	Umfang
Beat This ohne DBN	End-to-End-Beats und -Downbeats	Standardpfad und Langzeitstabilität
Beat This mit optionaler Nachbearbeitung	spezielle Tempobeschränkungen	Parameter aufzeichnen, um verborgene Änderungen zu vermeiden
Aktivierung plus DBN	explizite Tempo-/Übergangsvorannahme	robust, kann sich aber auf das falsche Tempo festlegen

Hörprüfung von Notenereignissen

Legen Sie Vorhersagen über Wellenform und Taktraster, um Halb-/Doppeltempo, Auftakte, Tempowechsel und Passagen ohne Schlagzeug zu prüfen. Der mittlere F-Wert kann einen vollständigen Song verbergen, der um einen Beat verschoben ist.

Verschiebungstoleranter Verlust liefert sinnvolle Gradienten in der Nähe einer Annotationsgrenze; er erlaubt keine beliebige Drift der Zeitstempel.

Musikalische Informationen, die MIDI nicht bewahrt

Beat-Zeitpunkte sind keine vollständige Partitur. Segmentierung, Groove, Swing-Verhältnis und Taktwechsel benötigen eine Analyse auf höherer Ebene.

Datensätze verwenden unterschiedliche Fenster, Kontinuitätsregeln und Downbeat-Gewichtungen; Ranglisten müssen daher den Protokollnamen beibehalten.

Paper und öffentliche Dateien für Quellcode und Gewichte von Beat This

Modellnamen, Zahlen und Einschränkungen lassen sich auf die folgenden Paper, Repositorys oder Modellkarten zurückführen.

1. Quellcode und Gewichte von Beat This
2. ISMIR-2024-Paper