Beat This!: Beat tracking χωρίς τέλος DBN

ΑΝΑΚΤΗΣΗ ΜΟΥΣΙΚΗΣ ΠΛΗΡΟΦΟΡΙΑΣ / ΤΕΧΝΙΚΗ ΣΗΜΕΙΩΣΗ

Η παρακολούθηση του beat εξετάζει πότε εμφανίζεται ο παλμός. Η μεταγραφή νοτών εξετάζει ποιο όργανο έπαιξε ποιο τονικό ύψος. Το Beat This! λύνει το πρώτο πρόβλημα και ενσωματώνει στο εκπαιδευμένο μοντέλο ακολουθίας μεγάλο μέρος της δομής που παλαιότερα αναλάμβανε η δυναμική Bayesian μετεπεξεργασία.

Η έξοδος αποτελείται από δύο χρονογραμμές συμβάντων. Το BPM είναι ένα στατιστικό μέγεθος που προκύπτει από τα διαστήματά τους, όχι η μοναδική πρόβλεψη του μοντέλου.

Επίβλεψη ανεκτική στις μετατοπίσεις

Οι ανθρώπινες επισημάνσεις των beat δεν συμφωνούν με ακρίβεια δείγματος. Με ωθήσεις-στόχους y_t και πιθανότητες καρέ p_t, η συνηθισμένη BCE ανά καρέ τιμωρεί μια μουσικά έγκυρη πρόβλεψη που έχει μετατοπιστεί μόλις λίγα καρέ. Μια συνοπτική μορφή του στόχου που είναι ανεκτικός στις μετατοπίσεις είναι:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Η ανοχή αφορά την εκπαίδευση και όχι μια εκ των υστέρων προσαρμογή στο πλέγμα. Οι κεφαλές beat και downbeat μοιράζονται την αναπαράσταση της ακολουθίας, όμως τα σπανιότερα downbeat εξακολουθούν να χρειάζονται δική τους διαδρομή απόφασης.

Μεταφορά του DBN έξω από την κύρια διαδρομή

Τα κλασικά συστήματα χρησιμοποιούν DBN για να επιβάλουν συνέχεια του tempo και μεταβάσεις του μέτρου. Το Beat This! δείχνει ότι το κύριο μοντέλο μπορεί να παράγει σταθερές ακολουθίες beat και downbeat χωρίς αυτό το στάδιο, το οποίο ρυθμίζεται ανά dataset. Τα συμβάντα beat σε επίπεδο δευτερολέπτου, τα downbeat και το BPM που προκύπτει από τα διαστήματα παραμένουν τρεις διακριτές έξοδοι.

Αναπαραγώγιμος έλεγχος αποδοχής

Το επίσημο final0.ckpt είναι καθηλωμένο με SHA-256 και οι εργασίες εκτελούνται εκτός σύνδεσης. Επειδή τα τελικά μοντέλα είδαν αρκετά δημόσια dataset beat κατά την εκπαίδευση, οι βαθμολογίες σε αυτά τα σύνολα μπορεί να είναι υπερβολικά αισιόδοξες. Γι' αυτό ο έλεγχος αποδοχής περιλαμβάνει ένα πραγματικό, πλήρες τραγούδι και εξάγει τον ανεπεξέργαστο πίνακα χρονισμού για πλέγματα DAW, τεμαχισμό και μεταγενέστερο κβαντισμό MIDI.

Πώς εξελίχθηκαν οι μέθοδοι μεταγραφής

Η παρακολούθηση beat παραδοσιακά προβλέπει ενεργοποιήσεις με νευρωνικό δίκτυο και αφήνει ένα δυναμικό Bayesian δίκτυο να επιλέξει την ακολουθία. Το Beat This χρησιμοποιεί ισχυρότερη μοντελοποίηση ακολουθιών και επίβλεψη ανεκτική στις μετατοπίσεις για να παράγει απευθείας σταθερά beat και downbeat, μεταφέροντας το DBN έξω από την προεπιλεγμένη διαδρομή.

Η αφαίρεση της μετεπεξεργασίας δεν αφαιρεί τις μουσικές εκ των προτέρων παραδοχές. Το μέτρο, το εύρος του tempo και το ύφος των επισημάνσεων παραμένουν στα δεδομένα. Τα αποτελέσματα του ISMIR πρέπει να διαβάζονται ανά dataset και metric· το rubato, τα περάσματα χωρίς τύμπανα και τα σύνθετα μέτρα παραμένουν σπάνιες, δύσκολες περιπτώσεις.

Το loss με ανοχή στις μετατοπίσεις χειρίζεται τα όρια των επισημάνσεων

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

δμικρή επιτρεπόμενη μετατόπιση καρέ
Δπαράθυρο ανοχής επισήμανσης
BCEδυαδική διασταυρούμενη εντροπία στις ενεργοποιήσεις

Οι ανθρώπινες επισημάνσεις beat μπορεί να διαφέρουν κατά λίγα καρέ. Η επίβλεψη με ανοχή στις μετατοπίσεις αναζητά την αντιστοίχιση μέσα σε ένα μικρό παράθυρο, μειώνοντας τις ποινές για την αστάθεια των επισημάνσεων χωρίς να επιτρέπει αυθαίρετη μετατόπιση σε επίπεδο ολόκληρου τραγουδιού.

Τα beat, downbeat, BPM και οι νότες MIDI είναι διαφορετικές έξοδοι. Τοποθετήστε τις προβλέψεις πάνω στην κυματομορφή και στο πλέγμα μέτρων για να ελέγξετε μισό ή διπλό tempo, άρσεις και περάσματα χωρίς τύμπανα.

Το άρθρο, ο κώδικας και τα βάρη είναι διαθέσιμα μέσω του πηγαίου κώδικα και των βαρών του Beat This / του άρθρου ISMIR 2024.

Πηγαίος κώδικας και βάρη του Beat This — Η σελίδα του upstream αποθετηρίου για τον πηγαίο κώδικα και τα βάρη του Beat This, με τον πηγαίο κώδικα, το ιστορικό εκδόσεων και τις σημειώσεις του έργου.

Συγκρίνετε μόνο αφού ταιριάξουν οι ορισμοί των συμβάντων

Κάθε γραμμή διατηρεί την αρχιτεκτονική, το metric ή τον ορισμό εργασίας της πηγής της· αποτελέσματα χωρίς κοινό πρωτόκολλο παραμένουν χωριστά.

Μοντέλο	Αρχιτεκτονική ή τεκμήριο	Πεδίο
Beat This χωρίς DBN	beat και downbeat από άκρο σε άκρο	προεπιλεγμένη διαδρομή και σταθερότητα μεγάλης διάρκειας
Beat This με προαιρετική μετεπεξεργασία	ειδικοί περιορισμοί tempo	καταγραφή παραμέτρων ώστε να αποφεύγονται κρυφές αλλαγές
ενεργοποίηση μαζί με DBN	ρητή εκ των προτέρων παραδοχή tempo/μετάβασης	ανθεκτικό, αλλά μπορεί να κλειδώσει σε λάθος tempo

Ακουστικός έλεγχος των συμβάντων νοτών

Τοποθετήστε τις προβλέψεις πάνω στην κυματομορφή και στο πλέγμα μέτρων για να ελέγξετε μισό ή διπλό tempo, άρσεις, αλλαγές tempo και περάσματα χωρίς τύμπανα. Το μέσο F-measure μπορεί να κρύψει ένα ολόκληρο τραγούδι μετατοπισμένο κατά ένα beat.

Το loss με ανοχή στις μετατοπίσεις δίνει λογικές κλίσεις κοντά σε ένα όριο επισήμανσης· δεν επιτρέπει αυθαίρετη μετατόπιση των χρονικών σημάνσεων.

Μουσικές πληροφορίες που δεν διατηρεί το MIDI

Οι χρόνοι των beat δεν αποτελούν πλήρη παρτιτούρα. Η τμηματοποίηση, το groove, ο λόγος swing και οι αλλαγές μέτρου χρειάζονται ανάλυση υψηλότερου επιπέδου.

Τα dataset χρησιμοποιούν διαφορετικά παράθυρα, κανόνες συνέχειας και στάθμιση downbeat, επομένως οι κατατάξεις πρέπει να διατηρούν το όνομα του πρωτοκόλλου.

Άρθρα και δημόσια αρχεία για τον πηγαίο κώδικα και τα βάρη του Beat This

Τα ονόματα μοντέλων, οι αριθμοί και οι περιορισμοί προέρχονται από τα παρακάτω άρθρα, αποθετήρια ή model card.