Pokonaj to!: Śledzenie beatów bez zakończenia DBN

WYSZUKIWANIE INFORMACJI MUZYCZNYCH / NOTA TECHNICZNA

Śledzenie rytmu pyta, kiedy pojawia się puls. Transkrypcja nut pyta, który instrument zagrał daną wysokość. Beat This! rozwiązuje pierwszy problem i przenosi znaczną część struktury wcześniej powierzonej dynamicznemu przetwarzaniu bayesowskiemu do wyuczonego modelu sekwencyjnego.

Wyjściem są dwie osie czasu zdarzeń. BPM jest statystyką wyprowadzoną z ich odstępów, a nie jedyną predykcją modelu.

Nadzór tolerujący przesunięcia

Ludzkie adnotacje uderzeń nie są zgodne z dokładnością do próbki. Dla impulsów docelowych y_t i prawdopodobieństw ramek p_t zwykła ramkowa BCE karze muzycznie poprawną predykcję przesuniętą zaledwie o kilka ramek. Zwięzły zapis celu tolerującego przesunięcia to:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Tolerancja należy do treningu, a nie do późniejszego przyciągania do siatki. Głowice uderzeń i pierwszych miar współdzielą reprezentację sekwencji, lecz rzadsze pierwsze miary nadal wymagają własnej ścieżki decyzyjnej.

Usunięcie DBN z głównej ścieżki

Klasyczne systemy używają DBN do narzucenia ciągłości tempa i przejść metrum. Beat This! pokazuje, że główny model może tworzyć stabilne sekwencje uderzeń i pierwszych miar bez etapu dostrojonego do zbioru danych. Zdarzenia uderzeń w sekundach, pierwsze miary i BPM wyprowadzony z odstępów pozostają trzema odrębnymi wynikami.

Powtarzalna akceptacja

Oficjalny final0.ckpt jest przypięty sumą SHA-256, a zadania działają offline. Ponieważ końcowe modele widziały podczas treningu kilka publicznych zbiorów rytmicznych, wyniki na nich mogą być optymistyczne. Akceptacja obejmuje więc prawdziwy pełny utwór i eksport surowej tabeli czasów do siatek DAW, cięcia i późniejszej kwantyzacji MIDI.

Jak rozwijały się metody transkrypcji

Śledzenie rytmu tradycyjnie przewiduje aktywacje siecią neuronową, a dynamiczna sieć bayesowska wybiera sekwencję. Beat This wykorzystuje silniejsze modelowanie sekwencji i nadzór tolerujący przesunięcia, by bezpośrednio tworzyć stabilne uderzenia i pierwsze miary, usuwając DBN z domyślnej ścieżki.

Usunięcie postprocessingu nie usuwa muzycznych założeń. Metrum, zakres tempa i styl adnotacji pozostają w danych. Wyniki ISMIR trzeba czytać według zbioru i metryki; rubato, fragmenty bez perkusji i metrum złożone pozostają przypadkami rzadkimi.

Strata tolerująca przesunięcia obsługuje granice adnotacji

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

δmałe dozwolone przesunięcie ramki
Δokno tolerancji adnotacji
BCEbinarna entropia krzyżowa aktywacji

Ludzkie adnotacje uderzeń mogą różnić się o kilka ramek. Nadzór tolerujący przesunięcia przeszukuje małe okno wyrównania, ograniczając karę za drganie adnotacji bez zezwalania na dowolny dryf całego utworu.

Uderzenia, pierwsze miary, BPM i nuty MIDI są różnymi wyjściami. Nałóż predykcje na falę i siatkę taktów, aby sprawdzić tempo połówkowe/podwójne, przedtakty i fragmenty bez perkusji.

Artykuł, kod i wagi są dostępne przez źródło i wagi Beat This / artykuł ISMIR 2024.

Porównuj dopiero po uzgodnieniu definicji zdarzeń

Każdy wiersz zachowuje architekturę, metrykę lub definicję zadania ze swojego źródła; wyniki bez wspólnego protokołu pozostają rozdzielone.

Model	Architektura lub dowód	Zakres
Beat This bez DBN	uderzenia i pierwsze miary od wejścia do wyjścia	domyślna ścieżka i stabilność długich odcinków
Beat This z opcjonalnym postprocessingiem	specjalne ograniczenia tempa	zapis parametrów zapobiega ukrytym zmianom
aktywacja plus DBN	jawne założenie tempa/przejścia	solidne, ale może zablokować się na złym tempie

Odsłuchowa ocena zdarzeń nutowych

Nałóż predykcje na falę i siatkę taktów, aby sprawdzić tempo połówkowe/podwójne, przedtakty, zmiany tempa i fragmenty bez perkusji. Średnia miara F może ukryć cały utwór przesunięty o jedno uderzenie.

Strata tolerująca przesunięcia daje sensowne gradienty blisko granicy adnotacji; nie pozwala na dowolny dryf znaczników czasu.

Informacje muzyczne, których MIDI nie zachowuje

Czasy uderzeń nie są pełną partyturą. Segmentacja, groove, proporcja swingowa i zmiany metrum wymagają analizy wyższego poziomu.

Zbiory używają różnych okien, reguł ciągłości i wag pierwszych miar, dlatego rankingi muszą zachować nazwę protokołu.

Artykuły i pliki publiczne źródła oraz wag Beat This

Nazwy modeli, liczby i ograniczenia pochodzą z poniższych artykułów, repozytoriów lub kart modeli.