Beat This!: Beatsporing uten DBN-slutt

HENTING AV MUSIKKINFORMASJON / TEKNISK NOTAT

Sporing av taktslag spør når pulsen inntreffer. Notetranskripsjon spør hvilket instrument som spilte hvilken tonehøyde. Beat This! løser det første problemet og flytter mye av strukturen som tidligere ble overlatt til dynamisk bayesiansk etterbehandling, inn i den lærte sekvensmodellen.

Utdataene er to tidslinjer med hendelser. BPM er statistikk beregnet fra intervallene mellom dem, ikke modellens eneste prediksjon.

Forskyvningstolerant veiledning

Menneskelige annoteringer av taktslag stemmer ikke overens med samplenøyaktighet. Med målimpulser y_t og bildesannsynligheter p_t straffer vanlig BCE for hvert bilde en musikalsk gyldig prediksjon som bare er forskjøvet noen få bilder. Et kompakt uttrykk for det forskyvningstolerante målet er:

L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})

Toleransen hører til treningen, ikke til en etterfølgende festing til rutenettet. Hodene for taktslag og taktslag én deler sekvensrepresentasjonen, men de sjeldnere førsteslagene trenger fortsatt sin egen beslutningsbane.

Flytte DBN ut av hovedbanen

Klassiske systemer bruker en DBN til å håndheve sammenheng i tempoet og overganger i taktarten. Beat This! viser at hovedmodellen kan lage stabile sekvenser av taktslag og taktslag én uten dette trinnet, som er tilpasset datasettet. Taktslagshendelser på sekundnivå, taktslag én og BPM beregnet fra intervaller forblir tre forskjellige utdata.

Reproduserbar godkjenning

Den offisielle final0.ckpt er låst med SHA-256, og oppgavene kjøres uten nettilgang. Fordi sluttmodellene så flere offentlige datasett for taktslag under treningen, kan resultatene på disse settene være optimistiske. Godkjenningen omfatter derfor en ekte, fullstendig sang og eksporterer den rå timingtabellen for DAW-rutenett, oppdeling og etterfølgende MIDI-kvantisering.

Hvordan transkripsjonsmetodene utviklet seg

Sporing av taktslag har tradisjonelt forutsagt aktiveringer med et nevralt nettverk og latt et dynamisk bayesiansk nettverk velge sekvensen. Beat This bruker sterkere sekvensmodellering og forskyvningstolerant veiledning til å produsere stabile taktslag og taktslag én direkte, slik at DBN flyttes ut av standardbanen.

Fjerning av etterbehandling fjerner ikke musikalske forhåndsantakelser. Taktart, tempoområde og annoteringsstil finnes fortsatt i dataene. ISMIR-resultater må leses etter datasett og måleverdi; rubato, partier uten trommer og sammensatte taktarter er fortsatt sjeldne og vanskelige tilfeller.

Forskyvningstolerant tap håndterer annoteringsgrenser

L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})

δliten tillatt bildeforskyvning
Δtoleransevindu for annotering
BCEbinær kryssentropi for aktiveringer

Menneskelige annoteringer av taktslag kan avvike med noen få bilder. Forskyvningstolerant veiledning søker i et lite justeringsvindu og reduserer straff for variasjon i annoteringene uten å tillate vilkårlig forskyvning av hele sangen.

Taktslag, taktslag én, BPM og MIDI-noter er forskjellige utdata. Legg prediksjonene over bølgeformen og taktrutenettet for å undersøke halvt eller dobbelt tempo, opptakter og partier uten trommer.

Artikkel, kode og vekter kan følges via Beat This-kode og -vekter / ISMIR 2024-artikkelen.

Sammenlign først når hendelsesdefinisjonene er like

Hver rad beholder arkitekturen, måleverdien eller oppgavedefinisjonen fra sin egen kilde; resultater uten en felles protokoll holdes atskilt.

Modell	Arkitektur eller dokumentasjon	Omfang
Beat This uten DBN	taktslag og taktslag én fra ende til ende	standardbane og stabilitet over lange forløp
Beat This med valgfri etterbehandling	spesielle tempobegrensninger	registrer parametere for å unngå skjulte endringer
aktivering pluss DBN	eksplisitt forhåndsantakelse om tempo/overgang	robust, men kan låse seg til feil tempo

Lyttesjekk av notehendelser

Legg prediksjonene over bølgeformen og taktrutenettet for å undersøke halvt eller dobbelt tempo, opptakter, tempoendringer og partier uten trommer. Gjennomsnittlig F-mål kan skjule en hel sang som er forskjøvet med ett taktslag.

Forskyvningstolerant tap gir meningsfulle gradienter nær en annoteringsgrense; det tillater ikke vilkårlig forskyvning av tidsstempler.

Musikkinformasjon som MIDI ikke bevarer

Tidspunktene for taktslag er ikke et fullstendig partitur. Segmentering, groove, swingforhold og endringer i taktart krever analyse på et høyere nivå.

Datasettene bruker forskjellige vinduer, regler for sammenheng og vekting av taktslag én, så rangeringer må beholde protokollnavnet.

Artikler og offentlige filer for Beat This-kode og -vekter

Modellnavn, tall og begrensninger kan spores til artiklene, kodelagrene eller modellkortene nedenfor.