Modell
Beat This!: Beatsporing uten DBN-slutt
Innhenting av musikkinformasjon / papirtolkning
Innhenting av musikkinformasjon / papirtolkning
HENTING AV MUSIKKINFORMASJON / TEKNISK NOTAT
Sporing av taktslag spør når pulsen inntreffer. Notetranskripsjon spør hvilket instrument som spilte hvilken tonehøyde. Beat This! løser det første problemet og flytter mye av strukturen som tidligere ble overlatt til dynamisk bayesiansk etterbehandling, inn i den lærte sekvensmodellen.
Menneskelige annoteringer av taktslag stemmer ikke overens med samplenøyaktighet. Med målimpulser y_t og bildesannsynligheter p_t straffer vanlig BCE for hvert bilde en musikalsk gyldig prediksjon som bare er forskjøvet noen få bilder. Et kompakt uttrykk for det forskyvningstolerante målet er:
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
Toleransen hører til treningen, ikke til en etterfølgende festing til rutenettet. Hodene for taktslag og taktslag én deler sekvensrepresentasjonen, men de sjeldnere førsteslagene trenger fortsatt sin egen beslutningsbane.
Klassiske systemer bruker en DBN til å håndheve sammenheng i tempoet og overganger i taktarten. Beat This! viser at hovedmodellen kan lage stabile sekvenser av taktslag og taktslag én uten dette trinnet, som er tilpasset datasettet. Taktslagshendelser på sekundnivå, taktslag én og BPM beregnet fra intervaller forblir tre forskjellige utdata.
Den offisielle final0.ckpt er låst med SHA-256, og oppgavene kjøres uten nettilgang. Fordi sluttmodellene så flere offentlige datasett for taktslag under treningen, kan resultatene på disse settene være optimistiske. Godkjenningen omfatter derfor en ekte, fullstendig sang og eksporterer den rå timingtabellen for DAW-rutenett, oppdeling og etterfølgende MIDI-kvantisering.
Sporing av taktslag har tradisjonelt forutsagt aktiveringer med et nevralt nettverk og latt et dynamisk bayesiansk nettverk velge sekvensen. Beat This bruker sterkere sekvensmodellering og forskyvningstolerant veiledning til å produsere stabile taktslag og taktslag én direkte, slik at DBN flyttes ut av standardbanen.
Fjerning av etterbehandling fjerner ikke musikalske forhåndsantakelser. Taktart, tempoområde og annoteringsstil finnes fortsatt i dataene. ISMIR-resultater må leses etter datasett og måleverdi; rubato, partier uten trommer og sammensatte taktarter er fortsatt sjeldne og vanskelige tilfeller.
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δliten tillatt bildeforskyvningΔtoleransevindu for annoteringBCEbinær kryssentropi for aktiveringerMenneskelige annoteringer av taktslag kan avvike med noen få bilder. Forskyvningstolerant veiledning søker i et lite justeringsvindu og reduserer straff for variasjon i annoteringene uten å tillate vilkårlig forskyvning av hele sangen.
Taktslag, taktslag én, BPM og MIDI-noter er forskjellige utdata. Legg prediksjonene over bølgeformen og taktrutenettet for å undersøke halvt eller dobbelt tempo, opptakter og partier uten trommer.
Artikkel, kode og vekter kan følges via Beat This-kode og -vekter / ISMIR 2024-artikkelen.
Hver rad beholder arkitekturen, måleverdien eller oppgavedefinisjonen fra sin egen kilde; resultater uten en felles protokoll holdes atskilt.
| Modell | Arkitektur eller dokumentasjon | Omfang |
|---|---|---|
| Beat This uten DBN | taktslag og taktslag én fra ende til ende | standardbane og stabilitet over lange forløp |
| Beat This med valgfri etterbehandling | spesielle tempobegrensninger | registrer parametere for å unngå skjulte endringer |
| aktivering pluss DBN | eksplisitt forhåndsantakelse om tempo/overgang | robust, men kan låse seg til feil tempo |
Legg prediksjonene over bølgeformen og taktrutenettet for å undersøke halvt eller dobbelt tempo, opptakter, tempoendringer og partier uten trommer. Gjennomsnittlig F-mål kan skjule en hel sang som er forskjøvet med ett taktslag.
Forskyvningstolerant tap gir meningsfulle gradienter nær en annoteringsgrense; det tillater ikke vilkårlig forskyvning av tidsstempler.
Tidspunktene for taktslag er ikke et fullstendig partitur. Segmentering, groove, swingforhold og endringer i taktart krever analyse på et høyere nivå.
Datasettene bruker forskjellige vinduer, regler for sammenheng og vekting av taktslag én, så rangeringer må beholde protokollnavnet.
Modellnavn, tall og begrensninger kan spores til artiklene, kodelagrene eller modellkortene nedenfor.