Spesialisert lyd til MIDI: fem modeller, fem forskjellige F1 eksamensoppgaver

AUTOMATISK MUSIKKTRANSKRIPSJON

GAPS, FiloSax, FiloBass, VioPTT og SwiftF0 produserer alle MIDI, men inndatadistribusjonene, etikettene og matchingstoleransene deres er ulike. Rut instrumentet først; sammenlign bare innenfor det tilsvarende datasettet.

Hendelses-F1

Når noter er matchet innenfor en onset-toleranse, er P=TP/(TP+FP), R=TP/(TP+FN) og F1=2PR/(P+R). Offset-bevisst matching er strengere, så hver F1-verdi trenger sin toleranse og sin matchingsdefinisjon.

Tre modelleringsfamilier

GAPS gjør ren eller separert sologitar om til notehendelser og MIDI. Strengposisjoner, bånd, kontinuerlig F0 og Pitch Bend inngår ikke. Juster MIDI-anslagsstyrken ved å sammenligne med originalopptaket. FiloSax er laget for monofone jazzsaksofonsoloer og eksporterer diskrete tonehøyde-, start- og slutthendelser som MIDI. Den gir ikke kontinuerlige spor for tonehøyde, slide eller vibrato. FiloBass er laget for monofon jazzkontrabass (double bass / upright bass), ikke generell eller elektrisk bass. Bruk et rent eller separert stem; stortromme og lekkasje i bassområdet kan skape falske noter. VioPTT gir fiolinens notehendelser og én av fire teknikketiketter —détaché, flageolet, spiccato, pizzicato— eller ingen. MIDI-velocity er fast og måler ikke spilledynamikken. SwiftF0 følger en monofon kontinuerlig F0. TelkNet deler konturen i noter og eksporterer MIDI, tonehøyde-CSV per bilde og en graf. Den transkriberer ikke en polyfon full miks.

Prosesseringskjede

Rene eller separerte opptak av sologitar, jazzsaksofon, jazzkontrabass, solofiolin eller en monofon melodi sendes til riktig spesialistmodell.

Slik utviklet transkripsjonsmetodene seg

Det finnes ingen enkelt lyd-til-MIDI-modell som dekker alle instrumenter og metrikker. GAPS er rettet mot gitar; FiloSax, FiloBass og VioPTT utnytter instrumentspesifikt register og artikulasjon; SwiftF0 ligger nærmere generell pitch-tracking. Felles filformater gjør ikke treningsdistribusjonene deres likeverdige.

Feltet beveget seg fra bildebasert pitch-deteksjon til samlet prediksjon av onset, offset, tonehøyde og velocity, og videre mot sekvensdekoding av komplette notehendelser. Fremgangen vises i repeterende noter, sustain, glissando og vibrato – ikke bare en høyere F1. Poengsummer fra artikler forblir inkompatible når toleransevinduer og matchingsregler er ulike.

**Flytskjema for datasett-generering fra GAPS-artikkelen**YouTube-lyd og gitarnotasjon går gjennom justering, manuell verifisering, omjustering og transkripsjonsfiltrering før de danner det spesialiserte datasettet.Offisiell kilde: Figure 1 / figs/GAPS_flowchart.png

Hendelsestranskripsjon må score både onset og offset

F1=2PR/(P + R), P=TP/(TP + FP), R=TP/(TP + FN)

TPhendelser som matcher artikkelens toleranse
FPekstra predikerte hendelser
FNmanglende hendelser

Artikler definerer sanne positive ulikt: noen krever bare onset-toleranse; andre krever også offset, tonehøyde eller teknikk. En F1-verdi kan ikke sammenlignes når matchingsregelen er fjernet.

GAPS, FiloSax, FiloBass, VioPTT og SwiftF0 retter seg mot ulike instrumenter og annoteringsnivåer. Korrekt ruting betyr mer enn å kombinere maksimumsverdier fra urelaterte datasett.

Artikkel, kode og vekter kan følges gjennom Unified specialist runtime / GAPS paper / VioPTT.

**Varmekart over grepbordsdistribusjon fra GAPS-artikkelen**Langhalefordelingen av streng-bånd-kombinasjoner viser hvorfor gitartranskripsjon ikke kan reduseres til én samlet hendelses-F1.Offisiell kilde: figs/fret_heatmap.png

Sammenlign først når hendelsesdefinisjonene stemmer overens

Hver rad beholder sin kildearkitektur, metrikk eller oppgavedefinisjon; resultater uten en felles protokoll holdes adskilt.

Modell	Opprinnelig eller avledet utdata	Nøyaktig avgrensning
GAPS	MIDI · pitch/onset/offset	GAPS gjør ren eller separert sologitar om til notehendelser og MIDI. Strengposisjoner, bånd, kontinuerlig F0 og Pitch Bend inngår ikke. Juster MIDI-anslagsstyrken ved å sammenligne med originalopptaket.
FiloSax	MIDI · pitch/onset/offset	FiloSax er laget for monofone jazzsaksofonsoloer og eksporterer diskrete tonehøyde-, start- og slutthendelser som MIDI. Den gir ikke kontinuerlige spor for tonehøyde, slide eller vibrato.
FiloBass	MIDI · pitch/onset/offset	FiloBass er laget for monofon jazzkontrabass (double bass / upright bass), ikke generell eller elektrisk bass. Bruk et rent eller separert stem; stortromme og lekkasje i bassområdet kan skape falske noter.
VioPTT	MIDI + technique CSV	VioPTT gir fiolinens notehendelser og én av fire teknikketiketter —détaché, flageolet, spiccato, pizzicato— eller ingen. MIDI-velocity er fast og måler ikke spilledynamikken.
SwiftF0	F0 CSV → note segmentation → MIDI	SwiftF0 følger en monofon kontinuerlig F0. TelkNet deler konturen i noter og eksporterer MIDI, tonehøyde-CSV per bilde og en graf. Den transkriberer ikke en polyfon full miks.

Lydmessig gjennomgang av notehendelser

Piano krever kontroll av sustain og repeterende noter; saksofon og fiolin krever glissando, ornamenter og vibrato; bass forveksles lett med stortromme og lave harmoniske. En synthesizer kan skjule timingfeil, så sjekk pianorullen mot bølgeformen.

Hendelses-F1 endres med toleransevinduet. Et 50 ms onset-match, et strengt onset-match, en offset-bevisst notescore og frame-F1 svarer på ulike spørsmål. Verktøyet registrerer modell, terskel og kvantisering slik at resultatene kan regnes om.

Musikalsk informasjon MIDI ikke bevarer

MIDI lagrer symbolske hendelser, ikke den opprinnelige klangfargen, rommet eller anslaget. Feil i instrumentidentitet i en miks forplanter seg videre til arrangement og notasjon.

Uten et felles datasett og samsvarende toleranseregler forblir kildespesifikke metrikker adskilt, i stedet for å gi en syntetisk vinner på tvers av artikler.

Artikler og offentlige filer for Unified specialist runtime

Modellnavn, tall og begrensninger kan spores til artiklene, repositoriene eller modellkortene nedenfor.