Specialiseret lyd til MIDI: fem modeller, fem forskellige F1 eksamensopgaver

AUTOMATISK MUSIKTRANSKRIPTION

GAPS, FiloSax, FiloBass, VioPTT og SwiftF0 udsender alle MIDI, men deres inputfordelinger, annoteringer og matchningstolerancer er forskellige. Routing af instrumentet kommer først; sammenlign kun inden for det tilsvarende datasæt.

Event F1

Når noder er matchet inden for en onset-tolerance, gælder P=TP/(TP+FP), R=TP/(TP+FN) og F1=2PR/(P+R). Offset-bevidst matchning er strengere, så enhver F1 skal oplyse sin tolerance og sin matchningsdefinition.

Tre modelleringsfamilier

GAPS omdanner ren eller adskilt sologuitar til tonehændelser og MIDI. Der leveres ikke strengpositioner, bånd, kontinuerlig F0 eller Pitch Bend. Juster MIDI-anslagsstyrken ved at sammenligne med originaloptagelsen. FiloSax er målrettet enstemmige jazzsaxofonsoloer og eksporterer diskrete tonehøjde-, start- og sluthændelser som MIDI. Den leverer ikke kontinuerlige tonehøjde-, slide- eller vibratoforløb. FiloBass er målrettet enstemmig jazzkontrabas (double bass / upright bass), ikke almindelig eller elektrisk bas. Brug et rent eller separeret stem; stortromme og læk i det dybe register kan skabe falske noder. VioPTT leverer violinens nodehændelser og én af fire tekniketiketter —détaché, flageolet, spiccato, pizzicato— eller ingen. MIDI-velocity er fast og måler ikke spillets dynamik. SwiftF0 følger en enstemmig kontinuerlig F0. TelkNet opdeler kurven i noder og eksporterer MIDI, en framebaseret tonehøjde-CSV og en graf. Den kan ikke transskribere et polyfonisk fuldt mix.

Behandlingskæde

Rene eller separerede optagelser af sologuitar, jazzsaxofon, jazzkontrabas, soloviolin eller en enstemmig melodi sendes til den tilsvarende specialmodel.

Sådan udviklede transkriptionsmetoderne sig

Lyd-til-MIDI har ikke én model, der dækker alle instrumenter og metrikker. GAPS sigter mod guitar; FiloSax, FiloBass og VioPTT udnytter instrumentspecifikt omfang og artikulation; SwiftF0 ligger tættere på generel pitch-tracking. Fælles filformater gør ikke deres træningsfordelinger ækvivalente.

Feltet bevægede sig fra framewise pitch-detektion til samlet forudsigelse af onset, offset, pitch og velocity og videre mod sekvensdekodning af komplette nodehændelser. Fremskridtet viser sig i gentagne noder, sustain, slides og vibrato – ikke blot i en højere F1. Paperscorer forbliver uforenelige, når tolerancevinduer og matchningsregler er forskellige.

**GAPS-paperets flowdiagram over datasætdannelse**YouTube-lyd og guitarnoder gennemgår justering, manuel verificering, fornyet justering og transkriptionsfiltrering, før de udgør det specialiserede datasæt.Officiel kilde: Figure 1 / figs/GAPS_flowchart.png

Hændelsestranskription skal score både onset og offset

F1=2PR/(P + R), P=TP/(TP + FP), R=TP/(TP + FN)

TPhændelser, der matcher det pågældende papers tolerance
FPekstra forudsagte hændelser
FNoversete hændelser

Papers definerer sande positive forskelligt: nogle kræver kun onset-tolerance; andre kræver desuden offset, pitch eller teknik. En F1-værdi kan ikke sammenlignes, når matchningsreglen er fratrukket.

GAPS, FiloSax, FiloBass, VioPTT og SwiftF0 sigter mod forskellige instrumenter og annoteringsniveauer. Korrekt routing betyder mere end at kombinere maksværdier fra urelaterede datasæt.

Paper, kode og vægte kan følges gennem Unified specialist runtime / GAPS paper / VioPTT.

**GAPS-paperets heatmap over gribebrætsfordeling**Den langhalede fordeling af kombinationer af strenge og bånd viser, hvorfor guitartranskription ikke kan reduceres til én samlet event-F1.Officiel kilde: figs/fret_heatmap.png

Sammenlign først, når hændelsesdefinitionerne stemmer overens

Hver række beholder sin kildearkitektur, metrik eller opgavedefinition; resultater uden en fælles protokol holdes adskilt.

Model	Oprindeligt eller afledt output	Præcis afgrænsning
GAPS	MIDI · pitch/onset/offset	GAPS omdanner ren eller adskilt sologuitar til tonehændelser og MIDI. Der leveres ikke strengpositioner, bånd, kontinuerlig F0 eller Pitch Bend. Juster MIDI-anslagsstyrken ved at sammenligne med originaloptagelsen.
FiloSax	MIDI · pitch/onset/offset	FiloSax er målrettet enstemmige jazzsaxofonsoloer og eksporterer diskrete tonehøjde-, start- og sluthændelser som MIDI. Den leverer ikke kontinuerlige tonehøjde-, slide- eller vibratoforløb.
FiloBass	MIDI · pitch/onset/offset	FiloBass er målrettet enstemmig jazzkontrabas (double bass / upright bass), ikke almindelig eller elektrisk bas. Brug et rent eller separeret stem; stortromme og læk i det dybe register kan skabe falske noder.
VioPTT	MIDI + technique CSV	VioPTT leverer violinens nodehændelser og én af fire tekniketiketter —détaché, flageolet, spiccato, pizzicato— eller ingen. MIDI-velocity er fast og måler ikke spillets dynamik.
SwiftF0	F0 CSV → note segmentation → MIDI	SwiftF0 følger en enstemmig kontinuerlig F0. TelkNet opdeler kurven i noder og eksporterer MIDI, en framebaseret tonehøjde-CSV og en graf. Den kan ikke transskribere et polyfonisk fuldt mix.

Auditiv gennemgang af nodehændelser

Klaver kræver kontrol af sustain og gentagne noder; saxofon og violin kræver slides, ornamentik og vibrato; bas forveksles let med stortromme og lave harmoniske. En synthesizer kan skjule timingfejl, så hold piano roll op mod bølgeformen.

Event-F1 ændrer sig med tolerancevinduet. Et 50 ms onset-match, et strengt onset-match, en offset-bevidst nodescore og frame-F1 svarer på forskellige spørgsmål. Værktøjet registrerer model, tærskel og kvantisering, så resultaterne kan genberegnes.

Musikalsk information, som MIDI ikke bevarer

MIDI gemmer symbolske hændelser, ikke den oprindelige klang, rummet eller anslaget. Fejl i instrumentidentitet i et mix planter sig videre i arrangement og noder.

Uden et fælles datasæt og matchende toleranceregler forbliver kildespecifikke metrikker adskilte frem for at udkåre en syntetisk vinder på tværs af papers.

Papers og offentlige filer til Unified specialist runtime

Modelnavne, tal og begrænsninger kan spores tilbage til papers, repositories eller modelkort nedenfor.