Audio specializzato in MIDI: cinque modelli, cinque diversi documenti d'esame F1 · TelkNet
Modello
Audio specializzato in MIDI: cinque modelli, cinque diversi documenti d'esame F1
Questi modelli dispongono di pesi pubblici, collegamento come strumento o profile TelkNet, scelta esplicita della versione e definizioni runtime immutabili. Lo stato Admin governa visibilità e ammissione dei task; l’attivazione richiede E2–E4 e la rotta predefinita richiede anche E5.
TRASCRIZIONE MUSICALE AUTOMATICA
GAPS, FiloSax, FiloBass, VioPTT e SwiftF0 emettono tutti MIDI, ma le distribuzioni di ingresso, le etichette e le tolleranze di abbinamento differiscono. Prima si instrada lo strumento; il confronto ha senso solo all'interno del dataset corrispondente.
F1 sugli eventi
Dopo aver abbinato le note entro una tolleranza sull'onset, P=TP/(TP+FP), R=TP/(TP+FN) e F1=2PR/(P+R). L'abbinamento che considera anche l'offset è più severo, quindi ogni F1 va accompagnato dalla sua tolleranza e dalla definizione di corrispondenza.
Tre famiglie di modelli
GAPS converte una chitarra solista pulita o separata in eventi di nota e MIDI. Non produce posizioni delle corde, tasti, F0 continuo o Pitch Bend. Regola la velocity MIDI confrontandola con la registrazione originale. FiloSax è destinato agli assoli monofonici di sassofono jazz ed esporta in MIDI eventi discreti di altezza, attacco e rilascio. Non produce tracce continue di altezza, slide o vibrato. FiloBass è destinato al contrabbasso jazz monofonico (double bass / upright bass), non al basso generico o elettrico. Va usato uno stem pulito o separato; cassa e rientri sulle basse frequenze possono creare note false. VioPTT produce eventi di nota del violino e una delle quattro etichette tecniche —détaché, flageolet, spiccato, pizzicato— oppure nessuna. La velocity MIDI è fissa e non misura la dinamica esecutiva. SwiftF0 segue un F0 continuo monofonico. TelkNet segmenta il profilo in note ed esporta MIDI, CSV dell’altezza per fotogramma e grafico. Non trascrive mix polifonici completi.
Catena di elaborazione
Le registrazioni pulite o separate di chitarra solista, sassofono jazz, contrabbasso jazz, violino solista o melodia monofonica vengono instradate al modello specialistico corretto.
Come si sono evoluti i metodi di trascrizione
Nella trascrizione audio-MIDI non esiste un modello unico che copra ogni strumento e ogni metrica. GAPS punta alla chitarra; FiloSax, FiloBass e VioPTT sfruttano estensione e articolazione specifiche dello strumento; SwiftF0 è più vicino al pitch tracking generale. Condividere i formati di file non rende equivalenti le distribuzioni di addestramento.
Il campo è passato dal rilevamento del pitch frame per frame alla predizione congiunta di onset, offset, altezza e velocity, fino alla decodifica sequenziale di eventi nota completi. I progressi si vedono su note ripetute, sustain, slide e vibrato, non solo in un F1 più alto. I punteggi dei paper restano incompatibili quando finestre di tolleranza e regole di abbinamento differiscono.
Diagramma di creazione del dataset del paper GAPSAudio da YouTube e spartiti per chitarra passano per allineamento, verifica manuale, riallineamento e filtraggio delle trascrizioni prima di formare il dataset specialistico.Fonte ufficiale: Figure 1 / figs/GAPS_flowchart.png
La trascrizione a eventi deve valutare sia onset sia offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPeventi che rispettano la tolleranza di quel paper
FPeventi predetti in eccesso
FNeventi mancati
I paper definiscono i veri positivi in modo diverso: alcuni richiedono solo una tolleranza sull'onset, altri anche offset, altezza o tecnica esecutiva. Un valore di F1 smette di essere confrontabile quando se ne rimuove la regola di abbinamento.
GAPS, FiloSax, FiloBass, VioPTT e SwiftF0 mirano a strumenti e livelli di annotazione diversi. Un instradamento corretto conta più del combinare massimi provenienti da dataset non correlati.
Paper, codice e pesi si possono seguire tramite Unified specialist runtime / GAPS paper / VioPTT.
Heatmap di distribuzione sulla tastiera del paper GAPSLa distribuzione a coda lunga delle combinazioni corda-tasto mostra perché la trascrizione chitarristica non si riduca a un unico F1 aggregato sugli eventi.Fonte ufficiale: figs/fret_heatmap.png
Confrontare solo quando le definizioni di evento coincidono
Ogni riga conserva l'architettura, la metrica o la definizione di compito della fonte; i risultati senza un protocollo condiviso restano separati.
Modello
Output nativo o derivato
Limite esatto
GAPS
MIDI · pitch/onset/offset
GAPS converte una chitarra solista pulita o separata in eventi di nota e MIDI. Non produce posizioni delle corde, tasti, F0 continuo o Pitch Bend. Regola la velocity MIDI confrontandola con la registrazione originale.
FiloSax
MIDI · pitch/onset/offset
FiloSax è destinato agli assoli monofonici di sassofono jazz ed esporta in MIDI eventi discreti di altezza, attacco e rilascio. Non produce tracce continue di altezza, slide o vibrato.
FiloBass
MIDI · pitch/onset/offset
FiloBass è destinato al contrabbasso jazz monofonico (double bass / upright bass), non al basso generico o elettrico. Va usato uno stem pulito o separato; cassa e rientri sulle basse frequenze possono creare note false.
VioPTT
MIDI + technique CSV
VioPTT produce eventi di nota del violino e una delle quattro etichette tecniche —détaché, flageolet, spiccato, pizzicato— oppure nessuna. La velocity MIDI è fissa e non misura la dinamica esecutiva.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 segue un F0 continuo monofonico. TelkNet segmenta il profilo in note ed esporta MIDI, CSV dell’altezza per fotogramma e grafico. Non trascrive mix polifonici completi.
Revisione all'ascolto degli eventi nota
Il pianoforte richiede controlli su sustain e note ripetute; sassofono e violino richiedono slide, abbellimenti e vibrato; il basso si confonde facilmente con la cassa e gli armonici gravi. Un sintetizzatore può nascondere errori di timing, quindi conviene ispezionare il piano roll confrontandolo con la forma d'onda.
L'F1 sugli eventi cambia con la finestra di tolleranza. Un abbinamento sull'onset a 50 ms, un abbinamento stretto sull'onset, un punteggio nota che include l'offset e un F1 sui frame rispondono a domande diverse. Lo strumento registra modello, soglia e quantizzazione in modo che i risultati possano essere ricalcolati.
Le informazioni musicali che MIDI non conserva
MIDI memorizza eventi simbolici, non il timbro, l'ambiente o il tocco originali. Gli errori di identità dello strumento in un mix si propagano nell'arrangiamento e nella notazione.
Senza un dataset condiviso e regole di tolleranza corrispondenti, le metriche specifiche di ogni fonte restano separate, invece di produrre un vincitore sintetico trasversale ai paper.
Paper e file pubblici di Unified specialist runtime
Nomi dei modelli, numeri e limitazioni rimandano ai paper, ai repository o alle model card elencati di seguito.