Spezialisiertes Audio zu MIDI: fünf Modelle, fünf verschiedene F1-Prüfungsunterlagen · TelkNet
Modell
Spezialisiertes Audio zu MIDI: fünf Modelle, fünf verschiedene F1-Prüfungsunterlagen
Für diese Modelle sind öffentliche Gewichte, die TelkNet-Werkzeug- oder Profilanbindung, eine eindeutige Versionswahl und unveränderliche Laufzeitdefinitionen vorhanden. Sichtbarkeit und Aufgabenzulassung richten sich nach dem Admin-Status; die Aktivierung erfordert E2–E4, eine Standardroute zusätzlich E5.
GAPS, FiloSax, FiloBass, VioPTT und SwiftF0 erzeugen alle MIDI, unterscheiden sich aber in Eingabeverteilungen, Labels und Matching-Toleranzen. Erst das Instrument routen, dann nur innerhalb des passenden Datensatzes vergleichen.
Event-F1
Nach dem Abgleich von Noten innerhalb einer Onset-Toleranz gilt P=TP/(TP+FP), R=TP/(TP+FN) und F1=2PR/(P+R). Ein offset-bewusster Abgleich ist strenger, deshalb braucht jedes F1 seine Toleranz und Matching-Definition.
Drei Modellfamilien
GAPS wandelt saubere oder getrennte Sologitarre in Notenereignisse und MIDI um. Saitenpositionen, Bünde, kontinuierliches F0 und Pitch Bend werden nicht ausgegeben. Passe die MIDI-Anschlagstärke anhand der Originalaufnahme an. FiloSax ist für einstimmige Jazzsaxofon-Soli gedacht und exportiert diskrete Tonhöhen-, Onset- und Offset-Ereignisse als MIDI. Kontinuierliche Tonhöhe, Slides oder Vibratoverläufe gibt es nicht aus. FiloBass ist für einstimmigen Jazzkontrabass (double bass / upright bass) bestimmt, nicht für allgemeinen oder elektrischen Bass. Eine saubere oder getrennte Spur ist nötig; Kick und tieffrequentes Übersprechen können falsche Noten erzeugen. VioPTT gibt Violinnoten und eines von vier Techniklabels aus: détaché, flageolet, spiccato, pizzicato oder kein Label. Die MIDI-Anschlagstärke ist fest und keine gemessene Spieldynamik. SwiftF0 verfolgt ein einstimmiges kontinuierliches F0. TelkNet segmentiert die Kontur in Noten und exportiert MIDI, eine frameweise Tonhöhen-CSV und eine Grafik. Mehrstimmige Vollmischungen kann es nicht transkribieren.
Verarbeitungskette
Saubere oder getrennte Aufnahmen von Sologitarre, Jazzsaxofon, Jazzkontrabass, Solovioline oder einstimmigen Melodien werden an das passende Spezialmodell geleitet.
Wie sich Transkriptionsmethoden entwickelt haben
Audio-zu-MIDI kennt kein einzelnes Modell, das jedes Instrument und jede Metrik abdeckt. GAPS zielt auf Gitarre; FiloSax, FiloBass und VioPTT nutzen instrumentspezifischen Tonumfang und Artikulation; SwiftF0 steht dem allgemeinen Pitch-Tracking näher. Gemeinsame Dateiformate machen ihre Trainingsverteilungen nicht gleichwertig.
Das Feld bewegte sich von frameweiser Pitch-Erkennung über die gemeinsame Vorhersage von Onset, Offset, Pitch und Velocity hin zur Sequenzdekodierung vollständiger Notenereignisse. Fortschritt zeigt sich an wiederholten Noten, Sustain, Slides und Vibrato – nicht nur an einem höheren F1. Paper-Werte bleiben inkompatibel, solange Toleranzfenster und Matching-Regeln abweichen.
Flowchart der Datensatzerstellung im GAPS-PaperYouTube-Audio und Gitarrenpartituren durchlaufen Alignment, manuelle Prüfung, Realignment und Transkriptionsfilterung, bevor daraus der spezialisierte Datensatz entsteht.Offizielle Quelle: Figure 1 / figs/GAPS_flowchart.png
Ereignistranskription muss Onset und Offset bewerten
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPEreignisse, die der Toleranz des jeweiligen Papers entsprechen
FPzusätzlich vorhergesagte Ereignisse
FNverpasste Ereignisse
Papers definieren True Positives unterschiedlich: Manche verlangen nur eine Onset-Toleranz, andere zusätzlich Offset, Pitch oder Spieltechnik. Ein F1-Wert ist nicht mehr vergleichbar, sobald seine Matching-Regel entfernt wird.
GAPS, FiloSax, FiloBass, VioPTT und SwiftF0 zielen auf unterschiedliche Instrumente und Annotationsebenen. Korrektes Routing zählt mehr, als Maximalwerte aus fremden Datensätzen zu kombinieren.
Paper, Code und Gewichte lassen sich über Unified specialist runtime / GAPS paper / VioPTT nachverfolgen.
Heatmap der Griffbrettverteilung im GAPS-PaperDie Long-Tail-Verteilung der Saiten-Bund-Kombinationen zeigt, warum sich Gitarrentranskription nicht auf ein einziges aggregiertes Event-F1 reduzieren lässt.Offizielle Quelle: figs/fret_heatmap.png
Vergleichen erst, wenn die Ereignisdefinitionen übereinstimmen
Jede Zeile behält ihre Quellarchitektur, Metrik oder Aufgabendefinition; Ergebnisse ohne gemeinsames Protokoll bleiben getrennt.
Modell
Native oder abgeleitete Ausgabe
Genaue Grenze
GAPS
MIDI · pitch/onset/offset
GAPS wandelt saubere oder getrennte Sologitarre in Notenereignisse und MIDI um. Saitenpositionen, Bünde, kontinuierliches F0 und Pitch Bend werden nicht ausgegeben. Passe die MIDI-Anschlagstärke anhand der Originalaufnahme an.
FiloSax
MIDI · pitch/onset/offset
FiloSax ist für einstimmige Jazzsaxofon-Soli gedacht und exportiert diskrete Tonhöhen-, Onset- und Offset-Ereignisse als MIDI. Kontinuierliche Tonhöhe, Slides oder Vibratoverläufe gibt es nicht aus.
FiloBass
MIDI · pitch/onset/offset
FiloBass ist für einstimmigen Jazzkontrabass (double bass / upright bass) bestimmt, nicht für allgemeinen oder elektrischen Bass. Eine saubere oder getrennte Spur ist nötig; Kick und tieffrequentes Übersprechen können falsche Noten erzeugen.
VioPTT
MIDI + technique CSV
VioPTT gibt Violinnoten und eines von vier Techniklabels aus: détaché, flageolet, spiccato, pizzicato oder kein Label. Die MIDI-Anschlagstärke ist fest und keine gemessene Spieldynamik.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 verfolgt ein einstimmiges kontinuierliches F0. TelkNet segmentiert die Kontur in Noten und exportiert MIDI, eine frameweise Tonhöhen-CSV und eine Grafik. Mehrstimmige Vollmischungen kann es nicht transkribieren.
Hörprüfung der Notenereignisse
Klavier braucht Sustain- und Repetitionskontrollen; Saxofon und Geige brauchen Slides, Verzierungen und Vibrato; Bass lässt sich leicht mit Kick-Drums und tiefen Obertönen verwechseln. Ein Synthesizer kann Timingfehler kaschieren, daher die Pianorolle gegen die Wellenform prüfen.
Event-F1 verändert sich mit dem Toleranzfenster. Ein 50-ms-Onset-Abgleich, ein strikter Onset-Abgleich, ein offset-bewusster Notenwert und Frame-F1 beantworten unterschiedliche Fragen. Das Werkzeug protokolliert Modell, Schwellwert und Quantisierung, damit sich Ergebnisse nachrechnen lassen.
Musikalische Informationen, die MIDI nicht bewahrt
MIDI speichert symbolische Ereignisse, nicht die ursprüngliche Klangfarbe, den Raum oder den Anschlag. Fehler bei der Instrumentenerkennung in einem Mix pflanzen sich in Arrangement und Notation fort.
Ohne gemeinsamen Datensatz und abgestimmte Toleranzregeln bleiben quellspezifische Metriken getrennt, statt einen künstlichen paperübergreifenden Sieger hervorzubringen.
Papers und öffentliche Dateien zur Unified specialist runtime
Modellnamen, Zahlen und Einschränkungen gehen auf die folgenden Papers, Repositories oder Model Cards zurück.