Audio spécialisé vers MIDI : cinq modèles, cinq épreuves d'examen F1 différentes
Ces modèles disposent de poids publics, d’un branchement comme outil ou profile TelkNet, d’un choix de version explicite et d’une définition de runtime immuable. Le statut Admin commande l’affichage et l’admission des tâches ; l’activation exige E2–E4, et une route par défaut exige aussi E5.
TRANSCRIPTION MUSICALE AUTOMATIQUE
GAPS, FiloSax, FiloBass, VioPTT et SwiftF0 produisent tous du MIDI, mais leurs distributions d'entrée, leurs étiquettes et leurs tolérances d'appariement diffèrent. Acheminez d'abord le bon instrument ; ne comparez qu'à l'intérieur du jeu de données correspondant.
F1 événementiel
Après l'appariement des notes dans une tolérance d'onset, P=TP/(TP+FP), R=TP/(TP+FN) et F1=2PR/(P+R). L'appariement tenant compte de l'offset est plus strict : chaque F1 doit donc préciser sa tolérance et sa définition d'appariement.
Trois familles de modèles
GAPS convertit une guitare solo propre ou séparée en événements de notes et en MIDI. Il ne produit ni positions de cordes, ni frettes, ni F0 continu, ni Pitch Bend. Ajustez la vélocité MIDI en la comparant à l’enregistrement original. FiloSax vise les solos monophoniques de saxophone jazz et exporte en MIDI des événements discrets de hauteur, début et fin. Il ne produit pas de courbe continue de hauteur, de glissando ou de vibrato. FiloBass vise la contrebasse jazz monophonique (double bass / upright bass), et non la basse générale ou électrique. Utilisez un stem propre ou séparé ; la grosse caisse et les fuites graves peuvent créer de fausses notes. VioPTT produit les événements de notes du violon et l’une des quatre étiquettes de technique —détaché, flageolet, spiccato, pizzicato— ou aucune. La vélocité MIDI est fixe et ne mesure pas la dynamique du jeu. SwiftF0 suit un F0 continu monophonique. TelkNet segmente cette courbe en notes et exporte un MIDI, un CSV de hauteur par image et un graphique. Il ne transcrit pas les mixages polyphoniques complets.
Chaîne de traitement
Les prises propres ou séparées de guitare solo, saxophone jazz, contrebasse jazz, violon solo ou mélodie monophonique sont envoyées vers le modèle spécialisé correspondant.
Comment les méthodes de transcription ont évolué
Aucun modèle d'audio vers MIDI ne couvre à la fois tous les instruments et toutes les métriques. GAPS vise la guitare ; FiloSax, FiloBass et VioPTT exploitent la tessiture et l'articulation propres à chaque instrument ; SwiftF0 se rapproche du suivi de hauteur généraliste. Le partage d'un même format de fichier ne rend pas leurs distributions d'entraînement équivalentes.
Le domaine est passé de la détection de hauteur frame par frame à la prédiction conjointe de l'onset, de l'offset, de la hauteur et de la vélocité, puis au décodage séquentiel d'événements de notes complets. Les progrès se lisent dans les notes répétées, le sustain, les slides et le vibrato, pas seulement dans un F1 plus élevé. Les scores des articles restent incompatibles dès lors que les fenêtres de tolérance et les règles d'appariement diffèrent.
La transcription d'événements doit noter l'onset comme l'offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)TPévénements correspondant à la tolérance de l'articleFPévénements prédits en tropFNévénements manqués
Les articles ne définissent pas les vrais positifs de la même façon : certains n'exigent qu'une tolérance d'onset, d'autres imposent aussi l'offset, la hauteur ou la technique. Une valeur de F1 n'est plus comparable une fois sa règle d'appariement retirée.
GAPS, FiloSax, FiloBass, VioPTT et SwiftF0 ciblent des instruments et des niveaux d'annotation différents. Un routage correct compte davantage que la combinaison de maxima issus de jeux de données sans rapport.
L'article, le code et les poids se retrouvent via Unified specialist runtime / GAPS paper / VioPTT.
Ne comparer qu'une fois les définitions d'événements alignées
Chaque ligne conserve l'architecture, la métrique ou la définition de tâche de sa source ; les résultats sans protocole commun restent séparés.
| Modèle | Sortie native ou dérivée | Limite exacte |
|---|---|---|
| GAPS | MIDI · pitch/onset/offset | GAPS convertit une guitare solo propre ou séparée en événements de notes et en MIDI. Il ne produit ni positions de cordes, ni frettes, ni F0 continu, ni Pitch Bend. Ajustez la vélocité MIDI en la comparant à l’enregistrement original. |
| FiloSax | MIDI · pitch/onset/offset | FiloSax vise les solos monophoniques de saxophone jazz et exporte en MIDI des événements discrets de hauteur, début et fin. Il ne produit pas de courbe continue de hauteur, de glissando ou de vibrato. |
| FiloBass | MIDI · pitch/onset/offset | FiloBass vise la contrebasse jazz monophonique (double bass / upright bass), et non la basse générale ou électrique. Utilisez un stem propre ou séparé ; la grosse caisse et les fuites graves peuvent créer de fausses notes. |
| VioPTT | MIDI + technique CSV | VioPTT produit les événements de notes du violon et l’une des quatre étiquettes de technique —détaché, flageolet, spiccato, pizzicato— ou aucune. La vélocité MIDI est fixe et ne mesure pas la dynamique du jeu. |
| SwiftF0 | F0 CSV → note segmentation → MIDI | SwiftF0 suit un F0 continu monophonique. TelkNet segmente cette courbe en notes et exporte un MIDI, un CSV de hauteur par image et un graphique. Il ne transcrit pas les mixages polyphoniques complets. |
Écoute critique des événements de notes
Le piano exige de vérifier le sustain et les notes répétées ; le saxophone et le violon demandent slides, ornements et vibrato ; la basse se confond facilement avec les grosses caisses et les harmoniques graves. Un synthétiseur peut masquer des erreurs de timing : inspectez donc le piano-roll face à la forme d'onde.
Le F1 événementiel varie avec la fenêtre de tolérance. Un appariement d'onset à 50 ms, un appariement d'onset strict, un score de note tenant compte de l'offset et un F1 par frame ne répondent pas aux mêmes questions. L'outil consigne le modèle, le seuil et la quantification pour que les résultats puissent être recalculés.
L'information musicale que MIDI ne préserve pas
Le MIDI stocke des événements symboliques, pas le timbre, la pièce ni le toucher d'origine. Les erreurs d'identité d'instrument dans un mixage se propagent à l'arrangement et à la notation.
Sans jeu de données commun ni règles de tolérance harmonisées, les métriques propres à chaque source restent séparées au lieu de produire un vainqueur synthétique entre articles.
Articles et fichiers publics pour Unified specialist runtime
Les noms de modèles, les chiffres et les limites se rattachent aux articles, dépôts ou fiches de modèles ci-dessous.