MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Transcrivez la musique en MIDI multi-instrument avec MuScriptor-large.
Chargement...
Transformez des chansons ou ensembles en MIDI multipiste pour corriger les notes et arranger les parties dans votre DAW.
Entrée
Prend en charge les entrées dans des formats tels que mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formats pris en charge
Production
MIDI
Cas d’utilisation
Modifier les notes, l'instrumentation et les détails d'interprétation.
Choisissez un modèle adapté à votre contenu et à votre objectif, puis consultez les exemples avant de lancer la tâche.
Coût, durée, formats et paramètres dépendent du modèle choisi.
Précisez l'outil, les étapes et le problème dans votre retour. Des captures d'écran peuvent aider à le localiser.
Correction des segments par défaut : réduit les erreurs d’instrument entre segments et conserve les tenues ; premier choix pour mix complet.
YourMT3+ · YPTF.MoE+Multi noPS : Des brouillons MIDI modifiables à partir de mixes complets, ainsi que des entrées solo/instruments communs plus propres comme piano/clavier, guitar, bass, drums, cordes/vents et vocal brouillons
YMT3+ : Des brouillons MIDI modifiables à partir de mixes complets, ainsi que des entrées solo/instruments communs plus propres comme piano/clavier, guitar, bass, drums, cordes/vents et vocal brouillons
YourMT3+ · YPTF.Single noPS : Des brouillons MIDI modifiables à partir de mixes complets, ainsi que des entrées solo/instruments communs plus propres comme piano/clavier, guitar, bass, drums, cordes/vents et vocal brouillons
YourMT3+ · YPTF.Multi PS : Des brouillons MIDI modifiables à partir de mixes complets, ainsi que des entrées solo/instruments communs plus propres comme piano/clavier, guitar, bass, drums, cordes/vents et vocal brouillons
YourMT3+ · YPTF.MoE+Multi PS : Des brouillons MIDI modifiables à partir de mixes complets, ainsi que des entrées solo/instruments communs plus propres comme piano/clavier, guitar, bass, drums, cordes/vents et vocal brouillons
MIROS MusicFM multi-decoder exploite l’itinéraire officiel local MIROS avec pretrained_msd.pt plus le last.ckpt checkpoint affiné.
BS-RoFormer SW Fixed utilise BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml pour diviser un mix complet en six WAV stems.
OaFS reconnaît 34 classes d’instruments et exporte le MIDI et les tables de notes avec une vélocité fixe de 127.
Regroupe les notes dans le nombre indiqué de pistes de timbre anonymes, sans identifier les instruments. Convient aux courts ensembles dont le nombre d’instruments est connu ; les voix superposées de même hauteur peuvent rester indissociables.
Sépare voix, batterie, basse, guitare, piano et autres sons, puis les transcrit et fusionne le MIDI. La prédiction de vélocité et la réattribution des instruments sont facultatives ; les erreurs de séparation peuvent affecter les notes.
Sépare six pistes, puis transcrit en MIDI. SheetSage2-Refined détecte les temps, la mesure et les sections ; Tsumugi détecte les accords et la tonalité. La transcription intégrale existante reste disponible.
arXiv - 2026
Transcrivez la musique en MIDI multi-instrument avec MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ étend MT3 avec une architecture transformateur améliorée, des variantes MoE, un décodage multicanal et cross-dataset stem augmentation.
ICLR - 2022
MT3 a instauré la transcription musicale multipiste multi-piste avec modélisation de séquences et reste la référence pour les comparaisons AMT plus récentes.
arXiv / OpenReview - 2026
Le résumé du AMT Challenge 2025 a été publié le 29-03-2026 pour la compétition du 1er janvier au 30 avril 2025. Il rapporte 21 équipes enregistrées, 14 équipes soumettantes, 8 équipes valides notées, et un ensemble de 76 tests classiques avec jusqu’à trois instruments par extrait.
Signals - 2026
OaFS reconnaît 34 classes d’instruments et exporte le MIDI et les tables de notes avec une vélocité fixe de 127.
Inclut les résultats publics de modèles utilisés ici et ailleurs. Le tableau complet de la source est affiché par défaut ; les conditions et les métriques peuvent aussi être sélectionnées pour comparaison. Les scores obtenus dans des conditions différentes ne sont pas directement comparables.
Seuls les résultats dont l’implémentation d’inférence publique et les poids correspondants ont été vérifiés sont affichés, ainsi que les algorithmes sans poids entraînés. Les services fermés, les poids non publiés et les versions expérimentales non identifiées sont exclus. Ce classement ne couvre pas tous les modèles.
Des poids publics ne prouvent pas l’existence d’une licence open source complète. Dépliez les données pour consulter les licences déclarées et les conditions d’accès. Les licences non déclarées sont signalées séparément.
Le modèle sélectionné ne dispose d’aucun résultat public correspondant vérifié et n’a pas reçu de classement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 3 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Sur le même D_Test privé, l’article compare le modèle final avec CFG=1 à YourMT3+. Les résultats n’ont pas été reproduits indépendamment et ne sont pas directement comparables à MIROS ni à d’autres protocoles.
| Classement par métrique | Modèle | Condition de test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPoids publics · Code d’inférencemodel.safetensorsCode d’inférenceLicence des poids (déclaration du dépôt) : cc-by-nc-4.0Acceptation des conditions ou demande d’accès requise | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Jeux de données, versions et conditions restent distincts, même sans lignes admissibles au classement.
Entrées déployables 3 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Entrées déployables 16 / lignes d’origine 16
Entrées déployables 0 / lignes d’origine 4
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Entrées déployables 9 / lignes d’origine 17
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Entrées déployables 9 / lignes d’origine 14
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Entrées déployables 9 / lignes d’origine 9
Entrées déployables 1 / lignes d’origine 5
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Entrées déployables 1 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Entrées déployables 1 / lignes d’origine 12
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Entrées déployables 10 / lignes d’origine 25
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Entrées déployables 68 / lignes d’origine 102
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Entrées déployables 28 / lignes d’origine 28
Entrées déployables 2 / lignes d’origine 5
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Entrées déployables 3 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
D16 · MSE · Syn · Rescale
Les scores concernent le jeu de données, la métrique et la version indiqués. Des tests différents ne sont pas directement comparables.
Le tableau ne contient que des modèles dont les poids ou configurations sont publics et qui peuvent être exécutés localement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 3 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Sur le même D_Test privé, l’article compare le modèle final avec CFG=1 à YourMT3+. Les résultats n’ont pas été reproduits indépendamment et ne sont pas directement comparables à MIROS ni à d’autres protocoles.
| Classement par métrique | Modèle | Condition de test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPoids publics · Code d’inférencemodel.safetensorsCode d’inférenceLicence des poids (déclaration du dépôt) : cc-by-nc-4.0Acceptation des conditions ou demande d’accès requise | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Le tableau ne contient que des modèles dont les poids ou configurations sont publics et qui peuvent être exécutés localement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 16 / lignes d’origine 16
Le tableau 2 de l’article évalue les deux modèles publiés et déployables localement sur huit jeux absents de leurs données d’entraînement.
| Classement par métrique | Modèle | Condition de test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorPoids publics · Code d’inférencemodel.safetensorsCode d’inférenceLicence des poids (déclaration du dépôt) : cc-by-nc-4.0Acceptation des conditions ou demande d’accès requise | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Le tableau ne contient que des modèles dont les poids ou configurations sont publics et qui peuvent être exécutés localement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 9 / lignes d’origine 17
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Entrées open source reproductibles du classement officiel, avec leurs rangs officiels. F1, précision, rappel, début, fin et chevauchement sont exprimés en pourcentage ; la durée est en millisecondes. La configuration de YourMT3+ pour le concours utilise les informations sur les instruments fournies dans les noms de fichiers ; son score ne mesure pas toute la chaîne de traitement de ce site.
| Classement officiel | Modèle | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Poids publics · Code d’inférenceMIROS fine-tuned decoderMusicFM encoderCode d’inférence logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptRéglages de l’évaluationLicence des poids non déclarée | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Poids publics · Code d’inférence | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VPoids publics · Code d’inférencelogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATPoids publics · Code d’inférence | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchPoids publics · Code d’inférence | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Le tableau ne contient que des modèles dont les poids ou configurations sont publics et qui peuvent être exécutés localement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 9 / lignes d’origine 14
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Le site et l’article sont deux instantanés avec de légers écarts au dernier chiffre. Le test comprend 76 extraits synthétiques contraints, avec trois instruments au maximum. Chaque valeur conserve sa source. La configuration de YourMT3+ pour le concours utilise les informations sur les instruments fournies dans les noms de fichiers ; son score ne mesure pas toute la chaîne de traitement de ce site.
| Classement officiel | Modèle | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSPoids publics · Code d’inférenceMIROS fine-tuned decoderMusicFM encoderCode d’inférence logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptRéglages de l’évaluationLicence des poids non déclarée | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Poids publics · Code d’inférence | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VPoids publics · Code d’inférencelogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATPoids publics · Code d’inférence | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchPoids publics · Code d’inférence | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Le tableau ne contient que des modèles dont les poids ou configurations sont publics et qui peuvent être exécutés localement.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 9 / lignes d’origine 9
Table 2 regroupe les nombres exacts d’instruments et indique moyenne ± écart-type. Chaque groupe est classé séparément et ne remplace pas le tableau global. La configuration de YourMT3+ pour le concours utilise les informations sur les instruments fournies dans les noms de fichiers ; son score ne mesure pas toute la chaîne de traitement de ce site.
| Classement par métrique | Modèle | Condition de test | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSPoids publics · Code d’inférenceMIROS fine-tuned decoderMusicFM encoderCode d’inférence logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptRéglages de l’évaluationLicence des poids non déclarée | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Poids publics · Code d’inférence | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 1 / lignes d’origine 5
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ comparaison d’articles avec les références de la famille MT3 sur les métriques de type Slakh.
| Classement par métrique | Modèle | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 1 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Classement par métrique | Modèle | Condition de test | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 1 / lignes d’origine 12
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Classement par métrique | Modèle | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 10 / lignes d’origine 25
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Le tableau officiel 5 compare cinq jeux de données séparément et n’affiche que les expériences avec des poids publics correspondants vérifiés. OaFS est actuellement entraîné conjointement ; ces résultats ne prouvent pas sa supériorité sur MuScriptor.
| Classement par métrique | Modèle | Condition de test | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Poids publics · Code d’inférenceOfficial MT3 T5X checkpoint and 294 tensor filesCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSPoids publics · Code d’inférence | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 68 / lignes d’origine 102
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Classement par métrique | Modèle | Condition de test | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSPoids publics · Code d’inférence | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Poids publics · Code d’inférenceOfficial MT3 T5X checkpoint and 294 tensor filesCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 28 / lignes d’origine 28
| Classement par métrique | Modèle | Condition de test | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSPoids publics · Code d’inférence | Piano | 70.36 | 72.10 |
| 2 | MT3Poids publics · Code d’inférenceOfficial MT3 T5X checkpoint and 294 tensor filesCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | Piano | 63.12 | 69.99 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 2 / lignes d’origine 5
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Classement par métrique | Modèle | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Poids publics · Code d’inférenceOfficial MT3 T5X checkpoint and 294 tensor filesCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | 93.7 M | 34 |
| - | OaFSPoids publics · Code d’inférence | 64.9 M | 34 |
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 3 / lignes d’origine 7
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
D16 · MSE · Syn · Rescale
Tableau 3 de l’article : K est le nombre de timbres indiqué. Le F1 est calculé par piste après appariement optimal. Les résultats sont la moyenne d’au moins trois entraînements, pas une nouvelle mesure du modèle utilisé sur ce site.
| Classement par métrique | Modèle | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursPoids publics · Code d’inférence | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | SharePoids publics · Code d’inférenceseptimbre/ablation/DicephNet/dicephnet_model.pthCode d’inférenceRéglages de l’évaluationLicence des poids non déclarée | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaPoids publics · Code d’inférence | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Trouvez les méthodes et les étapes adaptées à vos fichiers.
Note de correction TelkNet · 13 août 2026
Nous avons traité la même chanson complète avec TelkNet et avec MuScriptor Large 0.3.0 officiel en mode strict. Les deux résultats comptent 8 parties et 6 560 notes ; partie, hauteur et ordre concordent note par note. L’anomalie se situe vers 182–222 secondes : la source conserve une ligne tonale nette dans le médium-aigu, mais le MIDI présente un vide d’environ 40,31 secondes au-dessus de C4. L’interface, le traitement du BPM et l’éditeur MIDI n’ont supprimé aucune note ; le vide est déjà présent dans la sortie du modèle officiel. Sans la partition d’origine, impossible de compter précisément les notes manquantes.
TelkNet ajuste la transmission des informations d’instrument entre segments de 5 secondes pour limiter la propagation des erreurs et relier les notes tenues. MuScriptor Large transcrit chaque segment une fois.
Nous avons ensuite mené à terme 16 traitements complets sur 14 chansons. Pour la première, le plus long vide d’attaque au-dessus de C4 est passé de 40,309 à 1,970 seconde. Pour la seconde, la sortie est passée de 1 698 notes sur 6 pistes actives, dont 70,79 % de piano, à 2 279 notes sur 8 pistes actives, dont 50,77 % de piano. Deux relances complètes de chaque chanson ont produit des fichiers identiques octet par octet.
Compatibilité du tempo MuScriptor
La base officielle utilise Beat This final0 et un ajustement des moindres carrés à ordonnée libre pour publier un seul BPM constant. Le mode strict échoue si les temps ne permettent pas un tempo constant ; best-effort écrit une valeur provisoire de 120 BPM. Le générateur MIDI corrige aussi le retard d’attaque et décale toutes les notes afin d’aligner une barre de mesure sur le downbeat.
TelkNet conserve le même Beat This final0, et le BPM unique détecté automatiquement reste le choix recommandé par défaut. Lorsque l’utilisateur choisit de suivre les variations de tempo du morceau, un BPM unique n’est utilisé que si la grille complète reste à moins de 40 ms des battements détectés ; sinon, une Tempo Map adaptative est publiée. Le BPM manuel reste disponible. Sans quantification, les temps de notes du modèle restent inchangés.
| Élément comparé | MuScriptor officiel v0.3.0 | TelkNet v11 |
|---|---|---|
| Détection des temps | Utilise Beat This final0. | Utilise le même Beat This final0 ; le modèle de détection n’est pas remplacé. |
| Grille de tempo publiée | Publie un BPM constant par ajustement à ordonnée libre ; le mode strict échoue en tempo variable et best-effort écrit 120 BPM. | BPM fixe seulement si la distance maximale de grille ne dépasse pas 40 ms ; sinon, Tempo Map adaptative à phase bornée. |
| Contrôle du BPM | La CLI officielle actuelle ne propose pas de BPM manuel. | Propose les modes adaptatif, fixe automatique et BPM manuel de 30 à 300. |
| Chronologie des notes | Corrige le retard d’attaque et décale toutes les notes pour aligner la mesure sur le downbeat. | Sans quantification, conserve les temps natifs et n’applique aucun décalage de mesure. |
Beat This reste un estimateur audio. Une mesure inhabituelle, un rythme faible ou sans transitoires, le rubato, des changements brusques de tempo ou une pulsation détectée par erreur à la moitié ou au double peuvent encore produire une grille incorrecte. Le BPM automatique peut différer légèrement d’une valeur exacte connue ; « Fixe · BPM manuel » est donc disponible lorsque le BPM source est connu. Activer la quantification des notes déplace volontairement leur timing. Les réglages de tempo ne corrigent pas les notes manquantes, les hauteurs erronées ni les erreurs d’instrument ou de nom de piste de MuScriptor. Les MIDI importants doivent toujours être comparés à la source dans une DAW.