Modèle
MuScriptor-large : mesure réelle et limites de 1,366 milliard de paramètres, mixage complet en MIDI multipiste
Transcription automatique de la musique
Transcription automatique de la musique
© 2026 TelkNet. Tous droits réservés.
TRANSCRIPTION AUTOMATIQUE DE LA MUSIQUE
MuScriptor-large est le plus grand checkpoint public de MuScriptor et l'option phare, de meilleure qualité, de la fiche modèle. Il convertit l'audio mono 16 kHz en segments de cinq secondes, les représente sous forme de caractéristiques mel à 512 bandes, puis utilise un Transformer décodeur-seul de 48 couches pour générer les événements de hauteur, d'attaque, d'extinction, d'instrument et de batterie. Le checkpoint public contient exactement 1,366,399,488 paramètres F32, pour un fichier safetensors de 5,465,642,136 octets.
Être le plus grand d'une famille ne revient pas à revendiquer l'état de l'art universel. L'article rapporte un gain important sur YourMT3+ sur son D_Test privé et publie également des résultats sur huit jeux de données externes, où MuScriptor ne remporte pas toutes les métriques. D_Real, D_RL et D_Test ne sont pas publics, et MIROS n'a pas été comparé selon le même protocole audio, la même métrique et le même post-traitement. La conclusion défendable est plus étroite : MuScriptor-large compte parmi les nouveaux candidats à poids ouverts les plus solides pour l'AMT multi-instrument généraliste, appuyé par des résultats de premier plan rapportés par les auteurs.
MuScriptor publie des checkpoints small, medium et large. Les métadonnées du dépôt indiquent des nombres de paramètres exacts de 102,968,832, 307,030,528 et 1,366,399,488. Le large fait environ 4.45 fois la taille du medium et est explicitement décrit comme la version phare, de la meilleure qualité. L'ablation d'échelle de l'article utilise les étiquettes 60M, 100M, 300M et 1.3B ; ces étiquettes d'expérience ne doivent pas être substituées aux nombres de paramètres exacts des trois checkpoints publics.
À la révision 8809fdfbed2affa7ade94a7059e746e3880720e7, le dépôt de poids contient un model.safetensors de 5,465,642,136 octets, ainsi qu'un petit ensemble de fichiers de configuration. Le code source est épinglé séparément au commit 302343e8992bdfc619f77f1988168374ed5d675d. Ensemble, ces identifiants lient l'architecture, le tokenizer, les paramètres d'inférence par défaut et les poids. Une étiquette « large » ne suffit pas si une implémentation peut charger silencieusement le medium ou suivre une branche main mouvante.
Le stockage F32 ne signifie pas que chaque opération doit utiliser F32, et il n'établit pas qu'un dérivé non officiel en basse précision soit équivalent en qualité. La publication ne fournit aucune étude de qualité à protocole identique pour un checkpoint quantifié alternatif. Un parcours axé sur la qualité peut donc exiger l'identité exacte du large et échouer clairement lorsqu'elle ne peut pas se charger, plutôt que de basculer vers un niveau inférieur.
L'entrée est convertie en mono 16 kHz. La transformée de Fourier à court terme utilise une fenêtre de 2,048 points et un pas de 160 échantillons, ce qui produit 100 trames par seconde, puis les projette en 512 bandes mel. Un segment de cinq secondes contient donc environ 500 trames acoustiques. Ces caractéristiques entrent dans un Transformer décodeur-seul d'une largeur de 1,536, doté de 24 têtes d'attention et de 48 couches. Le modèle ne divise pas d'abord un mixage en un ensemble fixe de pistes pour faire tourner un transcripteur indépendant sur chacune ; les événements de temps, d'instrument et de note sont générés dans une séquence partagée.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xreprésentation mel d'un segment audio de cinq secondesccondition d'instrument optionnelle ; un ensemble vide signifie une détection automatiqueynun token d'événement de temps, d'instrument, de hauteur ou de terminaisonLa factorisation autorégressive permet aux instruments et aux accords déjà générés d'éclairer les décisions ultérieures, ce qui est précieux pour le contexte inter-instruments dans un mixage complet. Elle propage aussi les erreurs. Un décalage temporel erroné peut déplacer les notes suivantes, un note-off manquant peut laisser une note suspendue, et une dérive du token d'instrument peut placer des hauteurs correctes sur la mauvaise piste.
L'exemple officiel actuel utilise une taille de lot de 1, une taille de faisceau de 1, cfg_coef=1 et le forçage de prélude. Une taille de faisceau de 1 correspond à un chemin argmax déterministe. Un faisceau plus large conserve davantage de préfixes et consomme plus de mémoire ; sans ablation contrôlée, le faisceau 4 ne peut pas être simplement rebaptisé « qualité maximale ».
Le guidage sans classifieur accentue une condition en combinant les logits conditionnels et inconditionnels : ℓ=ℓu+s(ℓc−ℓu). Le tableau final de l'article rapporte un Multi F1 de 48.2 à CFG=1 et de 47.8 à CFG=2. La valeur publique par défaut reste donc 1, plutôt que de présumer qu'un guidage plus fort serait meilleur.
L'article sépare le matériau d'entraînement en trois couches. D_Synth contient environ 1.45 million de fichiers MIDI issus de Lakh MIDI et d'un fournisseur de données commercial, rendus à travers plus de 250 SoundFonts. La transposition, le tempo, la vélocité, la randomisation des instruments et le désaccordage exposent le même matériau symbolique à une gamme timbrale plus large. Le rendu synthétique fournit des frontières d'événements exactes, mais ne peut pas reproduire pleinement les fuites de micro, le mastering, les bruits d'interprétation ni la longue traîne de la production réelle.
D_Real contient environ 170,000 enregistrements internes, soit quelque 11,000 heures au total. Leurs étiquettes de notes proviennent d'un alignement audio-symbolique plutôt que d'une annotation manuelle au niveau de l'échantillon. Les mixages réels élargissent la distribution de production tout en ajoutant l'appariement des titres, les différences de versions, la latence des plug-ins et l'erreur d'alignement. D_RL sélectionne ensuite 300 transcriptions de haute qualité relues par des humains pour un post-entraînement de type GRPO/REINFORCE. Les trois étapes traitent la couverture, le changement de domaine et la préférence de séquence, mais les jeux de données réels et de récompense ne sont pas publics.
L'apprentissage supervisé minimise la log-vraisemblance négative au niveau du token, tandis que le post-entraînement s'appuie sur une récompense assemblée à partir de mesures d'attaque, d'extinction, de trame, de batterie et multi-instruments. L'optimisation au niveau de la séquence peut pénaliser des échecs structurels qu'une classification indépendante des tokens laisse passer. Comme l'ensemble de récompense relu ne compte que 300 pistes, la couverture des instruments rares, des tempi extrêmes et des traditions non occidentales reste à évaluer publiquement sur des données externes.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTentropie croisée de séquence pendant l'entraînement superviséR(y)récompense combinée pour une transcription terminéeD_RL300 transcriptions relues, et non un benchmark publicMuScriptor fait correspondre les 128 programmes General MIDI aux groupes d'instruments MT3_FULL_PLUS. Le modèle apprend 36 groupes, tandis que la démo publique expose 35 noms sélectionnables : pianos acoustiques et électriques, trois groupes de guitares, basses acoustique et électrique, cordes, cuivres, bois, synthétiseurs, voix et batterie, entre autres. L'écart traduit une frontière entre représentation interne et interface sélectionnable ; les 35 choix d'interface ne doivent pas être présentés comme le nombre total de catégories apprises.
Avec un champ d'instrument vide, le modèle peut détecter n'importe quel groupe pris en charge. Dès qu'un ou plusieurs noms sont sélectionnés, le décodeur masque durement tous les autres tokens d'instrument. Il s'agit d'une liste blanche stricte, et non d'une préférence souple. Elle peut réduire les fuites d'instruments lorsque l'ensemble est connu, mais elle peut aussi effacer une partie réelle que l'utilisateur a omis d'inclure. Piano, basse et batterie peuvent constituer une bonne contrainte pour un trio connu ; la détection automatique est plus sûre lorsque l'arrangement est incertain.
La contrainte doit voyager de l'interface jusqu'au masque de tokens du tokenizer. Des puces sélectionnées qu'une API abandonne créent un faux contrôle, tandis que des chaînes libres repoussent les fautes de frappe au moment de l'exécution. Un contrat fidèle n'accepte que les 35 identifiants officiels, rejette les doublons et définit un tableau vide comme une détection automatique.
Le tableau 1 de l'article compare YourMT3+ YPTF.MoE+Multi (noPS) aux étapes d'entraînement de MuScriptor sur le même D_Test privé. Le modèle large final à CFG=1 rapporte Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 et Multi 48.2. YourMT3+ rapporte 32.52, 45.54, 17.79, 41.4 et 21.9. L'écart est substantiel et soutient l'affirmation selon laquelle les données plus abondantes, le modèle plus grand et la recette de post-entraînement des auteurs ont matériellement amélioré les performances dans leur distribution de mixages réels et leur protocole d'annotation.
| Même D_Test privé | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Le Multi F1 exige que l'instrument, la hauteur, l'attaque et l'extinction satisfassent ensemble la règle d'appariement ; il n'est donc pas interchangeable avec un score qui vérifie moins de champs. MIROS a obtenu 0.5998 à l'AMT Challenge 2025 sur un ensemble différent de 76 extraits synthétiques d'environ vingt secondes, selon un Multi Onset F1 programme + hauteur + attaque. MuScriptor n'a pas participé à ce test à protocole identique. Mettre côte à côte 48.2 et 0.5998 reviendrait à comparer des dénominateurs et des définitions d'événements différents.
D_Test contient 372 œuvres multi-instruments tirées de matériau interne, avec un filtrage par titre destiné à réduire les fuites entre entraînement et test. Ce filtrage est utile, mais il n'équivaut pas à un audit public et reproductible de la déduplication. L'audio, les annotations, les choix de versions et les règles de nettoyage des chevauchements ne sont pas disponibles. Le chiffre vedette doit donc rester étiqueté comme un résultat rapporté par les auteurs sur un ensemble privé.
Les huit jeux de données externes dessinent un profil plus inégal. Face à YourMT3+, MuScriptor remporte le Frame F1 sur 7/8 jeux de données et le Multi F1 sur 6/8, mais ne gagne l'Onset F1 que sur 4/8. Il est devancé sur onset, frame, offset et multi pour RWC-C ; sur offset, drums et multi pour RWC-R ; et sur onset et offset pour Bach10. Une forte activité de hauteurs tenues et un bon contenu global des pistes n'impliquent pas une domination sur chaque transitoire, famille d'instruments ou distribution d'enregistrement.
Le tokenizer a une limite de représentation concrète : deux notes simultanées qui se chevauchent, avec le même instrument et la même hauteur, ne peuvent pas être représentées proprement toutes les deux. L'article retire le chevauchement le plus court pour l'évaluation principale sur D_Test. Sans ce retrait, l'Onset F1 tombe de 60.4 à 51.8, l'Offset de 49.0 à 41.9 et le Multi de 48.2 à 42.0. Les notes de piano répétées à la même hauteur sous pédale, les unissons de cordes et les guitares superposées peuvent toutes rencontrer cette collision.
L'ablation d'échelle du modèle appartient à un graphique distinct de la comparaison finale. Le tableau 4 de l'article entraîne uniquement sur D_Real avec conditionnement d'instrument. Le Multi F1 progresse de 35.2 à 38.2, 39.7 puis 40.5 à travers les étiquettes 60M, 100M, 300M et 1.3B. Cela démontre un bénéfice continu de l'échelle dans cette configuration, mais cela n'inclut ni le pré-entraînement synthétique final ni les étapes de renforcement, et ce n'est pas un benchmark direct des fichiers publics small, medium et large.
| Étiquette d'échelle de l'article | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
La relecture à l'écoute devrait se concentrer sur les unissons denses, les transitoires partagés entre batterie et basse, les guitares saturées, les chœurs, les timbres rares et les fortes réverbérations. Les scores agrégés peuvent rester bons pendant qu'une piste développe de courts fragments, des fuites entre pistes, des tenues coupées ou plusieurs canaux pour un seul instrument. Les moyennes décrivent un comportement de population ; elles ne remplacent ni l'inspection du piano-roll ni la réécoute resynthétisée.
Le module d'écriture actuel produit du MIDI Type-1 : les métadonnées occupent leur propre piste, et chaque piste d'instrument porte un nom, un programme, un canal ainsi que des événements note-on et note-off. La batterie suit la convention du canal 10 de General MIDI. Comparé à tout aplatir en Type-0, cette structure est plus facile à couper, à mettre en solo et à éditer dans un DAW, et elle rend la dérive d'instrument plus visible.
La sortie ne récupère pas les nuances jouées. Le code public écrit la vélocité des notes à 100. Un champ de vélocité dans le MIDI ne fait que satisfaire le format de fichier ; ce n'est pas une preuve que le modèle a inféré l'expression depuis l'enregistrement. La batterie ne fournit que des attaques. Le modèle n'infère pas non plus la carte de tempo, la mesure ni la grille rythmique du morceau. Le module d'écriture utilise un événement de tempo fixe à 120 BPM pour convertir les secondes des événements en ticks. « Fixé à 120 BPM » ne doit jamais être présenté comme « 120 BPM détectés ».
Le timing continu peut être approximativement conservé, tandis que les valeurs notées affichées par un logiciel de partition dépendent de ce tempo fixe et d'une quantisation ultérieure. Le rubato, le swing, les passages en temps libre et les changements de tempo exigent une analyse séparée des pulsations et de la structure. Événements jouables, pistes éditables et notation prête à publier sont trois couches différentes ; le voicing, les liaisons, le pédalage, l'orthographe enharmonique, les reprises et l'expression demandent encore des décisions musicales.
Lorsqu'un long audio est traité en segments qui se chevauchent, la propriété des attaques doit être attribuée en secondes globales, tandis que les notes restées ouvertes à cheval sur une frontière sont reportées. Concaténer les fichiers MIDI des segments peut dupliquer les attaques aux frontières, couper des tenues ou abandonner les noms de pistes, les programmes et le canal de batterie. L'acceptation doit vérifier l'absence de notes suspendues, la conservation des métadonnées de piste et l'absence de dérive temporelle systématique aux jonctions de segments.
Le code de MuScriptor est sous licence MIT. Les poids du large sont sous CC BY-NC 4.0 et distribués via une page Hugging Face à accès restreint. L'accès exige un compte connecté, l'acceptation des conditions de la page et la confirmation que l'utilisateur détient les droits nécessaires sur la musique transcrite.
Le code et les poids relèvent de licences distinctes. L'accès aux fichiers de poids ne modifie pas leur condition NonCommercial ; la fiche modèle épinglée et le texte de la licence restent les références premières pour les usages autorisés.
La valeur de MuScriptor-large est précise : c'est le plus grand membre public de la famille avec 1.366B paramètres, il vise les mixages complets réels, prend en charge une liste blanche d'instruments stricte, produit du MIDI multipiste Type-1 éditable et affiche un gain important, rapporté par les auteurs, sur YourMT3+ sur le D_Test privé. Ses limites sont tout aussi précises : les données vedettes ne sont pas publiques, les métriques externes ne font pas le grand chelem, les notes chevauchées de même hauteur entrent en collision dans le tokenizer, la vélocité et une vraie carte de tempo sont absentes, et les poids sont sous licence non commerciale.
« Checkpoint MuScriptor de la plus haute qualité » est étayé. « État de l'art universel en audio-vers-MIDI confirmé indépendamment » ne l'est pas. Ce jugement pourra changer lorsqu'une reproduction publique comparera MuScriptor-large, YourMT3+ et MIROS sur les mêmes enregistrements, définitions d'événements, tolérances d'appariement et politique de chevauchement.