MuScriptor-large: misurazione effettiva e limiti di 1.366 miliardi di parametri mix completo su MIDI multitraccia
Trascrizione musicale automatica

TRASCRIZIONE MUSICALE AUTOMATICA
MuScriptor-large è il checkpoint pubblico più grande della famiglia MuScriptor e, secondo la model card, l'opzione di punta per qualità. Converte audio mono a 16 kHz in segmenti di cinque secondi, li rappresenta come feature mel a 512 bin e usa un Transformer decoder-only a 48 livelli per generare eventi di pitch, onset, offset, strumento e batteria. Il checkpoint pubblico contiene esattamente 1,366,399,488 parametri F32, in un file safetensors da 5,465,642,136 byte.
Essere il più grande della famiglia non equivale a dichiarare uno state of the art universale. L'articolo riporta un ampio margine su YourMT3+ nel proprio D_Test privato e pubblica anche risultati su otto dataset esterni, dove MuScriptor non vince su ogni metrica. D_Real, D_RL e D_Test non sono pubblici, e MIROS non è stato confrontato con lo stesso audio, la stessa metrica e lo stesso protocollo di post-elaborazione. La conclusione difendibile è più stretta: MuScriptor-large è uno dei nuovi candidati open-weight più forti per l'AMT multi-strumento generale, sostenuto da risultati di punta riferiti dagli autori.
1. Il livello di punta è un checkpoint esatto, non un nome dedotto dal marketing
MuScriptor pubblica checkpoint small, medium e large. I metadati del repository indicano conteggi esatti dei parametri pari a 102,968,832, 307,030,528 e 1,366,399,488. Large è circa 4.45 volte più grande di medium ed è descritto esplicitamente come il rilascio di punta, quello di massima qualità. L'ablazione di scala dell'articolo usa le etichette 60M, 100M, 300M e 1.3B; quelle etichette sperimentali non vanno sostituite ai conteggi esatti dei parametri dei tre checkpoint pubblici.
Alla revisione 8809fdfbed2affa7ade94a7059e746e3880720e7, il repository dei pesi contiene un model.safetensors da 5,465,642,136 byte, più un piccolo insieme di file di configurazione. Il codice sorgente è fissato separatamente al commit 302343e8992bdfc619f77f1988168374ed5d675d. Insieme, questi identificatori vincolano architettura, tokenizer, impostazioni predefinite di inferenza e pesi. Un'etichetta che dice «large» non basta se un'implementazione può caricare silenziosamente medium o seguire un ramo main in movimento.
L'archiviazione in F32 non significa che ogni operazione debba usare F32, e non dimostra che un derivato non ufficiale a bassi bit sia equivalente in qualità. Il rilascio non fornisce alcuno studio di qualità con lo stesso protocollo per un checkpoint quantizzato alternativo. Un percorso che privilegia la qualità può quindi richiedere l'identità esatta di large e fallire in modo esplicito quando non riesce a caricarla, invece di passare a un livello più piccolo.

2. Da una finestra acustica a una sequenza di eventi condizionata
L'ingresso viene convertito in mono a 16 kHz. La trasformata di Fourier a breve termine usa una finestra da 2,048 punti e un hop di 160 campioni, producendo 100 frame al secondo, poi li proietta in 512 bin mel. Un segmento di cinque secondi contiene quindi circa 500 frame acustici. Queste feature entrano in un Transformer decoder-only con larghezza 1,536, 24 teste di attenzione e 48 livelli. Il modello non divide prima un mix in un insieme fisso di stem per poi eseguire un trascrittore indipendente su ciascuno; gli eventi di tempo, strumento e nota vengono generati in una sequenza condivisa.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xrappresentazione mel di un segmento audio di cinque secondiccondizione opzionale sullo strumento; un insieme vuoto indica rilevamento automaticoynun token di evento di tempo, strumento, pitch o terminazione
La fattorizzazione autoregressiva permette agli strumenti e agli accordi già generati di informare le decisioni successive, utile per il contesto tra strumenti in un mix completo. Propaga però anche gli errori. Un time-shift sbagliato può spostare le note successive, un note-off mancante può lasciare una nota sospesa, e una deriva nei token di strumento può mettere pitch corretti sulla traccia sbagliata.
L'esempio ufficiale attuale usa batch size 1, beam size 1, cfg_coef=1 e prelude forcing. Beam size 1 è un percorso argmax deterministico. Un beam più ampio conserva più prefissi e consuma più memoria; senza un'ablazione controllata, beam 4 non può essere semplicemente ribattezzato «massima qualità».
La classifier-free guidance rende più netta una condizione combinando i logit condizionali e incondizionali: ℓ=ℓu+s(ℓc−ℓu). La tabella finale dell'articolo riporta una Multi F1 di 48.2 a CFG=1 e di 47.8 a CFG=2. L'impostazione pubblica predefinita resta quindi 1, senza presumere che un valore di guidance più alto sia migliore.
3. 1.45 milioni di file MIDI, 11,000 ore di audio reale e 300 trascrizioni revisionate
L'articolo divide il materiale di addestramento in tre livelli. D_Synth contiene circa 1.45 milioni di file MIDI provenienti da Lakh MIDI e da un fornitore commerciale di dati, resi in audio attraverso più di 250 SoundFont. Trasposizione, tempo, velocity, randomizzazione degli strumenti e detuning espongono lo stesso materiale simbolico a una gamma timbrica più ampia. Il rendering sintetico fornisce confini esatti degli eventi, ma non può riprodurre appieno le infiltrazioni tra microfoni, il mastering, i rumori dell'esecutore o la lunga coda della produzione reale.
D_Real contiene circa 170,000 registrazioni interne, per un totale di circa 11,000 ore. Le etichette delle note derivano da un allineamento audio-simbolico, non da un'annotazione manuale a livello di campione. I mix reali allargano la distribuzione di produzione, aggiungendo però corrispondenza dei titoli, differenze di versione, latenza dei plug-in ed errore di allineamento. D_RL seleziona poi 300 trascrizioni di alta qualità revisionate da persone per un post-training in stile GRPO/REINFORCE. Le tre fasi affrontano copertura, spostamento di dominio e preferenza di sequenza, ma i dataset reali e di reward non sono pubblici.
L'apprendimento supervisionato minimizza la log-verosimiglianza negativa a livello di token, mentre il post-training usa una reward composta da misure di onset, offset, frame, batteria e multi-strumento. L'ottimizzazione a livello di sequenza può penalizzare fallimenti strutturali che una classificazione indipendente dei token non coglie. Poiché l'insieme di reward revisionato conta solo 300 brani, la copertura di strumenti rari, tempi estremi e tradizioni non occidentali richiede ancora una valutazione pubblica esterna.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTcross-entropy di sequenza durante l'addestramento supervisionatoR(y)reward combinata per una trascrizione completataD_RL300 trascrizioni revisionate, non un benchmark pubblico
4. Una whitelist rigida tra 35 nomi di interfaccia e 36 gruppi appresi
MuScriptor mappa 128 programmi General MIDI nei gruppi di strumenti MT3_FULL_PLUS. Il modello apprende 36 gruppi, mentre la demo pubblica espone 35 nomi selezionabili: pianoforti acustici ed elettrici, tre gruppi di chitarre, basso acustico ed elettrico, archi, ottoni, legni, sintetizzatori, voce e batteria tra gli altri. La differenza riflette un confine tra rappresentazione interna e interfaccia selezionabile; le 35 scelte dell'interfaccia non vanno riportate come il numero completo delle categorie apprese.
Con un campo strumenti vuoto, il modello può rilevare qualsiasi gruppo supportato. Non appena si selezionano uno o più nomi, il decoder maschera in modo rigido tutti gli altri token di strumento. È una whitelist rigorosa, non una preferenza morbida. Può ridurre le infiltrazioni tra strumenti quando l'ensemble è noto, ma può anche cancellare una parte reale che l'utente ha dimenticato di includere. Pianoforte, basso e batteria possono essere un buon vincolo per un trio noto; il rilevamento automatico è più sicuro quando l'arrangiamento è incerto.
Il vincolo deve viaggiare dall'interfaccia fino alla maschera dei token del tokenizer. Chip selezionati che un'API scarta creano un falso controllo, mentre stringhe senza restrizioni rimandano gli errori di battitura all'esecuzione. Un contratto fedele accetta solo i 35 identificatori ufficiali, rifiuta i duplicati e definisce un array vuoto come rilevamento automatico.

5. Come leggere l'ampio margine sul D_Test privato
La Tabella 1 dell'articolo confronta YourMT3+ YPTF.MoE+Multi (noPS) con le fasi di addestramento di MuScriptor sullo stesso D_Test privato. Il modello large finale a CFG=1 riporta Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 e Multi 48.2. YourMT3+ riporta 32.52, 45.54, 17.79, 41.4 e 21.9. Il divario è sostanziale e sostiene l'affermazione che i dati più ampi, il modello più grande e la ricetta di post-training degli autori abbiano migliorato materialmente le prestazioni nella loro distribuzione di mix reali e nel loro protocollo di annotazione.
| Stesso D_Test privato | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
La Multi F1 richiede che strumento, pitch, onset e offset soddisfino insieme la regola di corrispondenza, quindi non è intercambiabile con un punteggio che controlla meno campi. MIROS ha ottenuto 0.5998 nell'AMT Challenge 2025 su un diverso insieme di 76 estratti sintetici di circa venti secondi e con una Multi Onset F1 basata su program + pitch + onset. MuScriptor non ha partecipato a quel test con lo stesso protocollo. Mettere 48.2 accanto a 0.5998 significherebbe confrontare denominatori diversi e definizioni di evento diverse.
D_Test contiene 372 opere multi-strumento tratte da materiale interno, con un filtraggio dei titoli pensato per ridurre le perdite tra training e test. Il filtraggio per titolo è utile, ma non equivale a un audit pubblico e riproducibile di deduplicazione. Audio, annotazioni, scelte di versione e regole di pulizia delle sovrapposizioni non sono disponibili. Il dato principale deve quindi restare etichettato come risultato su insieme privato riferito dagli autori.
6. Le tabelle cross-domain e l'ablazione sulle note sovrapposte mostrano le regioni di fallimento
Gli otto dataset esterni mostrano un profilo più irregolare. Contro YourMT3+, MuScriptor vince la Frame F1 su 7/8 dataset e la Multi F1 su 6/8, ma vince la Onset F1 solo su 4/8. Resta indietro su onset, frame, offset e multi per RWC-C; su offset, drums e multi per RWC-R; e su onset e offset per Bach10. Una forte attività di pitch sostenuto e il contenuto complessivo delle tracce non implicano dominio su ogni transiente, famiglia di strumenti o distribuzione di registrazione.
Il tokenizer ha un limite rappresentativo concreto: due note sovrapposte simultanee con lo stesso strumento e lo stesso pitch non possono essere entrambe rappresentate in modo pulito. L'articolo rimuove la sovrapposizione più breve nella valutazione principale su D_Test. Senza quella rimozione, la Onset F1 scende da 60.4 a 51.8, la Offset da 49.0 a 41.9 e la Multi da 48.2 a 42.0. Note di pianoforte ripetute allo stesso pitch con il pedale, unisoni di archi e chitarre stratificate possono tutti incontrare questa collisione.
L'ablazione di scala del modello va in un grafico separato rispetto al confronto finale. La Tabella 4 dell'articolo addestra solo su D_Real con condizionamento sullo strumento. La Multi F1 sale da 35.2 a 38.2, 39.7 e 40.5 lungo le etichette 60M, 100M, 300M e 1.3B. Dimostra un beneficio continuo della scala in quella configurazione, ma non include le fasi finali di pretraining sintetico e di reinforcement, e non è un benchmark diretto dei file pubblici small, medium e large.
| Etichetta di scala dell'articolo | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
La revisione all'ascolto dovrebbe concentrarsi su unisoni densi, transienti condivisi tra batteria e basso, chitarre distorte, cori, timbri rari e riverbero pesante. I punteggi aggregati possono restare buoni mentre una traccia sviluppa frammenti brevi, infiltrazioni tra tracce, sustain tagliati o più canali per un solo strumento. Le medie descrivono il comportamento di una popolazione; non sostituiscono l'ispezione del piano roll e l'ascolto risintetizzato.
7. Cosa conserva il MIDI multitraccia Type-1 e cosa fissa il writer
Il writer attuale produce MIDI Type-1: i metadati occupano una traccia propria e ogni traccia di strumento porta un nome, un program, un canale ed eventi note-on e note-off. La batteria segue la convenzione del canale 10 di General MIDI. Rispetto ad appiattire tutto in Type-0, questa struttura è più facile da silenziare, mettere in solo e modificare in una DAW, e rende più visibile la deriva degli strumenti.
L'output non recupera le dinamiche eseguite. Il codice pubblico scrive la velocity delle note a 100. Un campo velocity nel MIDI soddisfa solo il formato del file; non è prova che il modello abbia inferito l'espressione dalla registrazione. La batteria fornisce solo gli onset. Il modello non inferisce nemmeno la mappa di tempo, l'indicazione metrica o la griglia dei battiti del brano. Il writer usa un evento di tempo fisso a 120 BPM per mappare i secondi degli eventi in tick. «Fisso a 120 BPM» non deve mai essere presentato come «120 BPM rilevati».
Il timing continuo può essere conservato in modo approssimato, mentre i valori notati mostrati dai software di spartito dipendono da quel tempo fisso e dalla quantizzazione successiva. Rubato, swing, passaggi a tempo libero e cambi di tempo richiedono un'analisi separata di battito e struttura. Eventi suonabili, tracce modificabili e notazione pronta per la pubblicazione sono tre livelli diversi; voicing, legature di valore, pedalizzazione, grafia enarmonica, ripetizioni ed espressione richiedono ancora decisioni musicali.
Quando audio lungo viene elaborato come segmenti sovrapposti, la proprietà degli onset va assegnata in secondi globali, mentre le note che restano aperte oltre un confine vanno riportate avanti. Concatenare i file MIDI dei segmenti può duplicare gli attacchi al confine, tagliare i sustain o scartare nomi delle tracce, program e il canale della batteria. In fase di accettazione bisogna controllare note sospese, metadati delle tracce preservati e assenza di derive sistematiche di timing tra le giunzioni dei segmenti.
8. Informazioni sulla licenza
Il codice di MuScriptor usa la licenza MIT. I pesi large usano CC BY-NC 4.0 e sono distribuiti tramite una pagina Hugging Face ad accesso controllato. L'accesso richiede un account connesso, l'accettazione dei termini della pagina e la conferma che l'utente detenga i diritti necessari sulla musica da trascrivere.
Codice e pesi hanno licenze separate. L'accesso ai file dei pesi non modifica la loro condizione NonCommercial; la model card fissata e il testo della licenza sono i riferimenti primari per l'uso consentito.
9. Conclusioni e fonti primarie
Il valore di MuScriptor-large è specifico: è il membro pubblico più grande della famiglia con 1.366B parametri, mira a mix completi reali, supporta una whitelist rigida di strumenti, produce MIDI multitraccia Type-1 modificabili e mostra un ampio margine riferito dagli autori su YourMT3+ nel D_Test privato. I suoi limiti sono altrettanto specifici: i dati principali non sono pubblici, le metriche esterne non sono una vittoria piena, le note sovrapposte allo stesso pitch collidono nel tokenizer, velocity e una vera mappa di tempo sono assenti, e i pesi sono concessi in licenza per uso non commerciale.
«Checkpoint MuScriptor di massima qualità» è sostenuto. «SOTA universale audio-MIDI confermato in modo indipendente» non lo è. Questa valutazione può cambiare quando una riproduzione pubblica confronterà MuScriptor-large, YourMT3+ e MIROS sulle stesse registrazioni, definizioni di evento, tolleranze di corrispondenza e politica sulle sovrapposizioni.
- Articolo di MuScriptor: metodo, fonti di addestramento, Tabelle 1–4 e ablazione sulle note sovrapposte
- Commit sorgente fissato: inferenza, tokenizer, writer MIDI Type-1 e comportamento della demo
- Revisione fissata di MuScriptor-large: file, model card e licenza
- AMT Challenge 2025: MIROS su un dataset diverso e con protocollo Multi Onset F1