MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Trascrivi la musica in MIDI per più strumenti con MuScriptor-large.
Caricamento...
Trasforma brani o ensemble in MIDI multitraccia per correggere note e parti nella DAW.
Input
Supporta ingressi in formati come mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formati supportati
Produzione
MIDI · CSV
Caso d'uso
Separa voce, batteria, basso, chitarra, pianoforte e altri suoni, poi trascrive e unisce il MIDI. Sono disponibili la stima della velocity e la riassegnazione degli strumenti; gli errori di separazione possono influire sulle note.
Scegli un modello adatto al materiale e allo scopo, poi consulta gli esempi prima di inviare.
Costo, tempo, formati e parametri dipendono dal modello scelto.
Nel feedback indica lo strumento, i passaggi e il problema. Gli screenshot possono aiutare a individuarlo.
Separa voce, batteria, basso, chitarra, pianoforte e altri suoni, poi trascrive e unisce il MIDI. Sono disponibili la stima della velocity e la riassegnazione degli strumenti; gli errori di separazione possono influire sulle note.
Correzione predefinita che riduce errori strumentali tra segmenti preservando le tenute; prima scelta per mix completi.
YourMT3+ · YPTF.MoE+Multi noPS: Draft MIDI modificabili da mix completi, più input più assolistici/strumenti comuni più puliti come piano/tastiera, guitar, bass, drums, archi/fiati e vocal draft
YMT3+: Draft MIDI modificabili da mix completi, più input più assolistici/strumenti comuni più puliti come piano/tastiera, guitar, bass, drums, archi/fiati e vocal draft
YourMT3+ · YPTF.Single noPS: Draft MIDI modificabili da mix completi, più input più assolistici/strumenti comuni più puliti come piano/tastiera, guitar, bass, drums, archi/fiati e vocal draft
YourMT3+ · YPTF.Multi PS: Draft MIDI modificabili da mix completi, più input più assolistici/strumenti comuni più puliti come piano/tastiera, guitar, bass, drums, archi/fiati e vocal draft
YourMT3+ · YPTF.MoE+Multi PS: Draft MIDI modificabili da mix completi, più input più assolistici/strumenti comuni più puliti come piano/tastiera, guitar, bass, drums, archi/fiati e vocal draft
MIROS MusicFM multi-decoder gestisce il percorso ufficiale locale MIROS con pretrained_msd.pt più il last.ckpt checkpoint finemente calibrato.
BS-RoFormer SW Fixed usa BS-Rofo-SW-Fixed.ckpt più BS-Rofo-SW-Fixed.yaml per suddividere un mix completo in six WAV stems.
OaFS riconosce 34 classi di strumenti ed esporta MIDI e tabelle di note con velocity fissa a 127.
Raggruppa le note nel numero indicato di tracce timbriche senza nome. Non identifica gli strumenti. Adatto a brevi ensemble con un numero noto di strumenti; parti sovrapposte alla stessa altezza possono risultare inseparabili.
Separa sei stem, poi trascrive in MIDI. SheetSage2-Refined rileva pulsazioni, metro e sezioni; Tsumugi rileva accordi e tonalità. La trascrizione integrale precedente resta selezionabile.
arXiv - 2026
Trascrivi la musica in MIDI per più strumenti con MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ estende MT3 con architettura trasformatore migliorata, varianti MoE, decodifica multicanale e cross-dataset stem augmentation.
ICLR - 2022
MT3 ha introdotto la trascrizione musicale multi-task multitraccia con modellazione di sequenza e rimane la base per i confronti AMT più recenti.
arXiv / OpenReview - 2026
Il riepilogo della AMT Challenge 2025 è stato pubblicato il 29-03-2026 per la competizione dal 1° gennaio al 30 aprile 2025. Riporta 21 squadre registrate, 14 squadre che si presentano, 8 squadre valide e un set di test classico da 76 pezzi con fino a tre strumenti per estratto.
Signals - 2026
OaFS riconosce 34 classi di strumenti ed esporta MIDI e tabelle di note con velocity fissa a 127.
Include risultati pubblici dei modelli usati qui e altrove. Per impostazione predefinita viene mostrata la tabella completa della fonte; è anche possibile scegliere condizioni e metriche da confrontare. I punteggi ottenuti in condizioni diverse non sono direttamente confrontabili.
Sono mostrati solo risultati con implementazione pubblica di inferenza e pesi corrispondenti verificati, oltre agli algoritmi che non richiedono pesi. Sono esclusi servizi chiusi, pesi non pubblicati e versioni sperimentali non identificate. Non è una classifica di tutti i modelli.
I pesi pubblici non dimostrano l’esistenza di una licenza open source completa. Espandi i dati per consultare le licenze dichiarate e le condizioni di accesso. Le licenze non dichiarate sono indicate separatamente.
Il modello selezionato non ha un risultato pubblico corrispondente verificato e non è stato classificato.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 3 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Sullo stesso D_Test privato, l’articolo confronta il modello finale CFG=1 con YourMT3+. I risultati non sono stati riprodotti in modo indipendente e non sono direttamente confrontabili con MIROS o altri protocolli.
| Classifica per metrica | Modello | Condizione di test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPesi pubblici · Codice di inferenzamodel.safetensorsCodice di inferenzaLicenza dei pesi (dichiarazione del repository): cc-by-nc-4.0È necessario accettare i termini o richiedere l’accesso | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Dataset, versioni e condizioni restano separati, anche per fonti senza righe ammesse in classifica.
Voci distribuibili 3 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Voci distribuibili 16 / righe originali 16
Voci distribuibili 0 / righe originali 4
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Voci distribuibili 9 / righe originali 17
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Voci distribuibili 9 / righe originali 14
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Voci distribuibili 9 / righe originali 9
Voci distribuibili 1 / righe originali 5
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Voci distribuibili 1 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Voci distribuibili 1 / righe originali 12
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Voci distribuibili 10 / righe originali 25
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Voci distribuibili 68 / righe originali 102
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Voci distribuibili 28 / righe originali 28
Voci distribuibili 2 / righe originali 5
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Voci distribuibili 3 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
D16 · MSE · Syn · Rescale
I punteggi si riferiscono al dataset, alla metrica e alla versione indicati; test diversi non sono direttamente confrontabili.
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 3 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Sullo stesso D_Test privato, l’articolo confronta il modello finale CFG=1 con YourMT3+. I risultati non sono stati riprodotti in modo indipendente e non sono direttamente confrontabili con MIROS o altri protocolli.
| Classifica per metrica | Modello | Condizione di test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPesi pubblici · Codice di inferenzamodel.safetensorsCodice di inferenzaLicenza dei pesi (dichiarazione del repository): cc-by-nc-4.0È necessario accettare i termini o richiedere l’accesso | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 16 / righe originali 16
La tabella 2 dell’articolo valuta i due modelli pubblicati e installabili localmente su otto dataset esclusi da entrambi i training set.
| Classifica per metrica | Modello | Condizione di test | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorPesi pubblici · Codice di inferenzamodel.safetensorsCodice di inferenzaLicenza dei pesi (dichiarazione del repository): cc-by-nc-4.0È necessario accettare i termini o richiedere l’accesso | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 9 / righe originali 17
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Voci open source riproducibili della classifica ufficiale, con le posizioni originali. F1, precisione, richiamo, inizio, fine e sovrapposizione sono espressi in percentuale; il tempo in millisecondi. La configurazione di YourMT3+ per la gara usa le informazioni sugli strumenti contenute nei nomi dei file; il punteggio non misura l’intera catena di elaborazione di questo sito.
| Classifica ufficiale | Modello | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Pesi pubblici · Codice di inferenzaMIROS fine-tuned decoderMusicFM encoderCodice di inferenza logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptImpostazioni della valutazioneLicenza dei pesi non dichiarata | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Pesi pubblici · Codice di inferenza | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VPesi pubblici · Codice di inferenzalogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATPesi pubblici · Codice di inferenza | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchPesi pubblici · Codice di inferenza | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 9 / righe originali 14
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Sito e paper sono due istantanee con piccole differenze nell’ultima cifra. Il test comprende 76 estratti sintetici vincolati, con un massimo di tre strumenti. Si conservano i valori di ciascuna fonte. La configurazione di YourMT3+ per la gara usa le informazioni sugli strumenti contenute nei nomi dei file; il punteggio non misura l’intera catena di elaborazione di questo sito.
| Classifica ufficiale | Modello | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSPesi pubblici · Codice di inferenzaMIROS fine-tuned decoderMusicFM encoderCodice di inferenza logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptImpostazioni della valutazioneLicenza dei pesi non dichiarata | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Pesi pubblici · Codice di inferenza | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VPesi pubblici · Codice di inferenzalogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATPesi pubblici · Codice di inferenza | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchPesi pubblici · Codice di inferenza | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
La tabella include solo modelli con pesi o configurazioni pubbliche eseguibili in locale.
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 9 / righe originali 9
Table 2 raggruppa per numero esatto di strumenti e riporta media ± deviazione standard. I gruppi sono classificati separatamente e non sostituiscono la tabella globale. La configurazione di YourMT3+ per la gara usa le informazioni sugli strumenti contenute nei nomi dei file; il punteggio non misura l’intera catena di elaborazione di questo sito.
| Classifica per metrica | Modello | Condizione di test | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSPesi pubblici · Codice di inferenzaMIROS fine-tuned decoderMusicFM encoderCodice di inferenza logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptImpostazioni della valutazioneLicenza dei pesi non dichiarata | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Pesi pubblici · Codice di inferenza | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 1 / righe originali 5
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ confronto tra i documenti e le basi della famiglia MT3 sulle metriche in stile Slakh.
| Classifica per metrica | Modello | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 1 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Classifica per metrica | Modello | Condizione di test | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+MPesi pubblici · Codice di inferenza | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 1 / righe originali 12
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Classifica per metrica | Modello | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 10 / righe originali 25
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
La tabella ufficiale 5 confronta separatamente cinque dataset e mostra solo esperimenti con pesi pubblici corrispondenti verificati. L’OaFS attuale è addestrato congiuntamente; questi risultati non ne dimostrano la superiorità su MuScriptor.
| Classifica per metrica | Modello | Condizione di test | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Pesi pubblici · Codice di inferenzaOfficial MT3 T5X checkpoint and 294 tensor filesCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSPesi pubblici · Codice di inferenza | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 68 / righe originali 102
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Classifica per metrica | Modello | Condizione di test | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSPesi pubblici · Codice di inferenza | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Pesi pubblici · Codice di inferenzaOfficial MT3 T5X checkpoint and 294 tensor filesCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 28 / righe originali 28
| Classifica per metrica | Modello | Condizione di test | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSPesi pubblici · Codice di inferenza | Piano | 70.36 | 72.10 |
| 2 | MT3Pesi pubblici · Codice di inferenzaOfficial MT3 T5X checkpoint and 294 tensor filesCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | Piano | 63.12 | 69.99 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 2 / righe originali 5
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Classifica per metrica | Modello | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Pesi pubblici · Codice di inferenzaOfficial MT3 T5X checkpoint and 294 tensor filesCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | 93.7 M | 34 |
| - | OaFSPesi pubblici · Codice di inferenza | 64.9 M | 34 |
Scegli un insieme di dati per visualizzare tutte le metriche di ciascun modello. Le righe seguono la classifica ufficiale o la metrica selezionata. Il grassetto indica il miglior valore confrontabile di ogni colonna, inclusi i pari merito. Protocolli di valutazione diversi sono classificati separatamente; i punteggi mancanti sono indicati con -.
Voci distribuibili 3 / righe originali 7
Non è stato verificato un pacchetto pubblico completo di inferenza per questi esperimenti. Altri pesi con lo stesso nome non sono equivalenti.
D16 · MSE · Syn · Rescale
Tabella 3 dell’articolo: K è il numero di timbri indicato. F1 è calcolato per traccia dopo l’abbinamento ottimale. I risultati sono la media di almeno tre addestramenti, non una nuova misura del checkpoint del sito.
| Classifica per metrica | Modello | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursPesi pubblici · Codice di inferenzaseptimbre/sepamt_model.pthCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | SharePesi pubblici · Codice di inferenzaseptimbre/ablation/DicephNet/dicephnet_model.pthCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaPesi pubblici · Codice di inferenzaTanaka/tanaka_model.pthCodice di inferenzaImpostazioni della valutazioneLicenza dei pesi non dichiarata | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Nota sulla correzione TelkNet · 13 agosto 2026
Abbiamo elaborato lo stesso brano completo con TelkNet e con MuScriptor Large 0.3.0 ufficiale in modalità strict. Entrambi i risultati contano 8 parti e 6.560 note; parte, altezza e ordine coincidono nota per nota. L’anomalia si concentra tra circa 182 e 222 secondi: nella sorgente resta una linea intonata chiara nelle frequenze medio-alte, mentre nel MIDI compare un vuoto di circa 40,31 secondi sopra C4. Interfaccia, gestione del BPM ed editor MIDI non hanno cancellato quelle note; il vuoto è già nell’output del modello ufficiale. Senza la partitura originale non possiamo sapere con precisione quante note manchino.
TelkNet modifica il passaggio delle informazioni sugli strumenti tra segmenti di 5 secondi per ridurre la propagazione degli errori e collegare le note sostenute. MuScriptor Large trascrive ogni segmento una volta.
Abbiamo poi completato 16 elaborazioni intere su 14 brani, tutte senza interruzioni. Nel primo brano, il vuoto di attacco più lungo sopra C4 è sceso da 40,309 a 1,970 secondi. Nel secondo, l’output è passato da 1.698 note su 6 tracce attive, con il 70,79% di piano, a 2.279 note su 8 tracce attive, con il 50,77% di piano. Due esecuzioni complete per ciascun brano hanno prodotto file identici byte per byte.
Compatibilità del tempo MuScriptor
La base ufficiale usa Beat This final0 e un adattamento ai minimi quadrati con intercetta libera per pubblicare un solo BPM costante. La modalità rigorosa fallisce se i beat non sostengono un tempo costante; best-effort scrive un valore provvisorio di 120 BPM. Il writer MIDI corregge inoltre il ritardo di attacco e sposta tutte le note per allineare una battuta al downbeat.
TelkNet mantiene lo stesso Beat This final0 e il singolo BPM rilevato automaticamente resta l’impostazione predefinita consigliata. Quando si sceglie di seguire le variazioni di tempo del brano, viene usato un solo BPM soltanto se la griglia dell’intero brano resta entro 40 ms dai beat rilevati; altrimenti viene pubblicata una Tempo Map adattiva. Il BPM manuale resta selezionabile. Senza quantizzazione, i tempi originali delle note rimangono invariati.
| Voce di confronto | MuScriptor ufficiale v0.3.0 | TelkNet v11 |
|---|---|---|
| Rilevamento dei beat | Usa Beat This final0. | Usa lo stesso Beat This final0; il modello di rilevamento non viene sostituito. |
| Griglia tempo pubblicata | Pubblica un solo BPM costante con intercetta libera; la modalità rigorosa fallisce con tempo variabile e best-effort scrive 120 BPM. | BPM fisso solo se la distanza massima della griglia non supera 40 ms; altrimenti Tempo Map adattiva a fase limitata. |
| Controllo BPM | La CLI ufficiale attuale non offre BPM manuale. | Supporta modalità adattiva, fissa automatica e BPM manuale da 30 a 300. |
| Linea temporale delle note | Corregge il ritardo di attacco e sposta tutte le note per allineare la battuta al downbeat. | Senza quantizzazione conserva i tempi nativi e non applica spostamenti di battuta. |
Beat This resta uno stimatore audio. Un metro insolito, un ritmo debole o privo di transienti, il rubato, cambi bruschi di tempo o un impulso rilevato erroneamente a metà o al doppio possono ancora produrre una griglia sbagliata. Il BPM automatico può differire leggermente da un valore esatto noto; per questo è disponibile «Fisso · BPM manuale» quando il BPM della sorgente è conosciuto. Attivare la quantizzazione sposta intenzionalmente i tempi delle note. Le impostazioni del tempo non correggono note mancanti, altezze errate o errori di strumento e nome traccia di MuScriptor. I MIDI importanti vanno comunque confrontati con la sorgente in una DAW.