Cos'è Trascrizione multistrumentale MuScriptor?

Trasforma una registrazione mista in MIDI multi-strumento con MuScriptor-large; Supporta ingressi in formati come mp3 / wav / flac

Per chi è Trascrizione multistrumentale MuScriptor?

MIDI / trascrizione Trasforma una registrazione mista in MIDI multi-strumento con MuScriptor-large; Supporta ingressi in formati come mp3 / wav / flac

Quali compiti Trascrizione multistrumentale MuScriptor può aiutare?

MIDI / trascrizione; Trasforma una registrazione mista in MIDI multi-strumento con MuScriptor-large; Supporta ingressi in formati come mp3 / wav / flac; Controlla se i formati di input supportati corrispondono al tuo materiale; Conferma se l'output si adatta al tuo flusso di lavoro attuale; Pesa runtime e crediti per decidere se l'elaborazione batch abbia senso

Quali entità modello e parole chiave sono collegate a Trascrizione multistrumentale MuScriptor?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

Trascrizione multistrumentale MuScriptor

MuScriptor-large

Questo percorso espone solo il checkpoint di punta MuScriptor-large; non esiste fallback a small, medium o a versioni quantizzate.

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Identità esatta: 1.366.399.488 parametri F32; safetensors da 5.465.642.136 byte; revisione 8809fdfbed2affa7ade94a7059e746e3880720e7.
Transformer decoder-only a 48 livelli, larghezza 1536 e 24 teste; mono 16 kHz, blocchi di 5 s e mel a 512 bin a 100 Hz.
Produce MIDI multitraccia Type-1; 35 etichette UI corrispondono a 36 gruppi appresi. La velocity resta fissa a 100. L'elaborazione rileva e scrive automaticamente il BPM della sorgente. Al termine, velocità di riproduzione e BPM si possono regolare nel controllo di anteprima e il download usa l'impostazione corrente del controllo. I cambi di tempo della sorgente non vengono ricostruiti.

Grafico di riferimento: Confronto di MuScriptor-large riportato dagli autori / MuScriptor e YourMT3+ su otto dataset pubblici / Ablazione della scala del modello MuScriptor

Ambito open source e distribuibile: queste tabelle includono solo righe con pesi o configurazioni scaricabili verificati e un percorso di installazione locale. SOTA e Migliore valgono rispetto alle righe verificate mostrate, non includono sistemi ospitati, solo API o commerciali e non sono una classifica universale.

Confronto di MuScriptor-large riportato dagli autori

MuScriptor Table 1

Sullo stesso D_Test privato, l’articolo confronta il modello finale CFG=1 con YourMT3+. I risultati non sono stati riprodotti in modo indipendente e non sono direttamente confrontabili con MIROS o altri protocolli.

Condizione di valutazione	Modello	F1 multi-strumento (%)	Metriche dettagliate
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	F1 di attacco (%)60.40MiglioreF1 per frame (%)73.30MiglioreF1 di rilascio (%)49.00MiglioreF1 della batteria (%)50.20Migliore
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	F1 di attacco (%)32.52F1 per frame (%)45.54F1 di rilascio (%)17.79F1 della batteria (%)41.40

MuScriptor e YourMT3+ su otto dataset pubblici

MuScriptor Table 2

La tabella 2 dell’articolo valuta i due modelli pubblicati e installabili localmente su otto dataset esclusi da entrambi i training set. SOTA e Migliore sono calcolati per ogni dataset; MIROS non viene aggiunto perché l’articolo non riporta una riga con questo protocollo.

Condizione di valutazione	Modello	F1 multi-strumento (%)	Metriche dettagliate
Bach10	YourMT3+Paper Table 2	26.4	F1 di attacco (%)59.8MiglioreF1 per frame (%)66.0F1 di rilascio (%)48.0Migliore
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	F1 di attacco (%)43.1F1 per frame (%)85.0MiglioreF1 di rilascio (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	F1 di attacco (%)22.3MiglioreF1 per frame (%)51.0F1 di rilascio (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	F1 di attacco (%)14.4F1 per frame (%)80.7MiglioreF1 di rilascio (%)11.5Migliore
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	F1 di attacco (%)56.7MiglioreF1 per frame (%)58.9F1 di rilascio (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	F1 di attacco (%)56.1F1 per frame (%)74.6MiglioreF1 di rilascio (%)32.6Migliore
RWC-P	YourMT3+Paper Table 2	19.1	F1 di attacco (%)36.1F1 per frame (%)51.6F1 di rilascio (%)20.6F1 della batteria (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	F1 di attacco (%)46.1MiglioreF1 per frame (%)61.2MiglioreF1 di rilascio (%)25.6MiglioreF1 della batteria (%)42.1Migliore
RWC-C	YourMT3+Paper Table 2	40.5SOTA	F1 di attacco (%)71.7MiglioreF1 per frame (%)71.3MiglioreF1 di rilascio (%)44.3MiglioreF1 della batteria (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	F1 di attacco (%)67.7F1 per frame (%)70.5F1 di rilascio (%)36.9F1 della batteria (%)23.7Migliore
RWC-G	YourMT3+Paper Table 2	17.2	F1 di attacco (%)36.9F1 per frame (%)49.4F1 di rilascio (%)20.5F1 della batteria (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	F1 di attacco (%)44.7MiglioreF1 per frame (%)58.7MiglioreF1 di rilascio (%)24.4MiglioreF1 della batteria (%)29.2Migliore
RWC-J	YourMT3+Paper Table 2	26.4	F1 di attacco (%)52.9F1 per frame (%)57.2F1 di rilascio (%)31.1F1 della batteria (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	F1 di attacco (%)59.4MiglioreF1 per frame (%)62.7MiglioreF1 di rilascio (%)33.9MiglioreF1 della batteria (%)31.3Migliore
RWC-R	YourMT3+Paper Table 2	23.1SOTA	F1 di attacco (%)46.1F1 per frame (%)61.5F1 di rilascio (%)28.6MiglioreF1 della batteria (%)51.3Migliore
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	F1 di attacco (%)47.1MiglioreF1 per frame (%)68.6MiglioreF1 di rilascio (%)24.8F1 della batteria (%)36.5

Ablazione della scala del modello MuScriptor

MuScriptor Table 4

La Tabella 4 usa solo l’addestramento D_Real e lo stesso D_Test privato. Le dimensioni delle righe sono etichette dell’articolo, non conteggi esatti dei parametri dei checkpoint pubblici.

Note di carta e benchmark	Modello	F1 multi-strumento (%)	Metriche dettagliate
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	F1 di attacco (%)47.7F1 per frame (%)65.7F1 di rilascio (%)35.3F1 della batteria (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	F1 di attacco (%)51.2F1 per frame (%)67.2F1 di rilascio (%)38.7F1 della batteria (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	F1 di attacco (%)52.4F1 per frame (%)68.0F1 di rilascio (%)40.3F1 della batteria (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	F1 di attacco (%)53.2F1 per frame (%)68.7F1 di rilascio (%)41.0F1 della batteria (%)42.5

Ufficiali / repository

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Articoli / note tecniche

Non è elencato alcun link pubblico per un giornale pubblico; Usa il repository ufficiale o l'implementazione runtime come sorgente.

Trascrizione multistrumentale MuScriptor

Modelli, parametri e fonti

MuScriptor-large

Grafico di riferimento: Confronto di MuScriptor-large riportato dagli autori / MuScriptor e YourMT3+ su otto dataset pubblici / Ablazione della scala del modello MuScriptor

Confronto di MuScriptor-large riportato dagli autori

MuScriptor e YourMT3+ su otto dataset pubblici

Ablazione della scala del modello MuScriptor

Ufficiali / repository

Articoli / note tecniche

Guida ai parametri

Casi d'uso

Flusso di lavoro

Checklist pre-volo

Feedback rapido