Qu’est-ce que Transcription multi-instruments MuScriptor ?

Transformez un enregistrement mixé en MIDI multi-instrument avec MuScriptor-large; Prend en charge les entrées dans des formats tels que mp3 / wav / flac

Pour qui Transcription multi-instruments MuScriptor ?

MIDI / transcription Transformez un enregistrement mixé en MIDI multi-instrument avec MuScriptor-large; Prend en charge les entrées dans des formats tels que mp3 / wav / flac

Quelles tâches Transcription multi-instruments MuScriptor peut-il aider ?

MIDI / transcription; Transformez un enregistrement mixé en MIDI multi-instrument avec MuScriptor-large; Prend en charge les entrées dans des formats tels que mp3 / wav / flac; Vérifiez si les formats d’entrée pris en charge correspondent à votre contenu; Vérifiez si le résultat correspond à votre flux de travail actuel; Pesez runtime et crédits pour décider si le traitement par lots a du sens

Quels modèles et entités de mots-clés sont liés à Transcription multi-instruments MuScriptor ?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

Transcription multi-instruments MuScriptor

Comparaison de MuScriptor-large rapportée par les auteurs

MuScriptor Table 1

Sur le même D_Test privé, l’article compare le modèle final avec CFG=1 à YourMT3+. Les résultats n’ont pas été reproduits indépendamment et ne sont pas directement comparables à MIROS ni à d’autres protocoles.

Condition d’évaluation	Modèle	F1 multi-instrument (%)	Métriques détaillées
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	F1 d’attaque (%)60.40MeilleurF1 par trame (%)73.30MeilleurF1 de fin (%)49.00MeilleurF1 de batterie (%)50.20Meilleur
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	F1 d’attaque (%)32.52F1 par trame (%)45.54F1 de fin (%)17.79F1 de batterie (%)41.40

MuScriptor face à YourMT3+ sur huit jeux publics

MuScriptor Table 2

Le tableau 2 de l’article évalue les deux modèles publiés et déployables localement sur huit jeux absents de leurs données d’entraînement. SOTA et Meilleur sont calculés pour chaque jeu ; MIROS n’est pas ajouté car l’article ne fournit aucun résultat avec ce protocole.

Condition d’évaluation	Modèle	F1 multi-instrument (%)	Métriques détaillées
Bach10	YourMT3+Paper Table 2	26.4	F1 d’attaque (%)59.8MeilleurF1 par trame (%)66.0F1 de fin (%)48.0Meilleur
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	F1 d’attaque (%)43.1F1 par trame (%)85.0MeilleurF1 de fin (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	F1 d’attaque (%)22.3MeilleurF1 par trame (%)51.0F1 de fin (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	F1 d’attaque (%)14.4F1 par trame (%)80.7MeilleurF1 de fin (%)11.5Meilleur
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	F1 d’attaque (%)56.7MeilleurF1 par trame (%)58.9F1 de fin (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	F1 d’attaque (%)56.1F1 par trame (%)74.6MeilleurF1 de fin (%)32.6Meilleur
RWC-P	YourMT3+Paper Table 2	19.1	F1 d’attaque (%)36.1F1 par trame (%)51.6F1 de fin (%)20.6F1 de batterie (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	F1 d’attaque (%)46.1MeilleurF1 par trame (%)61.2MeilleurF1 de fin (%)25.6MeilleurF1 de batterie (%)42.1Meilleur
RWC-C	YourMT3+Paper Table 2	40.5SOTA	F1 d’attaque (%)71.7MeilleurF1 par trame (%)71.3MeilleurF1 de fin (%)44.3MeilleurF1 de batterie (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	F1 d’attaque (%)67.7F1 par trame (%)70.5F1 de fin (%)36.9F1 de batterie (%)23.7Meilleur
RWC-G	YourMT3+Paper Table 2	17.2	F1 d’attaque (%)36.9F1 par trame (%)49.4F1 de fin (%)20.5F1 de batterie (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	F1 d’attaque (%)44.7MeilleurF1 par trame (%)58.7MeilleurF1 de fin (%)24.4MeilleurF1 de batterie (%)29.2Meilleur
RWC-J	YourMT3+Paper Table 2	26.4	F1 d’attaque (%)52.9F1 par trame (%)57.2F1 de fin (%)31.1F1 de batterie (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	F1 d’attaque (%)59.4MeilleurF1 par trame (%)62.7MeilleurF1 de fin (%)33.9MeilleurF1 de batterie (%)31.3Meilleur
RWC-R	YourMT3+Paper Table 2	23.1SOTA	F1 d’attaque (%)46.1F1 par trame (%)61.5F1 de fin (%)28.6MeilleurF1 de batterie (%)51.3Meilleur
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	F1 d’attaque (%)47.1MeilleurF1 par trame (%)68.6MeilleurF1 de fin (%)24.8F1 de batterie (%)36.5

Ablation de la taille du modèle MuScriptor

MuScriptor Table 4

Le tableau 4 utilise uniquement l’entraînement D_Real et le même D_Test privé. Les tailles de lignes sont les libellés de l’article, pas le nombre exact de paramètres des checkpoints publics.

Notes de papier et de référence	Modèle	F1 multi-instrument (%)	Métriques détaillées
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	F1 d’attaque (%)47.7F1 par trame (%)65.7F1 de fin (%)35.3F1 de batterie (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	F1 d’attaque (%)51.2F1 par trame (%)67.2F1 de fin (%)38.7F1 de batterie (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	F1 d’attaque (%)52.4F1 par trame (%)68.0F1 de fin (%)40.3F1 de batterie (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	F1 d’attaque (%)53.2F1 par trame (%)68.7F1 de fin (%)41.0F1 de batterie (%)42.5

Transcription multi-instruments MuScriptor

Modèles, paramètres et sources

MuScriptor-large

Graphique de référence : Comparaison de MuScriptor-large rapportée par les auteurs / MuScriptor face à YourMT3+ sur huit jeux publics / Ablation de la taille du modèle MuScriptor

Comparaison de MuScriptor-large rapportée par les auteurs

MuScriptor face à YourMT3+ sur huit jeux publics

Ablation de la taille du modèle MuScriptor

Officiel / dépôts

Articles / notes techniques

Guide des paramètres

Cas d’utilisation

Flux de travail

Liste de contrôle avant vol

Avis rapide