Šta je MuScriptor Multi-Instrument Transkripcija?

Pretvorite mešoviti snimak u MIDI sa više instrumenata sa MuScriptor-large; Podržava ulaze u formatima kao što su mp3 / wav / flac

Za koga MuScriptor Multi-Instrument Transkripcija?

MIDI / transkripcija Pretvorite mešoviti snimak u MIDI sa više instrumenata sa MuScriptor-large; Podržava ulaze u formatima kao što su mp3 / wav / flac

U kojim zadacima MuScriptor Multi-Instrument Transkripcija mogu pomoći?

MIDI / transkripcija; Pretvorite mešoviti snimak u MIDI sa više instrumenata sa MuScriptor-large; Podržava ulaze u formatima kao što su mp3 / wav / flac; Provjerite da li podržani formati unosa odgovaraju vašem materijalu; Provjerite da li izlaz odgovara vašem trenutnom workflowu; Razmotrite runtime i kredite da odlučite da li obrada u serijama ima smisla

Koji su entiteti modela i ključnih riječi povezani sa MuScriptor Multi-Instrument Transkripcija?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

MuScriptor Multi-Instrument Transkripcija

Poređenje MuScriptor-large koje navode autori

MuScriptor Table 1

Na istom privatnom D_Test skupu rad poredi završni model sa CFG=1 i YourMT3+. Rezultati nisu nezavisno reproducirani i ne mogu se direktno porediti s MIROS-om ili drugim protokolima.

Uslov evaluacije	Model	Višeinstrumentalni F1 (%)	Detaljne metrike
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	Početni F1 (%)60.40NajboljeF1 okvira (%)73.30NajboljeZavršni F1 (%)49.00NajboljeF1 bubnjeva (%)50.20Najbolje
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	Početni F1 (%)32.52F1 okvira (%)45.54Završni F1 (%)17.79F1 bubnjeva (%)41.40

MuScriptor i YourMT3+ na osam javnih skupova

MuScriptor Table 2

Tabela 2 rada ocjenjuje dva objavljena, lokalno primjenjiva modela na osam skupova izvan oba trening skupa. SOTA i Najbolje računaju se unutar svakog skupa; MIROS nije dodat jer rad ne navodi rezultat po ovom protokolu.

Uslov evaluacije	Model	Višeinstrumentalni F1 (%)	Detaljne metrike
Bach10	YourMT3+Paper Table 2	26.4	Početni F1 (%)59.8NajboljeF1 okvira (%)66.0Završni F1 (%)48.0Najbolje
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	Početni F1 (%)43.1F1 okvira (%)85.0NajboljeZavršni F1 (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	Početni F1 (%)22.3NajboljeF1 okvira (%)51.0Završni F1 (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	Početni F1 (%)14.4F1 okvira (%)80.7NajboljeZavršni F1 (%)11.5Najbolje
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	Početni F1 (%)56.7NajboljeF1 okvira (%)58.9Završni F1 (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	Početni F1 (%)56.1F1 okvira (%)74.6NajboljeZavršni F1 (%)32.6Najbolje
RWC-P	YourMT3+Paper Table 2	19.1	Početni F1 (%)36.1F1 okvira (%)51.6Završni F1 (%)20.6F1 bubnjeva (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	Početni F1 (%)46.1NajboljeF1 okvira (%)61.2NajboljeZavršni F1 (%)25.6NajboljeF1 bubnjeva (%)42.1Najbolje
RWC-C	YourMT3+Paper Table 2	40.5SOTA	Početni F1 (%)71.7NajboljeF1 okvira (%)71.3NajboljeZavršni F1 (%)44.3NajboljeF1 bubnjeva (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	Početni F1 (%)67.7F1 okvira (%)70.5Završni F1 (%)36.9F1 bubnjeva (%)23.7Najbolje
RWC-G	YourMT3+Paper Table 2	17.2	Početni F1 (%)36.9F1 okvira (%)49.4Završni F1 (%)20.5F1 bubnjeva (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	Početni F1 (%)44.7NajboljeF1 okvira (%)58.7NajboljeZavršni F1 (%)24.4NajboljeF1 bubnjeva (%)29.2Najbolje
RWC-J	YourMT3+Paper Table 2	26.4	Početni F1 (%)52.9F1 okvira (%)57.2Završni F1 (%)31.1F1 bubnjeva (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	Početni F1 (%)59.4NajboljeF1 okvira (%)62.7NajboljeZavršni F1 (%)33.9NajboljeF1 bubnjeva (%)31.3Najbolje
RWC-R	YourMT3+Paper Table 2	23.1SOTA	Početni F1 (%)46.1F1 okvira (%)61.5Završni F1 (%)28.6NajboljeF1 bubnjeva (%)51.3Najbolje
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	Početni F1 (%)47.1NajboljeF1 okvira (%)68.6NajboljeZavršni F1 (%)24.8F1 bubnjeva (%)36.5

Ablacija veličine MuScriptor modela

MuScriptor Table 4

Tabela 4 koristi samo D_Real trening i isti privatni D_Test. Veličine redova su oznake iz rada, a ne tačan broj parametara javnih checkpointa.

Rad i referentne bilješke	Model	Višeinstrumentalni F1 (%)	Detaljne metrike
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	Početni F1 (%)47.7F1 okvira (%)65.7Završni F1 (%)35.3F1 bubnjeva (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	Početni F1 (%)51.2F1 okvira (%)67.2Završni F1 (%)38.7F1 bubnjeva (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	Početni F1 (%)52.4F1 okvira (%)68.0Završni F1 (%)40.3F1 bubnjeva (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	Početni F1 (%)53.2F1 okvira (%)68.7Završni F1 (%)41.0F1 bubnjeva (%)42.5

MuScriptor Multi-Instrument Transkripcija

Modeli, parametri i izvori

MuScriptor-large

Referentni grafikon: Poređenje MuScriptor-large koje navode autori / MuScriptor i YourMT3+ na osam javnih skupova / Ablacija veličine MuScriptor modela

Poređenje MuScriptor-large koje navode autori

MuScriptor i YourMT3+ na osam javnih skupova

Ablacija veličine MuScriptor modela

Zvanični / repozitoriji

Radovi / tehničke bilješke

Vodič za parametre

Slučajevi upotrebe

Radni tok

Kontrolna lista prije leta

Brza povratna informacija