MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Transskriber musik til MIDI med flere instrumenter via MuScriptor-large.
Indlæser...
Lav sange eller ensembler om til flerspors-MIDI, og ret toner og stemmer i din DAW.
Input
Hele sange, instrumentalensembler eller optagelser med flere instrumenter.
Understøttede formater
Output
Multi-track MIDI drafts til scoring, arrangement, harmonianalyse og DAW-oprydning
Brugsscenarie
Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
Vælg en model til dit materiale og formål, og se eksemplerne før indsendelse.
Pris, tid, formater og parametre afhænger af den valgte model.
Angiv værktøjets navn, trinene og problemet i din feedback. Skærmbilleder kan hjælpe med at finde fejlen.
YourMT3+ · YPTF.Multi PS: Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
Standardreparation mindsker instrumentfejl mellem segmenter og bevarer lange toner; start her til fulde mix.
YourMT3+ · YPTF.MoE+Multi noPS: Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
YMT3+: Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
YourMT3+ · YPTF.Single noPS: Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
YourMT3+ · YPTF.MoE+Multi PS: Redigerbar MIDI udkast fra fulde mix, plus renere solo-/fælles instrument-input som piano/keyboard, guitar, bass, drums, strygere/blæsere og vocal udkast
MIROS MusicFM multi-decoder kører den officielle lokale MIROS rute med pretrained_msd.pt plus den finjusterede last.ckpt checkpoint.
BS-RoFormer SW Fixed bruger BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml til at opdele et fuldt mix i six WAV stems.
OaFS genkender 34 instrumentklasser og eksporterer MIDI og nodetabeller med fast anslagsstyrke 127.
Fordeler noder i et valgt antal unavngivne klanggrupper uden at genkende instrumentnavne. Egner sig til korte ensembler med kendt instrumentantal; overlappende stemmer med samme tonehøjde kan være uadskillelige.
Opdeler sang, trommer, bas, guitar, klaver og øvrige lyde, transskriberer dem og samler MIDI. Anslagsstyrke og instrumentfordeling kan estimeres; fejl i opdelingen kan påvirke noderne.
Adskiller seks stems og transskriberer derefter MIDI. SheetSage2-Refined genkender slag, taktart og afsnit; Tsumugi genkender akkorder og toneart. Den eksisterende transskription af hele sange kan stadig vælges.
arXiv - 2026
Transskriber musik til MIDI med flere instrumenter via MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ udvider MT3 med forbedret transformerarkitektur, MoE-varianter, multikanals dekodning og cross-dataset stem augmentation.
ICLR - 2022
MT3 etablerede multitask-multitrack-musiktransskription med sekvensmodellering og forbliver det navngivne udgangspunkt for nyere AMT-sammenligninger.
arXiv / OpenReview - 2026
2025 AMT Challenge resumépapiret blev udgivet den 29. marts 2026 for konkurrencen 1. januar-30. april 2025. Den rapporterer 21 registrerede hold, 14 indsendte hold, 8 gyldige hold med bedømmelse og et klassisk testsæt med 76 dele med op til tre instrumenter pr. uddrag.
Signals - 2026
OaFS genkender 34 instrumentklasser og eksporterer MIDI og nodetabeller med fast anslagsstyrke 127.
Omfatter offentlige testresultater for modeller brugt her og andre steder. Som standard vises hele kildetabellen; betingelser og målinger kan også vælges til sammenligning. Resultater fra forskellige testbetingelser kan ikke sammenlignes direkte.
Kun resultater med verificeret offentlig inferenskode og tilhørende vægte vises, sammen med algoritmer uden trænede vægte. Lukkede tjenester, ikke offentliggjorte vægte og forsøgsudgaver uden verificeret sammenhæng udelades. Dette er ikke en rangliste over alle modeller.
Offentlige vægte dokumenterer ikke en fuldstændig open source-licens. Fold data ud for at se erklærede vægtlicenser og adgangsbetingelser. Manglende licenser markeres særskilt.
Den valgte model har intet verificeret, tilsvarende offentligt resultat og er ikke rangeret.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderækker 17
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Reproducerbare open source-bidrag fra den officielle rangliste med de officielle placeringer bevaret. F1, præcision, genfinding, start, slutning og overlap vises i procent; køretiden i millisekunder. YourMT3+ bruger i konkurrencen instrumentoplysninger fra filnavnene. Scoren er ikke en måling af hele behandlingsforløbet på dette websted.
| Officiel placering | Model | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Offentlige vægte · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsindstillingerVægtlicens ikke oplyst | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Offentlige vægte · Inferenskode | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VOffentlige vægte · Inferenskode | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATOffentlige vægte · Inferenskode | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchOffentlige vægte · Inferenskode | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Datasæt, versioner og betingelser holdes adskilt, også kilder uden godkendte rækker.
Installerbare 3 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Installerbare 16 / kilderækker 16
Installerbare 0 / kilderækker 4
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Installerbare 9 / kilderækker 17
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Installerbare 9 / kilderækker 14
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Installerbare 9 / kilderækker 9
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Installerbare 1 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Installerbare 1 / kilderækker 12
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Installerbare 10 / kilderækker 25
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Installerbare 68 / kilderækker 102
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Installerbare 28 / kilderækker 28
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Installerbare 3 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
D16 · MSE · Syn · Rescale
Resultater gælder det angivne datasæt, mål og modelversion. Forskellige tests kan ikke sammenlignes direkte.
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 3 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
På det samme private D_Test sammenligner artiklen den endelige CFG=1-model med YourMT3+. Resultaterne er ikke uafhængigt reproduceret og kan ikke sammenlignes direkte med MIROS eller andre protokoller.
| Placering efter måling | Model | Testbetingelse | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLOffentlige vægte · Inferenskodemodel.safetensorsInferenskodeVægtlicens (erklæret af repository): cc-by-nc-4.0Accept af vilkår eller anmodning om adgang kræves | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 16 / kilderækker 16
Artiklens tabel 2 evaluerer de to udgivne, lokalt implementerbare modeller på otte datasæt, som ikke indgår i nogen af træningssættene.
| Placering efter måling | Model | Testbetingelse | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorOffentlige vægte · Inferenskodemodel.safetensorsInferenskodeVægtlicens (erklæret af repository): cc-by-nc-4.0Accept af vilkår eller anmodning om adgang kræves | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderækker 17
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Reproducerbare open source-bidrag fra den officielle rangliste med de officielle placeringer bevaret. F1, præcision, genfinding, start, slutning og overlap vises i procent; køretiden i millisekunder. YourMT3+ bruger i konkurrencen instrumentoplysninger fra filnavnene. Scoren er ikke en måling af hele behandlingsforløbet på dette websted.
| Officiel placering | Model | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Offentlige vægte · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsindstillingerVægtlicens ikke oplyst | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Offentlige vægte · Inferenskode | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VOffentlige vægte · Inferenskode | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATOffentlige vægte · Inferenskode | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchOffentlige vægte · Inferenskode | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderækker 14
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Websted og artikel er separate øjebliksbilleder med små forskelle i sidste ciffer. Testen omfatter 76 afgrænsede syntetiske uddrag med højst tre instrumenter hver. Kildernes værdier bevares. YourMT3+ bruger i konkurrencen instrumentoplysninger fra filnavnene. Scoren er ikke en måling af hele behandlingsforløbet på dette websted.
| Officiel placering | Model | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSOffentlige vægte · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsindstillingerVægtlicens ikke oplyst | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Offentlige vægte · Inferenskode | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VOffentlige vægte · Inferenskode | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATOffentlige vægte · Inferenskode | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchOffentlige vægte · Inferenskode | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderækker 9
Table 2 grupperer præcist antal instrumenter og viser gennemsnit ± standardafvigelse. Grupper rangordnes hver for sig og erstatter ikke samletabellen. YourMT3+ bruger i konkurrencen instrumentoplysninger fra filnavnene. Scoren er ikke en måling af hele behandlingsforløbet på dette websted.
| Placering efter måling | Model | Testbetingelse | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSOffentlige vægte · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsindstillingerVægtlicens ikke oplyst | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Offentlige vægte · Inferenskode | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ papirsammenligning med MT3-familiens baselines på Slakh-stil metrikker.
| Placering efter måling | Model | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Placering efter måling | Model | Testbetingelse | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 12
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Placering efter måling | Model | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 10 / kilderækker 25
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Den officielle tabel 5 sammenligner fem datasæt hver for sig og viser kun eksperimenter med verificerede tilsvarende offentlige vægte. Den aktuelle OaFS er fællestrænet; resultaterne beviser ikke, at den er bedre end MuScriptor.
| Placering efter måling | Model | Testbetingelse | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Offentlige vægte · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsindstillingerVægtlicens ikke oplyst | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSOffentlige vægte · Inferenskode | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 68 / kilderækker 102
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Placering efter måling | Model | Testbetingelse | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSOffentlige vægte · Inferenskode | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Offentlige vægte · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsindstillingerVægtlicens ikke oplyst | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 28 / kilderækker 28
| Placering efter måling | Model | Testbetingelse | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSOffentlige vægte · Inferenskode | Piano | 70.36 | 72.10 |
| 2 | MT3Offentlige vægte · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsindstillingerVægtlicens ikke oplyst | Piano | 63.12 | 69.99 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Placering efter måling | Model | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Offentlige vægte · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsindstillingerVægtlicens ikke oplyst | 93.7 M | 34 |
| - | OaFSOffentlige vægte · Inferenskode | 64.9 M | 34 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 3 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
D16 · MSE · Syn · Rescale
Artiklens tabel 3: K er det angivne antal klangfarver. F1 beregnes pr. spor efter optimal sammenkobling. Resultaterne er gennemsnit af mindst tre træninger, ikke nye målinger af modellens vægte på denne side.
| Placering efter måling | Model | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursOffentlige vægte · Inferenskode | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareOffentlige vægte · Inferenskodeseptimbre/ablation/DicephNet/dicephnet_model.pthInferenskodeEvalueringsindstillingerVægtlicens ikke oplyst | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaOffentlige vægte · Inferenskode | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet-rettelse · 13. august 2026
Vi kørte den samme fulde sang gennem TelkNet og den officielle MuScriptor Large 0.3.0 i strict mode. Begge resultater har 8 stemmer og 6.560 toner; stemme, tonehøjde og rækkefølge er ens tone for tone. Afvigelsen ligger omkring 182–222 sekunder: Kilden har stadig en tydelig tonal linje i mellem- og højfrekvensområdet, mens MIDI-filen har et hul på cirka 40,31 sekunder over C4. Brugerfladen, BPM-behandlingen og MIDI-editoren slettede ikke tonerne; hullet findes allerede i det officielle modeloutput. Uden originalpartituret kan vi ikke sige præcist, hvor mange toner der mangler.
TelkNet tilpasser overførslen af instrumentoplysninger mellem segmenter på 5 sekunder for at mindske spredningen af fejl og forbinde vedvarende toner. MuScriptor Large transskriberer hvert segment én gang.
Derefter gennemførte vi 16 hele kørsler på tværs af 14 sange. I den første sang faldt det længste anslagshul over C4 fra 40,309 til 1,970 sekunder. I den anden gik outputtet fra 1.698 toner på 6 aktive spor med 70,79 % klaver til 2.279 toner på 8 aktive spor med 50,77 % klaver. To fulde gentagelser af hver sang gav byteidentiske filer.
MuScriptor-tempokompatibilitet
Den officielle basis bruger Beat This final0 og et mindste-kvadraters fit med frit skæringspunkt til at udgive én konstant BPM. Streng tilstand fejler, når slagene ikke understøtter konstant tempo; best-effort skriver en pladsholder på 120 BPM. MIDI-skriveren retter også onset-forsinkelsen og flytter alle toner frem for at justere en taktstreg med downbeat.
TelkNet beholder samme Beat This final0, og ét automatisk registreret BPM er fortsat det anbefalede standardvalg. Når brugeren vælger at følge sangens tempoændringer, bruges ét BPM kun, hvis hele sangens gitter ligger inden for 40 ms af de registrerede slag; ellers udgives et adaptivt Tempo Map. Manuel BPM kan stadig vælges. Uden kvantisering bevares modellens oprindelige nodetider.
| Sammenligningspunkt | Officiel MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Beatregistrering | Bruger Beat This final0. | Bruger samme Beat This final0; detektormodellen udskiftes ikke. |
| Udgivet tempogitter | Udgiver én konstant BPM med frit skæringspunkt; streng tilstand fejler ved variabelt tempo, og best-effort skriver 120 BPM. | Fast BPM kun når den største gitterafstand er højst 40 ms; ellers et fasebegrænset adaptivt Tempo Map. |
| BPM-styring | Den aktuelle officielle CLI har ingen manuel BPM. | Understøtter adaptiv, automatisk fast og manuel BPM fra 30 til 300. |
| Tonernes tidslinje | Retter onset-forsinkelse og flytter alle toner for at justere taktstregen med downbeat. | Uden kvantisering bevares de oprindelige tonetider, og taktforskydning anvendes ikke. |
Beat This er stadig en lydestimator. Usædvanlig taktart, svag eller transientfri rytme, rubato, pludselige temposkift eller en forkert puls i halvt eller dobbelt tempo kan stadig give et forkert gitter. Automatisk BPM kan afvige lidt fra en kendt nøjagtig værdi, så „Fast · Manuel BPM” er tilgængelig, når kildens BPM kendes. Aktivering af tonekvantisering flytter bevidst tonernes tider. Tempoindstillinger kan ikke rette manglende toner, forkerte tonehøjder eller fejl i instrument- og spornavne fra MuScriptor. Vigtig MIDI bør stadig kontrolleres mod kilden i en DAW.