MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Transkriber musikk til MIDI med flere instrumenter med MuScriptor-large.
Laster...
Gjør sanger eller ensembler om til flerspors-MIDI for å rette noter og stemmer i en DAW.
Innspill
Hele sanger, instrumentalensembler eller opptak med flere instrumenter.
Støttede formater
Produksjon
Multi-track MIDI utkast for scoring, arrangement, harmonianalyse og DAW-opprydding
Bruksområde
Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
Velg en modell for materialet og formålet ditt, og se eksemplene før innsending.
Pris, tid, formater og parametere avhenger av valgt modell.
Oppgi verktøyets navn, trinnene og problemet i tilbakemeldingen. Skjermbilder kan hjelpe oss å finne feilen.
YourMT3+ · YPTF.Multi PS: Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
Standardreparasjon reduserer instrumentfeil mellom segmenter og bevarer holdte toner; start her for fulle mikser.
YourMT3+ · YPTF.MoE+Multi noPS: Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
YMT3+: Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
YourMT3+ · YPTF.Single noPS: Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
YourMT3+ · YPTF.MoE+Multi PS: Redigerbar MIDI utkast fra fullmikser, pluss renere solo-/fellesinstrumentinnganger som piano/keyboard, guitar, bass, drums, strykere/blåsere og vocal utkast
MIROS MusicFM multi-decoder kjører den offisielle lokale MIROS-ruten med pretrained_msd.pt pluss den finjusterte last.ckpt checkpoint.
BS-RoFormer SW Fixed bruker BS-Rofo-SW-Fixed.ckpt pluss BS-Rofo-SW-Fixed.yaml for å dele opp en hel miks i six WAV stems.
OaFS gjenkjenner 34 instrumentklasser og eksporterer MIDI og notetabeller med fast anslagsstyrke 127.
Grupperer noter i et angitt antall navnløse klangspor uten å gjenkjenne instrumentnavn. Egnet for korte ensembler med kjent antall instrumenter; overlappende stemmer med samme tonehøyde kan være uatskillelige.
Skiller vokal, trommer, bass, gitar, piano og øvrige lyder, transkriberer og slår sammen MIDI. Anslagsstyrke og instrumentvalg kan beregnes; separasjonsfeil kan påvirke notene.
Skiller seks stems og transkriberer deretter MIDI. SheetSage2-Refined gjenkjenner slag, taktart og deler; Tsumugi gjenkjenner akkorder og toneart. Den eksisterende transkripsjonen av hele sanger kan fortsatt velges.
arXiv - 2026
Transkriber musikk til MIDI med flere instrumenter med MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ utvider MT3 med forbedret transformatorarkitektur, MoE-varianter, flerkanals dekoding og cross-dataset stem augmentation.
ICLR - 2022
MT3 etablerte multitask-multispors musikktranskripsjon med sekvensmodellering og er fortsatt det navngitte utgangspunktet for nyere AMT sammenligninger.
arXiv / OpenReview - 2026
Sammendraget for 2025 AMT Challenge ble utgitt 2026-03-29 for konkurransen 1. januar til 30. april 2025. Den rapporterer 21 registrerte lag, 14 innsendte lag, 8 gyldige poenglag, og et klassisk testsett med 76 deler med opptil tre instrumenter per utdrag.
Signals - 2026
OaFS gjenkjenner 34 instrumentklasser og eksporterer MIDI og notetabeller med fast anslagsstyrke 127.
Omfatter offentlige testresultater for modeller som brukes her og andre steder. Hele kildetabellen vises som standard; betingelser og målinger kan også velges for sammenligning. Resultater fra ulike testbetingelser kan ikke sammenlignes direkte.
Bare resultater med verifisert offentlig inferensimplementasjon og tilhørende vekter vises, sammen med algoritmer uten trente vekter. Lukkede tjenester, upubliserte vekter og ubekreftede forsøksversjoner utelates. Dette er ikke en rangering av alle modeller.
Offentlige vekter dokumenterer ikke en fullstendig åpen kildekodelisens. Utvid dataene for å se oppgitte vektlisenser og tilgangsvilkår. Manglende lisenser merkes separat.
Den valgte modellen har ikke noe bekreftet, tilsvarende offentlig resultat og har ikke fått en rangering.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderader 17
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Reproduserbare bidrag med åpen kildekode fra den offisielle rangeringen, med offisielle plasseringer bevart. F1, presisjon, gjenfinning, start, slutt og overlapp vises i prosent; kjøretiden i millisekunder. Konkurranseoppsettet for YourMT3+ bruker instrumentinformasjon fra filnavnene. Poengsummen er ikke en måling av hele behandlingskjeden på dette nettstedet.
| Offisiell plassering | Modell | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Offentlige vekter · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsinnstillingerVektlisens ikke oppgitt | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Offentlige vekter · Inferenskode | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VOffentlige vekter · Inferenskode | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATOffentlige vekter · Inferenskode | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchOffentlige vekter · Inferenskode | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Datasett, versjoner og betingelser holdes atskilt, også kilder uten godkjente rader.
Installerbare 3 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Installerbare 16 / kilderader 16
Installerbare 0 / kilderader 4
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Installerbare 9 / kilderader 17
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Installerbare 9 / kilderader 14
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Installerbare 9 / kilderader 9
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Installerbare 1 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Installerbare 1 / kilderader 12
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Installerbare 10 / kilderader 25
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Installerbare 68 / kilderader 102
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Installerbare 28 / kilderader 28
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Installerbare 3 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
D16 · MSE · Syn · Rescale
Resultatene gjelder angitt datasett, målemetode og modellversjon. Ulike tester kan ikke sammenlignes direkte.
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 3 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
På samme private D_Test sammenligner artikkelen den endelige CFG=1-modellen med YourMT3+. Resultatene er ikke uavhengig reprodusert og kan ikke sammenlignes direkte med MIROS eller andre protokoller.
| Plassering etter måling | Modell | Testbetingelse | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLOffentlige vekter · Inferenskodemodel.safetensorsInferenskodeVektlisens (oppgitt av repositoriet): cc-by-nc-4.0Godkjenning av vilkår eller tilgangsforespørsel kreves | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 16 / kilderader 16
Tabell 2 i artikkelen evaluerer de to publiserte, lokalt utrullbare modellene på åtte datasett som ikke inngikk i noen av treningssettene.
| Plassering etter måling | Modell | Testbetingelse | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorOffentlige vekter · Inferenskodemodel.safetensorsInferenskodeVektlisens (oppgitt av repositoriet): cc-by-nc-4.0Godkjenning av vilkår eller tilgangsforespørsel kreves | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderader 17
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Reproduserbare bidrag med åpen kildekode fra den offisielle rangeringen, med offisielle plasseringer bevart. F1, presisjon, gjenfinning, start, slutt og overlapp vises i prosent; kjøretiden i millisekunder. Konkurranseoppsettet for YourMT3+ bruker instrumentinformasjon fra filnavnene. Poengsummen er ikke en måling av hele behandlingskjeden på dette nettstedet.
| Offisiell plassering | Modell | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Offentlige vekter · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsinnstillingerVektlisens ikke oppgitt | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Offentlige vekter · Inferenskode | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VOffentlige vekter · Inferenskode | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATOffentlige vekter · Inferenskode | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchOffentlige vekter · Inferenskode | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderader 14
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Nettsted og artikkel er separate øyeblikksbilder med små forskjeller i siste siffer. Testen har 76 avgrensede syntetiske utdrag med maksimalt tre instrumenter hver. Kildeverdiene beholdes. Konkurranseoppsettet for YourMT3+ bruker instrumentinformasjon fra filnavnene. Poengsummen er ikke en måling av hele behandlingskjeden på dette nettstedet.
| Offisiell plassering | Modell | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSOffentlige vekter · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsinnstillingerVektlisens ikke oppgitt | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Offentlige vekter · Inferenskode | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VOffentlige vekter · Inferenskode | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATOffentlige vekter · Inferenskode | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchOffentlige vekter · Inferenskode | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderader 9
Table 2 grupperer nøyaktig instrumentantall og viser gjennomsnitt ± standardavvik. Gruppene rangeres separat og erstatter ikke samletabellen. Konkurranseoppsettet for YourMT3+ bruker instrumentinformasjon fra filnavnene. Poengsummen er ikke en måling av hele behandlingskjeden på dette nettstedet.
| Plassering etter måling | Modell | Testbetingelse | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSOffentlige vekter · InferenskodeMIROS fine-tuned decoderMusicFM encoderInferenskode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptEvalueringsinnstillingerVektlisens ikke oppgitt | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Offentlige vekter · Inferenskode | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ artikkelsammenligning mot MT3-familiens baselines på Slakh-lignende måleparametere.
| Plassering etter måling | Modell | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Plassering etter måling | Modell | Testbetingelse | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 12
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Plassering etter måling | Modell | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 10 / kilderader 25
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Den offisielle tabell 5 sammenligner fem datasett hver for seg og viser bare eksperimenter med verifiserte tilsvarende offentlige vekter. Den aktuelle OaFS er fellestrent; resultatene beviser ikke at den er bedre enn MuScriptor.
| Plassering etter måling | Modell | Testbetingelse | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Offentlige vekter · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsinnstillingerVektlisens ikke oppgitt | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSOffentlige vekter · Inferenskode | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 68 / kilderader 102
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Plassering etter måling | Modell | Testbetingelse | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSOffentlige vekter · Inferenskode | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Offentlige vekter · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsinnstillingerVektlisens ikke oppgitt | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 28 / kilderader 28
| Plassering etter måling | Modell | Testbetingelse | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSOffentlige vekter · Inferenskode | Piano | 70.36 | 72.10 |
| 2 | MT3Offentlige vekter · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsinnstillingerVektlisens ikke oppgitt | Piano | 63.12 | 69.99 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Plassering etter måling | Modell | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Offentlige vekter · InferenskodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenskodeEvalueringsinnstillingerVektlisens ikke oppgitt | 93.7 M | 34 |
| - | OaFSOffentlige vekter · Inferenskode | 64.9 M | 34 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 3 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
D16 · MSE · Syn · Rescale
Artikkelens tabell 3: K er angitt antall klangfarger. F1 beregnes per spor etter optimal sammenkobling. Resultatene er gjennomsnitt av minst tre treninger, ikke nye målinger av modellvektene på nettstedet.
| Plassering etter måling | Modell | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursOffentlige vekter · Inferenskode | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareOffentlige vekter · Inferenskodeseptimbre/ablation/DicephNet/dicephnet_model.pthInferenskodeEvalueringsinnstillingerVektlisens ikke oppgitt | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaOffentlige vekter · Inferenskode | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet-rettelse · 13. august 2026
Vi kjørte den samme hele sangen gjennom TelkNet og offisiell MuScriptor Large 0.3.0 i strict mode. Begge resultatene har 8 stemmer og 6 560 noter; stemme, tonehøyde og rekkefølge samsvarer note for note. Avviket ligger rundt 182–222 sekunder: Kilden har fortsatt en tydelig tonal linje i mellom- og høyfrekvensområdet, men MIDI-filen har et hull på omtrent 40,31 sekunder over C4. Brukergrensesnittet, BPM-behandlingen og MIDI-editoren slettet ikke notene; hullet finnes allerede i det offisielle modellresultatet. Uten originalpartituret kan vi ikke si nøyaktig hvor mange noter som mangler.
TelkNet justerer overføringen av instrumentinformasjon mellom segmenter på 5 sekunder for å redusere spredning av feil og knytte sammen toner som varer over flere segmenter. MuScriptor Large transkriberer hvert segment én gang.
Deretter fullførte vi 16 hele kjøringer på 14 sanger. I den første sangen falt det lengste anslagshullet over C4 fra 40,309 til 1,970 sekunder. I den andre gikk resultatet fra 1 698 noter på 6 aktive spor med 70,79% piano til 2 279 noter på 8 aktive spor med 50,77% piano. To fullstendige gjentakelser av hver sang ga byteidentiske filer.
MuScriptor-tempokompatibilitet
Den offisielle basisen bruker Beat This final0 og minste kvadraters tilpasning med fritt skjæringspunkt for å publisere én konstant BPM. Streng modus feiler når beatene ikke støtter konstant tempo; best-effort skriver en plassholder på 120 BPM. MIDI-skriveren korrigerer også onset-forsinkelsen og flytter alle noter for å justere en taktstrek mot downbeat.
TelkNet beholder samme Beat This final0, og ett automatisk registrert BPM er fortsatt det anbefalte standardvalget. Når brukeren velger å følge sangens tempoendringer, brukes ett BPM bare hvis rutenettet for hele sangen ligger innenfor 40 ms av de registrerte slagene; ellers publiseres et adaptivt Tempo Map. Manuelt BPM kan fortsatt velges. Uten kvantisering beholdes modellens opprinnelige notetider.
| Sammenligningspunkt | Offisiell MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Beatdeteksjon | Bruker Beat This final0. | Bruker samme Beat This final0; detektormodellen erstattes ikke. |
| Publisert temporutenett | Publiserer én konstant BPM med fritt skjæringspunkt; streng modus feiler ved variabelt tempo, og best-effort skriver 120 BPM. | Fast BPM bare når største rutenettavstand er høyst 40 ms; ellers et fasebegrenset adaptivt Tempo Map. |
| BPM-kontroll | Gjeldende offisiell CLI har ingen manuell BPM. | Støtter adaptiv, automatisk fast og manuell BPM fra 30 til 300. |
| Notenes tidslinje | Korrigerer onset-forsinkelse og flytter alle noter for å justere taktstreken med downbeat. | Uten kvantisering beholdes opprinnelige notetider, og taktforskyvning brukes ikke. |
Beat This er fortsatt en lydestimator. Uvanlig taktart, svak rytme uten transienter, rubato, brå tempoendringer eller en feil puls i halvt eller dobbelt tempo kan fortsatt gi feil rutenett. Automatisk BPM kan avvike litt fra en kjent nøyaktig verdi, derfor finnes «Fast · Manuell BPM» når kildens BPM er kjent. Aktivering av notekvantisering flytter notetidene med vilje. Tempoinnstillinger kan ikke rette manglende noter, feil tonehøyder eller feil instrument- og spornavn fra MuScriptor. Viktig MIDI bør fortsatt sammenlignes med kilden i en DAW.