Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
TransKun V2-artikkelen rapporterer en transformatorintervall-scoringsarkitektur og et høyere F1-resultat på Maestro-deloppgaver.
Laster...
Gjør pianoopptak om til redigerbar MIDI for noter, øving og arrangering.
Innspill
Støtter input i formater som mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Støttede formater
Produksjon
MIDI
Bruksområde
Rediger noter, instrumentering og detaljer i fremføringen.
Velg en modell for materialet og formålet ditt, og se eksemplene før innsending.
Pris, tid, formater og parametere avhenger av valgt modell.
Oppgi verktøyets navn, trinnene og problemet i tilbakemeldingen. Skjermbilder kan hjelpe oss å finne feilen.
Transkriberer pianolyd til diskrete notehendelser med den utgitte D3RM-checkpointen for diffusjonsforbedring, og eksporterer redigerbar MIDI og notedata.
TransKun V2 Aug er den separate lokale dataforsterkningsruten checkpoint checkpointTransformerAug.zip.
Bruker den offisielle Standard-checkpointen; noteslutt følger akustisk varighet forlenget av pedal. Holdes separat fra tangentfrigjøringsorientert NoExt og V2 Aug.
Lokal standard er checkpointet TransKun V2 No Pedal Ext (2.0.pt) fra upstream-transkun-pakken; det tilhører samme arkitektur og er finjustert og utvidet gjennom V2 Aug-løpet.
Aria-AMT bruker EleutherAI seq-to-seq piano rute med piano-medium-double-1.0.safetensors.
ByteDance Piano CRNN note+pedal bruker note_F1=0.9677_pedal_F1=0.9186.pth for solo-piano MIDI med pedalkontroller-hendelser.
SFT-CRNN registrerer starten og slutten på pianonoter; fast anslagsstyrke 100, ingen pedalprediksjon.
ISMIR - 2024
TransKun V2-artikkelen rapporterer en transformatorintervall-scoringsarkitektur og et høyere F1-resultat på Maestro-deloppgaver.
NeurIPS - 2021
2021 Semi-CRF-artikkelrammene piano transkripsjon som intervall-/hendelsesprediksjon i stedet for sammenvevde bildenivå-deteksjoner.
Official repository / preliminary weights - current
Aria-AMT-arkivet dokumenterer seq-to-seq piano transkripsjonsimplementering og foreløpige vekter; artikkelen rapporterer sammenligninger mellom MAESTRO og MAPS Table 1.
arXiv - 2025
arXiv - 2020
ByteDance-artikkelen rapporterer 96,72 % note onset F1 og 91,86 % pedal onset F1 på MAESTRO, med frigitt kode og checkpoints.
ICASSP - 2026
SFT-CRNN registrerer starten og slutten på pianonoter; fast anslagsstyrke 100, ingen pedalprediksjon.
Omfatter offentlige testresultater for modeller som brukes her og andre steder. Hele kildetabellen vises som standard; betingelser og målinger kan også velges for sammenligning. Resultater fra ulike testbetingelser kan ikke sammenlignes direkte.
Bare resultater med verifisert offentlig inferensimplementasjon og tilhørende vekter vises, sammen med algoritmer uten trente vekter. Lukkede tjenester, upubliserte vekter og ubekreftede forsøksversjoner utelates. Dette er ikke en rangering av alle modeller.
Offentlige vekter dokumenterer ikke en fullstendig åpen kildekodelisens. Utvid dataene for å se oppgitte vektlisenser og tilgangsvilkår. Manglende lisenser merkes separat.
Den valgte modellen har ikke noe bekreftet, tilsvarende offentlig resultat og har ikke fått en rangering.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Verdiene kommer fra den lenkede offentlige kilden. Radetikettene viser testsettet eller sjekkpunktet; verdier som ikke er publisert, vises som -.
| Plassering etter måling | Modell | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Offentlige vekter · Inferenskode | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineOffentlige vekter · Inferenskode | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Datasett, versjoner og betingelser holdes atskilt, også kilder uten godkjente rader.
Installerbare 9 / kilderader 9
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 2 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 0 / kilderader 10
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Installerbare 2 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Installerbare 1 / kilderader 6
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Resultatene gjelder angitt datasett, målemetode og modellversjon. Ulike tester kan ikke sammenlignes direkte.
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
MIREX sammendragsrader sammenligner gjennomsnittlig note onset F1 over tre datasett og holistisk note F1 på tvers av Maestro og SMD.
| Plassering etter måling | Modell | Testbetingelse | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vekter · Inferenskode | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Offentlige vekter · Inferenskode | MIREX 2024 summary | 94.9 | 87.64 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Offisielle MIREX-resultater for MAESTRO med alle publiserte P / R / F1 (%) for toner og pedaler; urapporterte målinger forblir tomme.
| Plassering etter måling | Modell | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslutt P (%)↑ | Tonestart + toneslutt R (%)↑ | Tonestart + toneslutt F1 (%)↑ | Tonestart + toneslutt + anslagsstyrke P (%)↑ | Tonestart + toneslutt + anslagsstyrke R (%)↑ | Tonestart + toneslutt + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P %↑ | Pedalstart R %↑ | Pedalstart F1 %↑ | Pedal start+slutt-P (%)↑ | Pedal start+slutt-R (%)↑ | Pedal start+slutt-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Offentlige vekter · Inferenskode | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugOffentlige vekter · Inferenskode | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Offisielle MIREX-resultater for MAPS med alle publiserte P / R / F1 (%) for toner og pedaler; urapporterte målinger forblir tomme. MAPS bruker ad hoc alignment; offset-målinger må tolkes i lys av denne justeringen.
| Plassering etter måling | Modell | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslutt P (%)↑ | Tonestart + toneslutt R (%)↑ | Tonestart + toneslutt F1 (%)↑ | Tonestart + toneslutt + anslagsstyrke P (%)↑ | Tonestart + toneslutt + anslagsstyrke R (%)↑ | Tonestart + toneslutt + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P %↑ | Pedalstart R %↑ | Pedalstart F1 %↑ | Pedal start+slutt-P (%)↑ | Pedal start+slutt-R (%)↑ | Pedal start+slutt-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vekter · Inferenskode | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Offentlige vekter · Inferenskode | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
Tabellen viser bare modeller med offentlige vekter eller konfigurasjoner som kan kjøres lokalt.
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Offisielle MIREX-resultater for SMD med alle publiserte P / R / F1 (%) for toner og pedaler; urapporterte målinger forblir tomme.
| Plassering etter måling | Modell | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslutt P (%)↑ | Tonestart + toneslutt R (%)↑ | Tonestart + toneslutt F1 (%)↑ | Tonestart + toneslutt + anslagsstyrke P (%)↑ | Tonestart + toneslutt + anslagsstyrke R (%)↑ | Tonestart + toneslutt + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P %↑ | Pedalstart R %↑ | Pedalstart F1 %↑ | Pedal start+slutt-P (%)↑ | Pedal start+slutt-R (%)↑ | Pedal start+slutt-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vekter · Inferenskode | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Offentlige vekter · Inferenskode | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderader 9
Tallene kommer fra det lenkede grunn-checkpointet, ikke fra en ny måling av modellen som kjører her.
| Plassering etter måling | Modell | Testbetingelse | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Offentlige vekter · Inferenskode | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugOffentlige vekter · Inferenskode | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtOffentlige vekter · Inferenskode | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderader 7
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Verdiene kommer fra den lenkede offentlige kilden. Radetikettene viser testsettet eller sjekkpunktet; verdier som ikke er publisert, vises som -.
| Plassering etter måling | Modell | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Offentlige vekter · Inferenskode | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineOffentlige vekter · Inferenskode | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 6
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
MAESTRO-noteresultater fra tabell I og sustainpedalresultater fra tabell VI med publiserte P / R / F1 (%) for rammer, start, slutt og anslagsstyrke. Ikke rapporterte verdier står tomme.
| Plassering etter måling | Modell | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Offentlige vekter · Inferenskode | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Plassering etter måling | Modell | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedOffentlige vekter · Inferenskode | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Velg et datasett for å se alle målinger for hver modell. Radene følger den offisielle plasseringen eller den valgte målingen. Fet skrift markerer den beste sammenlignbare verdien i hver kolonne, også ved likhet. Ulike evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderader 5
En fullstendig offentlig inferenspakke for disse forsøkene er ikke verifisert. Andre vekter med samme modellnavn kan ikke erstatte den.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Pianoevalueringen på MAESTRO v3 viser P/R/F1 for anslag og anslag-slutt. Den publiserte pianomodellen bruker fast velocity 100 og predikerer ikke pedaler.
| Plassering etter måling | Modell | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNOffentlige vekter · Inferenskode | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |