Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
TransKun V2-artiklen rapporterer en transformerinterval-scoringsarkitektur og et højere F1-resultat på Maestro-delopgaver.
Indlæser...
Lav klaveroptagelser om til redigerbar MIDI til noder, øvelse og arrangement.
Input
Understøtter input i formater som mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Understøttede formater
Output
MIDI
Brugsscenarie
Rediger noder, instrumentering og detaljer i fremførelsen.
Vælg en model til dit materiale og formål, og se eksemplerne før indsendelse.
Pris, tid, formater og parametre afhænger af den valgte model.
Angiv værktøjets navn, trinene og problemet i din feedback. Skærmbilleder kan hjælpe med at finde fejlen.
Transskriberer klaverlyd til diskrete nodehændelser med det frigivne D3RM-checkpoint til diffusionsforfining og eksporterer redigerbar MIDI og nodedata.
TransKun V2 Aug er den separate lokale data-augmentation checkpoint rute, der bruger checkpointTransformerAug.zip.
Bruger det officielle Standard-checkpoint; nodeafslutninger følger pedalforlænget akustisk varighed. Holdes adskilt fra tangentfrigivelses-orienteret NoExt og V2 Aug.
Den lokale standard er checkpointet TransKun V2 No Pedal Ext (2.0.pt) fra upstream-transkun-pakken; det tilhører samme arkitektur og er finjusteret og udvidet via V2 Aug-forløbet.
Aria-AMT bruger EleutherAI seq-to-seq piano rute med piano-medium-double-1.0.safetensors.
ByteDance Piano CRNN note+pedal bruger note_F1=0.9677_pedal_F1=0.9186.pth til solo-piano MIDI med pedalcontroller-events.
SFT-CRNN registrerer klavernoders begyndelse og slutning; fast anslagsstyrke 100, ingen pedalforudsigelse.
ISMIR - 2024
TransKun V2-artiklen rapporterer en transformerinterval-scoringsarkitektur og et højere F1-resultat på Maestro-delopgaver.
NeurIPS - 2021
2021 Semi-CRF papirrammerne piano transskription som interval-/hændelsesforudsigelse i stedet for sammenføjning af rammeniveau-detektioner.
Official repository / preliminary weights - current
Aria-AMT-arkivet dokumenterer implementeringen af transskription fra seq-til-seq piano og foreløbige vægte; artiklen rapporterer sammenligninger mellem MAESTRO og MAPS Table 1.
arXiv - 2025
arXiv - 2020
ByteDance-artiklen rapporterer 96,72% note onset F1 og 91,86% pedal onset F1 på MAESTRO, med frigivet kode og checkpoints.
ICASSP - 2026
SFT-CRNN registrerer klavernoders begyndelse og slutning; fast anslagsstyrke 100, ingen pedalforudsigelse.
Omfatter offentlige testresultater for modeller brugt her og andre steder. Som standard vises hele kildetabellen; betingelser og målinger kan også vælges til sammenligning. Resultater fra forskellige testbetingelser kan ikke sammenlignes direkte.
Kun resultater med verificeret offentlig inferenskode og tilhørende vægte vises, sammen med algoritmer uden trænede vægte. Lukkede tjenester, ikke offentliggjorte vægte og forsøgsudgaver uden verificeret sammenhæng udelades. Dette er ikke en rangliste over alle modeller.
Offentlige vægte dokumenterer ikke en fuldstændig open source-licens. Fold data ud for at se erklærede vægtlicenser og adgangsbetingelser. Manglende licenser markeres særskilt.
Den valgte model har intet verificeret, tilsvarende offentligt resultat og er ikke rangeret.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Værdierne kommer fra den linkede offentlige kilde. Rækkenavnene angiver testsættet eller checkpointet; ikke offentliggjorte værdier vises som -.
| Placering efter måling | Model | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Offentlige vægte · Inferenskode | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineOffentlige vægte · Inferenskode | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Datasæt, versioner og betingelser holdes adskilt, også kilder uden godkendte rækker.
Installerbare 9 / kilderækker 9
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 2 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Installerbare 0 / kilderækker 10
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Installerbare 2 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Installerbare 1 / kilderækker 6
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Resultater gælder det angivne datasæt, mål og modelversion. Forskellige tests kan ikke sammenlignes direkte.
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
MIREX resumérækker sammenligner gennemsnitlig note onset F1 på tværs af tre datasæt og holistisk note F1 på tværs af Maestro og SMD.
| Placering efter måling | Model | Testbetingelse | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vægte · Inferenskode | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Offentlige vægte · Inferenskode | MIREX 2024 summary | 94.9 | 87.64 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Officielle MIREX-resultater for MAESTRO med alle offentliggjorte P / R / F1 (%) for toner og pedaler; ikke rapporterede målinger forbliver tomme.
| Placering efter måling | Model | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslut P (%)↑ | Tonestart + toneslut R (%)↑ | Tonestart + toneslut F1 (%)↑ | Tonestart + toneslut + anslagsstyrke P (%)↑ | Tonestart + toneslut + anslagsstyrke R (%)↑ | Tonestart + toneslut + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P (%)↑ | Pedalstart R (%)↑ | Pedalstart F1 (%)↑ | Pedal-start+slut-P (%)↑ | Pedal-start+slut-R (%)↑ | Pedal-start+slut-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Offentlige vægte · Inferenskode | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugOffentlige vægte · Inferenskode | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Officielle MIREX-resultater for MAPS med alle offentliggjorte P / R / F1 (%) for toner og pedaler; ikke rapporterede målinger forbliver tomme. MAPS bruger ad hoc alignment; offset-målinger skal fortolkes i lyset af denne justering.
| Placering efter måling | Model | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslut P (%)↑ | Tonestart + toneslut R (%)↑ | Tonestart + toneslut F1 (%)↑ | Tonestart + toneslut + anslagsstyrke P (%)↑ | Tonestart + toneslut + anslagsstyrke R (%)↑ | Tonestart + toneslut + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P (%)↑ | Pedalstart R (%)↑ | Pedalstart F1 (%)↑ | Pedal-start+slut-P (%)↑ | Pedal-start+slut-R (%)↑ | Pedal-start+slut-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vægte · Inferenskode | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Offentlige vægte · Inferenskode | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
Tabellen viser kun modeller med offentlige vægte eller konfigurationer, som kan køres lokalt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Officielle MIREX-resultater for SMD med alle offentliggjorte P / R / F1 (%) for toner og pedaler; ikke rapporterede målinger forbliver tomme.
| Placering efter måling | Model | Testbetingelse | Aktiverings-P (%)↑ | Aktiverings-R (%)↑ | Aktiverings-F1 (%)↑ | Tonestart P (%)↑ | Tonestart R (%)↑ | Tonestart F1 (%)↑ | Tonestart + toneslut P (%)↑ | Tonestart + toneslut R (%)↑ | Tonestart + toneslut F1 (%)↑ | Tonestart + toneslut + anslagsstyrke P (%)↑ | Tonestart + toneslut + anslagsstyrke R (%)↑ | Tonestart + toneslut + anslagsstyrke F1 (%)↑ | Pedalaktiverings-P (%)↑ | Pedalaktiverings-R (%)↑ | Pedalaktiverings-F1 (%)↑ | Pedalstart P (%)↑ | Pedalstart R (%)↑ | Pedalstart F1 (%)↑ | Pedal-start+slut-P (%)↑ | Pedal-start+slut-R (%)↑ | Pedal-start+slut-F1 (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugOffentlige vægte · Inferenskode | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Offentlige vægte · Inferenskode | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 9 / kilderækker 9
Tallene kommer fra det linkede basis-checkpoint, ikke fra en ny måling af modellen, der kører her.
| Placering efter måling | Model | Testbetingelse | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Offentlige vægte · Inferenskode | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugOffentlige vægte · Inferenskode | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtOffentlige vægte · Inferenskode | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 2 / kilderækker 7
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Værdierne kommer fra den linkede offentlige kilde. Rækkenavnene angiver testsættet eller checkpointet; ikke offentliggjorte værdier vises som -.
| Placering efter måling | Model | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Offentlige vægte · Inferenskode | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineOffentlige vægte · Inferenskode | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 6
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
MAESTRO-noderesultater fra tabel I og sustainpedalresultater fra tabel VI med offentliggjorte P / R / F1 (%) for frames, start, slutning og anslagsstyrke. Ikke rapporterede værdier står tomme.
| Placering efter måling | Model | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Offentlige vægte · Inferenskode | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Placering efter måling | Model | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedOffentlige vægte · Inferenskode | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 5
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Klaverprøven på MAESTRO v3 viser P/R/F1 for anslag og anslag-slut. Den udgivne klavermodel bruger fast velocity 100 og forudsiger ikke pedaler.
| Placering efter måling | Model | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNOffentlige vægte · Inferenskode | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |