Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Indlæser...
Kun til en fast topvisning af klaviaturet. Alle fire hjørner kræves til perspektivkorrektion; V2N estimerer fysisk tangentfrigivelse og anslagsstyrke, ikke pedalforlængede lydslutninger.
Input
Understøtter input i formater som mp4 / mov / mkv
Understøttede formater
Output
MIDI
Brugsscenarie
Rediger noder, instrumentering og detaljer i fremførelsen.
ISMIR - 2026
Omfatter offentlige testresultater for modeller brugt her og andre steder. Som standard vises hele kildetabellen; betingelser og målinger kan også vælges til sammenligning. Resultater fra forskellige testbetingelser kan ikke sammenlignes direkte.
Kun resultater med verificeret offentlig inferenskode og tilhørende vægte vises, sammen med algoritmer uden trænede vægte. Lukkede tjenester, ikke offentliggjorte vægte og forsøgsudgaver uden verificeret sammenhæng udelades. Dette er ikke en rangliste over alle modeller.
Offentlige vægte dokumenterer ikke en fuldstændig open source-licens. Fold data ud for at se erklærede vægtlicenser og adgangsbetingelser. Manglende licenser markeres særskilt.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 13
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Værdierne kommer fra den linkede offentlige kilde. Rækkenavnene angiver testsættet eller checkpointet; ikke offentliggjorte værdier vises som -.
| Placering efter måling | Model | Testbetingelse | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Model brugt herOffentlige vægte · Inferenskode | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Markeringerne viser modeller eller komponenter, der bruges her. Resultater og indstillinger kommer fra de citerede test, ikke fra en ny evaluering af hele sidens behandling.
Datasæt, versioner og betingelser holdes adskilt, også kilder uden godkendte rækker.
Installerbare 1 / kilderækker 13
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Resultater gælder det angivne datasæt, mål og modelversion. Forskellige tests kan ikke sammenlignes direkte.
Vælg et datasæt for at se alle målinger for hver model. Rækkerne følger den officielle placering eller den valgte måling. Fed skrift markerer hver kolonnes bedste sammenlignelige værdi, også ved lighed. Forskellige evalueringsprotokoller rangeres separat; manglende resultater vises som -.
Installerbare 1 / kilderækker 13
En komplet offentlig inferenspakke til disse forsøg er ikke verificeret. Andre vægte med samme modelnavn kan ikke erstatte den.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Værdierne kommer fra den linkede offentlige kilde. Rækkenavnene angiver testsættet eller checkpointet; ikke offentliggjorte værdier vises som -.
| Placering efter måling | Model | Testbetingelse | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Offentlige vægte · Inferenskode | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Angiv værktøjets navn, trinene og problemet i din feedback. Skærmbilleder kan hjælpe med at finde fejlen.