Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Chargement...
Réservé à une vue fixe du clavier depuis le dessus. Les quatre coins sont requis pour corriger la perspective ; V2N estime le relâchement physique et la vélocité, pas les fins prolongées par la pédale.
Entrée
Prend en charge les entrées dans des formats tels que mp4 / mov / mkv
Formats pris en charge
Production
MIDI
Cas d’utilisation
Modifier les notes, l'instrumentation et les détails d'interprétation.
ISMIR - 2026
Inclut les résultats publics de modèles utilisés ici et ailleurs. Le tableau complet de la source est affiché par défaut ; les conditions et les métriques peuvent aussi être sélectionnées pour comparaison. Les scores obtenus dans des conditions différentes ne sont pas directement comparables.
Seuls les résultats dont l’implémentation d’inférence publique et les poids correspondants ont été vérifiés sont affichés, ainsi que les algorithmes sans poids entraînés. Les services fermés, les poids non publiés et les versions expérimentales non identifiées sont exclus. Ce classement ne couvre pas tous les modèles.
Des poids publics ne prouvent pas l’existence d’une licence open source complète. Dépliez les données pour consulter les licences déclarées et les conditions d’accès. Les licences non déclarées sont signalées séparément.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 1 / lignes d’origine 13
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Les valeurs proviennent de la source publique liée. Les libellés des lignes indiquent le jeu de test ou le checkpoint ; les scores non publiés sont affichés sous la forme -.
| Classement par métrique | Modèle | Condition de test | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Modèle utilisé iciPoids publics · Code d’inférence | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Les repères indiquent les modèles ou composants utilisés ici. Les scores et réglages proviennent des tests cités, et non d’une nouvelle évaluation du traitement complet du site.
Jeux de données, versions et conditions restent distincts, même sans lignes admissibles au classement.
Entrées déployables 1 / lignes d’origine 13
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Les scores concernent le jeu de données, la métrique et la version indiqués. Des tests différents ne sont pas directement comparables.
Choisissez un jeu de données pour afficher toutes les métriques de chaque modèle. Les lignes suivent le classement officiel ou la métrique sélectionnée. Le gras indique la meilleure valeur comparable de chaque colonne, y compris les ex æquo. Les protocoles d’évaluation différents sont classés séparément ; les scores manquants sont affichés par -.
Entrées déployables 1 / lignes d’origine 13
Aucun ensemble public complet d’inférence n’a été vérifié pour ces expériences. D’autres poids portant le même nom ne suffisent pas.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Les valeurs proviennent de la source publique liée. Les libellés des lignes indiquent le jeu de test ou le checkpoint ; les scores non publiés sont affichés sous la forme -.
| Classement par métrique | Modèle | Condition de test | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Poids publics · Code d’inférence | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Précisez l'outil, les étapes et le problème dans votre retour. Des captures d'écran peuvent aider à le localiser.