Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Lädt...
Nur für fest aufgenommene Draufsichtvideos der Tastatur. Für die Perspektivkorrektur sind alle vier Tastaturecken nötig; V2N schätzt physisches Loslassen und Anschlagstärke, nicht pedalverlängerte Audio-Enden.
Eingabe
Unterstützt Eingaben in Formaten wie mp4 / mov / mkv
Unterstützte Formate
Ausgabe
MIDI
Anwendungsfall
Noten, Instrumentierung und Spieldetails bearbeiten.
ISMIR - 2026
Enthält öffentliche Testergebnisse für hier und andernorts verwendete Modelle. Standardmäßig wird die vollständige Quelltabelle angezeigt; Bedingungen und Metriken lassen sich zum Vergleich auswählen. Werte aus unterschiedlichen Testbedingungen sind nicht direkt vergleichbar.
Angezeigt werden nur Einträge mit verifizierter öffentlicher Inferenzimplementierung und passenden Gewichten sowie Algorithmen ohne trainierte Gewichte. Geschlossene Dienste, unveröffentlichte Gewichte und nicht zuordenbare Experimentversionen sind ausgeschlossen. Dies ist keine Gesamtrangliste aller Modelle.
Öffentliche Gewichte belegen keine vollständige Open-Source-Lizenz. Die aufgeklappten Daten zeigen erklärte Gewichtslizenzen und Zugangsbedingungen. Nicht erklärte Lizenzen sind gesondert gekennzeichnet.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 1 / Originalzeilen 13
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | Testbedingung | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Hier eingesetztes ModellÖffentliche Gewichte · Inferenzcode | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Die Markierungen kennzeichnen hier verwendete Modelle oder Komponenten. Werte und Einstellungen stammen aus den zitierten Tests, nicht aus einer neuen Bewertung der gesamten Verarbeitungskette.
Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.
Ausführbare Einträge 1 / Originalzeilen 13
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Werte gelten für den jeweiligen Datensatz, Messwert und die Modellversion. Verschiedene Tests sind nicht direkt vergleichbar.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 1 / Originalzeilen 13
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | Testbedingung | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Öffentliche Gewichte · Inferenzcode | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.