Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Cargando...
Solo para vídeo fijo y cenital del teclado. Requiere las cuatro esquinas para corregir la perspectiva; V2N predice la liberación física de la tecla y la velocidad, no finales prolongados por el pedal.
Entrada
Soporta entradas en formatos como mp4 / mov / mkv
Formatos soportados
Producción
MIDI
Caso de uso
Editar notas, instrumentación y detalles de interpretación.
ISMIR - 2026
Incluye resultados públicos de modelos usados aquí y en otros servicios. La tabla completa de la fuente se muestra por defecto; también se pueden elegir condiciones y métricas para comparar. Las puntuaciones de pruebas con condiciones distintas no son directamente comparables.
Solo se muestran registros con implementación pública de inferencia y pesos correspondientes verificados, además de algoritmos que no necesitan pesos. Se excluyen servicios cerrados, pesos no publicados y versiones experimentales sin correspondencia comprobada. No es una clasificación de todos los modelos.
Publicar los pesos no demuestra que exista una licencia de código abierto completa. Despliega los datos para consultar las licencias declaradas y las condiciones de acceso. Las licencias no declaradas se indican por separado.
Elige un conjunto de datos para ver todas las métricas de cada modelo. Las filas siguen la clasificación oficial o la métrica seleccionada. La negrita indica el mejor valor comparable de cada columna, incluidos los empates. Los protocolos de evaluación diferentes se clasifican por separado; las puntuaciones ausentes se muestran como -.
Entradas desplegables 1 / filas originales 13
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Los valores proceden de la fuente pública enlazada. Las etiquetas de las filas indican el conjunto de prueba o el checkpoint; las puntuaciones no publicadas se muestran como -.
| Clasificación por métrica | Modelo | Condición de prueba | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Modelo usado aquíPesos públicos · Código de inferencia | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Las marcas identifican modelos o componentes usados aquí. Las puntuaciones y los ajustes proceden de las pruebas citadas, no de una nueva evaluación de todo el proceso del sitio.
Se separan conjuntos, versiones y condiciones, incluidas fuentes sin filas aptas para el ranking.
Entradas desplegables 1 / filas originales 13
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Las puntuaciones corresponden al conjunto de datos, métrica y versión indicados; no son comparables entre pruebas distintas.
Elige un conjunto de datos para ver todas las métricas de cada modelo. Las filas siguen la clasificación oficial o la métrica seleccionada. La negrita indica el mejor valor comparable de cada columna, incluidos los empates. Los protocolos de evaluación diferentes se clasifican por separado; las puntuaciones ausentes se muestran como -.
Entradas desplegables 1 / filas originales 13
No se ha verificado un paquete completo de inferencia pública para estos experimentos. Otros pesos con el mismo nombre no son equivalentes.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Los valores proceden de la fuente pública enlazada. Las etiquetas de las filas indican el conjunto de prueba o el checkpoint; las puntuaciones no publicadas se muestran como -.
| Clasificación por métrica | Modelo | Condición de prueba | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Pesos públicos · Código de inferencia | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Indica la herramienta, los pasos y el problema en tus comentarios. Las capturas de pantalla ayudan a localizarlo.