Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Ładowanie...
Tylko dla stałego widoku klawiatury z góry. Do korekcji perspektywy potrzebne są cztery narożniki; V2N przewiduje fizyczne zwolnienie klawisza i velocity, a nie końce wydłużone pedałem.
Wejście
Obsługuje wejścia w formatach takich jak mp4 / mov / mkv
Obsługiwane formaty
Produkcja
MIDI
Przypadek użycia
Edytuj nuty, instrumentację i szczegóły wykonania.
ISMIR - 2026
Zawiera publiczne wyniki testów modeli używanych tutaj i poza serwisem. Domyślnie wyświetlana jest pełna tabela źródłowa; można też wybrać warunki i metryki do porównania. Wyniki z różnych warunków testowych nie są bezpośrednio porównywalne.
Wyświetlane są tylko wyniki ze zweryfikowaną publiczną implementacją inferencji i odpowiednimi wagami oraz algorytmy niewymagające wag. Zamknięte usługi, nieopublikowane wagi i niepotwierdzone wersje eksperymentalne są pomijane. To nie jest ranking wszystkich modeli.
Publiczne wagi nie potwierdzają pełnej licencji open source. Rozwiń dane, aby sprawdzić zadeklarowane licencje wag i warunki dostępu. Brak deklaracji licencji jest oznaczony osobno.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 1 / wiersze źródłowe 13
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | Warunek testu | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Model używany tutajPubliczne wagi · Kod inferencji | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Oznaczenia wskazują używane tutaj modele lub elementy. Wyniki i ustawienia pochodzą z przytoczonych testów, a nie z nowej oceny całego procesu serwisu.
Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.
Do wdrożenia 1 / wiersze źródłowe 13
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Wyniki dotyczą wskazanego zbioru, miary i wersji modelu. Różnych testów nie można bezpośrednio porównywać.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 1 / wiersze źródłowe 13
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | Warunek testu | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Publiczne wagi · Kod inferencji | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
W opinii podaj nazwę narzędzia, kroki i napotkany problem. Zrzuty ekranu ułatwią jego zlokalizowanie.