Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Đang tải...
Chỉ dành cho video bàn phím cố định nhìn từ trên xuống. Phải cung cấp đủ bốn góc để hiệu chỉnh phối cảnh; V2N dự đoán lúc nhả phím vật lý và velocity, không dùng điểm kết thúc âm thanh kéo dài bởi pedal.
Đầu vào
Hỗ trợ đầu vào ở các định dạng như mp4 / mov / mkv
Các định dạng được hỗ trợ
Đầu ra
MIDI
Trường hợp sử dụng
Chỉnh sửa nốt nhạc, phối khí và chi tiết biểu diễn.
ISMIR - 2026
Bao gồm kết quả kiểm thử công khai của các mô hình được dùng tại đây và nơi khác. Mặc định hiển thị bảng nguồn đầy đủ; cũng có thể chọn điều kiện và chỉ số để so sánh. Không thể so sánh trực tiếp điểm số giữa các điều kiện kiểm thử khác nhau.
Chỉ hiển thị bản ghi đã xác minh có mã suy luận công khai và trọng số đúng phiên bản thử nghiệm, cùng các thuật toán không cần trọng số. Dịch vụ đóng, trọng số chưa công bố và phiên bản thử nghiệm chưa đối chiếu được sẽ bị loại. Đây không phải bảng xếp hạng của tất cả mô hình.
Trọng số công khai không chứng minh có giấy phép mã nguồn mở đầy đủ. Mở rộng dữ liệu để xem giấy phép trọng số được công bố và điều kiện truy cập. Giấy phép chưa công bố được đánh dấu riêng.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 1 / dòng nguồn 13
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Các giá trị lấy từ nguồn công khai được liên kết. Nhãn hàng cho biết tập kiểm thử hoặc checkpoint; điểm chưa được công bố được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Mô hình dùng tại đâyTrọng số công khai · Mã suy luận | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Nhãn cho biết mô hình hoặc thành phần được dùng tại đây. Điểm số và thiết lập lấy từ các thử nghiệm được dẫn nguồn, không phải kết quả đánh giá lại toàn bộ quy trình của trang.
Tách riêng bộ dữ liệu, phiên bản và điều kiện, kể cả nguồn chưa có dòng đủ điều kiện xếp hạng.
Triển khai được 1 / dòng nguồn 13
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Điểm số áp dụng cho bộ dữ liệu, chỉ số và phiên bản được nêu; không thể so sánh trực tiếp các phép thử khác nhau.
Chọn một bộ dữ liệu để xem mọi chỉ số của từng mô hình. Các hàng được sắp theo thứ hạng chính thức hoặc chỉ số đã chọn. Chữ đậm đánh dấu giá trị tốt nhất có thể so sánh trong mỗi cột, kể cả đồng hạng. Các quy trình đánh giá khác nhau được xếp hạng riêng; điểm còn thiếu được hiển thị bằng -.
Triển khai được 1 / dòng nguồn 13
Chưa xác minh gói suy luận công khai đầy đủ cho các thử nghiệm này. Trọng số khác cùng tên mô hình không thể thay thế.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Các giá trị lấy từ nguồn công khai được liên kết. Nhãn hàng cho biết tập kiểm thử hoặc checkpoint; điểm chưa được công bố được hiển thị bằng -.
| Hạng theo chỉ số | Mô hình | Điều kiện thử nghiệm | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Trọng số công khai · Mã suy luận | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Khi góp ý, hãy nêu tên công cụ, các bước và vấn đề gặp phải. Ảnh chụp màn hình giúp xác định vấn đề.