Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
로딩 중...
고정된 탑뷰 건반 영상 전용입니다. 원근 보정을 위해 건반 네 모서리 좌표가 필요하며, V2N은 페달로 늘어난 오디오 종료점이 아닌 실제 건반 릴리스와 벨로시티를 예측합니다.
입력
mp4 / mov / mkv와 같은 형식의 입력을 지원합니다
지원되는 포맷
출력
MIDI
사용 사례
음표, 악기 편성과 연주 세부 사항을 편집합니다.
ISMIR - 2026
이 사이트와 외부 모델의 공개 평가 결과를 포함합니다. 기본적으로 출처의 전체 표를 표시하며, 조건과 지표를 선택해 비교할 수도 있습니다. 평가 조건이 다른 점수는 직접 비교할 수 없습니다.
공개 추론 구현과 해당 가중치가 확인된 기록만 표시합니다. 가중치가 필요 없는 알고리즘도 포함됩니다. 폐쇄형 서비스, 미공개 가중치, 실험 버전이 확인되지 않은 기록은 제외하며 전체 모델 종합 순위는 아닙니다.
가중치 공개만으로 완전한 오픈 소스 라이선스가 보장되지는 않습니다. 데이터를 펼치면 가중치 라이선스와 접근 조건을 확인할 수 있습니다. 명시되지 않은 라이선스는 별도로 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 1 / 원본 행 13
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
수치는 링크된 공개 출처에서 가져왔습니다. 행 이름은 평가 데이터셋이나 체크포인트를 나타내며, 보고되지 않은 점수는 -로 표시합니다.
| 지표별 순위 | 모델 | 평가 조건 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)사이트 사용 모델공개 가중치 · 추론 코드 | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
표시는 사이트에서 사용하는 모델이나 구성 모델을 뜻합니다. 점수와 설정은 인용된 공개 평가 기준이며, 사이트 전체 처리 과정을 다시 평가한 결과가 아닙니다.
데이터셋, 버전, 조건을 구분하며 순위에 포함할 항목이 없는 출처도 남깁니다.
배포 가능 1 / 원본 행 13
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
점수는 해당 데이터셋, 지표, 모델 버전에 대한 결과이며 서로 다른 테스트끼리는 직접 비교할 수 없습니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 1 / 원본 행 13
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
수치는 링크된 공개 출처에서 가져왔습니다. 행 이름은 평가 데이터셋이나 체크포인트를 나타내며, 보고되지 않은 점수는 -로 표시합니다.
| 지표별 순위 | 모델 | 평가 조건 | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)공개 가중치 · 추론 코드 | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
의견에 도구 이름, 작업 단계와 발생한 문제를 적어 주세요. 스크린샷을 첨부하면 확인에 도움이 됩니다.