VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music
ISMIR - 2021
VOCANO는 Patch-CNN으로 보컬 음높이를 추출하고 PyramidNet-110으로 음표 경계를 판단합니다. 공개된 추론 진입점에는 추가 모델 조절 항목이 없습니다.
로딩 중...
노래, 허밍, 보컬 트랙을 MIDI로 변환합니다. ROSVOT, GAME, SOME, VOCANO 결과를 비교하고 멜로디를 교정하세요.
입력
보컬만 녹음한 파일, 허밍 또는 분리된 리드 보컬을 올리세요. 완성곡만 있다면 ‘완성곡’을 선택하면 리드 보컬을 먼저 분리합니다.
지원되는 포맷
출력
MIDI
사용 사례
편집, 더블링, 신디사이저 프로그래밍 또는 악보 초안을 위해 노래된 멜로디를 DAW에 복사합니다.
소재와 용도에 맞는 모델을 고르고 예시를 확인한 뒤 제출하세요.
비용, 시간, 형식과 매개변수는 선택한 모델에 따라 달라집니다.
SOME은 빠르고 가벼운 노래-MIDI 경로입니다.
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
노래를 MIDI로 변환하며 노래 언어, 구간 분할, 음표 감지 설정을 조정할 수 있습니다.
VOCANO는 Patch-CNN으로 보컬 음높이를 추출하고 PyramidNet-110으로 음표 경계를 판단합니다. 공개된 추론 진입점에는 추가 모델 조절 항목이 없습니다.
ISMIR - 2021
VOCANO는 Patch-CNN으로 보컬 음높이를 추출하고 PyramidNet-110으로 음표 경계를 판단합니다. 공개된 추론 진입점에는 추가 모델 조절 항목이 없습니다.
ACL - 2024
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
Official technical guide - 2026
노래를 MIDI로 변환하며 노래 언어, 구간 분할, 음표 감지 설정을 조정할 수 있습니다.
Official technical guide - 2023
이 사이트와 외부 모델의 공개 평가 결과를 포함합니다. 기본적으로 출처의 전체 표를 표시하며, 조건과 지표를 선택해 비교할 수도 있습니다. 평가 조건이 다른 점수는 직접 비교할 수 없습니다.
공개 추론 구현과 해당 가중치가 확인된 기록만 표시합니다. 가중치가 필요 없는 알고리즘도 포함됩니다. 폐쇄형 서비스, 미공개 가중치, 실험 버전이 확인되지 않은 기록은 제외하며 전체 모델 종합 순위는 아닙니다.
가중치 공개만으로 완전한 오픈 소스 라이선스가 보장되지는 않습니다. 데이터를 펼치면 가중치 라이선스와 접근 조건을 확인할 수 있습니다. 명시되지 않은 라이선스는 별도로 표시합니다.
선택한 모델에 해당하는 검증된 공개 성적이 없어 순위를 매기지 않았습니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
저자 비공개 데이터의 학습 제외 녹음 100개이며, 크기별로 보고된 최적 K를 사용합니다. OA는 전체 프레임 정확도로 음표 F1이 아니며 ROSVOT 점수와 합칠 수 없습니다.
| 지표별 순위 | 모델 | 동일 조건 내 종합 순위↑OA (%) | QER (%)↓ | Presence F1 (%)↑ | RPA (%)↑ | Pitch RMSE↓ | Chamfer (frames)↓ |
|---|---|---|---|---|---|---|---|
| 1 | GAME 1.0 Medium · K=8공개 가중치 · 추론 코드 | 95.03 | 12.3 | 99.23 | 94.86 | 0.552 | 1.44 |
| 1 | GAME 1.0 Large · K=1공개 가중치 · 추론 코드 | 95.03 | 12.87 | 99.15 | 94.92 | 0.684 | 1.44 |
| 3 | GAME 1.0 Small · K=2공개 가중치 · 추론 코드 | 94.99 | 13.13 | 99.14 | 94.99 | 0.653 | 1.5 |
데이터셋, 버전, 조건을 구분하며 순위에 포함할 항목이 없는 출처도 남깁니다.
배포 가능 2 / 원본 행 10
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
점수는 해당 데이터셋, 지표, 모델 버전에 대한 결과이며 서로 다른 테스트끼리는 직접 비교할 수 없습니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 2 / 원본 행 10
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
| 지표별 순위 | 모델 | COn (F) ↑ | COff (F) ↑ | COnPOff (F) ↑ | Pitch (AOR) ↑ | Melody (RPA) ↑ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| clean | noisy | clean | noisy | clean | noisy | clean | noisy | clean | noisy | ||
| 1 | ℳ (ours)공개 가중치 · 추론 코드 | 94.0 | 93.8 | 94.5 | 94.4 | 77.4 | 77.0 | 97.0 | 97.1 | 87.6 | 87.4 |
| 2 | ℳ (w/ E W )공개 가중치 · 추론 코드 | 93.3 | 93.5 | 93.2 | 92.9 | 77.1 | 77.0 | 96.5 | 96.2 | 87.5 | 87.2 |
의견에 도구 이름, 작업 단계와 발생한 문제를 적어 주세요. 스크린샷을 첨부하면 확인에 도움이 됩니다.