VocalParse: Towards Unified and Scalable Singing Voice Transcription with Large Audio Language Models
arXiv - 2026
더 깨끗한 노래에서 악보 형태에 가까운 구조화된 보컬 MIDI를 만드는 기본 경로입니다. 고정 체크포인트이며 공식 사용자 조정 추론 매개변수는 없습니다.
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
입력
완전히 지원되는 오디오 또는 비디오 파일. 필요한 소스 및 결과와 일치하는 모델 프로필을 선택하십시오.
지원되는 포맷
출력
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
사용 사례
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
더 깨끗한 노래에서 악보 형태에 가까운 구조화된 보컬 MIDI를 만드는 기본 경로입니다. 고정 체크포인트이며 공식 사용자 조정 추론 매개변수는 없습니다.
GAME은 공식 경계, D3PM, 추정 설정으로 노래를 MIDI로 변환합니다. 기본 언어는 자동/미지정이며 중국어를 강제하지 않습니다.
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
SOME은 빠르고 가벼운 노래-MIDI 경로입니다. 공개 모델 설정은 없으며 선택적 MIDI 템포 보정은 추론 후 실행됩니다.
arXiv - 2026
더 깨끗한 노래에서 악보 형태에 가까운 구조화된 보컬 MIDI를 만드는 기본 경로입니다. 고정 체크포인트이며 공식 사용자 조정 추론 매개변수는 없습니다.
ACL - 2024
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
Official technical guide - 2026
GAME은 공식 경계, D3PM, 추정 설정으로 노래를 MIDI로 변환합니다. 기본 언어는 자동/미지정이며 중국어를 강제하지 않습니다.
Official technical guide - 2023
SOME은 빠르고 가벼운 노래-MIDI 경로입니다. 공개 모델 설정은 없으며 선택적 MIDI 템포 보정은 추론 후 실행됩니다.
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
더 깨끗한 노래에서 악보 형태에 가까운 구조화된 보컬 MIDI를 만드는 기본 경로입니다. 고정 체크포인트이며 공식 사용자 조정 추론 매개변수는 없습니다.
GAME은 공식 경계, D3PM, 추정 설정으로 노래를 MIDI로 변환합니다. 기본 언어는 자동/미지정이며 중국어를 강제하지 않습니다.
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
SOME은 빠르고 가벼운 노래-MIDI 경로입니다. 공개 모델 설정은 없으며 선택적 MIDI 템포 보정은 추론 후 실행됩니다.
VocalParse, GAME, ROSVOT, SOME은 서로 다른 데이터셋, 언어, 레이블 규칙, 매칭 허용치로 결과를 공개합니다. 배포된 네 체크포인트를 모두 포괄하는 검증된 공통 공개 프로토콜이 없으므로 통합 순위를 만들지 않습니다.
| 논문 및 벤치마크 노트 | 모델 | MAE_pitch ↓ | 세부 지표 |
|---|---|---|---|
| 정답 가사 + SOFA 타임스탬프 | ROSVOTTelkNetPaper Table 1 | 0.38 | MAE_note ↓0.45MAE_duration ↓0.40MAE_note-count ↓0.20 |
| 오디오만 | VocalParse 1.7BTelkNetPaper Table 1 | 0.56 | MAE_note ↓0.44MAE_duration ↓0.34MAE_note-count ↓0.11 |
| 오디오 + 정답 가사 | VocalParse 1.7BTelkNetPaper Table 1 | 0.35 | MAE_note ↓0.43MAE_duration ↓0.33MAE_note-count ↓0.11 |
노이즈나 반주 누출이 있는 노래에 강한 경로입니다. 현재 공식 체크포인트는 주로 중국어(보통화) 가창으로 학습되었습니다.
| 논문 및 벤치마크 노트 | 모델 | COnPOff F1 (%) | 세부 지표 |
|---|---|---|---|
| 깨끗한 음원 | ROSVOTTelkNetPaper Table 1 | 77.4 | COn F1 (%)94.0COff F1 (%)94.5Pitch AOR (%)97.0Melody RPA (%)87.6 |
| MUSAN 잡음 | ROSVOTTelkNetPaper Table 1 | 77.0 | COn F1 (%)93.8COff F1 (%)94.4Pitch AOR (%)97.1Melody RPA (%)87.4 |
VocalParse, GAME, ROSVOT, SOME은 서로 다른 데이터셋, 언어, 레이블 규칙, 매칭 허용치로 결과를 공개합니다. 배포된 네 체크포인트를 모두 포괄하는 검증된 공통 공개 프로토콜이 없으므로 통합 순위를 만들지 않습니다.
이 도구는 현재 유지보수 중입니다. 나중에 다시 시도해 주세요.
여기에 제안이나 요청을 작성해 제출하세요. 모든 의견을 귀담아듣고 좋은 아이디어를 실제 기능으로 만들기 위해 노력합니다.
데모
VocalParse, GAME, ROSVOT, SOME 중에서 악보형, 반주 잔류 대응, 빠른 보컬 채보 경로를 선택합니다.
VocalParse 1.7B