VocalParse: Towards Unified and Scalable Singing Voice Transcription with Large Audio Language Models
arXiv - 2026
預設用於較乾淨的歌聲,產生結構規整、接近樂譜表達的歌聲 MIDI;固定檢查點沒有官方可調推論參數。
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
輸入
上傳完整的受支援音訊或影片,並依素材類型與目標結果選擇對應模型。
支援格式
輸出
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
適用場景
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
預設用於較乾淨的歌聲,產生結構規整、接近樂譜表達的歌聲 MIDI;固定檢查點沒有官方可調推論參數。
GAME 使用官方邊界、D3PM 與估計控制把歌聲轉成 MIDI。語言預設為自動/未指定,不再強制中文。
面向帶噪或伴奏殘留歌聲的穩健路線;目前官方檢查點主要使用普通話歌聲訓練。
SOME 是快速、輕量的歌聲轉 MIDI 路線。沒有公開模型控制;選用的 MIDI 速度增強在推理後執行。
arXiv - 2026
預設用於較乾淨的歌聲,產生結構規整、接近樂譜表達的歌聲 MIDI;固定檢查點沒有官方可調推論參數。
ACL - 2024
面向帶噪或伴奏殘留歌聲的穩健路線;目前官方檢查點主要使用普通話歌聲訓練。
Official technical guide - 2026
GAME 使用官方邊界、D3PM 與估計控制把歌聲轉成 MIDI。語言預設為自動/未指定,不再強制中文。
Official technical guide - 2023
SOME 是快速、輕量的歌聲轉 MIDI 路線。沒有公開模型控制;選用的 MIDI 速度增強在推理後執行。
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
預設用於較乾淨的歌聲,產生結構規整、接近樂譜表達的歌聲 MIDI;固定檢查點沒有官方可調推論參數。
GAME 使用官方邊界、D3PM 與估計控制把歌聲轉成 MIDI。語言預設為自動/未指定,不再強制中文。
面向帶噪或伴奏殘留歌聲的穩健路線;目前官方檢查點主要使用普通話歌聲訓練。
SOME 是快速、輕量的歌聲轉 MIDI 路線。沒有公開模型控制;選用的 MIDI 速度增強在推理後執行。
VocalParse、GAME、ROSVOT 與 SOME 採用不同資料集、語言、標籤規則與匹配容差。沒有涵蓋四個已部署檢查點的統一、已核實公開協定,因此不拼造綜合名次。
| 評測情境 | 模型 | MAE_pitch ↓ | 詳細指標 |
|---|---|---|---|
| 標準歌詞 + SOFA 時間戳 | ROSVOTTelkNetPaper Table 1 | 0.38 | MAE_note ↓0.45MAE_duration ↓0.40MAE_note-count ↓0.20 |
| 僅音訊 | VocalParse 1.7BTelkNetPaper Table 1 | 0.56 | MAE_note ↓0.44MAE_duration ↓0.34MAE_note-count ↓0.11 |
| 音訊 + 標準歌詞 | VocalParse 1.7BTelkNetPaper Table 1 | 0.35 | MAE_note ↓0.43MAE_duration ↓0.33MAE_note-count ↓0.11 |
面向帶噪或伴奏殘留歌聲的穩健路線;目前官方檢查點主要使用普通話歌聲訓練。
| 評測情境 | 模型 | COnPOff F1 (%) | 詳細指標 |
|---|---|---|---|
| 乾淨 | ROSVOTTelkNetPaper Table 1 | 77.4 | COn F1 (%)94.0COff F1 (%)94.5Pitch AOR (%)97.0Melody RPA (%)87.6 |
| MUSAN 噪音 | ROSVOTTelkNetPaper Table 1 | 77.0 | COn F1 (%)93.8COff F1 (%)94.4Pitch AOR (%)97.1Melody RPA (%)87.4 |
VocalParse、GAME、ROSVOT 與 SOME 採用不同資料集、語言、標籤規則與匹配容差。沒有涵蓋四個已部署檢查點的統一、已核實公開協定,因此不拼造綜合名次。
該工具正在維護中,請稍後再試。
在這裡寫下你的建議或需求並提交。我們認真傾聽每一個聲音,並努力把好想法變成現實。
演示
在 VocalParse、GAME、ROSVOT 與 SOME 之間切換,分別處理樂譜化歌聲、伴奏殘留和快速轉寫。
VocalParse 1.7B