模型
專精音訊轉 MIDI：五個模型，五張不同的 F1 試卷
以下模型均有公開可下載權重，TelkNet 已補齊工具或 profile 接線、明確版本選擇與不可變執行環境定義。公開顯示與任務准入仍以 Admin 狀態為準；啟用前必須具備綁定身分的 E2–E4 證據，預設路由還需要 E5。
以下模型均有公開可下載權重，TelkNet 已補齊工具或 profile 接線、明確版本選擇與不可變執行環境定義。公開顯示與任務准入仍以 Admin 狀態為準；啟用前必須具備綁定身分的 E2–E4 證據，預設路由還需要 E5。
© 2026 TelkNet. 保留所有權利。
自動音樂轉錄
GAPS、FiloSax、FiloBass、VioPTT 與 SwiftF0 都會輸出 MIDI,但它們的輸入分布、標註方式與匹配容差各不相同。先按樂器路由,只在對應的資料集內部做比較。
在 onset 容差內完成音符匹配後,P=TP/(TP+FP)、R=TP/(TP+FN)、F1=2PR/(P+R)。考慮 offset 的匹配更嚴格,所以每個 F1 數字都必須附上它的容差與匹配定義。
GAPS 將乾淨或已分離的吉他獨奏轉為音符事件與 MIDI，不輸出弦號、品位、連續 F0 或 Pitch Bend。請對照原錄音調整 MIDI 力度。 FiloSax 面向單聲部爵士薩克斯風獨奏，把離散音高、起音與止音事件匯出為 MIDI；它不輸出連續音高、滑音或顫音軌跡。 FiloBass 面向單聲部爵士低音提琴（double bass / upright bass），不是通用貝斯或電貝斯模型。應輸入乾淨或已分離的 stem；底鼓與低頻串音會產生假音符。 VioPTT 輸出小提琴音符事件，以及 détaché、flageolet、spiccato、pizzicato 四類技法之一或無技法標籤。MIDI 力度是固定值，不是實測演奏力度。 SwiftF0 追蹤單聲部連續 F0；TelkNet 再把曲線切成音符，匯出 MIDI、逐影格音高 CSV 與圖表。它不能轉錄複調全混音。
把乾淨或已分離的吉他獨奏、爵士薩克斯風、爵士低音提琴、小提琴獨奏或單聲部旋律交給對應的專項模型。
音訊轉 MIDI 沒有單一模型能涵蓋所有樂器與指標。GAPS 針對吉他;FiloSax、FiloBass 與 VioPTT 利用樂器專屬的音域與演奏法;SwiftF0 則更接近通用音高追蹤。共用檔案格式,並不代表它們的訓練分布相同。
這個領域從逐幀音高偵測,走到 onset、offset、音高與力度的聯合預測,再走向完整音符事件的序列解碼。進步體現在重複音、延音、滑音與顫音的處理上,而不只是 F1 數字變大。一旦容差視窗與匹配規則不同,論文分數之間就無法直接相比。
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)TP符合該論文容差的匹配事件FP多預測出來的事件FN漏掉的事件各篇論文對 TP 的定義不同:有些只要求 onset 容差,有些還要求 offset、音高或演奏技巧。一個 F1 數值只要抽掉它的匹配規則,就失去可比性。
GAPS、FiloSax、FiloBass、VioPTT 與 SwiftF0 針對的樂器與標註層級各不相同。正確的路由,比把互不相干資料集的最大值拼在一起更重要。
論文、程式碼與權重可從 Unified specialist runtime / GAPS paper / VioPTT 一路追查。
每一列都保留其來源的架構、指標或任務定義;缺乏共同評測協定的結果維持分立。
| 模型 | 原生或派生輸出 | 準確邊界 |
|---|---|---|
| GAPS | MIDI · pitch/onset/offset | GAPS 將乾淨或已分離的吉他獨奏轉為音符事件與 MIDI，不輸出弦號、品位、連續 F0 或 Pitch Bend。請對照原錄音調整 MIDI 力度。 |
| FiloSax | MIDI · pitch/onset/offset | FiloSax 面向單聲部爵士薩克斯風獨奏，把離散音高、起音與止音事件匯出為 MIDI；它不輸出連續音高、滑音或顫音軌跡。 |
| FiloBass | MIDI · pitch/onset/offset | FiloBass 面向單聲部爵士低音提琴（double bass / upright bass），不是通用貝斯或電貝斯模型。應輸入乾淨或已分離的 stem；底鼓與低頻串音會產生假音符。 |
| VioPTT | MIDI + technique CSV | VioPTT 輸出小提琴音符事件，以及 détaché、flageolet、spiccato、pizzicato 四類技法之一或無技法標籤。MIDI 力度是固定值，不是實測演奏力度。 |
| SwiftF0 | F0 CSV → note segmentation → MIDI | SwiftF0 追蹤單聲部連續 F0；TelkNet 再把曲線切成音符，匯出 MIDI、逐影格音高 CSV 與圖表。它不能轉錄複調全混音。 |
鋼琴要檢查延音與重複音;薩克斯風與小提琴要檢查滑音、裝飾音與顫音;貝斯容易與大鼓及低頻泛音混淆。合成器音色可能掩蓋時序誤差,所以要對照波形檢查鋼琴捲簾。
事件 F1 隨容差視窗而變。50 ms onset 匹配、嚴格 onset 匹配、考慮 offset 的音符分數與逐幀 F1,各自回答不同的問題。工具會記錄模型、閾值與量化設定,讓結果可以重新計算。
MIDI 儲存的是符號化事件,原始的音色、空間與觸鍵並不在其中。混音中的樂器辨識錯誤,會一路傳進編曲與記譜。
缺少共同資料集與一致的容差規則時,各來源的指標只能各自分立,不該拼出一個跨論文的綜合冠軍。
模型名稱、數字與限制,都可追溯到下列論文、儲存庫或模型卡。