VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music
ISMIR - 2021
VOCANO は Patch-CNN で歌声音高を抽出し、PyramidNet-110 で音符境界を判定します。公開された推論入口に追加のモデル調整項目はありません。
読み込み中...
歌唱、ハミング、ボーカルトラックを MIDI に変換します。ROSVOT、GAME、SOME、VOCANO を比較して旋律を修正できます。
入力
歌声だけの録音、ハミング、分離済みリードボーカルをアップロードします。完成曲しかない場合は「完成曲」を選ぶと、先にリードボーカルを分離します。
対応フォーマット
出力
MIDI
ユースケース
歌ったメロディーを DAW にコピーして、編集、ダブリング、シンセプログラミング、楽譜の下書きを行うことができます。
素材と用途に合ったモデルを選び、例を確認してから送信してください。
料金、時間、形式、パラメータは選択したモデルによって異なります。
歌声を MIDI に変換します。歌唱言語、区間分割、音符検出の設定を調整できます。
ノイズや伴奏漏れを含む歌声に強い経路です。現在の公式チェックポイントは主に中国語(普通話)の歌唱で学習されています。
SOME は高速で軽量な歌唱 MIDI 化ルートです。
VOCANO は Patch-CNN で歌声音高を抽出し、PyramidNet-110 で音符境界を判定します。公開された推論入口に追加のモデル調整項目はありません。
GAME v1.0.3 単独の評価結果はまだ掲載していません。
ISMIR - 2021
VOCANO は Patch-CNN で歌声音高を抽出し、PyramidNet-110 で音符境界を判定します。公開された推論入口に追加のモデル調整項目はありません。
ACL - 2024
ノイズや伴奏漏れを含む歌声に強い経路です。現在の公式チェックポイントは主に中国語(普通話)の歌唱で学習されています。
Official technical guide - 2026
Official technical guide - 2023
SOME は高速で軽量な歌唱 MIDI 化ルートです。
本サイトと外部のモデルの公開テスト結果を含みます。初期表示は出典の全項目表です。条件や指標を選んで比較することもできます。異なるテスト条件のスコアは直接比較できません。
公開された推論実装と対応する重みを確認できた記録、および重みを必要としないアルゴリズムのみを表示します。非公開サービス、未公開の重み、実験版との対応が未確認の記録は除外しています。全モデルの総合順位ではありません。
重みの公開だけでは完全なオープンソースライセンスは確認できません。データを展開すると、宣言された重みのライセンスとアクセス条件を確認できます。未記載のライセンスは別途表示します。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
著者の非公開データ、学習から除外した100録音。各サイズで報告された最適な K を使用。OA は総合フレーム正解率で、音符 F1 ではなく、ROSVOT の点数と合算できません。
| 指標別順位 | モデル | 同じテスト条件での総合順位↑OA (%) | QER (%)↓ | Presence F1 (%)↑ | RPA (%)↑ | Pitch RMSE↓ | Chamfer (frames)↓ |
|---|---|---|---|---|---|---|---|
| 1 | GAME 1.0 Medium · K=8公開の重み · 推論コード | 95.03 | 12.3 | 99.23 | 94.86 | 0.552 | 1.44 |
| 1 | GAME 1.0 Large · K=1当サイトで使用公開の重み · 推論コード | 95.03 | 12.87 | 99.15 | 94.92 | 0.684 | 1.44 |
| 3 | GAME 1.0 Small · K=2公開の重み · 推論コード | 94.99 | 13.13 | 99.14 | 94.99 | 0.653 | 1.5 |
印は当サイトで使用するモデルや構成モデルを示します。スコアと設定は引用元の公開評価に基づき、サイトの処理全体を再評価した結果ではありません。
データセット・バージョン・条件を分け、掲載可能な行がない評価も出典を残します。
展開可能 2 / 原表 10
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
スコアは記載のデータセット、指標、モデル版に対する結果です。異なるテストの数値は直接比較できません。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 2 / 原表 10
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
ノイズや伴奏漏れを含む歌声に強い経路です。現在の公式チェックポイントは主に中国語(普通話)の歌唱で学習されています。
| 指標別順位 | モデル | COn (F) ↑ | COff (F) ↑ | COnPOff (F) ↑ | Pitch (AOR) ↑ | Melody (RPA) ↑ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| clean | noisy | clean | noisy | clean | noisy | clean | noisy | clean | noisy | ||
| 1 | ℳ (ours)公開の重み · 推論コード | 94.0 | 93.8 | 94.5 | 94.4 | 77.4 | 77.0 | 97.0 | 97.1 | 87.6 | 87.4 |
| 2 | ℳ (w/ E W )公開の重み · 推論コード | 93.3 | 93.5 | 93.2 | 92.9 | 77.1 | 77.0 | 96.5 | 96.2 | 87.5 | 87.2 |
フィードバックにはツール名、操作手順、発生した問題を記載してください。スクリーンショットも確認に役立ちます。