Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
TransKun V2の論文では、トランスフォーマー間隔スコアリングアーキテクチャとMaestroサブタスクでのより高いF1結果が報告されています。
読み込み中...
ピアノ録音を編集可能な MIDI に変換し、楽譜作成、練習、編曲に活用できます。
入力
mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkvなどのフォーマットでの入力をサポートしています。
対応フォーマット
出力
MIDI
ユースケース
音符、楽器編成、演奏の細部を編集します。
素材と用途に合ったモデルを選び、例を確認してから送信してください。
料金、時間、形式、パラメータは選択したモデルによって異なります。
フィードバックにはツール名、操作手順、発生した問題を記載してください。スクリーンショットも確認に役立ちます。
公式 Standard checkpoint を使用し、ノート終了はペダルで延長された音響的な長さに従います。離鍵寄りの NoExt、V2 Aug とは別に提供します。
TransKun V2 Augは、checkpointTransformerAug.zipを使った別のローカルデータ拡張checkpointルートです。
ローカルの既定値は、upstream transkun パッケージ内の TransKun V2 No Pedal Ext チェックポイント（2.0.pt）です。公開 V2/V2 Aug と同じアーキテクチャ系列に属し、V2 Aug 系統でファインチューニングおよび拡張されています。
Aria-AMTはEleutherAIのseq-to-seq pianoルートをpiano-medium-double-1.0.safetensorsと組み合わせています。
公開済みの D3RM 離散拡散リファイン checkpoint でピアノ音声を離散ノートイベントへ変換し、編集可能な MIDI とノートイベントを出力します。
ByteDance Piano CRNN note+pedalソロpiano MIDIとペダルコントローラーイベントにはnote_F1=0.9677_pedal_F1=0.9186.pthを使用します。
SFT-CRNN はピアノ音符の開始と終了を検出します。ベロシティは 100 固定で、ペダルは予測しません。
ISMIR - 2024
TransKun V2の論文では、トランスフォーマー間隔スコアリングアーキテクチャとMaestroサブタスクでのより高いF1結果が報告されています。
NeurIPS - 2021
2021年のSemi-CRF論文では、フレーム単位の検出を縫い合わせるのではなく、インターバル/イベント予測として転写をフレームにpianoしています。
Official repository / preliminary weights - current
Aria-AMTリポジトリには、seq-to-seq piano転写実装および予備的な重みが記録されています。論文はMAESTROとMAPS Table 1の比較を報告しています。
arXiv - 2025
公開済みの D3RM 離散拡散リファイン checkpoint でピアノ音声を離散ノートイベントへ変換し、編集可能な MIDI とノートイベントを出力します。
arXiv - 2020
ByteDanceの論文では、MAESTROのF1で96.72%の音開始率、91.86%のペダル開始F1が、コードと公開されたcheckpointsを報告しています。
ICASSP - 2026
SFT-CRNN はピアノ音符の開始と終了を検出します。ベロシティは 100 固定で、ペダルは予測しません。
本サイトと外部のモデルの公開テスト結果を含みます。初期表示は出典の全項目表です。条件や指標を選んで比較することもできます。異なるテスト条件のスコアは直接比較できません。
公開された推論実装と対応する重みを確認できた記録、および重みを必要としないアルゴリズムのみを表示します。非公開サービス、未公開の重み、実験版との対応が未確認の記録は除外しています。全モデルの総合順位ではありません。
重みの公開だけでは完全なオープンソースライセンスは確認できません。データを展開すると、宣言された重みのライセンスとアクセス条件を確認できます。未記載のライセンスは別途表示します。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
MIREXの要約行は、3つのデータセットにおける平均ノート開始F1と、MaestroおよびSMDにおける全体的なノートF1を比較します。
| 指標別順位 | モデル | 評価条件 | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 Aug公開の重み · 推論コード | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2当サイトで使用公開の重み · 推論コード | MIREX 2024 summary | 94.9 | 87.64 |
印は当サイトで使用するモデルや構成モデルを示します。スコアと設定は引用元の公開評価に基づき、サイトの処理全体を再評価した結果ではありません。
データセット・バージョン・条件を分け、掲載可能な行がない評価も出典を残します。
展開可能 9 / 原表 9
展開可能 2 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
展開可能 2 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
展開可能 2 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
展開可能 2 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
展開可能 0 / 原表 10
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
展開可能 2 / 原表 7
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
展開可能 1 / 原表 6
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
展開可能 1 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
展開可能 1 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
スコアは記載のデータセット、指標、モデル版に対する結果です。異なるテストの数値は直接比較できません。
表には、公開ウェイトまたは設定があり、ローカルで実行できるモデルだけを掲載しています。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
MIREXの要約行は、3つのデータセットにおける平均ノート開始F1と、MaestroおよびSMDにおける全体的なノートF1を比較します。
| 指標別順位 | モデル | 評価条件 | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 Aug公開の重み · 推論コード | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2公開の重み · 推論コード | MIREX 2024 summary | 94.9 | 87.64 |
表には、公開ウェイトまたは設定があり、ローカルで実行できるモデルだけを掲載しています。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
MIREX 公式の MAESTRO 結果です。公開済みの音符・ペダルの P / R / F1（%）をすべて表示し、未報告の指標は空欄のままにしています。
| 指標別順位 | モデル | 評価条件 | アクティベーション P（%）↑ | アクティベーション R（%）↑ | アクティベーション F1（%）↑ | 音符の開始 P (%)↑ | 音符の開始 R (%)↑ | 音符の開始 F1 (%)↑ | 音符の開始 + 終了 P (%)↑ | 音符の開始 + 終了 R (%)↑ | 音符の開始 + 終了 F1 (%)↑ | 音符の開始 + 終了 + ベロシティ P (%)↑ | 音符の開始 + 終了 + ベロシティ R (%)↑ | 音符の開始 + 終了 + ベロシティ F1 (%)↑ | ペダル・アクティベーション P（%）↑ | ペダル・アクティベーション R（%）↑ | ペダル・アクティベーション F1（%）↑ | ペダルオンセット P (%)↑ | ペダルオンセット R (%)↑ | ペダルオンセット F1 (%)↑ | ペダル開始+終了 P（%）↑ | ペダル開始+終了 R（%）↑ | ペダル開始+終了 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2公開の重み · 推論コード | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 Aug公開の重み · 推論コード | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
表には、公開ウェイトまたは設定があり、ローカルで実行できるモデルだけを掲載しています。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
MIREX 公式の MAPS 結果です。公開済みの音符・ペダルの P / R / F1（%）をすべて表示し、未報告の指標は空欄のままにしています。 MAPS は ad hoc alignment を使用しているため、offset 指標はこの位置合わせ方法を踏まえて解釈してください。
| 指標別順位 | モデル | 評価条件 | アクティベーション P（%）↑ | アクティベーション R（%）↑ | アクティベーション F1（%）↑ | 音符の開始 P (%)↑ | 音符の開始 R (%)↑ | 音符の開始 F1 (%)↑ | 音符の開始 + 終了 P (%)↑ | 音符の開始 + 終了 R (%)↑ | 音符の開始 + 終了 F1 (%)↑ | 音符の開始 + 終了 + ベロシティ P (%)↑ | 音符の開始 + 終了 + ベロシティ R (%)↑ | 音符の開始 + 終了 + ベロシティ F1 (%)↑ | ペダル・アクティベーション P（%）↑ | ペダル・アクティベーション R（%）↑ | ペダル・アクティベーション F1（%）↑ | ペダルオンセット P (%)↑ | ペダルオンセット R (%)↑ | ペダルオンセット F1 (%)↑ | ペダル開始+終了 P（%）↑ | ペダル開始+終了 R（%）↑ | ペダル開始+終了 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公開の重み · 推論コード | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2公開の重み · 推論コード | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
表には、公開ウェイトまたは設定があり、ローカルで実行できるモデルだけを掲載しています。
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
MIREX 公式の SMD 結果です。公開済みの音符・ペダルの P / R / F1（%）をすべて表示し、未報告の指標は空欄のままにしています。
| 指標別順位 | モデル | 評価条件 | アクティベーション P（%）↑ | アクティベーション R（%）↑ | アクティベーション F1（%）↑ | 音符の開始 P (%)↑ | 音符の開始 R (%)↑ | 音符の開始 F1 (%)↑ | 音符の開始 + 終了 P (%)↑ | 音符の開始 + 終了 R (%)↑ | 音符の開始 + 終了 F1 (%)↑ | 音符の開始 + 終了 + ベロシティ P (%)↑ | 音符の開始 + 終了 + ベロシティ R (%)↑ | 音符の開始 + 終了 + ベロシティ F1 (%)↑ | ペダル・アクティベーション P（%）↑ | ペダル・アクティベーション R（%）↑ | ペダル・アクティベーション F1（%）↑ | ペダルオンセット P (%)↑ | ペダルオンセット R (%)↑ | ペダルオンセット F1 (%)↑ | ペダル開始+終了 P（%）↑ | ペダル開始+終了 R（%）↑ | ペダル開始+終了 F1（%）↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 Aug公開の重み · 推論コード | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2公開の重み · 推論コード | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 9 / 原表 9
数値はリンク先のベースチェックポイントのもので、ここで動作するモデルを再計測した結果ではありません。
| 指標別順位 | モデル | 評価条件 | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2公開の重み · 推論コード | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 Aug公開の重み · 推論コード | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No Ext公開の重み · 推論コード | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 2 / 原表 7
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
数値はリンク先の公開資料に基づきます。行ラベルはテストセットやチェックポイントを示し、未報告のスコアは - で表示します。
| 指標別順位 | モデル | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)公開の重み · 推論コード | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | Baseline公開の重み · 推論コード | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 1 / 原表 6
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
論文 Table I の MAESTRO 音符と Table VI のサステインペダルの結果です。公表されたフレーム、開始、終了、ベロシティの P / R / F1（%）を掲載し、未報告の指標は空欄のままです。
| 指標別順位 | モデル | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel. | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 1 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| 指標別順位 | モデル | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Proposed | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
データセットを選ぶと各モデルの全指標を表示します。公式順位または選択した指標で並べ替えます。太字は同じ評価条件で比較できる各列の最良値で、同点も含みます。評価方法が異なる場合は別々に順位を付け、未報告のスコアは - で表示します。
展開可能 1 / 原表 5
これらの実験に対応する完全な公開推論パッケージは未確認です。同名モデルの別の重みでは代用できません。
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
MAESTRO v3 のピアノ評価で、オンセットとオンセット・オフセットの P/R/F1 を掲載しています。公開ピアノモデルのベロシティは100固定で、ペダルは予測しません。
| 指標別順位 | モデル | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNN公開の重み · 推論コード | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |