Multi-Task Multi-Frame Visual Piano Transcription
ISMIR - 2026
Yükleniyor...
Yalnızca sabit, tepeden klavye videosu içindir. Perspektif düzeltme için dört köşe gerekir; V2N pedalla uzayan ses sonlarını değil fiziksel tuş bırakma ve velocity değerini tahmin eder.
Giriş
Girişleri mp4 / mov / mkv gibi formatlarda destekler
Desteklenen formatlar
Çıktı
MIDI
Kullanım Durumu
Notaları, enstrümantasyonu ve icra ayrıntılarını düzenleyin.
ISMIR - 2026
Burada ve diğer hizmetlerde kullanılan modellerin herkese açık test sonuçlarını içerir. Varsayılan olarak kaynaktaki tam tablo gösterilir; karşılaştırmak için koşullar ve ölçütler de seçilebilir. Farklı test koşullarındaki puanlar doğrudan karşılaştırılamaz.
Yalnızca herkese açık çıkarım uygulaması ve eşleşen ağırlıkları doğrulanmış kayıtlar ile ağırlık gerektirmeyen algoritmalar gösterilir. Kapalı hizmetler, yayımlanmamış ağırlıklar ve eşleşmeyen deney sürümleri dışarıda bırakılır. Bu, tüm modellerin genel sıralaması değildir.
Herkese açık ağırlıklar, eksiksiz bir açık kaynak lisansını doğrulamaz. Beyan edilen ağırlık lisanslarını ve erişim koşullarını görmek için verileri genişletin. Beyan edilmemiş lisanslar ayrıca işaretlenir.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 1 / kaynak satırı 13
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Değerler, bağlantısı verilen herkese açık kaynaktan alınır. Satır etiketleri test kümesini veya kontrol noktasını belirtir; bildirilmeyen puanlar - olarak gösterilir.
| Ölçüme göre sıra | Model | Test koşulu | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Sitede kullanılan modelAçık ağırlıklar · Çıkarım kodu | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
İşaretler burada kullanılan modelleri veya bileşenleri gösterir. Puanlar ve ayarlar, sitenin tüm işlem zincirinin yeni bir değerlendirmesinden değil, belirtilen testlerden alınmıştır.
Veri kümeleri, sürümler ve koşullar ayrı tutulur; uygun sıralama satırı olmayan kaynaklar da kalır.
Dağıtılabilir 1 / kaynak satırı 13
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Puanlar belirtilen veri kümesi, ölçüt ve model sürümü için geçerlidir; farklı testler doğrudan karşılaştırılamaz.
Her modelin tüm ölçümlerini görmek için bir veri kümesi seçin. Satırlar resmî sıraya veya seçilen ölçüme göre sıralanır. Kalın yazı, eşitlikler dâhil her sütundaki karşılaştırılabilir en iyi değeri gösterir. Farklı değerlendirme protokolleri ayrı sıralanır; eksik puanlar - ile gösterilir.
Dağıtılabilir 1 / kaynak satırı 13
Bu deneyler için tam bir açık çıkarım paketi doğrulanmadı. Aynı adlı modelin farklı ağırlıkları yerine kullanılamaz.
S2S † · Trained on PianoVAM → Test: PianoVAM · V2R † · Trained on PianoVAM → Test: PianoVAM · Li et al. † · Trained on PianoVAM → Test: PianoVAM · PPAN † · Trained on PianoVAM → Test: PianoVAM · S2S † · Trained on R3s+R3x → Test: R3s · V2R † · Trained on R3s+R3x → Test: R3s · PPAN † · Trained on R3s+R3x → Test: R3s · V2N (Ours) · Trained on R3s+R3x → Test: R3s · S2S † · Trained on R3s+R3x → Test: R3x · V2R † · Trained on R3s+R3x → Test: R3x · PPAN † · Trained on R3s+R3x → Test: R3x · V2N (Ours) · Trained on R3s+R3x → Test: R3x
Değerler, bağlantısı verilen herkese açık kaynaktan alınır. Satır etiketleri test kümesini veya kontrol noktasını belirtir; bildirilmeyen puanlar - olarak gösterilir.
| Ölçüme göre sıra | Model | Test koşulu | Frame · (60 Hz) | Onset | + Off | + Vel | + Off + Vel | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | 50 ms↑ | 100 ms↑ | ||||
| - | V2N (Ours)Açık ağırlıklar · Çıkarım kodu | Trained on PianoVAM → Test: PianoVAM | 90.9 ∗ | 94.7 | 97.0 | 89.5 ∗ | 95.5 ∗ | 82.8 ∗ | 84.5 ∗ | 78.3 ∗ | 83.2 ∗ |
Geri bildiriminizde araç adını, adımları ve sorunu belirtin. Ekran görüntüleri sorunu bulmamıza yardımcı olabilir.