Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
Стаття TransKun V2 повідомляє про архітектуру інтервального оцінювання трансформера та вищий результат F1 на підзавданнях Maestro.
Завантаження...
Перетворюйте фортепіанні записи на редагований MIDI для нот, вправ і аранжування.
Вхідні дані
Підтримує введення у форматах, таких як mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Підтримувані формати
Вихід
MIDI
Кейс використання
Редагування нот, інструментування та деталей виконання.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.
Використовує офіційний checkpoint Standard; закінчення нот відповідають акустичній тривалості, подовженій педаллю. Окремо від орієнтованого на відпускання клавіш NoExt і V2 Aug.
TransKun V2 Aug — це окремий локальний маршрут checkpoint доповнення даних із використанням checkpointTransformerAug.zip.
Локально за замовчуванням використовується checkpoint TransKun V2 No Pedal Ext (2.0.pt) з upstream-пакета transkun; він належить до тієї самої архітектури та доопрацьований і розширений гілкою V2 Aug.
Aria-AMT використовує маршрут EleutherAI seq-to-seq piano з piano-medium-double-1.0.safetensors.
Перетворює аудіо фортепіано на дискретні нотні події за допомогою опублікованого checkpoint D3RM із дифузійним уточненням та експортує редагований MIDI і дані нот.
ByteDance Piano CRNN note+pedal використовує note_F1=0.9677_pedal_F1=0.9186.pth для соло-piano MIDI з подіями педального контролера.
SFT-CRNN визначає початок і кінець нот фортепіано; сила натискання 100, без прогнозування педалі.
ISMIR - 2024
Стаття TransKun V2 повідомляє про архітектуру інтервального оцінювання трансформера та вищий результат F1 на підзавданнях Maestro.
NeurIPS - 2021
Стаття Semi-CRF 2021 року piano транскрипцію як інтервально/подійне передбачення, а не як зшивання детекторів на рівні кадру.
Official repository / preliminary weights - current
Репозиторій Aria-AMT документує реалізацію транскрипції piano seq-to-seq та попередні ваги; у статті наведено порівняння MAESTRO/MAPS Table 1.
arXiv - 2025
Перетворює аудіо фортепіано на дискретні нотні події за допомогою опублікованого checkpoint D3RM із дифузійним уточненням та експортує редагований MIDI і дані нот.
arXiv - 2020
Стаття ByteDance повідомляє про 96,72% початку нот F1 і 91,86% педалі F1 на MAESTRO, з опублікованим кодом і checkpoints.
ICASSP - 2026
SFT-CRNN визначає початок і кінець нот фортепіано; сила натискання 100, без прогнозування педалі.
Містить відкриті результати тестування моделей, що використовуються тут і поза сайтом. Типово показано повну таблицю джерела; для порівняння можна вибрати умови й метрики. Оцінки за різних умов тестування не можна порівнювати безпосередньо.
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Підсумкові рядки MIREX порівнюють середній початок нот F1 у трьох наборах даних і цілісну ноту F1 між Maestro і SMD.
| Місце за метрикою | Модель | Умова тесту | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugВідкриті ваги · Код інференсу | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Модель на сайтіВідкриті ваги · Код інференсу | MIREX 2024 summary | 94.9 | 87.64 |
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 9 / початкових рядків 9
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Для розгортання 2 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Для розгортання 0 / початкових рядків 10
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Для розгортання 2 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Для розгортання 1 / початкових рядків 6
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Підсумкові рядки MIREX порівнюють середній початок нот F1 у трьох наборах даних і цілісну ноту F1 між Maestro і SMD.
| Місце за метрикою | Модель | Умова тесту | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugВідкриті ваги · Код інференсу | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Відкриті ваги · Код інференсу | MIREX 2024 summary | 94.9 | 87.64 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Офіційні результати MIREX для MAESTRO з усіма опублікованими значеннями P / R / F1 (%) для нот і педалей; неопубліковані метрики залишаються порожніми.
| Місце за метрикою | Модель | Умова тесту | P активації (%)↑ | R активації (%)↑ | F1 активації (%)↑ | Початок ноти P (%)↑ | Початок ноти R (%)↑ | Початок ноти F1 (%)↑ | Початок + закінчення ноти P (%)↑ | Початок + закінчення ноти R (%)↑ | Початок + закінчення ноти F1 (%)↑ | Початок + закінчення ноти + сила натискання P (%)↑ | Початок + закінчення ноти + сила натискання R (%)↑ | Початок + закінчення ноти + сила натискання F1 (%)↑ | P активації педалі (%)↑ | R активації педалі (%)↑ | F1 активації педалі (%)↑ | Початок педалі P %↑ | Початок педалі R %↑ | Початок педалі F1 %↑ | P початку+завершення педалі (%)↑ | R початку+завершення педалі (%)↑ | F1 початку+завершення педалі (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Відкриті ваги · Код інференсу | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugВідкриті ваги · Код інференсу | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Офіційні результати MIREX для MAPS з усіма опублікованими значеннями P / R / F1 (%) для нот і педалей; неопубліковані метрики залишаються порожніми. MAPS використовує ad hoc alignment; метрики offset слід тлумачити з урахуванням цього вирівнювання.
| Місце за метрикою | Модель | Умова тесту | P активації (%)↑ | R активації (%)↑ | F1 активації (%)↑ | Початок ноти P (%)↑ | Початок ноти R (%)↑ | Початок ноти F1 (%)↑ | Початок + закінчення ноти P (%)↑ | Початок + закінчення ноти R (%)↑ | Початок + закінчення ноти F1 (%)↑ | Початок + закінчення ноти + сила натискання P (%)↑ | Початок + закінчення ноти + сила натискання R (%)↑ | Початок + закінчення ноти + сила натискання F1 (%)↑ | P активації педалі (%)↑ | R активації педалі (%)↑ | F1 активації педалі (%)↑ | Початок педалі P %↑ | Початок педалі R %↑ | Початок педалі F1 %↑ | P початку+завершення педалі (%)↑ | R початку+завершення педалі (%)↑ | F1 початку+завершення педалі (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugВідкриті ваги · Код інференсу | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Відкриті ваги · Код інференсу | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
У таблиці наведено лише моделі з відкритими вагами або конфігураціями, які можна запускати локально.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Офіційні результати MIREX для SMD з усіма опублікованими значеннями P / R / F1 (%) для нот і педалей; неопубліковані метрики залишаються порожніми.
| Місце за метрикою | Модель | Умова тесту | P активації (%)↑ | R активації (%)↑ | F1 активації (%)↑ | Початок ноти P (%)↑ | Початок ноти R (%)↑ | Початок ноти F1 (%)↑ | Початок + закінчення ноти P (%)↑ | Початок + закінчення ноти R (%)↑ | Початок + закінчення ноти F1 (%)↑ | Початок + закінчення ноти + сила натискання P (%)↑ | Початок + закінчення ноти + сила натискання R (%)↑ | Початок + закінчення ноти + сила натискання F1 (%)↑ | P активації педалі (%)↑ | R активації педалі (%)↑ | F1 активації педалі (%)↑ | Початок педалі P %↑ | Початок педалі R %↑ | Початок педалі F1 %↑ | P початку+завершення педалі (%)↑ | R початку+завершення педалі (%)↑ | F1 початку+завершення педалі (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugВідкриті ваги · Код інференсу | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Відкриті ваги · Код інференсу | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 9 / початкових рядків 9
Значення взято для базового чекпойнта за посиланням, а не з нового вимірювання моделі, що працює тут.
| Місце за метрикою | Модель | Умова тесту | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Відкриті ваги · Код інференсу | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugВідкриті ваги · Код інференсу | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtВідкриті ваги · Код інференсу | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 2 / початкових рядків 7
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Значення взято з відкритого джерела за посиланням. Підписи рядків указують тестовий набір або контрольну точку; неопубліковані оцінки позначено знаком -.
| Місце за метрикою | Модель | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Відкриті ваги · Код інференсу | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineВідкриті ваги · Код інференсу | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 6
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Результати нот MAESTRO з таблиці I та педалі сустейну з таблиці VI, включно з опублікованими P / R / F1 (%) для кадрів, початку, завершення та сили натискання. Неопубліковані показники залишено порожніми.
| Місце за метрикою | Модель | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Відкриті ваги · Код інференсу | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Місце за метрикою | Модель | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedВідкриті ваги · Код інференсу | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 5
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Оцінювання фортепіано на MAESTRO v3 зберігає P/R/F1 початку та початку-кінця нот. Опублікована модель використовує фіксовану velocity 100 і не прогнозує педалі.
| Місце за метрикою | Модель | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNВідкриті ваги · Код інференсу | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |