Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
Статья TransKun V2 сообщает о архитектуре интервального подсчёта трансформаторов и более высоком результате F1 по подзадачам Maestro.
Загрузка...
Преобразуйте фортепианные записи в редактируемый MIDI для нот, занятий и аранжировки.
Вход
Чёткая запись сольного фортепиано или одного клавишного инструмента.
Поддерживаемые форматы
Результаты
Фортепианный MIDI, созданный TransKun V2 Aug, для сравнения с результатами V2.
Сценарий использования
Сравните транскрипцию одной записи с результатом TransKun V2, чтобы выбрать вариант, более близкий к исполнению.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.
TransKun V2 Aug — это отдельный локальный маршрут транскрипции piano с использованием официального checkpoint дополнения данных. Отправьте piano-файл для генерации MIDI без замены стандартного инструмента V2.
TransKun V2 Aug — это отдельный локальный маршрут checkpoint дополнения данных, использующий checkpointTransformerAug.zip.
Использует официальный checkpoint Standard; окончания нот следуют акустической длительности, продлённой педалью. Отдельно от ориентированного на отпускание клавиш NoExt и V2 Aug.
Локально по умолчанию используется checkpoint TransKun V2 No Pedal Ext (2.0.pt) из upstream-пакета transkun; он относится к той же архитектуре и доработан и расширен по ветке V2 Aug.
Aria-AMT использует маршрут EleutherAI seq-to-seq piano с piano-medium-double-1.0.safetensors.
Преобразует аудио фортепиано в дискретные нотные события с помощью опубликованного checkpoint D3RM с диффузионным уточнением и экспортирует редактируемый MIDI и данные нот.
ByteDance Piano CRNN note+pedal использует note_F1=0.9677_pedal_F1=0.9186.pth для соло-piano MIDI с педальными контроллерами.
SFT-CRNN определяет начало и конец нот фортепиано; сила нажатия 100, педаль не предсказывается.
ISMIR - 2024
Статья TransKun V2 сообщает о архитектуре интервального подсчёта трансформаторов и более высоком результате F1 по подзадачам Maestro.
NeurIPS - 2021
В статье Semi-CRF 2021 года транскрипция piano предсказание интервалов/событий, а не сшивание обнаружений на уровне кадров.
Official repository / preliminary weights - current
Репозиторий Aria-AMT документирует реализацию транскрипции seq-to-seq piano и предварительные веса; в статье приведены сравнения MAESTRO/MAPS Table 1.
arXiv - 2025
Преобразует аудио фортепиано в дискретные нотные события с помощью опубликованного checkpoint D3RM с диффузионным уточнением и экспортирует редактируемый MIDI и данные нот.
arXiv - 2020
В статье ByteDance на MAESTRO указано 96,72% нотного начала F1 и 91,86% педали F1, с опубликованным кодом и checkpoints.
ICASSP - 2026
SFT-CRNN определяет начало и конец нот фортепиано; сила нажатия 100, педаль не предсказывается.
Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Сводные строки MIREX сравнивают среднее начало нот F1 по трёх наборам данных и целостную ноту F1 для Maestro и SMD.
| Место по метрике | Модель | Условия теста | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugМодель на сайтеОткрытые веса · Код инференса | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Открытые веса · Код инференса | MIREX 2024 summary | 94.9 | 87.64 |
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 9 / исходных строк 9
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Развёртываемых 2 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Развёртываемых 0 / исходных строк 10
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Развёртываемых 2 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Развёртываемых 1 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Сводные строки MIREX сравнивают среднее начало нот F1 по трёх наборам данных и целостную ноту F1 для Maestro и SMD.
| Место по метрике | Модель | Условия теста | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugОткрытые веса · Код инференса | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Открытые веса · Код инференса | MIREX 2024 summary | 94.9 | 87.64 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Официальные результаты MIREX для MAESTRO со всеми опубликованными значениями P / R / F1 (%) для нот и педалей; неопубликованные метрики остаются пустыми.
| Место по метрике | Модель | Условия теста | P активации (%)↑ | R активации (%)↑ | F1 активации (%)↑ | Начало ноты P (%)↑ | Начало ноты R (%)↑ | Начало ноты F1 (%)↑ | Начало + окончание ноты P (%)↑ | Начало + окончание ноты R (%)↑ | Начало + окончание ноты F1 (%)↑ | Начало + окончание ноты + сила нажатия P (%)↑ | Начало + окончание ноты + сила нажатия R (%)↑ | Начало + окончание ноты + сила нажатия F1 (%)↑ | P активации педали (%)↑ | R активации педали (%)↑ | F1 активации педали (%)↑ | Начало нажатия педали P (%)↑ | Начало нажатия педали R (%)↑ | Начало нажатия педали F1 (%)↑ | P начала+окончания педали (%)↑ | R начала+окончания педали (%)↑ | F1 начала+окончания педали (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Открытые веса · Код инференса | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugОткрытые веса · Код инференса | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Официальные результаты MIREX для MAPS со всеми опубликованными значениями P / R / F1 (%) для нот и педалей; неопубликованные метрики остаются пустыми. MAPS использует ad hoc alignment; метрики offset следует интерпретировать с учётом этого выравнивания.
| Место по метрике | Модель | Условия теста | P активации (%)↑ | R активации (%)↑ | F1 активации (%)↑ | Начало ноты P (%)↑ | Начало ноты R (%)↑ | Начало ноты F1 (%)↑ | Начало + окончание ноты P (%)↑ | Начало + окончание ноты R (%)↑ | Начало + окончание ноты F1 (%)↑ | Начало + окончание ноты + сила нажатия P (%)↑ | Начало + окончание ноты + сила нажатия R (%)↑ | Начало + окончание ноты + сила нажатия F1 (%)↑ | P активации педали (%)↑ | R активации педали (%)↑ | F1 активации педали (%)↑ | Начало нажатия педали P (%)↑ | Начало нажатия педали R (%)↑ | Начало нажатия педали F1 (%)↑ | P начала+окончания педали (%)↑ | R начала+окончания педали (%)↑ | F1 начала+окончания педали (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugОткрытые веса · Код инференса | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Открытые веса · Код инференса | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Официальные результаты MIREX для SMD со всеми опубликованными значениями P / R / F1 (%) для нот и педалей; неопубликованные метрики остаются пустыми.
| Место по метрике | Модель | Условия теста | P активации (%)↑ | R активации (%)↑ | F1 активации (%)↑ | Начало ноты P (%)↑ | Начало ноты R (%)↑ | Начало ноты F1 (%)↑ | Начало + окончание ноты P (%)↑ | Начало + окончание ноты R (%)↑ | Начало + окончание ноты F1 (%)↑ | Начало + окончание ноты + сила нажатия P (%)↑ | Начало + окончание ноты + сила нажатия R (%)↑ | Начало + окончание ноты + сила нажатия F1 (%)↑ | P активации педали (%)↑ | R активации педали (%)↑ | F1 активации педали (%)↑ | Начало нажатия педали P (%)↑ | Начало нажатия педали R (%)↑ | Начало нажатия педали F1 (%)↑ | P начала+окончания педали (%)↑ | R начала+окончания педали (%)↑ | F1 начала+окончания педали (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugОткрытые веса · Код инференса | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Открытые веса · Код инференса | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 9 / исходных строк 9
Значения взяты для базового чекпойнта по ссылке, а не получены новым замером работающей здесь модели.
| Место по метрике | Модель | Условия теста | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Открытые веса · Код инференса | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugОткрытые веса · Код инференса | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtОткрытые веса · Код инференса | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 7
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Открытые веса · Код инференса | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselineОткрытые веса · Код инференса | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Результаты нот MAESTRO из таблицы I и педали сустейна из таблицы VI, включая опубликованные P / R / F1 (%) для кадров, начала, окончания и силы нажатия. Неопубликованные показатели оставлены пустыми.
| Место по метрике | Модель | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Открытые веса · Код инференса | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Место по метрике | Модель | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedОткрытые веса · Код инференса | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 5
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
Оценка фортепиано на MAESTRO v3 сохраняет P/R/F1 начала и начала-конца нот. Опубликованная модель использует фиксированную velocity 100 и не предсказывает педали.
| Место по метрике | Модель | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNОткрытые веса · Код инференса | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |
Найдите способы обработки и шаги для своего материала.