Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
Загрузка...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. Полный микс сначала проходит выделение ударных в выбранном процессе. Отдельная дорожка ударных передаётся непосредственно выбранной модели транскрипции или разделения.
Вход
Поддерживает вводные данные в форматах, таких как mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Поддерживаемые форматы
Результаты
MIDI
Сценарий использования
Редактирование нот, инструментовки и деталей исполнения.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.
ADT_STR определяет начало и силу ударов для 26 классов ударных и экспортирует MIDI.
MSG-LD создаёт пять дорожек ударных и определяет начала ударов; в MIDI сила удара равна 100, длительность воспроизведения — 0,1 секунды.
MSG-LD создаёт пять дорожек ударных и определяет начала ударов; в MIDI сила удара равна 100, длительность воспроизведения — 0,1 секунды.
ADTOF Plus дополняет ADTOF разделением ударных, определением силы удара и обработкой открытого/закрытого хай-хэта. Принимает полные миксы.
ADTOF Direct транскрибирует отдельную дорожку ударных с помощью PyTorch ADTOF. Для полного микса TelkNet сначала выделяет ударные через AudioSep-Hive, без обработки силы удара и открытого/закрытого хай-хэта из Plus.
arXiv - 2025
ISMIR - 2021
Signals - 2023
Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Рекомендация в README ADT-STR противоречит графику результатов. Рейтинг использует числа, подписанные на официальном графике.
| Место по метрике | Модель | ENST↑Ф1 (%) | MDB↑Ф1 (%) |
|---|---|---|---|
| 1 | ADT-STR · τ=0.4Открытые веса · Код инференса | 60 | 71 |
| 2 | ADT-STR · τ=0.6Модель на сайтеОткрытые веса · Код инференса | 58 | 65 |
| 3 | ADT-STR · τ=0.8Открытые веса · Код инференса | 52 | 61 |
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 2 / исходных строк 2
Развёртываемых 6 / исходных строк 6
Развёртываемых 3 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
Развёртываемых 0 / исходных строк 8
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
Развёртываемых 2 / исходных строк 3
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
LarsNet
Развёртываемых 2 / исходных строк 4
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MSG-LD Vanilla · MSG-LD TB
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
В таблице указаны только модели с открытыми весами или конфигурациями, которые можно запустить локально.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| Место по метрике | Модель | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original) | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchОткрытые веса · Код инференса | 88.26 | 89.83 | 88.51 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | Условия теста | Ф1 (%)↑ | Точность (%)↑ | Отзывать (%)↑ |
|---|---|---|---|---|---|
| 1 | ADTOF PlusОткрытые веса · Код инференсаMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchКод инференса drumsep_5stems_mdx23c_jarredou.ckptЛицензия весов (заявление репозитория): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOF | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | Условия теста | Ф1 (%)↑ | Точность (%)↑ | Отзывать (%)↑ |
|---|---|---|---|---|---|
| - | ADTOF PlusОткрытые веса · Код инференсаMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchКод инференса drumsep_5stems_mdx23c_jarredou.ckptЛицензия весов (заявление репозитория): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 3
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
LarsNet
Статья оценивает OB, TB и OBTB отдельно; результаты OB не относятся к OBTB по умолчанию. F1 нот и аудиометрики mel-MSE/FAD показаны раздельно. Цепочка детекции из статьи здесь повторно не измерялась.
| Место по метрике | Модель | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOF | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBОткрытые веса · Код инференса | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 4
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
MSG-LD Vanilla · MSG-LD TB
Статья оценивает OB, TB и OBTB отдельно; результаты OB не относятся к OBTB по умолчанию. F1 нот и аудиометрики mel-MSE/FAD показаны раздельно. Цепочка детекции из статьи здесь повторно не измерялась.
| Место по метрике | Модель | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBОткрытые веса · Код инференса | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBОткрытые веса · Код инференса | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |