Один инструмент в MIDI

Модели, параметры и источники

Преобразуйте записи гитары в MIDI с весами из статьи GAPS, обученными за 12200 итераций.

SwiftF0VioPTT paper · Table 1VioPTT w/ augmentation (paper)GAPS · Table 4MT3 [ 16 ]Kong et al. [ 10 ]Kong et al. (w/ aug)Zang et al. [ 8 ] (Synthtab)Maman (MusicNet EM {}_{\textit{EM}} ) [ 1 ]Maman (Guitar) [ 1 ]Guitar-FLGAPS (scratch)

Что проверить

Выберите модель для инструмента в записи и загрузите сольное исполнение или выделенную дорожку.

Если смешиваются другие инструменты, сначала разделяйте их перед транскрибированием

Место по метрике

Модель

Условия теста

Pitch F1@50c↑

Voicing F1↑

CI95 lo

CI95 hi

SwiftF0 0.2.0

Открытые веса · Код инференса

swift_f0/model.onnx Код инференса Лицензия весов (заявление репозитория): MIT

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.778

0.839

0.765

0.792

RMVPE

Открытые веса · Код инференса

rmvpe.pt Код инференса Лицензия весов (заявление репозитория): mit

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.768

0.837

0.752

0.783

FCPE

Открытые веса · Код инференса

torchfcpe/assets/fcpe_c_v001.pt Код инференсаЛицензия весов не указана

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.728

0.812

0.712

0.742

CREPE

Открытые веса · Код инференса

model-full.h5.bz2 Код инференса Лицензия весов (заявление репозитория): MIT

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.689

0.781

0.672

0.704

SHS

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.657

0.773

0.64

0.672

Praat

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.651

0.815

0.634

0.667

RAPT

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.64

0.799

0.621

0.655

SWIPE

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.61

0.761

0.589

0.624

Harvest

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.6

0.782

0.584

0.614

YAAPT

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.56

0.842

0.539

0.58

DIO

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.56

0.71

0.541

0.577

Basic Pitch

Открытые веса · Код инференса

basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.557

0.775

0.539

0.573

pYIN

Алгоритму не нужны обученные веса · Код инференса

Алгоритму не нужны обученные весаКод инференса

pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents

0.506

0.656

0.482

0.525

VioPTT paper · Table 1

Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.

Развёртываемых 1 / исходных строк 6

Вне рейтинга: 5

Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.

Ours w/o aug · Ours + FT w/o aug · Ours + FT w/ aug · MUSC · MERTech

Источники используют разные условия обучения или задачи, поэтому числа следует сравнивать только в рамках указанного протокола.

Ранжировать по метрике

VioPTT paper · Table 1
Место по метрике	Модель	URMP				Bach10
Место по метрике	Модель	P↑	R↑	F1↑	F1 no↑	P↑	R↑	F1↑	F1 no↑
-	Ours w/ aug Открытые веса · Код инференса checkpoints/transcriptor_model.pth Код инференсаЛицензия весов не указана	86.1	83.6	84.5	93.1	68.1	71.8	69.9	79.5

Исходные записи (1)

VioPTT paper · Table 1 ↗Проверено: 2026-10-25

GAPS · Table 5

Развёртываемых 1 / исходных строк 6

Вне рейтинга: 5

Omnizart · MT3 · Lu et al. · Riley et al. · Ours (Finetuned from )

Результаты разделены по наборам данных. Таблица 5 FiloBass оценивает другие алгоритмы; у текущих весов FiloBass нет опубликованной оценки.

Ранжировать по метрике

GAPS · Table 5
Место по метрике	Модель	P 50↑	R 50↑	F 50↑
-	Basic Pitch Открытые веса · Код инференса basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0	54.6	85.0	66.1

Исходные записи (1)

GAPS · Table 5 ↗Проверено: 2026-10-25

FiloSax · Table 3

Развёртываемых 1 / исходных строк 3

Вне рейтинга: 2

Başaran et al. · Ours

Ранжировать по метрике

FiloSax · Table 3
Место по метрике	Модель	P 50↑	R 50↑	F 50↑
-	CREPE Notes Открытые веса · Код инференса CREPE full madmom onset CNN Код инференса`model-full.h5.bz2`Лицензия весов (заявление репозитория): MIT + CC-BY-NC-SA-4.0	82.35	83.05	82.67

Исходные записи (1)

FiloSax · Table 3 ↗Проверено: 2026-10-25

FiloSax · Table 4

Развёртываемых 1 / исходных строк 3

Вне рейтинга: 2

Başaran et al. · Ours

Ранжировать по метрике

FiloSax · Table 4
Место по метрике	Модель	P 50↑	R 50↑	F 50↑
-	CREPE Notes Открытые веса · Код инференса CREPE full madmom onset CNN Код инференса`model-full.h5.bz2`Лицензия весов (заявление репозитория): MIT + CC-BY-NC-SA-4.0	70.93	70.63	70.41

Исходные записи (1)

FiloSax · Table 4 ↗Проверено: 2026-10-25

FiloBass dataset paper · Table 5

Развёртываемых 2 / исходных строк 3

Вне рейтинга: 1

Melodyne

Ранжировать по метрике

FiloBass dataset paper · Table 5
Место по метрике	Модель	R no↑	P no↑	F no↑	O↑
1	CREPE Notes Открытые веса · Код инференса CREPE full madmom onset CNN Код инференса`model-full.h5.bz2`Лицензия весов (заявление репозитория): MIT + CC-BY-NC-SA-4.0	74.11 ± 12.09	71.81 ± 13.33	72.89 ± 12.68	78.77 ± 2.68
2	Basic Pitch Открытые веса · Код инференса basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0	81.28 ± 6.26	51.40 ± 6.28	62.73 ± 5.55	65.24 ± 4.51

Исходные записи (2)

FiloBass dataset paper · Table 5 ↗Проверено: 2026-10-25

SwiftF0 0.2.0 · pitch-benchmark

SwiftF0 0.2.0 использует версию pitch-benchmark автора от 2026-09-19: 10 корпусов, 8 условий, допуск 50 cents. Это F1 высоты тона; отличие от RMVPE статистически не определено. Сохранены асимметричные 95% CI. REAPER не ранжируется из-за неполных результатов; старая статья о 0.1.x не оценивает 0.2.0.

Ранжировать по метрике

SwiftF0 0.2.0 · pitch-benchmark
Место по метрике	Модель	Условия теста	Pitch F1@50c↑	Voicing F1↑	CI95 lo	CI95 hi
1	SwiftF0 0.2.0 Открытые веса · Код инференса swift_f0/model.onnx Код инференса Лицензия весов (заявление репозитория): MIT	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.778	0.839	0.765	0.792
2	RMVPE Открытые веса · Код инференса rmvpe.pt Код инференса Лицензия весов (заявление репозитория): mit	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.768	0.837	0.752	0.783
3	FCPE Открытые веса · Код инференса torchfcpe/assets/fcpe_c_v001.pt Код инференсаЛицензия весов не указана	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.728	0.812	0.712	0.742
4	CREPE Открытые веса · Код инференса model-full.h5.bz2 Код инференса Лицензия весов (заявление репозитория): MIT	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.689	0.781	0.672	0.704
5	SHS Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.657	0.773	0.64	0.672
6	Praat Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.651	0.815	0.634	0.667
7	RAPT Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.64	0.799	0.621	0.655
8	SWIPE Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.61	0.761	0.589	0.624
9	Harvest Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.6	0.782	0.584	0.614
10	YAAPT Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.56	0.842	0.539	0.58
10	DIO Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.56	0.71	0.541	0.577
12	Basic Pitch Открытые веса · Код инференса basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.557	0.775	0.539	0.573
13	pYIN Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 corpora · 8 altered conditions · 50 cents	0.506	0.656	0.482	0.525

Исходные записи (13)

Official pitch-benchmark · fce395c ↗

SwiftF0 0.3.0 · pitch-benchmark

Авторский pitch-benchmark, версия 6f21369: 10 корпусов, 8 условий, 50 cents, покадровый F1 высоты. Разница SwiftF0/RMVPE статистически не установлена; это не F1 нот MIDI.

Ранжировать по метрике

SwiftF0 0.3.0 · pitch-benchmark
Место по метрике	Модель	Условия теста	Pitch F1@50c↑	Voicing F1↑	CI95 lo	CI95 hi
1	SwiftF0 0.3.0 Открытые веса · Код инференса swift_f0/model.onnx Код инференса Лицензия весов (заявление репозитория): MIT	pitch-benchmark · 10 × 8 · 50 cents	0.781	0.844	0.768	0.795
2	RMVPE Открытые веса · Код инференса rmvpe.pt Код инференса Лицензия весов (заявление репозитория): mit	pitch-benchmark · 10 × 8 · 50 cents	0.768	0.837	0.752	0.783
3	FCPE Открытые веса · Код инференса torchfcpe/assets/fcpe_c_v001.pt Код инференсаЛицензия весов не указана	pitch-benchmark · 10 × 8 · 50 cents	0.728	0.812	0.712	0.742
4	CREPE Открытые веса · Код инференса model-full.h5.bz2 Код инференса Лицензия весов (заявление репозитория): MIT	pitch-benchmark · 10 × 8 · 50 cents	0.689	0.781	0.672	0.704
5	SHS Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.657	0.773	0.64	0.672
6	Praat Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.651	0.815	0.634	0.667
7	RAPT Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.64	0.799	0.621	0.655
8	SWIPE Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.61	0.761	0.589	0.624
9	Harvest Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.6	0.782	0.584	0.614
10	YAAPT Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.56	0.842	0.539	0.58
10	DIO Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.56	0.71	0.541	0.577
12	BasicPitch Открытые веса · Код инференса basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0	pitch-benchmark · 10 × 8 · 50 cents	0.557	0.775	0.539	0.573
13	pYIN Алгоритму не нужны обученные веса · Код инференса Алгоритму не нужны обученные весаКод инференса	pitch-benchmark · 10 × 8 · 50 cents	0.506	0.656	0.482	0.525

Исходные записи (13)

pitch-benchmark · 6f21369 ↗

Опубликованные оценки Basic Pitch NMP по наборам данных (таблица 2 статьи)

Значения взяты для базового чекпойнта по ссылке, а не получены новым замером работающей здесь модели.

Условия тестаРанжировать по метрике

Опубликованные оценки Basic Pitch NMP по наборам данных (таблица 2 статьи)
Место по метрике	Модель	Условия теста	F_no-offset↑	Frame accuracy ↑	F_with-offset ↑
-	NMP Открытые веса · Код инференса basic_pitch/saved_models/icassp_2022 Код инференса Лицензия весов (заявление репозитория): Apache-2.0	Molina	0.52	0.63	0.35

Исходные записи (5)

Basic Pitch paper, Table 2 ↗

Tsumugi · other

Tsumugi Other и Vocal Harmony публикуют COnP, а не COnF1. Результаты относятся к v1.5; у выбранного по умолчанию Vocal Harmony v1.6 нет опубликованной оценки. Уточнение инструментов экспериментальное; наборы показаны отдельно.

Ранжировать по метрике

Tsumugi · other
Место по метрике	Модель	Условия теста	COnP (%)↑
1	other_v1_5 Открытые веса · Код инференса best_model_other_v1_5.pth Код инференса Лицензия весов (заявление репозитория): mit	In-house real audio	77.01
2	other Открытые веса · Код инференса best_model_other.pth Код инференса Лицензия весов (заявление репозитория): mit	In-house real audio	73.18

Исходные записи (2)

Tsumugi · pinned README · other ↗

Tsumugi · vocal harmony v1.5

Ранжировать по метрике

Tsumugi · vocal harmony v1.5
Место по метрике	Модель	Условия теста	COnP (%)↑
1	vocal_harmony_v1_5 Открытые веса · Код инференса best_model_vocal_harmony_v1_5.pth Код инференса Лицензия весов (заявление репозитория): mit	Held-out MIR-ST500	68.14
2	vocal_harmony Открытые веса · Код инференса best_model_vocal_harmony.pth Код инференса Лицензия весов (заявление репозитория): mit	Held-out MIR-ST500	60.52

Исходные записи (2)

Tsumugi · pinned README · harmony ↗

Tsumugi · drums v1.5

Ранжировать по метрике

Tsumugi · drums v1.5
Место по метрике	Модель	Условия теста	DrumKit F1 (%)↑	AllPercussion F1 (%)↑
1	drums_v1_5 Открытые веса · Код инференса best_model_drums_v1_5.pth Код инференса Лицензия весов (заявление репозитория): mit	Audio-aligned · 50 ms · canonical GM	68.9	40.44
2	drums Открытые веса · Код инференса best_model_drums.pth Код инференса Лицензия весов (заявление репозитория): mit	Audio-aligned · 50 ms · canonical GM	61.57	18.79

Исходные записи (2)

Tsumugi · pinned README · drums ↗

Tsumugi · instrument refinement

Ранжировать по метрике

Tsumugi · instrument refinement
Место по метрике	Модель	Условия теста	ACC (%)↑
-	Instrument refinement model Открытые веса · Код инференса best_instrument_refinement.pth Код инференса Лицензия весов (заявление репозитория): mit	Held-out RWC-I	74.5

Исходные записи (1)

Tsumugi · pinned README · RWC-I ↗

Быстрый отзыв

Модели, параметры и источники

SwiftF0

SwiftF0 0.3.0

Basic Pitch

GAPS

Guitar-FL

FiloSax

FiloBass

VioPTT

STrADi · Online

STrADi · Offline

GAPS · paper checkpoint

Tsumugi · Bass v2

Tsumugi · Guitar v1.5

Tsumugi · Other v1.5

Tsumugi · Vocal

Tsumugi · Vocal Harmony v1.6

Tsumugi · Vocal Harmony v1.5

Tsumugi · Drums v1.5

Бумажные и эталонные заметки

GAPS: A Large and Diverse Classical Guitar Dataset and Benchmark Transcription Model

High Resolution Guitar Transcription via Domain Adaptation

Reconstructing the Charlie Parker Omnibook using an audio-to-score automatic transcription pipeline

FiloBass: A Dataset and Corpus Based Study of Jazz Basslines

VioPTT: Violin Playing Technique-Aware Transcription from Synthetic Data Augmentation

SwiftF0: Fast and Accurate Monophonic Pitch Detection

A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation

Instrument-Agnostic AMT: released checkpoints and inference guide

Официальные / хранилища

Статьи / технические заметки

Руководство по параметрам

Рабочий процесс

Что проверить

Модели в этой области

SwiftF0 0.2.0 · pitch-benchmark

VioPTT paper · Table 1

GAPS · Table 5

FiloSax · Table 3

FiloSax · Table 4

FiloBass dataset paper · Table 5

SwiftF0 0.2.0 · pitch-benchmark

SwiftF0 0.3.0 · pitch-benchmark

Опубликованные оценки Basic Pitch NMP по наборам данных (таблица 2 статьи)

Tsumugi · other

Tsumugi · vocal harmony v1.5

Tsumugi · drums v1.5

Tsumugi · instrument refinement