Загрузка...
Транскрибирует мелодии и аккорды целых песен, поддерживая больше размеров и типов аккордов, а также распознавание ладов. Экспортирует PDF, MusicXML, MIDI, ноты ABC и временные метки; проверьте результаты.
Вход
Поддерживает вводные данные в форматах, таких как mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Поддерживаемые форматы
Результаты
PDF · MusicXML · ABC · MIDI
Сценарий использования
Транскрибирует мелодии и аккорды целых песен, поддерживая больше размеров и типов аккордов, а также распознавание ладов. Экспортирует PDF, MusicXML, MIDI, ноты ABC и временные метки; проверьте результаты.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.
Распознаёт вокальные и инструментальные мелодии, аккорды, доли, размер, тональность и разделы всей песни. Экспортирует PDF, MusicXML, MIDI, ноты ABC и временные метки. Сложные миксы требуют проверки.
Преобразуйте выбранный аудиофрагмент длиной до 30 секунд в ноты мелодии и аккордов PDF / MusicXML / Humdrum **kern для последующей правки.
ACM Multimedia - 2026
В TelkNet SheetSage переводит фрагменты мелодии и аккордов длиной до 30 секунд в PDF / MusicXML / Humdrum **kern для последующей правки. Для струнных квартетов используется отдельная модель; полное восстановление произвольной аранжировки не поддерживается.
Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
На графике приведены результаты авторов. Конфигурация сайта не оценивалась в тех же условиях, поэтому эти значения не обозначены как измерения сайта.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | Pop songs, test (95 songs, mostly 4/4): beat↑ | Pop songs, test: downbeat↑ | HookTheory test (1026 clips): beat↑ | Odd-meter songs (50): beat↑ | Odd-meter songs: downbeat↑ | Synthetic meters (300): beat↑ | Synthetic meters: downbeat↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined · beat head | 0.978 | 0.976 | 0.902 | 0.928 | 0.883 | 0.988 | 0.955 |
| 2 | SheetSage2-Refined | 0.969 | 0.965 | 0.886 | 0.895 | 0.835 | 0.906 | 0.839 |
| 3 | SheetSage2Открытые веса · Код инференса | 0.966 | 0.966 | 0.897 | 0.849 | 0.733 | 0.719 | 0.368 |
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 3 / исходных строк 3
Развёртываемых 3 / исходных строк 3
Развёртываемых 3 / исходных строк 3
Развёртываемых 2 / исходных строк 2
Развёртываемых 3 / исходных строк 3
Развёртываемых 1 / исходных строк 9
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
SheetSage1 · madmom · Beat This! · S-KEY · ChordFormer · † ChordFormer · SongFormer
Развёртываемых 1 / исходных строк 4
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Baseline ( Alfaro-Contreras et al., 2024 ) · +1024-Pre-Norm · +MuQ encoder
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | Pop songs, test (95 songs, mostly 4/4): beat↑ | Pop songs, test: downbeat↑ | HookTheory test (1026 clips): beat↑ | Odd-meter songs (50): beat↑ | Odd-meter songs: downbeat↑ | Synthetic meters (300): beat↑ | Synthetic meters: downbeat↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined · beat head | 0.978 | 0.976 | 0.902 | 0.928 | 0.883 | 0.988 | 0.955 |
| 2 | SheetSage2-Refined | 0.969 | 0.965 | 0.886 | 0.895 | 0.835 | 0.906 | 0.839 |
| 3 | SheetSage2Открытые веса · Код инференса | 0.966 | 0.966 | 0.897 | 0.849 | 0.733 | 0.719 | 0.368 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | 4/4 · 3544 bars | 3/4 · 680 bars | 6/4 · 589 bars | 5/4 · 434 bars | 6/8 · 432 bars | 12/8 · 233 bars | 5/8 · 122 bars | 11/8 · 87 bars | 2/4 · 63 bars | 7/8 · 59 bars | 7/4 · 46 bars | all · 6329 bars | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | ||
| 1 | SheetSage2-Refined · beat head | 0.824 | 0.868 | 0.768 | 0.768 | 0.572 | 0.795 | 0.574 | 0.583 | 0.794 | 0.806 | 0.794 | 0.794 | 0.508 | 0.508 | 0.563 | 0.563 | 0.079 | 0.159 | 0.847 | 0.847 | 0.565 | 0.652 | 0.752 | 0.801 |
| 2 | SheetSage2-Refined | 0.713 | 0.750 | 0.768 | 0.768 | 0.486 | 0.781 | 0.512 | 0.512 | 0.725 | 0.745 | 0.970 | 0.970 | 0.008 | 0.287 | 0.586 | 0.586 | 0.111 | 0.270 | 0.305 | 0.305 | 0.196 | 0.196 | 0.661 | 0.718 |
| 3 | SheetSage2Открытые веса · Код инференса | 0.699 | 0.749 | 0.676 | 0.676 | 0.275 | 0.497 | 0.002 | 0.002 | 0.299 | 0.736 | 0.597 | 0.914 | 0.000 | 0.000 | 0.000 | 0.000 | 0.063 | 0.063 | 0.000 | 0.000 | 0.000 | 0.000 | 0.534 | 0.624 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | 4/4 · 3255 bars | 6/8 · 2964 bars | 3/4 · 2431 bars | 3/8 · 1843 bars | 5/8 · 1574 bars | 5/4 · 1372 bars | 11/8 · 1287 bars | 12/8 · 1207 bars | 7/8 · 1114 bars | 6/4 · 1031 bars | 7/4 · 991 bars | 9/8 · 945 bars | 8/8 · 460 bars | 2/4 · 340 bars | all · 20814 bars | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | ||
| 1 | SheetSage2-Refined · beat head | 0.964 | 0.964 | 0.939 | 0.956 | 0.946 | 0.951 | 0.840 | 0.853 | 0.922 | 0.922 | 0.960 | 0.960 | 0.912 | 0.919 | 0.792 | 0.894 | 0.954 | 0.956 | 0.877 | 0.890 | 0.943 | 0.943 | 0.905 | 0.911 | 0.924 | 0.924 | 0.659 | 0.659 | 0.916 | 0.928 |
| 2 | SheetSage2-Refined | 0.784 | 0.839 | 0.842 | 0.864 | 0.787 | 0.810 | 0.651 | 0.712 | 0.730 | 0.758 | 0.667 | 0.672 | 0.716 | 0.737 | 0.558 | 0.814 | 0.783 | 0.794 | 0.568 | 0.719 | 0.673 | 0.745 | 0.800 | 0.808 | 0.815 | 0.828 | 0.347 | 0.465 | 0.730 | 0.782 |
| 3 | SheetSage2Открытые веса · Код инференса | 0.436 | 0.501 | 0.538 | 0.561 | 0.443 | 0.444 | 0.147 | 0.186 | 0.090 | 0.090 | 0.000 | 0.028 | 0.008 | 0.016 | 0.223 | 0.483 | 0.004 | 0.005 | 0.139 | 0.306 | 0.000 | 0.105 | 0.003 | 0.003 | 0.474 | 0.543 | 0.044 | 0.115 | 0.248 | 0.299 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 2
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | root, test↑ | root, valid↑ | majmin, test↑ | majmin, valid↑ | sevenths, test↑ | sevenths, valid↑ | tetrads, test↑ | tetrads, valid↑ | slash chords (bass, exact), test↑ | slash chords (bass, exact), valid↑ | key, test↑ | key, valid↑ | key changes (F, ±2 s), test↑ | key changes (F, ±2 s), valid↑ | tension chords (9th, 11th, 13th, add), test: recall / precision |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined | 0.864 | 0.880 | 0.886 | 0.885 | 0.829 | 0.825 | 0.770 | 0.780 | 0.520 | 0.515 | 0.920 | 0.909 | 0.629 | 0.721 | 0.232 / 0.485 |
| 2 | SheetSage2Открытые веса · Код инференса | 0.821 | 0.822 | 0.871 | 0.845 | 0.762 | 0.777 | 0.678 | 0.704 | 0.366 | 0.386 | 0.840 | 0.814 | 0.568 | 0.667 | 0.000 / — |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Автор Refined оценивает одинаковое отложенное аудио: 95 поп-композиций для теста и 47 для валидации с закрытой разметкой; 50 произведений с нечётным размером (9 записей и 41 синтез); также 300 синтетических произведений того же распределения и 1026 фрагментов HookTheory. Обе тактовые черты должны совпасть в ±70 ms без лишних; согласованная перегруппировка допускает описанные в источнике разбиения. Мелодия: та же высота и начало в 50 ms; смена тональности: ±2 s. Для ладов используется соответствующий режим. Результаты не смешиваются с исходной статьёй.
| Место по метрике | Модель | melody (note F)↑ | key with mode↑ | key with mode, the 98 modal clips↑ |
|---|---|---|---|---|
| 1 | SheetSage2-Refined · melody head | 0.713 | - | - |
| 2 | SheetSage2-Refined | 0.682 | 0.719 | 0.315 |
| 3 | SheetSage2Открытые веса · Код инференса | 0.664 | 0.722 | 0.005 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 9
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
SheetSage1 · madmom · Beat This! · S-KEY · ChordFormer · † ChordFormer · SongFormer · SheetSage1
Авторы используют пресет paper и BF16; кандидат сайта — default и FP32. Это не измерения сайта. Для долей и сильных долей допуск 70 ms, первые 5 s исключены. Мелодия сопоставляется по классу высоты и началу в пределах 50 ms, без конца ноты. Beat This! усредняет три seed; ChordFormer использует ансамбли или отложенные фолды в зависимости от набора. Рейтинг действует только при одинаковых условиях; настройки приведены в источниках.
| Место по метрике | Модель | Beat · GTZAN · F1 | Beat · osu2017 · F1 | Downbeat · GTZAN · F1 | Downbeat · osu2017 · F1 | Key · GiantSteps · Score | Key · GTZAN · Score | Chord · osu2017 · Maj/min | Chord · Chords1217 · Maj/min | Chord · JAAH · Maj/min | Structure · HarmonixSet | Melody · RWC-Pop | Melody · Rock Corpus · Vocal F1 | |||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Accuracy↑ | F1 @ 0.5 s↑ | F1 @ 3 s↑ | Vocal F1↑ | Full F1↑ | ||||||||||||
| - | SheetSage2-ARОткрытые веса · Код инференса | 86.27 | 93.01 | 80.45 | 92.90 | 77.73 | 75.77 | 90.08 | 83.81 | 64.50 | 80.51 | 67.96 | 82.86 | 82.51 | 75.29 | 67.08 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 1 / исходных строк 4
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
Baseline ( Alfaro-Contreras et al., 2024 ) · +1024-Pre-Norm · +MuQ encoder
HookKern сравнивает SER отдельно для мелодии и аккордов популярной музыки и струнных квартетов; меньше — лучше. Показаны только эксперименты, сопоставленные с выпущенными весами, без общего рейтинга разных наборов данных.
| Место по метрике | Модель | SheetSage-A2S | Quartets · SER | ||
|---|---|---|---|---|---|
| SER↓ | Melody SER↓ | Chord SER↓ | |||
| - | +Augmented dataОткрытые веса · Код инференса | 20.92 | 38.62 | 22.28 | 4.98 |