Завантаження...
Розпізнає вокальні й інструментальні мелодії, акорди, долі, розмір, тональність і частини всієї пісні. Експортує PDF, MusicXML, MIDI, ноти ABC і часові позначки. Складні мікси потребують перевірки.
Вхідні дані
Підтримує введення у форматах, таких як mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Підтримувані формати
Вихід
PDF · MusicXML · ABC · MIDI
Кейс використання
Розпізнає вокальні й інструментальні мелодії, акорди, долі, розмір, тональність і частини всієї пісні. Експортує PDF, MusicXML, MIDI, ноти ABC і часові позначки. Складні мікси потребують перевірки.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.
Транскрибує мелодії та акорди цілих пісень, підтримуючи більше розмірів і типів акордів та необов’язкове розпізнавання ладів. Експортує PDF, MusicXML, MIDI, ноти ABC і часові позначки; перевірте результати.
Перетворіть вибраний аудіофрагмент до 30 секунд на запис мелодії та акордів PDF / MusicXML / Humdrum **kern для подальшої правки.
ACM Multimedia - 2026
У TelkNet SheetSage перетворює фрагменти мелодії та акордів тривалістю до 30 секунд у PDF / MusicXML / Humdrum **kern для подальшої правки. Струнні квартети використовують окрему модель; довільні аранжування не відтворюються повністю.
Містить відкриті результати тестування моделей, що використовуються тут і поза сайтом. Типово показано повну таблицю джерела; для порівняння можна вибрати умови й метрики. Оцінки за різних умов тестування не можна порівнювати безпосередньо.
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
На графіку наведено опубліковані результати авторів. Конфігурацію сайту не оцінювали за тих самих умов, тому ці значення не позначено як вимірювання сайту.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | Pop songs, test (95 songs, mostly 4/4): beat↑ | Pop songs, test: downbeat↑ | HookTheory test (1026 clips): beat↑ | Odd-meter songs (50): beat↑ | Odd-meter songs: downbeat↑ | Synthetic meters (300): beat↑ | Synthetic meters: downbeat↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined · beat head | 0.978 | 0.976 | 0.902 | 0.928 | 0.883 | 0.988 | 0.955 |
| 2 | SheetSage2-Refined | 0.969 | 0.965 | 0.886 | 0.895 | 0.835 | 0.906 | 0.839 |
| 3 | SheetSage2Відкриті ваги · Код інференсу | 0.966 | 0.966 | 0.897 | 0.849 | 0.733 | 0.719 | 0.368 |
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 3 / початкових рядків 3
Для розгортання 3 / початкових рядків 3
Для розгортання 3 / початкових рядків 3
Для розгортання 2 / початкових рядків 2
Для розгортання 3 / початкових рядків 3
Для розгортання 1 / початкових рядків 9
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
SheetSage1 · madmom · Beat This! · S-KEY · ChordFormer · † ChordFormer · SongFormer
Для розгортання 1 / початкових рядків 4
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Baseline ( Alfaro-Contreras et al., 2024 ) · +1024-Pre-Norm · +MuQ encoder
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | Pop songs, test (95 songs, mostly 4/4): beat↑ | Pop songs, test: downbeat↑ | HookTheory test (1026 clips): beat↑ | Odd-meter songs (50): beat↑ | Odd-meter songs: downbeat↑ | Synthetic meters (300): beat↑ | Synthetic meters: downbeat↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined · beat head | 0.978 | 0.976 | 0.902 | 0.928 | 0.883 | 0.988 | 0.955 |
| 2 | SheetSage2-Refined | 0.969 | 0.965 | 0.886 | 0.895 | 0.835 | 0.906 | 0.839 |
| 3 | SheetSage2Відкриті ваги · Код інференсу | 0.966 | 0.966 | 0.897 | 0.849 | 0.733 | 0.719 | 0.368 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | 4/4 · 3544 bars | 3/4 · 680 bars | 6/4 · 589 bars | 5/4 · 434 bars | 6/8 · 432 bars | 12/8 · 233 bars | 5/8 · 122 bars | 11/8 · 87 bars | 2/4 · 63 bars | 7/8 · 59 bars | 7/4 · 46 bars | all · 6329 bars | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | ||
| 1 | SheetSage2-Refined · beat head | 0.824 | 0.868 | 0.768 | 0.768 | 0.572 | 0.795 | 0.574 | 0.583 | 0.794 | 0.806 | 0.794 | 0.794 | 0.508 | 0.508 | 0.563 | 0.563 | 0.079 | 0.159 | 0.847 | 0.847 | 0.565 | 0.652 | 0.752 | 0.801 |
| 2 | SheetSage2-Refined | 0.713 | 0.750 | 0.768 | 0.768 | 0.486 | 0.781 | 0.512 | 0.512 | 0.725 | 0.745 | 0.970 | 0.970 | 0.008 | 0.287 | 0.586 | 0.586 | 0.111 | 0.270 | 0.305 | 0.305 | 0.196 | 0.196 | 0.661 | 0.718 |
| 3 | SheetSage2Відкриті ваги · Код інференсу | 0.699 | 0.749 | 0.676 | 0.676 | 0.275 | 0.497 | 0.002 | 0.002 | 0.299 | 0.736 | 0.597 | 0.914 | 0.000 | 0.000 | 0.000 | 0.000 | 0.063 | 0.063 | 0.000 | 0.000 | 0.000 | 0.000 | 0.534 | 0.624 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | 4/4 · 3255 bars | 6/8 · 2964 bars | 3/4 · 2431 bars | 3/8 · 1843 bars | 5/8 · 1574 bars | 5/4 · 1372 bars | 11/8 · 1287 bars | 12/8 · 1207 bars | 7/8 · 1114 bars | 6/4 · 1031 bars | 7/4 · 991 bars | 9/8 · 945 bars | 8/8 · 460 bars | 2/4 · 340 bars | all · 20814 bars | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | exact↑ | consistent↑ | ||
| 1 | SheetSage2-Refined · beat head | 0.964 | 0.964 | 0.939 | 0.956 | 0.946 | 0.951 | 0.840 | 0.853 | 0.922 | 0.922 | 0.960 | 0.960 | 0.912 | 0.919 | 0.792 | 0.894 | 0.954 | 0.956 | 0.877 | 0.890 | 0.943 | 0.943 | 0.905 | 0.911 | 0.924 | 0.924 | 0.659 | 0.659 | 0.916 | 0.928 |
| 2 | SheetSage2-Refined | 0.784 | 0.839 | 0.842 | 0.864 | 0.787 | 0.810 | 0.651 | 0.712 | 0.730 | 0.758 | 0.667 | 0.672 | 0.716 | 0.737 | 0.558 | 0.814 | 0.783 | 0.794 | 0.568 | 0.719 | 0.673 | 0.745 | 0.800 | 0.808 | 0.815 | 0.828 | 0.347 | 0.465 | 0.730 | 0.782 |
| 3 | SheetSage2Відкриті ваги · Код інференсу | 0.436 | 0.501 | 0.538 | 0.561 | 0.443 | 0.444 | 0.147 | 0.186 | 0.090 | 0.090 | 0.000 | 0.028 | 0.008 | 0.016 | 0.223 | 0.483 | 0.004 | 0.005 | 0.139 | 0.306 | 0.000 | 0.105 | 0.003 | 0.003 | 0.474 | 0.543 | 0.044 | 0.115 | 0.248 | 0.299 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 2 / початкових рядків 2
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | root, test↑ | root, valid↑ | majmin, test↑ | majmin, valid↑ | sevenths, test↑ | sevenths, valid↑ | tetrads, test↑ | tetrads, valid↑ | slash chords (bass, exact), test↑ | slash chords (bass, exact), valid↑ | key, test↑ | key, valid↑ | key changes (F, ±2 s), test↑ | key changes (F, ±2 s), valid↑ | tension chords (9th, 11th, 13th, add), test: recall / precision |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | SheetSage2-Refined | 0.864 | 0.880 | 0.886 | 0.885 | 0.829 | 0.825 | 0.770 | 0.780 | 0.520 | 0.515 | 0.920 | 0.909 | 0.629 | 0.721 | 0.232 / 0.485 |
| 2 | SheetSage2Відкриті ваги · Код інференсу | 0.821 | 0.822 | 0.871 | 0.845 | 0.762 | 0.777 | 0.678 | 0.704 | 0.366 | 0.386 | 0.840 | 0.814 | 0.568 | 0.667 | 0.000 / — |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Автор Refined оцінює те саме відкладене аудіо: 95 попкомпозицій для тесту й 47 для валідації з приватною розміткою; 50 творів з непарними розмірами (9 записів і 41 синтез); також 300 синтетичних творів того самого розподілу й 1026 фрагментів HookTheory. Обидві тактові риски мають збігтися в ±70 ms без зайвих; узгоджене перегрупування допускає описані поділи. Мелодія: та сама висота й початок у 50 ms; зміни тональності: ±2 s. Оцінювання ладів використовує відповідний режим. Результати не змішують із первинною статтею.
| Місце за метрикою | Модель | melody (note F)↑ | key with mode↑ | key with mode, the 98 modal clips↑ |
|---|---|---|---|---|
| 1 | SheetSage2-Refined · melody head | 0.713 | - | - |
| 2 | SheetSage2-Refined | 0.682 | 0.719 | 0.315 |
| 3 | SheetSage2Відкриті ваги · Код інференсу | 0.664 | 0.722 | 0.005 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 9
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
SheetSage1 · madmom · Beat This! · S-KEY · ChordFormer · † ChordFormer · SongFormer · SheetSage1
Автори використовують пресет paper і BF16; кандидат сайту — default і FP32. Це не вимірювання сайту. Допуск долей і сильних долей 70 ms, перші 5 s вилучені. Мелодію зіставляють за класом висоти й початком у межах 50 ms, без завершення ноти. Beat This! усереднює три seed; ChordFormer використовує ансамблі або відкладені фолди залежно від набору. Рейтинг діє лише за однакових умов; усі налаштування наведені в джерелах.
| Місце за метрикою | Модель | Beat · GTZAN · F1 | Beat · osu2017 · F1 | Downbeat · GTZAN · F1 | Downbeat · osu2017 · F1 | Key · GiantSteps · Score | Key · GTZAN · Score | Chord · osu2017 · Maj/min | Chord · Chords1217 · Maj/min | Chord · JAAH · Maj/min | Structure · HarmonixSet | Melody · RWC-Pop | Melody · Rock Corpus · Vocal F1 | |||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Accuracy↑ | F1 @ 0.5 s↑ | F1 @ 3 s↑ | Vocal F1↑ | Full F1↑ | ||||||||||||
| - | SheetSage2-ARВідкриті ваги · Код інференсу | 86.27 | 93.01 | 80.45 | 92.90 | 77.73 | 75.77 | 90.08 | 83.81 | 64.50 | 80.51 | 67.96 | 82.86 | 82.51 | 75.29 | 67.08 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 1 / початкових рядків 4
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
Baseline ( Alfaro-Contreras et al., 2024 ) · +1024-Pre-Norm · +MuQ encoder
HookKern порівнює SER окремо для мелодії й акордів популярної музики та струнних квартетів; менше — краще. Показано лише експерименти, зіставлені з випущеними вагами, без спільного рейтингу різних наборів даних.
| Місце за метрикою | Модель | SheetSage-A2S | Quartets · SER | ||
|---|---|---|---|---|---|
| SER↓ | Melody SER↓ | Chord SER↓ | |||
| - | +Augmented dataВідкриті ваги · Код інференсу | 20.92 | 38.62 | 22.28 | 4.98 |