STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Завантаження...
Потрібні аудіо вокалу, текст, фонеми та відповідність фонем словам. Експортує MIDI, час фонем і слів та вокальні техніки; лише аудіо недостатньо.
Вхідні дані
Підтримує введення у форматах, таких як mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Підтримувані формати
Вихід
MIDI / JSON
Кейс використання
Редагування нот, інструментування та деталей виконання.
Виберіть модель для свого матеріалу й завдання та перегляньте приклади перед надсиланням.
Вартість, час, формати й параметри залежать від обраної моделі.
STARS · Chinese: Редагування нот, інструментування та деталей виконання.
STARS · Bilingual: Редагування нот, інструментування та деталей виконання.
ACL Findings - 2025
Містить відкриті результати тестування моделей, що використовуються тут і поза сайтом. Типово показано повну таблицю джерела; для порівняння можна вибрати умови й метрики. Оцінки за різних умов тестування не можна порівнювати безпосередньо.
Показано лише записи з перевіреною публічною реалізацією інференсу та відповідними вагами, а також алгоритми без навчених ваг. Закриті сервіси, неопубліковані ваги та непідтверджені версії експериментів виключено. Це не загальний рейтинг усіх моделей.
Публічні ваги не підтверджують повної ліцензії відкритого коду. Розгорніть дані для перегляду заявлених ліцензій ваг і умов доступу. Відсутні ліцензії позначено окремо.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Значення взято з відкритого джерела за посиланням. Підписи рядків указують тестовий набір або контрольну точку; неопубліковані оцінки позначено знаком -.
| Місце за метрикою | Модель | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Модель на сайтіВідкриті ваги · Код інференсу | 71.0 | 86.7 |
| 2 | ROSVOTВідкриті ваги · Код інференсу | 70.2 | 83.8 |
| 3 | VOCANOВідкриті ваги · Код інференсу | 50.2 | 76.6 |
Позначки вказують на моделі чи компоненти, які використовуються на сайті. Оцінки й параметри взято із зазначених тестів, а не з нового оцінювання всього процесу обробки сайту.
Набори даних, версії та умови розділено; збережено й джерела без допущених рядків.
Для розгортання 3 / початкових рядків 3
Для розгортання 2 / початкових рядків 6
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
w/o CTC · w/o VQ · w/o MOE · Conv
Оцінки стосуються вказаних даних, метрики й версії моделі. Різні тести не можна порівнювати безпосередньо.
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 3 / початкових рядків 3
Значення взято з відкритого джерела за посиланням. Підписи рядків указують тестовий набір або контрольну точку; неопубліковані оцінки позначено знаком -.
| Місце за метрикою | Модель | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Відкриті ваги · Код інференсу | 71.0 | 86.7 |
| 2 | ROSVOTВідкриті ваги · Код інференсу | 70.2 | 83.8 |
| 3 | VOCANOВідкриті ваги · Код інференсу | 50.2 | 76.6 |
Виберіть набір даних, щоб побачити всі метрики кожної моделі. Рядки впорядковано за офіційним місцем або вибраною метрикою. Жирним виділено найкраще порівнюване значення кожного стовпця, включно з однаковими результатами. Різні протоколи оцінювання ранжуються окремо; відсутні оцінки позначено -.
Для розгортання 2 / початкових рядків 6
Для цих експериментів не перевірено повний відкритий пакет інференсу. Інші ваги моделі з тією самою назвою не підходять.
w/o CTC · w/o VQ · w/o MOE · Conv
Значення взято з відкритого джерела за посиланням. Підписи рядків указують тестовий набір або контрольну точку; неопубліковані оцінки позначено знаком -.
| Місце за метрикою | Модель | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSВідкриті ваги · Код інференсу | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualВідкриті ваги · Код інференсу | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
У відгуку вкажіть інструмент, кроки та проблему. Знімки екрана допоможуть її знайти.