STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Загрузка...
Требуются аудио вокала, текст, фонемы и сопоставление фонем со словами. Экспортируются MIDI, времена фонем и слов и вокальные приёмы; одного аудио недостаточно.
Вход
Поддерживает вводные данные в форматах, таких как mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Поддерживаемые форматы
Результаты
MIDI / JSON
Сценарий использования
Редактирование нот, инструментовки и деталей исполнения.
Выберите модель под ваш материал и задачу и посмотрите примеры перед отправкой.
Стоимость, время, форматы и параметры зависят от выбранной модели.
STARS · Bilingual: Редактирование нот, инструментовки и деталей исполнения.
STARS · Chinese: Редактирование нот, инструментовки и деталей исполнения.
ACL Findings - 2025
Здесь приведены открытые результаты тестирования моделей, используемых на сайте и вне его. По умолчанию показана полная исходная таблица; для сравнения можно выбрать условия и метрики. Результаты разных условий нельзя сравнивать напрямую.
Показаны только записи с проверенной публичной реализацией инференса и соответствующими весами, а также алгоритмы без обученных весов. Закрытые сервисы, неопубликованные веса и неподтверждённые версии экспериментов исключены. Это не общий рейтинг всех моделей.
Публичные веса не подтверждают полноценную лицензию с открытым исходным кодом. Разверните данные для просмотра заявленных лицензий весов и условий доступа. Отсутствие лицензии отмечено отдельно.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
w/o CTC · w/o VQ · w/o MOE · Conv
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSОткрытые веса · Код инференса | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualМодель на сайтеОткрытые веса · Код инференса | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
Отметки обозначают используемые на сайте модели или компоненты. Оценки и параметры взяты из указанных тестов, а не из новой проверки всей цепочки обработки сайта.
Наборы данных, версии и условия разделены; сохраняются и источники без допущенных строк.
Развёртываемых 3 / исходных строк 3
Развёртываемых 2 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
w/o CTC · w/o VQ · w/o MOE · Conv
Оценки относятся к указанным данным, метрике и версии модели. Результаты разных тестов нельзя сравнивать напрямую.
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 3 / исходных строк 3
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Открытые веса · Код инференса | 71.0 | 86.7 |
| 2 | ROSVOTОткрытые веса · Код инференса | 70.2 | 83.8 |
| 3 | VOCANOОткрытые веса · Код инференса | 50.2 | 76.6 |
Выберите набор данных, чтобы увидеть все метрики каждой модели. Строки упорядочены по официальному месту или выбранной метрике. Жирным выделено лучшее сопоставимое значение каждого столбца, включая равные результаты. Разные протоколы оценки ранжируются отдельно; отсутствующие оценки обозначены -.
Развёртываемых 2 / исходных строк 6
Для этих экспериментов не проверен полный открытый пакет инференса. Другие веса модели с тем же именем не подходят.
w/o CTC · w/o VQ · w/o MOE · Conv
Значения взяты из открытого источника по ссылке. Подписи строк указывают тестовый набор или контрольную точку; неопубликованные оценки обозначены знаком -.
| Место по метрике | Модель | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSОткрытые веса · Код инференса | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualОткрытые веса · Код инференса | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
В отзыве укажите инструмент, последовательность действий и проблему. Скриншоты помогут её найти.