STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Ładowanie...
Wymaga nagrania wokalu, tekstu, fonemów i mapowania fonemów na słowa. Eksportuje MIDI, czasy fonemów i słów oraz techniki wokalne; nie działa wyłącznie z audio.
Wejście
Obsługuje wejścia w formatach takich jak mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Obsługiwane formaty
Produkcja
MIDI / JSON
Przypadek użycia
Edytuj nuty, instrumentację i szczegóły wykonania.
Wybierz model do swojego materiału i celu, a przed wysłaniem zapoznaj się z przykładami.
Koszt, czas, formaty i parametry zależą od wybranego modelu.
STARS · Bilingual: Edytuj nuty, instrumentację i szczegóły wykonania.
STARS · Chinese: Edytuj nuty, instrumentację i szczegóły wykonania.
ACL Findings - 2025
Zawiera publiczne wyniki testów modeli używanych tutaj i poza serwisem. Domyślnie wyświetlana jest pełna tabela źródłowa; można też wybrać warunki i metryki do porównania. Wyniki z różnych warunków testowych nie są bezpośrednio porównywalne.
Wyświetlane są tylko wyniki ze zweryfikowaną publiczną implementacją inferencji i odpowiednimi wagami oraz algorytmy niewymagające wag. Zamknięte usługi, nieopublikowane wagi i niepotwierdzone wersje eksperymentalne są pomijane. To nie jest ranking wszystkich modeli.
Publiczne wagi nie potwierdzają pełnej licencji open source. Rozwiń dane, aby sprawdzić zadeklarowane licencje wag i warunki dostępu. Brak deklaracji licencji jest oznaczony osobno.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 6
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
w/o CTC · w/o VQ · w/o MOE · Conv
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSPubliczne wagi · Kod inferencji | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualModel używany tutajPubliczne wagi · Kod inferencjistars_chinese_english_bilingual/model_ckpt_steps_300000.ckptKod inferencjiNie zadeklarowano licencji wag | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
Oznaczenia wskazują używane tutaj modele lub elementy. Wyniki i ustawienia pochodzą z przytoczonych testów, a nie z nowej oceny całego procesu serwisu.
Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.
Do wdrożenia 3 / wiersze źródłowe 3
Do wdrożenia 2 / wiersze źródłowe 6
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
w/o CTC · w/o VQ · w/o MOE · Conv
Wyniki dotyczą wskazanego zbioru, miary i wersji modelu. Różnych testów nie można bezpośrednio porównywać.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 3 / wiersze źródłowe 3
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Publiczne wagi · Kod inferencji | 71.0 | 86.7 |
| 2 | ROSVOTPubliczne wagi · Kod inferencji | 70.2 | 83.8 |
| 3 | VOCANOPubliczne wagi · Kod inferencji | 50.2 | 76.6 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 6
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
w/o CTC · w/o VQ · w/o MOE · Conv
Wartości pochodzą z podanego źródła publicznego. Etykiety wierszy wskazują zbiór testowy lub checkpoint; nieopublikowane wyniki są oznaczone jako -.
| Pozycja według metryki | Model | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSPubliczne wagi · Kod inferencji | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualPubliczne wagi · Kod inferencjistars_chinese_english_bilingual/model_ckpt_steps_300000.ckptKod inferencjiNie zadeklarowano licencji wag | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
W opinii podaj nazwę narzędzia, kroki i napotkany problem. Zrzuty ekranu ułatwią jego zlokalizowanie.