STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Carregando...
Exige áudio vocal, letra, fonemas e o mapeamento de fonemas para palavras. Exporta MIDI, tempos de fonemas e palavras e técnicas vocais; não funciona apenas com áudio.
Entrada
Suporta entradas em formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formatos suportados
Produção
MIDI / JSON
Caso de uso
Editar notas, instrumentação e detalhes da execução.
Escolha um modelo para seu material e objetivo e confira os exemplos antes de enviar.
Custo, tempo, formatos e parâmetros dependem do modelo escolhido.
STARS · Bilingual: Editar notas, instrumentação e detalhes da execução.
STARS · Chinese: Editar notas, instrumentação e detalhes da execução.
ACL Findings - 2025
Inclui resultados públicos de testes de modelos usados aqui e em outros serviços. A tabela completa da fonte é exibida por padrão; também é possível escolher condições e métricas para comparação. Pontuações de condições de teste diferentes não são diretamente comparáveis.
São exibidos apenas registros com implementação pública de inferência e pesos correspondentes verificados, além de algoritmos que não precisam de pesos. Serviços fechados, pesos não publicados e versões experimentais sem correspondência confirmada são excluídos. Esta não é uma classificação de todos os modelos.
Pesos públicos não comprovam uma licença de código aberto completa. Expanda os dados para consultar as licenças declaradas e as condições de acesso. Licenças não declaradas são indicadas separadamente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
w/o CTC · w/o VQ · w/o MOE · Conv
Os valores vêm da fonte pública vinculada. Os rótulos das linhas indicam o conjunto de teste ou checkpoint; pontuações não publicadas aparecem como -.
| Classificação por métrica | Modelo | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSPesos públicos · Código de inferência | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualModelo usado aquiPesos públicos · Código de inferênciastars_chinese_english_bilingual/model_ckpt_steps_300000.ckptCódigo de inferênciaLicença dos pesos não declarada | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
As marcações identificam modelos ou componentes usados aqui. As pontuações e configurações vêm dos testes citados, não de uma nova avaliação de todo o processo do site.
Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.
Entradas implantáveis 3 / linhas originais 3
Entradas implantáveis 2 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
w/o CTC · w/o VQ · w/o MOE · Conv
As pontuações correspondem ao conjunto de dados, métrica e versão indicados; testes diferentes não são diretamente comparáveis.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 3 / linhas originais 3
Os valores vêm da fonte pública vinculada. Os rótulos das linhas indicam o conjunto de teste ou checkpoint; pontuações não publicadas aparecem como -.
| Classificação por métrica | Modelo | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Pesos públicos · Código de inferência | 71.0 | 86.7 |
| 2 | ROSVOTPesos públicos · Código de inferência | 70.2 | 83.8 |
| 3 | VOCANOPesos públicos · Código de inferência | 50.2 | 76.6 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
w/o CTC · w/o VQ · w/o MOE · Conv
Os valores vêm da fonte pública vinculada. Os rótulos das linhas indicam o conjunto de teste ou checkpoint; pontuações não publicadas aparecem como -.
| Classificação por métrica | Modelo | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSPesos públicos · Código de inferência | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualPesos públicos · Código de inferênciastars_chinese_english_bilingual/model_ckpt_steps_300000.ckptCódigo de inferênciaLicença dos pesos não declarada | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.