VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music
ISMIR - 2021
Carregando...
Converta canto, cantarolar ou faixas vocais em MIDI. Compare ROSVOT, GAME, SOME e VOCANO antes de corrigir a melodia.
Entrada
Envie voz solo, um cantarolar ou uma faixa de voz principal isolada. Se só tiver a música pronta, escolha “Música completa” para separar a voz principal antes da transcrição.
Formatos suportados
Produção
MIDI
Caso de uso
Copiar uma melodia cantada em um DAW para edição, duplicação, programação de sintetizador ou rascunho de notação.
Escolha um modelo para seu material e objetivo e confira os exemplos antes de enviar.
Custo, tempo, formatos e parâmetros dependem do modelo escolhido.
No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.
VOCANO extrai a altura vocal com Patch-CNN e determina os limites das notas com PyramidNet-110. A entrada de inferência publicada não oferece outros controles do modelo.
Caminho robusto para voz cantada com ruído ou vazamento do acompanhamento; o checkpoint oficial atual foi treinado principalmente em canto em mandarim.
Converte canto em MIDI com ajustes de idioma, segmentação e detecção de notas.
O SOME é a rota rápida e leve de canto para MIDI.
ISMIR - 2021
ACL - 2024
Caminho robusto para voz cantada com ruído ou vazamento do acompanhamento; o checkpoint oficial atual foi treinado principalmente em canto em mandarim.
Official technical guide - 2026
Converte canto em MIDI com ajustes de idioma, segmentação e detecção de notas.
Official technical guide - 2023
O SOME é a rota rápida e leve de canto para MIDI.
Inclui resultados públicos de testes de modelos usados aqui e em outros serviços. A tabela completa da fonte é exibida por padrão; também é possível escolher condições e métricas para comparação. Pontuações de condições de teste diferentes não são diretamente comparáveis.
São exibidos apenas registros com implementação pública de inferência e pesos correspondentes verificados, além de algoritmos que não precisam de pesos. Serviços fechados, pesos não publicados e versões experimentais sem correspondência confirmada são excluídos. Esta não é uma classificação de todos os modelos.
Pesos públicos não comprovam uma licença de código aberto completa. Expanda os dados para consultar as licenças declaradas e as condições de acesso. Licenças não declaradas são indicadas separadamente.
O modelo selecionado não tem um resultado público correspondente verificado e não recebeu uma posição.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Dados privados dos autores, 100 gravações reservadas; cada tamanho usa seu melhor K publicado. OA é a acurácia geral por quadro, não F1 de notas, e não se combina com ROSVOT.
| Classificação por métrica | Modelo | Classificação geral neste protocolo↑OA (%) | QER (%)↓ | Presence F1 (%)↑ | RPA (%)↑ | Pitch RMSE↓ | Chamfer (frames)↓ |
|---|---|---|---|---|---|---|---|
| 1 | GAME 1.0 Medium · K=8Pesos públicos · Código de inferênciaPesos públicosCódigo de inferência GAME-1.0.3-medium-onnx.zipLicença dos pesos (declaração do repositório): MIT | 95.03 | 12.3 | 99.23 | 94.86 | 0.552 | 1.44 |
| 1 | GAME 1.0 Large · K=1Pesos públicos · Código de inferênciaPesos públicosCódigo de inferência GAME-1.0.3-large-onnx.zipLicença dos pesos (declaração do repositório): MIT | 95.03 | 12.87 | 99.15 | 94.92 | 0.684 | 1.44 |
| 3 | GAME 1.0 Small · K=2Pesos públicos · Código de inferênciaPesos públicosCódigo de inferência GAME-1.0.3-small-onnx.zipLicença dos pesos (declaração do repositório): MIT | 94.99 | 13.13 | 99.14 | 94.99 | 0.653 | 1.5 |
Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.
Entradas implantáveis 2 / linhas originais 10
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
As pontuações correspondem ao conjunto de dados, métrica e versão indicados; testes diferentes não são diretamente comparáveis.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 10
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
Caminho robusto para voz cantada com ruído ou vazamento do acompanhamento; o checkpoint oficial atual foi treinado principalmente em canto em mandarim.
| Classificação por métrica | Modelo | COn (F) ↑ | COff (F) ↑ | COnPOff (F) ↑ | Pitch (AOR) ↑ | Melody (RPA) ↑ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| clean | noisy | clean | noisy | clean | noisy | clean | noisy | clean | noisy | ||
| 1 | ℳ (ours)Pesos públicos · Código de inferência | 94.0 | 93.8 | 94.5 | 94.4 | 77.4 | 77.0 | 97.0 | 97.1 | 87.6 | 87.4 |
| 2 | ℳ (w/ E W )Pesos públicos · Código de inferência | 93.3 | 93.5 | 93.2 | 92.9 | 77.1 | 77.0 | 96.5 | 96.2 | 87.5 | 87.2 |