Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
O artigo do TransKun V2 relata uma arquitetura de pontuação de intervalos de transformador e um resultado F1 maior nas subtarefas do Maestro.
Carregando...
Transforme gravações de piano em MIDI editável para partituras, prática e arranjos.
Entrada
Suporta entradas em formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formatos suportados
Produção
MIDI
Caso de uso
Editar notas, instrumentação e detalhes da execução.
Escolha um modelo para seu material e objetivo e confira os exemplos antes de enviar.
Custo, tempo, formatos e parâmetros dependem do modelo escolhido.
No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.
Usa o checkpoint Standard oficial; os finais das notas seguem a duração acústica prolongada pelo pedal. É separado do NoExt, orientado à liberação da tecla, e do V2 Aug.
TransKun V2 Aug é a rota local separada de aumento de dados checkpoint usando checkpointTransformerAug.zip.
O padrão local é o checkpoint TransKun V2 No Pedal Ext (2.0.pt) incluído no pacote upstream transkun; ele pertence à mesma arquitetura e foi ajustado e ampliado pela rota V2 Aug.
Aria-AMT usa a rota de piano seq-to-seq do EleutherAI com piano-medium-double-1.0.safetensors.
Transcreve áudio de piano em eventos de nota discretos com o checkpoint público D3RM de refinamento por difusão e exporta MIDI editável e dados das notas.
ByteDance Piano CRNN note+pedal usa note_F1=0.9677_pedal_F1=0.9186.pth para eventos de piano MIDI solo com pedal controller.
SFT-CRNN detecta início e fim das notas de piano; velocidade fixa de 100, sem previsão de pedal.
ISMIR - 2024
O artigo do TransKun V2 relata uma arquitetura de pontuação de intervalos de transformador e um resultado F1 maior nas subtarefas do Maestro.
NeurIPS - 2021
O artigo Semi-CRF de 2021 enquadra piano transcrição como previsão de intervalo/evento, em vez de costurar detecções em nível de quadro.
Official repository / preliminary weights - current
O repositório Aria-AMT documenta a implementação piano transcrição de seq a seq e os pesos preliminares; o artigo relata comparações entre MAESTRO e MAPS Table 1.
arXiv - 2025
Transcreve áudio de piano em eventos de nota discretos com o checkpoint público D3RM de refinamento por difusão e exporta MIDI editável e dados das notas.
arXiv - 2020
O artigo do ByteDance relata 96,72% de F1 com início de nota e 91,86% de F1 com início de pedal no MAESTRO, com código e checkpoints liberados.
ICASSP - 2026
SFT-CRNN detecta início e fim das notas de piano; velocidade fixa de 100, sem previsão de pedal.
Inclui resultados públicos de testes de modelos usados aqui e em outros serviços. A tabela completa da fonte é exibida por padrão; também é possível escolher condições e métricas para comparação. Pontuações de condições de teste diferentes não são diretamente comparáveis.
São exibidos apenas registros com implementação pública de inferência e pesos correspondentes verificados, além de algoritmos que não precisam de pesos. Serviços fechados, pesos não publicados e versões experimentais sem correspondência confirmada são excluídos. Esta não é uma classificação de todos os modelos.
Pesos públicos não comprovam uma licença de código aberto completa. Expanda os dados para consultar as licenças declaradas e as condições de acesso. Licenças não declaradas são indicadas separadamente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
As linhas de resumo MIREX comparam a média de início da nota F1 em três conjuntos de dados e a nota holística F1 entre Maestro e SMD.
| Classificação por métrica | Modelo | Condição de teste | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Modelo usado aquiPesos públicos · Código de inferência | MIREX 2024 summary | 94.9 | 87.64 |
As marcações identificam modelos ou componentes usados aqui. As pontuações e configurações vêm dos testes citados, não de uma nova avaliação de todo o processo do site.
Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.
Entradas implantáveis 9 / linhas originais 9
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 0 / linhas originais 10
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Entradas implantáveis 2 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Entradas implantáveis 1 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
As pontuações correspondem ao conjunto de dados, métrica e versão indicados; testes diferentes não são diretamente comparáveis.
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
As linhas de resumo MIREX comparam a média de início da nota F1 em três conjuntos de dados e a nota holística F1 entre Maestro e SMD.
| Classificação por métrica | Modelo | Condição de teste | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 summary | 94.9 | 87.64 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para MAESTRO, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para MAPS, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias. O MAPS utiliza ad hoc alignment; as métricas de offset devem ser interpretadas considerando esse alinhamento.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para SMD, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 9 / linhas originais 9
Os números vêm do checkpoint base indicado no link, não de uma nova medição do modelo executado aqui.
| Classificação por métrica | Modelo | Condição de teste | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Pesos públicos · Código de inferência | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugPesos públicos · Código de inferência | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtPesos públicos · Código de inferênciaTransKun V2 No Pedal Ext · official model-card archiveCódigo de inferênciaLicença dos pesos não declarada | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Os valores vêm da fonte pública vinculada. Os rótulos das linhas indicam o conjunto de teste ou checkpoint; pontuações não publicadas aparecem como -.
| Classificação por métrica | Modelo | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Pesos públicos · Código de inferênciastep=0170000-metric_note_with_offsets_f1=0.9464.ckptCódigo de inferênciaLicença dos pesos não declarada | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselinePesos públicos · Código de inferência | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Resultados das notas MAESTRO da Tabela I e do pedal de sustentação da Tabela VI, incluindo P / R / F1 (%) publicados para quadros, início, fim e intensidade. Métricas não informadas ficam ausentes.
| Classificação por métrica | Modelo | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Pesos públicos · Código de inferência | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Classificação por métrica | Modelo | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedPesos públicos · Código de inferência | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
A avaliação de piano no MAESTRO v3 mantém P/R/F1 de início e início-fim. O modelo publicado usa velocity fixa 100 e não prevê pedais.
| Classificação por métrica | Modelo | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNPesos públicos · Código de inferência | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |