Scoring Time Intervals Using Non-Hierarchical Transformer for Automatic Piano Transcription
ISMIR - 2024
O artigo do TransKun V2 relata uma arquitetura de pontuação de intervalos de transformador e um resultado F1 maior nas subtarefas do Maestro.
Carregando...
Transforme gravações de piano em MIDI editável para partituras, prática e arranjos.
Entrada
Gravações claras de piano solo ou de um único instrumento de teclado.
Formatos suportados
Produção
MIDI de piano gerado pelo TransKun V2 Aug para comparar com os resultados do V2.
Caso de uso
Compare a transcrição da mesma gravação com TransKun V2 para escolher a versão mais fiel à execução.
Escolha um modelo para seu material e objetivo e confira os exemplos antes de enviar.
Custo, tempo, formatos e parâmetros dependem do modelo escolhido.
No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.
TransKun V2 Aug é uma rota local separada de transcrição piano usando a checkpoint oficial de aumento de dados. Envie um arquivo piano para gerar MIDI sem substituir a ferramenta padrão V2.
TransKun V2 Aug é a rota local separada de aumento de dados checkpoint usando checkpointTransformerAug.zip.
Usa o checkpoint Standard oficial; os finais das notas seguem a duração acústica prolongada pelo pedal. É separado do NoExt, orientado à liberação da tecla, e do V2 Aug.
O padrão local é o checkpoint TransKun V2 No Pedal Ext (2.0.pt) incluído no pacote upstream transkun; ele pertence à mesma arquitetura e foi ajustado e ampliado pela rota V2 Aug.
Aria-AMT usa a rota de piano seq-to-seq do EleutherAI com piano-medium-double-1.0.safetensors.
Transcreve áudio de piano em eventos de nota discretos com o checkpoint público D3RM de refinamento por difusão e exporta MIDI editável e dados das notas.
ByteDance Piano CRNN note+pedal usa note_F1=0.9677_pedal_F1=0.9186.pth para eventos de piano MIDI solo com pedal controller.
SFT-CRNN detecta início e fim das notas de piano; velocidade fixa de 100, sem previsão de pedal.
ISMIR - 2024
O artigo do TransKun V2 relata uma arquitetura de pontuação de intervalos de transformador e um resultado F1 maior nas subtarefas do Maestro.
NeurIPS - 2021
O artigo Semi-CRF de 2021 enquadra piano transcrição como previsão de intervalo/evento, em vez de costurar detecções em nível de quadro.
Official repository / preliminary weights - current
O repositório Aria-AMT documenta a implementação piano transcrição de seq a seq e os pesos preliminares; o artigo relata comparações entre MAESTRO e MAPS Table 1.
arXiv - 2025
Transcreve áudio de piano em eventos de nota discretos com o checkpoint público D3RM de refinamento por difusão e exporta MIDI editável e dados das notas.
arXiv - 2020
O artigo do ByteDance relata 96,72% de F1 com início de nota e 91,86% de F1 com início de pedal no MAESTRO, com código e checkpoints liberados.
ICASSP - 2026
SFT-CRNN detecta início e fim das notas de piano; velocidade fixa de 100, sem previsão de pedal.
Inclui resultados públicos de testes de modelos usados aqui e em outros serviços. A tabela completa da fonte é exibida por padrão; também é possível escolher condições e métricas para comparação. Pontuações de condições de teste diferentes não são diretamente comparáveis.
São exibidos apenas registros com implementação pública de inferência e pesos correspondentes verificados, além de algoritmos que não precisam de pesos. Serviços fechados, pesos não publicados e versões experimentais sem correspondência confirmada são excluídos. Esta não é uma classificação de todos os modelos.
Pesos públicos não comprovam uma licença de código aberto completa. Expanda os dados para consultar as licenças declaradas e as condições de acesso. Licenças não declaradas são indicadas separadamente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
As linhas de resumo MIREX comparam a média de início da nota F1 em três conjuntos de dados e a nota holística F1 entre Maestro e SMD.
| Classificação por métrica | Modelo | Condição de teste | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugModelo usado aquiPesos públicos · Código de inferência | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 summary | 94.9 | 87.64 |
As marcações identificam modelos ou componentes usados aqui. As pontuações e configurações vêm dos testes citados, não de uma nova avaliação de todo o processo do site.
Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.
Entradas implantáveis 9 / linhas originais 9
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 summary · teamWLY · MIREX 2024 summary · hFT-Transformer · MIREX 2024 summary
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
wlazbzfll · MIREX 2024 published row · teamWLY · MIREX 2024 published row · hFT-Transformer · MIREX 2024 published row
Entradas implantáveis 0 / linhas originais 10
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Aria-AMT + bootstrapping · MAESTRO · paper Table 1 · Aria-AMT · MAESTRO · paper Table 1 · hFT-Transformer · MAESTRO · paper Table 1 · Google · MAESTRO · paper Table 1 · Kong · MAESTRO · paper Table 1 · Aria-AMT + bootstrapping · MAPS · paper Table 1 · Aria-AMT · MAPS · paper Table 1 · hFT-Transformer · MAPS · paper Table 1 · Kong · MAPS · paper Table 1 · Google · MAPS · paper Table 1
Entradas implantáveis 2 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Entradas implantáveis 1 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
As pontuações correspondem ao conjunto de dados, métrica e versão indicados; testes diferentes não são diretamente comparáveis.
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
As linhas de resumo MIREX comparam a média de início da nota F1 em três conjuntos de dados e a nota holística F1 entre Maestro e SMD.
| Classificação por métrica | Modelo | Condição de teste | Summary onset F1 (%)↑ | Holistic note F1 (%)↑ |
|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 summary | 96.48 | 90.81 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 summary | 94.9 | 87.64 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para MAESTRO, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 95.76 | 94.89 | 95.3 | 99.56 | 97.14 | 98.32 | 94.65 | 92.38 | 93.49 | 94.11 | 91.86 | 92.96 | 96.71 | 94.53 | 95.41 | 89.09 | 84.21 | 86.42 | 86.32 | 81.65 | 83.77 |
| 2 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 94.95 | 95.22 | 95.05 | 99.71 | 97.15 | 98.4 | 94.37 | 91.97 | 93.14 | 93.86 | 91.49 | 92.64 | 95.46 | 94.16 | 94.54 | 88.83 | 81.16 | 84.53 | 84.97 | 77.9 | 81.02 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para MAPS, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias. O MAPS utiliza ad hoc alignment; as métricas de offset devem ser interpretadas considerando esse alinhamento.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 94.46 | 83.34 | 88.43 | 93.96 | 90.56 | 92.19 | 71.05 | 68.54 | 69.75 | 55.96 | 54.01 | 54.95 | 88.93 | 83.89 | 85.83 | 73.13 | 75.29 | 73.43 | 54.99 | 56.5 | 55.32 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 88.7 | 82.52 | 85.35 | 86.71 | 90.48 | 88.49 | 63.25 | 66.13 | 64.61 | 43.51 | 45.51 | 44.46 | 84.98 | 85.47 | 84.49 | 65.21 | 71.82 | 67.32 | 49.03 | 54.27 | 50.88 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Resultados oficiais do MIREX para SMD, com todos os valores publicados de P / R / F1 (%) para notas e pedais; as métricas não publicadas permanecem vazias.
| Classificação por métrica | Modelo | Condição de teste | P de ativação (%)↑ | R de ativação (%)↑ | F1 de ativação (%)↑ | Início da nota P (%)↑ | Início da nota R (%)↑ | Início da nota F1 (%)↑ | Início + fim da nota P (%)↑ | Início + fim da nota R (%)↑ | Início + fim da nota F1 (%)↑ | Início + fim da nota + intensidade do toque P (%)↑ | Início + fim da nota + intensidade do toque R (%)↑ | Início + fim da nota + intensidade do toque F1 (%)↑ | P de ativação do pedal (%)↑ | R de ativação do pedal (%)↑ | F1 de ativação do pedal (%)↑ | Início do pedal P%↑ | Início do pedal R%↑ | Início do pedal F1%↑ | P de início+fim do pedal (%)↑ | R de início+fim do pedal (%)↑ | F1 de início+fim do pedal (%)↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | TransKun V2 AugPesos públicos · Código de inferência | MIREX 2024 published row | 93.89 | 95.18 | 94.48 | 99.7 | 98.01 | 98.84 | 92.84 | 91.28 | 92.05 | 89.74 | 88.23 | 88.97 | 94.91 | 94.28 | 94.47 | 87.88 | 80.43 | 83.83 | 82.08 | 75.26 | 78.37 |
| 2 | TransKun V2Pesos públicos · Código de inferência | MIREX 2024 published row | 92.03 | 94.91 | 93.4 | 98.16 | 97.66 | 97.9 | 90.13 | 89.68 | 89.9 | 82.55 | 82.11 | 82.32 | 93.64 | 95.07 | 94.2 | 87.22 | 81.01 | 83.88 | 80.3 | 74.71 | 77.3 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 9 / linhas originais 9
Os números vêm do checkpoint base indicado no link, não de uma nova medição do modelo executado aqui.
| Classificação por métrica | Modelo | Condição de teste | Activation | Note Onset | Note Onset+Offset | Note Onset+Offset+ vel. | pedal activation | pedal onset | pedal onset+offset | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | prec↑ | recall↑ | F1↑ | |||
| 1 | Transkun V2Pesos públicos · Código de inferência | Maestro V3 | 0.9576 | 0.9489 | 0.953 | 0.9956 | 0.9714 | 0.9832 | 0.9465 | 0.9238 | 0.9349 | 0.9411 | 0.9186 | 0.9296 | 0.9671 | 0.9453 | 0.9541 | 0.8909 | 0.8421 | 0.8642 | 0.8632 | 0.8165 | 0.8377 |
| 2 | Transkun V2 AugPesos públicos · Código de inferência | Maestro V3 | 0.9495 | 0.9522 | 0.9505 | 0.9971 | 0.9715 | 0.984 | 0.9437 | 0.9197 | 0.9314 | 0.9386 | 0.9149 | 0.9264 | 0.9546 | 0.9416 | 0.9454 | 0.8883 | 0.8116 | 0.8453 | 0.8497 | 0.7790 | 0.8102 |
| - | Transkun V2 No ExtPesos públicos · Código de inferênciaTransKun V2 No Pedal Ext · official model-card archiveCódigo de inferênciaLicença dos pesos não declarada | Maestro V3 No Ext | 0.8671 | 0.825 | 0.8441 | 0.9984 | 0.9691 | 0.9833 | 0.8271 | 0.8034 | 0.8149 | 0.823 | 0.7995 | 0.8109 | 0.9498 | 0.9518 | 0.9487 | 0.8872 | 0.8105 | 0.8444 | 0.8413 | 0.7723 | 0.8031 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
HPPNet-sp · HFT-transformer · Yan et al. · PAR · DiffRoll (k=9)
Os valores vêm da fonte pública vinculada. Os rótulos das linhas indicam o conjunto de teste ou checkpoint; pontuações não publicadas aparecem como -.
| Classificação por métrica | Modelo | # Param | Note Metrics | Note F1 w\offsets (%) | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| 1 | D3RM (Proposed)Pesos públicos · Código de inferênciastep=0170000-metric_note_with_offsets_f1=0.9464.ckptCódigo de inferênciaLicença dos pesos não declarada | 2.0M | 98.72 | 96.48 | 97.57 | 91.48 | 89.44 | 90.44 |
| 2 | BaselinePesos públicos · Código de inferência | 1.5M | 99.08 | 94.03 | 96.45 | 89.93 | 85.45 | 87.60 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 6
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & frames · Onsets & frames [reproduced] · Adversarial onsets & frames · Regress cond on. · Regress cond on. & off.
Resultados das notas MAESTRO da Tabela I e do pedal de sustentação da Tabela VI, incluindo P / R / F1 (%) publicados para quadros, início, fim e intensidade. Métricas não informadas ficam ausentes.
| Classificação por métrica | Modelo | Frame | Note | Note w/ offset | Note w/ offset & vel. | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | Regress cond on. & off. & vel.Pesos públicos · Código de inferência | 88.71 | 90.73 | 89.62 | 98.17 | 95.35 | 96.72 | 83.68 | 81.32 | 82.47 | 82.10 | 79.80 | 80.92 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Liang · Onsets & frames [our-implemented] · Onsets & frames (misaligned labels) · proposed (misaligned labels)
| Classificação por métrica | Modelo | Frame | Event | Event w/ offset | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | P (%)↑ | R (%)↑ | F1 (%)↑ | ||
| - | ProposedPesos públicos · Código de inferência | 94.30 | 94.42 | 94.25 | 91.59 | 92.41 | 91.86 | 86.36 | 87.02 | 86.58 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
Onsets & Frames · HPPNet-sp · hFT-Transformer · Transkun
A avaliação de piano no MAESTRO v3 mantém P/R/F1 de início e início-fim. O modelo publicado usa velocity fixa 100 e não prevê pedais.
| Classificação por métrica | Modelo | Params | Onset | Onset & Offset | ||||
|---|---|---|---|---|---|---|---|---|
| P (%)↑ | R (%)↑ | F1(%)↑ | P (%)↑ | R (%)↑ | F1(%)↑ | |||
| - | SFT-CRNNPesos públicos · Código de inferência | 15M | 99.16 | 97.46 | 98.36 | 91.56 | 90.02 | 90.78 |
Encontre métodos e etapas adequados ao seu material.