MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Transcreva música para MIDI de vários instrumentos com MuScriptor-large.
Carregando...
Transforme músicas ou conjuntos em MIDI multipista para corrigir notas e organizar partes na DAW.
Entrada
Suporta entradas em formatos como mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Formatos suportados
Produção
MIDI
Caso de uso
Editar notas, instrumentação e detalhes da execução.
Escolha um modelo para seu material e objetivo e confira os exemplos antes de enviar.
Custo, tempo, formatos e parâmetros dependem do modelo escolhido.
No feedback, informe a ferramenta, os passos e o problema encontrado. Capturas de tela ajudam a localizá-lo.
Reparo padrão reduz erros de instrumentos entre segmentos e mantém sustentações; comece aqui para misturas completas.
YourMT3+ · YPTF.MoE+Multi noPS: Rascunhos de MIDI editáveis de mixagens completas, além de entradas mais limpas para solos/instrumentos comuns como piano/teclado, guitar, bass, drums, cordas/sopros e vocal rascunhos
YMT3+: Rascunhos de MIDI editáveis de mixagens completas, além de entradas mais limpas para solos/instrumentos comuns como piano/teclado, guitar, bass, drums, cordas/sopros e vocal rascunhos
YourMT3+ · YPTF.Single noPS: Rascunhos de MIDI editáveis de mixagens completas, além de entradas mais limpas para solos/instrumentos comuns como piano/teclado, guitar, bass, drums, cordas/sopros e vocal rascunhos
YourMT3+ · YPTF.Multi PS: Rascunhos de MIDI editáveis de mixagens completas, além de entradas mais limpas para solos/instrumentos comuns como piano/teclado, guitar, bass, drums, cordas/sopros e vocal rascunhos
YourMT3+ · YPTF.MoE+Multi PS: Rascunhos de MIDI editáveis de mixagens completas, além de entradas mais limpas para solos/instrumentos comuns como piano/teclado, guitar, bass, drums, cordas/sopros e vocal rascunhos
MIROS MusicFM multi-decoder faz a rota oficial local MIROS com pretrained_msd.pt mais a last.ckpt checkpoint ajustada.
BS-RoFormer SW Fixed usa BS-Rofo-SW-Fixed.ckpt mais BS-Rofo-SW-Fixed.yaml para dividir uma mixagem completa em six WAV stems.
OaFS detecta 34 classes de instrumentos e exporta MIDI e tabelas de notas com velocidade fixa de 127.
Agrupa notas no número indicado de faixas de timbre sem nome, sem identificar instrumentos. Adequado para conjuntos curtos com quantidade conhecida de instrumentos; vozes sobrepostas na mesma altura podem ser inseparáveis.
Separa voz, bateria, baixo, guitarra, piano e outros sons, transcreve e une o MIDI. Permite estimar velocidades e reatribuir instrumentos; erros de separação podem afetar as notas.
Separa seis stems e depois transcreve em MIDI. SheetSage2-Refined detecta pulsos, compasso e seções; Tsumugi detecta acordes e tonalidade. A transcrição anterior de músicas completas continua disponível.
arXiv - 2026
Transcreva música para MIDI de vários instrumentos com MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ estende o MT3 com arquitetura aprimorada de transformadores, variantes MoE, decodificação multicanal e cross-dataset stem augmentation.
ICLR - 2022
O MT3 estabeleceu a transcrição musical multitarefa multi-tarefa com modelagem de sequências e permanece como referência para comparações de AMT mais recentes.
arXiv / OpenReview - 2026
O resumo do AMT Challenge 2025 foi lançado em 29-03-2026 para a competição de 1º de janeiro a 30 de abril de 2025. Ele relata 21 equipes registradas, 14 equipes submetendo, 8 equipes válidas pontuadas e um conjunto de teste clássico de 76 peças com até três instrumentos por trecho.
Signals - 2026
OaFS detecta 34 classes de instrumentos e exporta MIDI e tabelas de notas com velocidade fixa de 127.
Inclui resultados públicos de testes de modelos usados aqui e em outros serviços. A tabela completa da fonte é exibida por padrão; também é possível escolher condições e métricas para comparação. Pontuações de condições de teste diferentes não são diretamente comparáveis.
São exibidos apenas registros com implementação pública de inferência e pesos correspondentes verificados, além de algoritmos que não precisam de pesos. Serviços fechados, pesos não publicados e versões experimentais sem correspondência confirmada são excluídos. Esta não é uma classificação de todos os modelos.
Pesos públicos não comprovam uma licença de código aberto completa. Expanda os dados para consultar as licenças declaradas e as condições de acesso. Licenças não declaradas são indicadas separadamente.
O modelo selecionado não tem um resultado público correspondente verificado e não recebeu uma posição.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 3 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
No mesmo D_Test privado, o artigo compara o modelo final com CFG=1 ao YourMT3+. Os resultados não têm reprodução independente e não são diretamente comparáveis ao MIROS ou a outros protocolos.
| Classificação por métrica | Modelo | Condição de teste | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPesos públicos · Código de inferênciamodel.safetensorsCódigo de inferênciaLicença dos pesos (declaração do repositório): cc-by-nc-4.0É necessário aceitar os termos ou solicitar acesso | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Conjuntos, versões e condições ficam separados, inclusive fontes sem linhas elegíveis.
Entradas implantáveis 3 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Entradas implantáveis 16 / linhas originais 16
Entradas implantáveis 0 / linhas originais 4
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Entradas implantáveis 9 / linhas originais 17
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Entradas implantáveis 9 / linhas originais 14
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Entradas implantáveis 9 / linhas originais 9
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Entradas implantáveis 1 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Entradas implantáveis 1 / linhas originais 12
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Entradas implantáveis 10 / linhas originais 25
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Entradas implantáveis 68 / linhas originais 102
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Entradas implantáveis 28 / linhas originais 28
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Entradas implantáveis 3 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
D16 · MSE · Syn · Rescale
As pontuações correspondem ao conjunto de dados, métrica e versão indicados; testes diferentes não são diretamente comparáveis.
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 3 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
No mesmo D_Test privado, o artigo compara o modelo final com CFG=1 ao YourMT3+. Os resultados não têm reprodução independente e não são diretamente comparáveis ao MIROS ou a outros protocolos.
| Classificação por métrica | Modelo | Condição de teste | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPesos públicos · Código de inferênciamodel.safetensorsCódigo de inferênciaLicença dos pesos (declaração do repositório): cc-by-nc-4.0É necessário aceitar os termos ou solicitar acesso | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 16 / linhas originais 16
A Tabela 2 do artigo avalia os dois modelos publicados e implantáveis localmente em oito conjuntos ausentes do treinamento de ambos.
| Classificação por métrica | Modelo | Condição de teste | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorPesos públicos · Código de inferênciamodel.safetensorsCódigo de inferênciaLicença dos pesos (declaração do repositório): cc-by-nc-4.0É necessário aceitar os termos ou solicitar acesso | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 9 / linhas originais 17
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Entradas reproduzíveis de código aberto da classificação oficial, mantendo as posições oficiais. F1, precisão, revocação, início, fim e sobreposição são apresentados em porcentagens; o tempo, em milissegundos. A configuração de YourMT3+ para a competição usa as informações sobre instrumentos fornecidas nos nomes dos arquivos; sua pontuação não mede toda a cadeia de processamento deste site.
| Classificação oficial | Modelo | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Pesos públicos · Código de inferênciaMIROS fine-tuned decoderMusicFM encoderCódigo de inferência logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptConfigurações da avaliaçãoLicença dos pesos não declarada | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Pesos públicos · Código de inferência | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VPesos públicos · Código de inferêncialogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATPesos públicos · Código de inferência | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchPesos públicos · Código de inferência | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 9 / linhas originais 14
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
O site e o artigo são registros distintos com pequenas diferenças no último dígito. O teste tem 76 trechos sintéticos restritos, com até três instrumentos cada. Os valores de cada fonte são mantidos. A configuração de YourMT3+ para a competição usa as informações sobre instrumentos fornecidas nos nomes dos arquivos; sua pontuação não mede toda a cadeia de processamento deste site.
| Classificação oficial | Modelo | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSPesos públicos · Código de inferênciaMIROS fine-tuned decoderMusicFM encoderCódigo de inferência logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptConfigurações da avaliaçãoLicença dos pesos não declarada | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Pesos públicos · Código de inferência | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VPesos públicos · Código de inferêncialogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATPesos públicos · Código de inferência | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchPesos públicos · Código de inferência | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
A tabela inclui apenas modelos com pesos ou configurações públicas que podem ser executados localmente.
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 9 / linhas originais 9
Table 2 agrupa quantidades exatas de instrumentos e informa média ± desvio padrão. Cada grupo tem ranking próprio e não substitui a tabela geral. A configuração de YourMT3+ para a competição usa as informações sobre instrumentos fornecidas nos nomes dos arquivos; sua pontuação não mede toda a cadeia de processamento deste site.
| Classificação por métrica | Modelo | Condição de teste | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSPesos públicos · Código de inferênciaMIROS fine-tuned decoderMusicFM encoderCódigo de inferência logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptConfigurações da avaliaçãoLicença dos pesos não declarada | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Pesos públicos · Código de inferência | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ comparação de artigos com linhas de base da família MT3 em métricas no estilo Slakh.
| Classificação por métrica | Modelo | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Classificação por métrica | Modelo | Condição de teste | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+MPesos públicos · Código de inferência | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 1 / linhas originais 12
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Classificação por métrica | Modelo | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 10 / linhas originais 25
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
A tabela oficial 5 compara cinco conjuntos separadamente e mostra apenas experimentos com pesos públicos correspondentes verificados. O OaFS atual foi treinado conjuntamente; os resultados não comprovam superioridade sobre MuScriptor.
| Classificação por métrica | Modelo | Condição de teste | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Pesos públicos · Código de inferênciaOfficial MT3 T5X checkpoint and 294 tensor filesCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSPesos públicos · Código de inferência | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 68 / linhas originais 102
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Classificação por métrica | Modelo | Condição de teste | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSPesos públicos · Código de inferência | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Pesos públicos · Código de inferênciaOfficial MT3 T5X checkpoint and 294 tensor filesCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 28 / linhas originais 28
| Classificação por métrica | Modelo | Condição de teste | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSPesos públicos · Código de inferência | Piano | 70.36 | 72.10 |
| 2 | MT3Pesos públicos · Código de inferênciaOfficial MT3 T5X checkpoint and 294 tensor filesCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | Piano | 63.12 | 69.99 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 2 / linhas originais 5
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Classificação por métrica | Modelo | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Pesos públicos · Código de inferênciaOfficial MT3 T5X checkpoint and 294 tensor filesCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | 93.7 M | 34 |
| - | OaFSPesos públicos · Código de inferência | 64.9 M | 34 |
Escolha um conjunto de dados para ver todas as métricas de cada modelo. As linhas seguem a classificação oficial ou a métrica selecionada. O negrito indica o melhor valor comparável de cada coluna, incluindo empates. Protocolos de avaliação diferentes são classificados separadamente; pontuações ausentes aparecem como -.
Entradas implantáveis 3 / linhas originais 7
Não foi verificado um pacote público completo de inferência para esses experimentos. Outros pesos com o mesmo nome não servem como substitutos.
D16 · MSE · Syn · Rescale
Tabela 3 do artigo: K é a quantidade indicada de timbres. O F1 é calculado por faixa após o melhor pareamento. Os resultados são a média de pelo menos três treinamentos, não uma nova medição do checkpoint deste site.
| Classificação por métrica | Modelo | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursPesos públicos · Código de inferênciaseptimbre/sepamt_model.pthCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | SharePesos públicos · Código de inferênciaseptimbre/ablation/DicephNet/dicephnet_model.pthCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaPesos públicos · Código de inferênciaTanaka/tanaka_model.pthCódigo de inferênciaConfigurações da avaliaçãoLicença dos pesos não declarada | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Encontre métodos e etapas adequados ao seu material.
Nota de correção da TelkNet · 13 de agosto de 2026
Processamos a mesma música completa na TelkNet e no modo strict do MuScriptor Large 0.3.0 oficial. Os dois resultados têm 8 partes e 6.560 notas; parte, altura e ordem conferem nota por nota. A anomalia se concentra entre cerca de 182 e 222 segundos: o áudio de origem ainda contém uma linha tonal clara nas frequências médias e altas, mas o MIDI deixa uma lacuna de aproximadamente 40,31 segundos acima de C4. A interface, o tratamento de BPM e o editor MIDI não apagaram essas notas; a lacuna já está na saída do modelo oficial. Sem a partitura original, não é possível dizer exatamente quantas notas faltam.
O TelkNet ajusta a passagem das informações de instrumentos entre segmentos de 5 segundos para reduzir a propagação de erros e conectar notas sustentadas. O MuScriptor Large transcreve cada segmento uma vez.
Depois concluímos 16 execuções completas com 14 músicas, todas sem interrupção. Na primeira música, a maior lacuna de ataques acima de C4 caiu de 40,309 para 1,970 segundo. Na segunda, o resultado passou de 1.698 notas em 6 pistas ativas, com 70,79% de piano, para 2.279 notas em 8 pistas ativas, com 50,77% de piano. Duas repetições completas de cada música produziram arquivos idênticos byte a byte.
Compatibilidade de tempo do MuScriptor
A base oficial usa Beat This final0 e um ajuste de mínimos quadrados com intercepto livre para publicar um único BPM constante. O modo estrito falha quando as batidas não sustentam tempo constante; o modo best-effort grava 120 BPM como valor provisório. O gravador MIDI também corrige o atraso do início e desloca todas as notas para alinhar a barra ao downbeat.
O TelkNet mantém o mesmo Beat This final0, e o BPM único detectado automaticamente continua sendo o padrão recomendado. Ao escolher seguir as mudanças de andamento da música, um único BPM só é usado quando a grade inteira fica a até 40 ms das batidas detectadas; acima disso, é publicado um Tempo Map adaptativo. O BPM manual continua disponível. Sem quantização, os tempos originais das notas são preservados.
| Item de comparação | MuScriptor oficial v0.3.0 | TelkNet v11 |
|---|---|---|
| Detecção de batidas | Usa Beat This final0. | Usa o mesmo Beat This final0; o modelo de detecção não é substituído. |
| Grade de tempo publicada | Publica um único BPM constante com intercepto livre; o modo estrito falha em tempo não constante e best-effort grava 120 BPM provisórios. | BPM fixo somente quando a distância máxima da grade é de até 40 ms; caso contrário, um Tempo Map adaptativo com fase limitada. |
| Controle de BPM | A CLI oficial atual não oferece BPM manual. | Oferece modo adaptativo, fixo automático e BPM manual de 30 a 300. |
| Linha do tempo das notas | Corrige o atraso de ataque e desloca todas as notas para alinhar a barra ao downbeat. | Sem quantização, preserva os tempos nativos das notas e não aplica deslocamento de compasso. |
Beat This continua sendo um estimador de áudio. Compasso incomum, ritmo fraco ou sem transientes, rubato, mudanças bruscas de andamento ou uma pulsação errada em metade ou dobro do tempo ainda podem produzir uma grade incorreta. O BPM automático pode diferir ligeiramente de um valor exato conhecido; por isso, “Fixo · BPM manual” está disponível quando o BPM da fonte é conhecido. Ativar a quantização de notas move seus tempos intencionalmente. As configurações de tempo não corrigem notas ausentes, alturas erradas nem erros de instrumento ou nome de faixa do MuScriptor. MIDI importante ainda deve ser conferido com a fonte em uma DAW.