Modelo
MuScriptor-large: medição real e limites de mixagem completa de 1,366 bilhão de parâmetros para MIDI multipista
Transcrição automática de música
Transcrição automática de música
© 2026 TelkNet. Todos os direitos reservados.
TRANSCRIÇÃO AUTOMÁTICA DE MÚSICA
MuScriptor-large é o maior checkpoint público da família MuScriptor e a opção principal, de melhor qualidade, indicada no model card. Ele converte áudio mono de 16 kHz em segmentos de cinco segundos, representa esses segmentos como características mel de 512 bins e usa um Transformer decoder-only de 48 camadas para gerar eventos de altura, onset, offset, instrumento e bateria. O checkpoint público contém exatamente 1,366,399,488 parâmetros F32, em um arquivo safetensors de 5,465,642,136 bytes.
Ser o maior modelo de uma família não equivale a ser o estado da arte universal. O artigo relata um grande avanço sobre o YourMT3+ no conjunto privado D_Test e também publica resultados em oito conjuntos de dados externos, nos quais o MuScriptor não vence todas as métricas. D_Real, D_RL e D_Test não são públicos, e o MIROS não foi comparado usando o mesmo áudio, a mesma métrica e o mesmo protocolo de pós-processamento. A conclusão defensável é mais restrita: MuScriptor-large é um dos novos candidatos de pesos abertos mais fortes para AMT multi-instrumento de uso geral, sustentado por resultados de liderança informados pelos autores.
O MuScriptor publica checkpoints small, medium e large. Os metadados do repositório informam contagens exatas de 102,968,832, 307,030,528 e 1,366,399,488 parâmetros. O large tem cerca de 4.45 vezes o tamanho do medium e é descrito explicitamente como o lançamento principal e de melhor qualidade. O estudo de ablação de escala do artigo usa os rótulos 60M, 100M, 300M e 1.3B; esses rótulos experimentais não devem substituir as contagens exatas de parâmetros dos três checkpoints públicos.
Na revisão 8809fdfbed2affa7ade94a7059e746e3880720e7, o repositório de pesos contém um arquivo model.safetensors de 5,465,642,136 bytes, além de um pequeno conjunto de arquivos de configuração. O código-fonte está fixado separadamente no commit 302343e8992bdfc619f77f1988168374ed5d675d. Em conjunto, esses identificadores vinculam arquitetura, tokenizer, padrões de inferência e pesos. Um rótulo que diz “large” não basta se uma implementação puder carregar o medium silenciosamente ou acompanhar uma branch main em constante mudança.
O armazenamento em F32 não significa que toda operação precise usar F32, nem demonstra que uma derivação não oficial de baixa precisão tenha qualidade equivalente. O lançamento não oferece estudo de qualidade sob o mesmo protocolo para um checkpoint quantizado alternativo. Um caminho que prioriza qualidade pode, portanto, exigir a identidade exata do large e falhar de forma clara quando não conseguir carregá-la, em vez de mudar para uma categoria menor.
A entrada é convertida para áudio mono de 16 kHz. A transformada de Fourier de tempo curto usa uma janela de 2,048 pontos e um salto de 160 amostras, produzindo 100 quadros por segundo, que depois são projetados em 512 bins mel. Assim, um segmento de cinco segundos contém cerca de 500 quadros acústicos. Essas características entram em um Transformer decoder-only com largura 1,536, 24 cabeças de atenção e 48 camadas. O modelo não divide primeiro a mixagem em um conjunto fixo de stems para executar um transcritor independente em cada um; os eventos de tempo, instrumento e nota são gerados em uma sequência compartilhada.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xrepresentação mel de um segmento de áudio de cinco segundosccondição opcional de instrumento; um conjunto vazio significa detecção automáticayntoken de evento de tempo, instrumento, altura ou encerramentoA fatoração autorregressiva permite que instrumentos e acordes gerados anteriormente orientem decisões posteriores, o que ajuda a representar o contexto entre instrumentos em uma mixagem completa. Ela também propaga erros. Um time-shift incorreto pode deslocar notas posteriores, a ausência de um note-off pode deixar uma nota presa, e o desvio de um token de instrumento pode colocar alturas corretas na faixa errada.
O exemplo oficial atual usa batch size 1, beam size 1, cfg_coef=1 e prelude forcing. Beam size 1 corresponde a um caminho argmax determinístico. Um beam mais largo preserva mais prefixos e consome mais memória; sem uma ablação controlada, o beam 4 não pode simplesmente receber o rótulo de “qualidade máxima”.
Classifier-free guidance reforça uma condição combinando logits condicionais e incondicionais: ℓ=ℓu+s(ℓc−ℓu). A tabela final do artigo informa Multi F1 de 48.2 com CFG=1 e de 47.8 com CFG=2. Por isso, o padrão público continua sendo 1, em vez de pressupor que um valor maior de guidance seja melhor.
O artigo divide o material de treinamento em três camadas. D_Synth contém cerca de 1.45 milhão de arquivos MIDI provenientes do Lakh MIDI e de um fornecedor comercial de dados, renderizados com mais de 250 SoundFonts. Transposição, tempo, velocity, aleatorização de instrumentos e desafinação expõem o mesmo material simbólico a uma variedade tímbrica mais ampla. A renderização sintética oferece limites exatos para os eventos, mas não consegue reproduzir por completo vazamento entre microfones, masterização, ruído dos intérpretes nem a cauda longa da produção real.
D_Real contém aproximadamente 170,000 gravações internas, somando cerca de 11,000 horas. Seus rótulos de notas vêm do alinhamento entre áudio e símbolos, e não de anotação manual em nível de amostra. As mixagens reais ampliam a distribuição de produção, mas também introduzem correspondência de títulos, diferenças entre versões, latência de plug-ins e erros de alinhamento. D_RL então seleciona 300 transcrições de alta qualidade revisadas por pessoas para o pós-treinamento no estilo GRPO/REINFORCE. As três etapas tratam de cobertura, mudança de domínio e preferência de sequência, mas os conjuntos de dados reais e de recompensa não são públicos.
O aprendizado supervisionado minimiza a log-verossimilhança negativa no nível de token, enquanto o pós-treinamento usa uma recompensa formada por métricas de onset, offset, frame, bateria e múltiplos instrumentos. A otimização no nível da sequência pode penalizar falhas estruturais que a classificação independente de tokens não detecta. Como o conjunto revisado de recompensa tem apenas 300 faixas, a cobertura de instrumentos raros, tempos extremos e tradições não ocidentais ainda precisa de avaliação externa pública.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTentropia cruzada da sequência durante o treinamento supervisionadoR(y)recompensa combinada para uma transcrição concluídaD_RL300 transcrições revisadas, não um benchmark públicoO MuScriptor mapeia 128 programas General MIDI para grupos de instrumentos MT3_FULL_PLUS. O modelo aprende 36 grupos, enquanto a demonstração pública apresenta 35 nomes selecionáveis, incluindo pianos acústicos e elétricos, três grupos de violão e guitarra, baixos acústicos e elétricos, cordas, metais, madeiras, sintetizadores, voz e bateria. A diferença reflete a fronteira entre representação interna e interface selecionável; as 35 opções da interface não devem ser divulgadas como o número total de categorias aprendidas.
Com o campo de instrumentos vazio, o modelo pode detectar qualquer grupo compatível. Assim que um ou mais nomes são selecionados, o decodificador aplica uma máscara rígida a todos os demais tokens de instrumento. Trata-se de uma lista de permissões estrita, não de uma preferência flexível. Ela pode reduzir o vazamento entre instrumentos quando o conjunto é conhecido, mas também pode apagar uma parte real que o usuário deixou de incluir. Piano, baixo e bateria podem ser uma boa restrição para um trio conhecido; a detecção automática é mais segura quando o arranjo é incerto.
A restrição precisa percorrer todo o caminho da interface até a máscara de tokens do tokenizer. Chips selecionados que uma API descarta criam um controle falso, enquanto strings irrestritas adiam erros de grafia até a execução. Um contrato fiel aceita somente os 35 identificadores oficiais, rejeita duplicatas e define uma lista vazia como detecção automática.
A Tabela 1 do artigo compara o YourMT3+ YPTF.MoE+Multi (noPS) com as etapas de treinamento do MuScriptor no mesmo D_Test privado. O modelo large final com CFG=1 registra Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 e Multi 48.2. O YourMT3+ registra 32.52, 45.54, 17.79, 41.4 e 21.9. A diferença é substancial e sustenta a afirmação de que a combinação de mais dados, um modelo maior e pós-treinamento adotada pelos autores melhorou de forma relevante o desempenho sob sua distribuição de mixagens reais e seu protocolo de anotação.
| Mesmo D_Test privado | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
O Multi F1 exige que instrumento, altura, onset e offset satisfaçam juntos a regra de correspondência, portanto não é intercambiável com uma pontuação que verifica menos campos. O MIROS obteve 0.5998 no AMT Challenge de 2025, aplicado a outro conjunto de 76 trechos sintéticos com cerca de vinte segundos e a um protocolo Multi Onset F1 baseado em programa + altura + onset. O MuScriptor não participou desse teste sob o mesmo protocolo. Colocar 48.2 ao lado de 0.5998 em um ranking significaria comparar denominadores e definições de eventos diferentes.
D_Test contém 372 obras com múltiplos instrumentos, extraídas de material interno, e emprega filtragem por título para reduzir o vazamento entre treinamento e teste. A filtragem por título é útil, mas não equivale a uma auditoria pública e reproduzível de eliminação de duplicatas. O áudio, as anotações, as escolhas de versão e as regras de remoção de sobreposição não estão disponíveis. Portanto, o resultado principal precisa continuar identificado como um valor de conjunto privado informado pelos autores.
Os oito conjuntos de dados externos mostram um perfil mais irregular. Em comparação com o YourMT3+, o MuScriptor vence em Frame F1 em 7/8 conjuntos e em Multi F1 em 6/8, mas vence em Onset F1 em apenas 4/8. Ele fica atrás em onset, frame, offset e multi no RWC-C; em offset, drums e multi no RWC-R; e em onset e offset no Bach10. Um bom desempenho em alturas sustentadas e no conteúdo geral das faixas não implica domínio sobre todo transiente, família de instrumentos ou distribuição de gravação.
O tokenizer tem um limite concreto de representação: duas notas simultâneas e sobrepostas com o mesmo instrumento e a mesma altura não podem ser representadas corretamente ao mesmo tempo. O artigo remove a sobreposição mais curta na avaliação principal de D_Test. Sem essa remoção, Onset F1 cai de 60.4 para 51.8, Offset de 49.0 para 41.9 e Multi de 48.2 para 42.0. Notas repetidas de piano na mesma altura sob pedal, uníssonos de cordas e guitarras em camadas podem encontrar essa colisão.
A ablação da escala do modelo deve ficar em um gráfico separado da comparação final. A Tabela 4 do artigo treina apenas em D_Real, com condicionamento por instrumento. Multi F1 sobe de 35.2 para 38.2, 39.7 e 40.5 entre os rótulos 60M, 100M, 300M e 1.3B. Isso demonstra um benefício contínuo de escala nessa configuração, mas não inclui as etapas finais de pré-treinamento sintético e reforço, nem representa um benchmark direto dos arquivos públicos small, medium e large.
| Rótulo de escala do artigo | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
A avaliação por escuta deve se concentrar em uníssonos densos, transientes compartilhados entre bateria e baixo, guitarras distorcidas, coros, timbres raros e reverberação intensa. As pontuações agregadas podem continuar boas mesmo quando uma faixa passa a apresentar fragmentos curtos, vazamento entre canais, sustentações cortadas ou vários canais para um único instrumento. As médias descrevem o comportamento da população; não substituem a inspeção do piano roll nem a audição do áudio ressintetizado.
O gravador atual produz MIDI Type-1: os metadados ocupam uma faixa própria, e cada faixa de instrumento contém nome, programa, canal e eventos note-on e note-off. A bateria segue a convenção do canal 10 do General MIDI. Em comparação com a redução de tudo para Type-0, essa estrutura facilita silenciar, isolar e editar partes em uma DAW, além de tornar mais visíveis os desvios de instrumento.
A saída não recupera a dinâmica da execução. O código público grava a velocity das notas como 100. A presença de um campo velocity no MIDI apenas cumpre o formato do arquivo; ela não comprova que o modelo inferiu a expressividade da gravação. A bateria oferece apenas onsets. O modelo também não infere o mapa de tempo, a fórmula de compasso nem a grade de pulsos da música. O gravador usa um evento de tempo fixo em 120 BPM para converter os segundos dos eventos em ticks. “Fixado em 120 BPM” nunca deve ser apresentado como “120 BPM detectados”.
A temporização contínua pode ser preservada de forma aproximada, enquanto os valores de notação exibidos por programas de partitura dependem desse tempo fixo e da quantização posterior. Rubato, swing, trechos de tempo livre e mudanças de andamento exigem uma análise separada de pulso e estrutura. Eventos reproduzíveis, faixas editáveis e notação pronta para publicação são três camadas diferentes; condução de vozes, ligaduras, pedal, grafia enarmônica, repetições e expressão ainda exigem decisões musicais.
Quando áudios longos são processados como segmentos sobrepostos, a responsabilidade por cada onset deve ser atribuída em segundos globais, enquanto notas que permanecem abertas ao cruzar uma fronteira precisam ser transportadas para o segmento seguinte. Concatenar arquivos MIDI dos segmentos pode duplicar ataques na fronteira, cortar sustentações ou descartar nomes de faixas, programas e o canal de bateria. A aceitação deve verificar notas presas, preservação dos metadados das faixas e ausência de desvio temporal sistemático nas junções dos segmentos.
O código do MuScriptor usa a licença MIT. Os pesos large usam CC BY-NC 4.0 e são distribuídos por uma página do Hugging Face com acesso controlado. O acesso exige uma conta autenticada, a aceitação dos termos da página e a confirmação de que o usuário detém os direitos necessários sobre a música a ser transcrita.
O código e os pesos têm licenças separadas. O acesso aos arquivos de pesos não altera a condição NonCommercial; o model card fixado e o texto da licença são as referências principais para os usos permitidos.
O valor do MuScriptor-large é específico: ele é o maior integrante público da família, com 1.366B parâmetros, trabalha com mixagens completas reais, oferece uma lista rígida de instrumentos permitidos, produz MIDI multifaixa Type-1 editável e apresenta um grande avanço sobre o YourMT3+ no D_Test privado segundo os autores. Seus limites são igualmente específicos: os principais dados não são públicos, as métricas externas não representam uma vitória absoluta, notas sobrepostas com a mesma altura colidem no tokenizer, velocity e um mapa de tempo real estão ausentes, e os pesos são licenciados para uso não comercial.
“Checkpoint MuScriptor de melhor qualidade” é uma afirmação sustentada pelas evidências. “Estado da arte universal de áudio para MIDI confirmado de forma independente” não é. Essa avaliação poderá mudar quando uma reprodução pública comparar MuScriptor-large, YourMT3+ e MIROS nas mesmas gravações, definições de eventos, tolerâncias de correspondência e política para sobreposições.