Áudio especializado para MIDI: cinco modelos, cinco provas diferentes de F1 · TelkNet
Modelo
Áudio especializado para MIDI: cinco modelos, cinco provas diferentes de F1
Pouezioù foran, ur benveg pe profile TelkNet, un dibab stumm sklaer hag un runtime digemm zo evit ar patromoù-mañ. Statud Admin a ren ar gwelusted hag an degemer labourioù; E2–E4 zo ret evit gweredekaat, hag E5 ouzhpenn evit an hent dre ziouer.
GAPS, FiloSax, FiloBass, VioPTT e SwiftF0 emitem MIDI, mas suas distribuições de entrada, rótulos e tolerâncias de correspondência diferem. Roteie o instrumento primeiro; compare apenas dentro do dataset correspondente.
F1 de eventos
Depois de emparelhar as notas dentro de uma tolerância de onset, P=TP/(TP+FP), R=TP/(TP+FN) e F1=2PR/(P+R). A correspondência que considera o offset é mais rigorosa, por isso cada F1 precisa vir acompanhado de sua tolerância e de sua definição de emparelhamento.
Três famílias de modelagem
GAPS converte guitarra solo limpa ou separada em eventos de notas e MIDI. Não fornece posições das cordas, trastes, F0 contínuo nem Pitch Bend. Ajuste a intensidade MIDI comparando com a gravação original. FiloSax atende solos monofônicos de saxofone jazz e exporta como MIDI eventos discretos de altura, início e fim. Não produz trajetórias contínuas de altura, slide ou vibrato. FiloBass atende contrabaixo acústico de jazz monofônico (double bass / upright bass), não baixo genérico ou elétrico. Use um stem limpo ou separado; bumbo e vazamento de baixas frequências podem gerar notas falsas. VioPTT fornece eventos de nota de violino e um de quatro rótulos de técnica —détaché, flageolet, spiccato, pizzicato— ou nenhum. A MIDI velocity é fixa e não mede a dinâmica da execução. SwiftF0 acompanha um F0 contínuo monofônico. O TelkNet segmenta o contorno em notas e exporta MIDI, CSV de altura por quadro e um gráfico. Ele não transcreve uma mixagem polifônica completa.
Cadeia de processamento
Gravações limpas ou separadas de guitarra solo, saxofone jazz, contrabaixo acústico de jazz, violino solo ou melodia monofônica são encaminhadas ao modelo especializado correspondente.
Como os métodos de transcrição evoluíram
Não existe um modelo único de áudio para MIDI que cubra todos os instrumentos e métricas. GAPS mira o violão; FiloSax, FiloBass e VioPTT exploram a tessitura e a articulação específicas de cada instrumento; SwiftF0 se aproxima do rastreamento geral de pitch. Compartilhar formatos de arquivo não torna equivalentes as distribuições de treinamento desses modelos.
O campo saiu da detecção de pitch quadro a quadro para a predição conjunta de onset, offset, altura e velocity, e depois avançou para a decodificação sequencial de eventos de nota completos. O progresso aparece em notas repetidas, sustain, slides e vibrato, não apenas em um F1 maior. As pontuações dos artigos seguem incompatíveis quando as janelas de tolerância e as regras de correspondência diferem.
Fluxograma de criação do dataset do artigo GAPSÁudios do YouTube e partituras de violão passam por alinhamento, verificação manual, realinhamento e filtragem de transcrições antes de formar o dataset especializado.Fonte oficial: Figura 1 / figs/GAPS_flowchart.png
A transcrição de eventos precisa pontuar onset e offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPeventos que casam dentro da tolerância do artigo
FPeventos previstos em excesso
FNeventos perdidos
Os artigos definem verdadeiros positivos de formas diferentes: alguns exigem apenas tolerância de onset; outros cobram também offset, altura ou técnica. Um valor de F1 deixa de ser comparável quando se remove sua regra de correspondência.
GAPS, FiloSax, FiloBass, VioPTT e SwiftF0 miram instrumentos e níveis de anotação diferentes. O roteamento correto importa mais do que combinar máximos de datasets sem relação entre si.
O artigo, o código e os pesos podem ser acompanhados em Unified specialist runtime / GAPS paper / VioPTT.
Mapa de calor da distribuição no braço do artigo GAPSA distribuição de cauda longa das combinações corda-traste mostra por que a transcrição de violão não pode ser reduzida a um único F1 de eventos agregado.Fonte oficial: figs/fret_heatmap.png
Compare só depois que as definições de evento coincidirem
Cada linha mantém sua arquitetura, métrica ou definição de tarefa de origem; resultados sem um protocolo comum permanecem separados.
Modelo
Saída nativa ou derivada
Limite exato
GAPS
MIDI · pitch/onset/offset
GAPS converte guitarra solo limpa ou separada em eventos de notas e MIDI. Não fornece posições das cordas, trastes, F0 contínuo nem Pitch Bend. Ajuste a intensidade MIDI comparando com a gravação original.
FiloSax
MIDI · pitch/onset/offset
FiloSax atende solos monofônicos de saxofone jazz e exporta como MIDI eventos discretos de altura, início e fim. Não produz trajetórias contínuas de altura, slide ou vibrato.
FiloBass
MIDI · pitch/onset/offset
FiloBass atende contrabaixo acústico de jazz monofônico (double bass / upright bass), não baixo genérico ou elétrico. Use um stem limpo ou separado; bumbo e vazamento de baixas frequências podem gerar notas falsas.
VioPTT
MIDI + technique CSV
VioPTT fornece eventos de nota de violino e um de quatro rótulos de técnica —détaché, flageolet, spiccato, pizzicato— ou nenhum. A MIDI velocity é fixa e não mede a dinâmica da execução.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 acompanha um F0 contínuo monofônico. O TelkNet segmenta o contorno em notas e exporta MIDI, CSV de altura por quadro e um gráfico. Ele não transcreve uma mixagem polifônica completa.
Revisão auditiva dos eventos de nota
Piano pede checagem de sustain e de notas repetidas; saxofone e violino pedem slides, ornamentos e vibrato; o baixo se confunde facilmente com bumbos e harmônicos graves. Um sintetizador pode mascarar erros de tempo, então inspecione o piano roll contra a forma de onda.
O F1 de eventos muda com a janela de tolerância. Uma correspondência de onset de 50 ms, uma correspondência estrita de onset, uma pontuação de nota ciente do offset e um F1 de frames respondem a perguntas diferentes. A ferramenta registra modelo, limiar e quantização para que os resultados possam ser recalculados.
Informação musical que o MIDI não preserva
MIDI armazena eventos simbólicos, não o timbre, a sala ou o toque originais. Erros de identidade de instrumento em uma mix se propagam para o arranjo e a notação.
Sem um dataset compartilhado e regras de tolerância equivalentes, as métricas específicas de cada fonte permanecem separadas, em vez de gerar um vencedor sintético entre artigos.
Artigos e arquivos públicos do Unified specialist runtime
Nomes de modelos, números e limitações remetem aos artigos, repositórios ou cartões de modelo abaixo.