Audio especializado a MIDI: cinco modelos, cinco exámenes de F1 diferentes · TelkNet
Modelo
Audio especializado a MIDI: cinco modelos, cinco exámenes de F1 diferentes
Estos modelos cuentan con pesos públicos, integración como herramienta o profile de TelkNet, selección explícita de versión y una definición inmutable del entorno. El estado de Admin rige la visibilidad y la admisión de tareas; activar exige E2–E4 y una ruta predeterminada exige además E5.
GAPS, FiloSax, FiloBass, VioPTT y SwiftF0 emiten MIDI, pero sus distribuciones de entrada, etiquetas y tolerancias de emparejamiento difieren. Dirige primero el instrumento; compara solo dentro del conjunto de datos correspondiente.
F1 de eventos
Tras emparejar notas dentro de una tolerancia de onset, P=TP/(TP+FP), R=TP/(TP+FN) y F1=2PR/(P+R). El emparejamiento sensible al offset es más estricto, de modo que cada F1 necesita su tolerancia y su definición de emparejamiento.
Tres familias de modelado
GAPS convierte una guitarra solista limpia o separada en eventos de nota y MIDI. No genera posiciones de cuerdas, trastes, F0 continuo ni Pitch Bend. Ajusta la velocidad MIDI comparándola con la grabación original. FiloSax está dirigido a solos monofónicos de saxofón de jazz y exporta como MIDI eventos discretos de altura, inicio y final. No genera pistas continuas de altura, deslizamiento o vibrato. FiloBass está dirigido al contrabajo de jazz monofónico (double bass / upright bass), no al bajo general ni eléctrico. Conviene usar un stem limpio o separado; el bombo y la fuga de bajas frecuencias pueden crear notas falsas. VioPTT entrega eventos de nota de violín y una de cuatro etiquetas técnicas —détaché, flageolet, spiccato, pizzicato— o ninguna. La velocidad MIDI es fija y no mide la dinámica interpretativa. SwiftF0 sigue un F0 continuo monofónico. TelkNet segmenta ese contorno en notas y exporta MIDI, CSV de altura por cuadro y un gráfico. No transcribe mezclas polifónicas completas.
Cadena de procesamiento
Envía grabaciones limpias o separadas de guitarra solista, saxofón de jazz, contrabajo de jazz, violín solista o melodía monofónica al modelo especializado correspondiente.
Cómo evolucionaron los métodos de transcripción
En el audio a MIDI no hay un solo modelo que cubra todos los instrumentos y métricas. GAPS apunta a la guitarra; FiloSax, FiloBass y VioPTT aprovechan el rango y la articulación propios de cada instrumento; SwiftF0 se acerca más al seguimiento general de tono. Compartir formatos de archivo no equivale a compartir distribuciones de entrenamiento.
El campo pasó de la detección de tono por frames a la predicción conjunta de onset, offset, tono y velocity, y después hacia la decodificación secuencial de eventos de nota completos. El avance se aprecia en notas repetidas, sustain, glissandos y vibrato, no solo en un F1 mayor. Las puntuaciones de los papers siguen siendo incompatibles cuando las ventanas de tolerancia y las reglas de emparejamiento difieren.
Diagrama de flujo de creación del dataset del paper de GAPSEl audio de YouTube y las partituras de guitarra pasan por alineación, verificación manual, realineación y filtrado de transcripciones antes de formar el dataset especializado.Fuente oficial: Figure 1 / figs/GAPS_flowchart.png
La transcripción de eventos debe puntuar onset y offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPeventos que encajan con la tolerancia de ese paper
FPeventos predichos de más
FNeventos perdidos
Los papers definen los verdaderos positivos de forma distinta: unos exigen solo tolerancia de onset; otros también offset, tono o técnica. Un valor de F1 deja de ser comparable en cuanto se le quita su regla de emparejamiento.
GAPS, FiloSax, FiloBass, VioPTT y SwiftF0 apuntan a instrumentos y niveles de anotación diferentes. Un encaminamiento correcto importa más que combinar máximos procedentes de datasets sin relación.
El paper, el código y los pesos pueden seguirse a través de Unified specialist runtime / GAPS paper / VioPTT.
Mapa de calor de distribución del mástil del paper de GAPSLa distribución de cola larga de las combinaciones cuerda-traste muestra por qué la transcripción de guitarra no puede reducirse a un único F1 de eventos agregado.Fuente oficial: figs/fret_heatmap.png
Comparar solo cuando las definiciones de evento coinciden
Cada fila conserva su arquitectura, métrica o definición de tarea de origen; los resultados sin un protocolo compartido permanecen separados.
Modelo
Salida nativa o derivada
Límite exacto
GAPS
MIDI · pitch/onset/offset
GAPS convierte una guitarra solista limpia o separada en eventos de nota y MIDI. No genera posiciones de cuerdas, trastes, F0 continuo ni Pitch Bend. Ajusta la velocidad MIDI comparándola con la grabación original.
FiloSax
MIDI · pitch/onset/offset
FiloSax está dirigido a solos monofónicos de saxofón de jazz y exporta como MIDI eventos discretos de altura, inicio y final. No genera pistas continuas de altura, deslizamiento o vibrato.
FiloBass
MIDI · pitch/onset/offset
FiloBass está dirigido al contrabajo de jazz monofónico (double bass / upright bass), no al bajo general ni eléctrico. Conviene usar un stem limpio o separado; el bombo y la fuga de bajas frecuencias pueden crear notas falsas.
VioPTT
MIDI + technique CSV
VioPTT entrega eventos de nota de violín y una de cuatro etiquetas técnicas —détaché, flageolet, spiccato, pizzicato— o ninguna. La velocidad MIDI es fija y no mide la dinámica interpretativa.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 sigue un F0 continuo monofónico. TelkNet segmenta ese contorno en notas y exporta MIDI, CSV de altura por cuadro y un gráfico. No transcribe mezclas polifónicas completas.
Revisión auditiva de los eventos de nota
El piano exige comprobar el sustain y las notas repetidas; el saxofón y el violín, los glissandos, ornamentos y vibrato; el bajo se confunde con facilidad con bombos y armónicos graves. Un sintetizador puede ocultar errores de tiempo, así que inspecciona el piano roll frente a la forma de onda.
El F1 de eventos cambia con la ventana de tolerancia. Un emparejamiento de onset de 50 ms, un emparejamiento de onset estricto, una puntuación de nota sensible al offset y un F1 por frames responden a preguntas distintas. La herramienta registra modelo, umbral y cuantización para que los resultados puedan recalcularse.
Información musical que MIDI no conserva
MIDI almacena eventos simbólicos, no el timbre, la sala ni el tacto originales. Los errores de identidad instrumental en una mezcla se propagan al arreglo y a la notación.
Sin un dataset compartido y reglas de tolerancia coincidentes, las métricas propias de cada fuente se mantienen separadas en lugar de producir un ganador sintético entre papers.
Papers y archivos públicos de Unified specialist runtime
Los nombres de modelos, las cifras y las limitaciones se remontan a los papers, repositorios o fichas de modelo que figuran a continuación.