Modelo
MuScriptor-large: medición real y límites de 1,366 mil millones de parámetros, mezcla completa a MIDI multipista
Transcripción automática de música
Transcripción automática de música
TRANSCRIPCIÓN MUSICAL AUTOMÁTICA
MuScriptor-large es el checkpoint público más grande de MuScriptor y, según la ficha del modelo, la opción insignia y de mayor calidad. Convierte audio mono a 16 kHz en segmentos de cinco segundos, los representa como características mel de 512 bandas y emplea un Transformer de 48 capas con solo decodificador para generar eventos de tono, ataque, final, instrumento y percusión. El checkpoint público contiene exactamente 1,366,399,488 parámetros F32, en un archivo safetensors de 5,465,642,136 bytes.
Ser el mayor de una familia no equivale a proclamar el estado del arte universal. El artículo reporta una gran ventaja sobre YourMT3+ en su conjunto privado D_Test y también publica resultados en ocho conjuntos de datos externos, donde MuScriptor no gana todas las métricas. D_Real, D_RL y D_Test no son públicos, y MIROS no se ha comparado con el mismo audio, la misma métrica y el mismo protocolo de posprocesamiento. La conclusión defendible es más estrecha: MuScriptor-large es uno de los nuevos candidatos de pesos abiertos más sólidos para la AMT multiinstrumento general, respaldado por resultados líderes reportados por los propios autores.
MuScriptor publica checkpoints small, medium y large. Los metadatos del repositorio dan recuentos exactos de 102,968,832, 307,030,528 y 1,366,399,488 parámetros. Large es unas 4.45 veces el tamaño de medium y se describe explícitamente como la versión insignia y de mayor calidad. La ablación de escala del artículo usa las etiquetas 60M, 100M, 300M y 1.3B; esas etiquetas de experimento no deben sustituir a los recuentos exactos de parámetros de los tres checkpoints públicos.
En la revisión 8809fdfbed2affa7ade94a7059e746e3880720e7, el repositorio de pesos contiene un model.safetensors de 5,465,642,136 bytes, además de un pequeño conjunto de archivos de configuración. El código fuente queda fijado por separado al commit 302343e8992bdfc619f77f1988168374ed5d675d. En conjunto, estos identificadores atan la arquitectura, el tokenizador, los valores de inferencia predeterminados y los pesos. Una etiqueta que diga «large» no basta si una implementación puede cargar medium en silencio o seguir una rama main en movimiento.
Que el almacenamiento sea F32 no significa que toda operación deba usar F32, ni demuestra que un derivado no oficial de baja precisión sea equivalente en calidad. La publicación no incluye ningún estudio de calidad bajo el mismo protocolo para un checkpoint cuantizado alternativo. Una ruta que priorice la calidad puede, por tanto, exigir la identidad exacta de large y fallar de forma explícita cuando no pueda cargarlo, en lugar de cambiar a un nivel menor.
La entrada se convierte a mono a 16 kHz. La transformada de Fourier de tiempo corto usa una ventana de 2,048 puntos y un salto de 160 muestras, lo que produce 100 tramas por segundo, y luego las proyecta a 512 bandas mel. Un segmento de cinco segundos contiene, por tanto, unas 500 tramas acústicas. Estas características alimentan un Transformer con solo decodificador de anchura 1,536, 24 cabezas de atención y 48 capas. El modelo no divide primero la mezcla en un conjunto fijo de pistas para pasarlas por un transcriptor independiente cada una; los eventos de tiempo, instrumento y nota se generan en una secuencia compartida.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xrepresentación mel de un segmento de audio de cinco segundosccondición de instrumento opcional; un conjunto vacío implica detección automáticaynun token de evento de tiempo, instrumento, tono o terminaciónLa factorización autorregresiva permite que los instrumentos y acordes ya generados informen las decisiones posteriores, algo útil para el contexto entre instrumentos en una mezcla completa. También propaga errores. Un desplazamiento temporal incorrecto puede desplazar las notas siguientes, un note-off ausente puede dejar una nota colgada y una deriva en el token de instrumento puede colocar tonos correctos en la pista equivocada.
El ejemplo oficial actual usa tamaño de lote 1, haz de tamaño 1, cfg_coef=1 y forzado de preludio. Un haz de tamaño 1 es una trayectoria argmax determinista. Un haz más ancho conserva más prefijos y consume más memoria; sin una ablación controlada, el haz 4 no puede simplemente rebautizarse como «máxima calidad».
La guía libre de clasificador afina una condición combinando logits condicionales e incondicionales: ℓ=ℓu+s(ℓc−ℓu). La tabla final del artículo reporta un Multi F1 de 48.2 con CFG=1 y de 47.8 con CFG=2. El valor público predeterminado sigue siendo 1, en lugar de asumir que un número de guía mayor es mejor.
El artículo separa el material de entrenamiento en tres capas. D_Synth reúne unos 1.45 millones de archivos MIDI procedentes de Lakh MIDI y de un proveedor comercial de datos, renderizados a través de más de 250 SoundFonts. La transposición, el tempo, la velocidad, la aleatorización de instrumentos y la desafinación exponen el mismo material simbólico a una gama tímbrica más amplia. El renderizado sintético ofrece límites de evento exactos, pero no puede reproducir del todo la contaminación entre micrófonos, la masterización, el ruido del intérprete ni la larga cola de la producción real.
D_Real contiene aproximadamente 170,000 grabaciones internas, unas 11,000 horas en total. Sus etiquetas de notas proceden de alineación audio-simbólica, no de anotación manual a nivel de muestra. Las mezclas reales amplían la distribución de producción, aunque añaden correspondencia de títulos, diferencias de versión, latencia de complementos y error de alineación. D_RL selecciona después 300 transcripciones de alta calidad revisadas por personas para un post-entrenamiento al estilo GRPO/REINFORCE. Las tres etapas abordan cobertura, cambio de dominio y preferencia de secuencia, pero los conjuntos reales y de recompensa no son públicos.
El aprendizaje supervisado minimiza la log-verosimilitud negativa a nivel de token, mientras que el post-entrenamiento emplea una recompensa compuesta por medidas de ataque, final, trama, percusión y multiinstrumento. La optimización a nivel de secuencia puede penalizar fallos estructurales que la clasificación independiente de tokens pasa por alto. Como el conjunto de recompensa revisado solo tiene 300 pistas, la cobertura de instrumentos raros, tempi extremos y tradiciones no occidentales todavía necesita evaluación externa pública.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTentropía cruzada de secuencia durante el entrenamiento supervisadoR(y)recompensa combinada de una transcripción completadaD_RL300 transcripciones revisadas, no un benchmark públicoMuScriptor asigna los 128 programas de General MIDI a grupos de instrumentos MT3_FULL_PLUS. El modelo aprende 36 grupos, mientras que la demo pública expone 35 nombres seleccionables: pianos acústicos y eléctricos, tres grupos de guitarras, bajo acústico y eléctrico, cuerdas, metales, maderas, sintetizadores, voz y percusión, entre otros. La diferencia refleja la frontera entre representación interna e interfaz seleccionable; las 35 opciones de la interfaz no deben presentarse como el número total de categorías aprendidas.
Con el campo de instrumento vacío, el modelo puede detectar cualquier grupo compatible. En cuanto se selecciona uno o más nombres, el decodificador enmascara de forma rígida todos los demás tokens de instrumento. Es una lista blanca estricta, no una preferencia blanda. Puede reducir la fuga de instrumentos cuando el ensamble es conocido, pero también puede borrar una parte real que el usuario olvidó incluir. Piano, bajo y batería pueden ser una buena restricción para un trío conocido; la detección automática es más segura cuando el arreglo es incierto.
La restricción debe viajar de la interfaz a la máscara de tokens del tokenizador. Las etiquetas seleccionadas que una API descarta crean un control falso, mientras que las cadenas sin restricciones posponen los errores de escritura hasta la ejecución. Un contrato fiel acepta solo los 35 identificadores oficiales, rechaza duplicados y define un array vacío como detección automática.
La Tabla 1 del artículo compara YourMT3+ YPTF.MoE+Multi (noPS) con las etapas de entrenamiento de MuScriptor sobre el mismo D_Test privado. El modelo large final con CFG=1 reporta Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 y Multi 48.2. YourMT3+ reporta 32.52, 45.54, 17.79, 41.4 y 21.9. La brecha es considerable y respalda que los datos, el modelo y la receta de post-entrenamiento más ambiciosos de los autores mejoraron materialmente el rendimiento bajo su distribución de mezclas reales y su protocolo de anotación.
| Mismo D_Test privado | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 exige que instrumento, tono, ataque y final cumplan juntos la regla de emparejamiento, de modo que no es intercambiable con una puntuación que verifica menos campos. MIROS obtuvo 0.5998 en el 2025 AMT Challenge, sobre un conjunto distinto de 76 fragmentos sintéticos de unos veinte segundos y con un Multi Onset F1 de programa + tono + ataque. MuScriptor no participó en esa prueba de protocolo común. Poner 48.2 junto a 0.5998 compararía denominadores y definiciones de evento distintos.
D_Test contiene 372 obras multiinstrumento extraídas de material interno, con un filtrado por título pensado para reducir la fuga entre entrenamiento y prueba. El filtrado por título es útil, pero no equivale a una auditoría pública y reproducible de deduplicación. El audio, las anotaciones, las versiones elegidas y las reglas de limpieza de solapamientos no están disponibles. El titular, por tanto, debe seguir etiquetado como un resultado de conjunto privado reportado por los autores.
Los ocho conjuntos externos muestran un perfil más desigual. Frente a YourMT3+, MuScriptor gana Frame F1 en 7/8 conjuntos y Multi F1 en 6/8, pero solo gana Onset F1 en 4/8. Queda por detrás en ataque, trama, final y multi en RWC-C; en final, percusión y multi en RWC-R; y en ataque y final en Bach10. Una actividad sólida de tonos sostenidos y un buen contenido global de pista no implican dominio sobre cada transitorio, familia de instrumentos o distribución de grabación.
El tokenizador tiene un límite de representación concreto: dos notas simultáneas solapadas con el mismo instrumento y tono no pueden representarse limpiamente a la vez. El artículo elimina el solapamiento más corto en la evaluación principal sobre D_Test. Sin esa eliminación, Onset F1 cae de 60.4 a 51.8, Offset de 49.0 a 41.9 y Multi de 48.2 a 42.0. Las notas de piano repetidas al mismo tono con pedal, los unísonos de cuerda y las guitarras en capas pueden chocar con esta colisión.
La ablación de escala del modelo pertenece a un gráfico distinto de la comparación final. La Tabla 4 del artículo entrena solo con D_Real y condicionamiento por instrumento. Multi F1 sube de 35.2 a 38.2, 39.7 y 40.5 a lo largo de las etiquetas 60M, 100M, 300M y 1.3B. Demuestra un beneficio continuo de la escala bajo esa configuración, pero no incluye las etapas finales de preentrenamiento sintético y refuerzo, y no es una medición directa de los archivos públicos small, medium y large.
| Etiqueta de escala del artículo | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
La revisión auditiva debe concentrarse en unísonos densos, transitorios compartidos de batería y bajo, guitarras distorsionadas, coros, timbres raros y reverberación intensa. Las puntuaciones agregadas pueden seguir siendo buenas mientras una pista acumula fragmentos cortos, fuga entre pistas, sostenidos cortados o varios canales para un mismo instrumento. Los promedios describen el comportamiento de la población; no sustituyen a la inspección del piano roll ni a la reproducción resintetizada.
El escritor actual produce MIDI Type-1: los metadatos ocupan su propia pista y cada pista de instrumento lleva nombre, programa, canal y eventos note-on y note-off. La percusión sigue la convención del canal 10 de General MIDI. En comparación con aplanarlo todo en Type-0, esta estructura es más fácil de silenciar, aislar y editar en un DAW, y hace más visible la deriva de instrumentos.
La salida no recupera la dinámica de la interpretación. El código público escribe la velocidad de las notas como 100. Un campo de velocidad en el MIDI solo satisface el formato de archivo; no es evidencia de que el modelo haya inferido expresión de la grabación. La percusión solo aporta ataques. El modelo tampoco infiere el mapa de tempo, el compás ni la rejilla de pulsos de la canción. El escritor usa un evento de tempo fijo de 120 BPM para convertir los segundos de los eventos en ticks. «Fijado a 120 BPM» nunca debe presentarse como «120 BPM detectados».
La duración continua puede conservarse de forma aproximada, mientras que los valores escritos que muestra el software de partituras dependen de ese tempo fijo y de la cuantización posterior. El rubato, el swing, los pasajes de tiempo libre y los cambios de tempo requieren un análisis de pulso y estructura independiente. Los eventos reproducibles, las pistas editables y la notación lista para publicar son tres capas distintas; la disposición de las voces, las ligaduras, el pedaleo, la grafía enarmónica, las repeticiones y la expresión siguen requiriendo decisiones musicales.
Cuando el audio largo se procesa como segmentos solapados, la propiedad de cada ataque debe asignarse en segundos globales, y las notas que siguen abiertas al cruzar un límite deben trasladarse. Concatenar los archivos MIDI de los segmentos puede duplicar ataques en los bordes, cortar sostenidos o descartar nombres de pista, programas y el canal de percusión. La aceptación debe comprobar que no haya notas colgadas, que los metadatos de pista se conserven y que no exista una deriva temporal sistemática en las uniones entre segmentos.
El código de MuScriptor usa la licencia MIT. Los pesos de large usan CC BY-NC 4.0 y se distribuyen a través de una página de Hugging Face con acceso restringido. El acceso exige una cuenta con sesión iniciada, la aceptación de los términos de la página y la confirmación de que el usuario posee los derechos necesarios sobre la música que transcribe.
El código y los pesos tienen licencias separadas. El acceso a los archivos de pesos no cambia su condición NonCommercial; la ficha del modelo fijada y el texto de la licencia son las referencias principales sobre el uso permitido.
El valor de MuScriptor-large es específico: es el miembro público más grande de la familia con 1.366B parámetros, apunta a mezclas completas reales, admite una lista blanca estricta de instrumentos, produce MIDI multipista Type-1 editable y muestra una gran ventaja reportada por los autores sobre YourMT3+ en el D_Test privado. Sus límites son igual de específicos: los datos del titular no son públicos, las métricas externas no son un pleno, las notas solapadas del mismo tono colisionan en el tokenizador, faltan la velocidad y un mapa de tempo real, y los pesos tienen licencia de uso no comercial.
«Checkpoint MuScriptor de mayor calidad» está respaldado. «SOTA universal de audio a MIDI confirmado de forma independiente», no. Esa valoración puede cambiar cuando una reproducción pública compare MuScriptor-large, YourMT3+ y MIROS con las mismas grabaciones, definiciones de evento, tolerancias de emparejamiento y política de solapamientos.