Modelvalg
MuScriptor-stor: faktisk måling og grænser på 1.366 milliarder parameter komplet mix til multi-track MIDI
Automatisk musiktransskription
Automatisk musiktransskription
© 2026 TelkNet. Alle rettigheder forbeholdes.
AUTOMATISK MUSIKTRANSSKRIPTION
MuScriptor-large er det største offentlige MuScriptor-checkpoint og modelkortets flagskibsvalg i bedste kvalitet. Den konverterer 16 kHz mono-lyd til femsekunders segmenter, repræsenterer dem som 512-bin mel-features og bruger en 48-lags decoder-only Transformer til at generere pitch-, onset-, offset-, instrument- og trommehændelser. Det offentlige checkpoint indeholder præcis 1,366,399,488 F32-parametre i en safetensors-fil på 5,465,642,136 bytes.
Størst i en familie er ikke den samme påstand som universel state of the art. Artiklen rapporterer en stor gevinst over YourMT3+ på sit private D_Test og offentliggør også resultater på otte eksterne datasæt, hvor MuScriptor ikke vinder hver eneste metrik. D_Real, D_RL og D_Test er ikke offentlige, og MIROS er ikke blevet sammenlignet under samme lyd, metrik og efterbehandlingsprotokol. Den forsvarlige konklusion er snævrere: MuScriptor-large er en af de stærkeste nye open-weight-kandidater til generel AMT med flere instrumenter, understøttet af forfatternes rapporterede førende resultater.
MuScriptor udgiver small-, medium- og large-checkpoints. Deres repository-metadata angiver eksakte parameterantal på 102,968,832, 307,030,528 og 1,366,399,488. Large er cirka 4.45 gange så stor som medium og beskrives udtrykkeligt som flagskibsudgivelsen i bedste kvalitet. Artiklens skala-ablation bruger betegnelserne 60M, 100M, 300M og 1.3B; disse eksperimentbetegnelser må ikke forveksles med de tre offentlige checkpoints eksakte parameterantal.
Ved revision 8809fdfbed2affa7ade94a7059e746e3880720e7 indeholder vægt-repositoriet en model.safetensors på 5,465,642,136 bytes samt et lille sæt konfigurationsfiler. Kilden er fastgjort separat til commit 302343e8992bdfc619f77f1988168374ed5d675d. Tilsammen binder disse identifikatorer arkitekturen, tokenizeren, standardindstillingerne for inferens og vægtene. En etiket, der siger »large«, er ikke tilstrækkelig, hvis en implementering stille kan indlæse medium eller følge en bevægelig main-gren.
F32-lagring betyder ikke, at enhver operation skal bruge F32, og det dokumenterer heller ikke, at et uofficielt lav-bit-derivat er kvalitetsækvivalent. Udgivelsen indeholder ingen kvalitetsundersøgelse under samme protokol for et alternativt kvantiseret checkpoint. En kvalitetsførst-vej kan derfor kræve den eksakte large-identitet og fejle tydeligt, når den ikke kan indlæses, i stedet for at skifte til et mindre niveau.
Input konverteres til 16 kHz mono. Korttids-Fourier-transformationen bruger et 2,048-punkts vindue og et hop på 160 samples, hvilket giver 100 frames pr. sekund, og projicerer dem derefter ind i 512 mel-bins. Et femsekunders segment indeholder derfor cirka 500 akustiske frames. Disse features går ind i en decoder-only Transformer med bredde 1,536, 24 attention-hoveder og 48 lag. Modellen splitter ikke først et mix op i et fast sæt stems og kører en uafhængig transskriber for hver enkelt; tids-, instrument- og nodehændelser genereres i en fælles sekvens.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xmel-repræsentation af et femsekunders lydsegmentcvalgfri instrumentbetingelse; en tom mængde betyder automatisk detektionynet tids-, instrument-, pitch- eller afslutningshændelsestokenDen autoregressive faktorisering lader tidligere genererede instrumenter og akkorder informere senere beslutninger, hvilket er nyttigt for kontekst på tværs af instrumenter i et fuldt mix. Den propagerer også fejl. Et forkert time-shift kan forskyde senere noder, en manglende note-off kan efterlade en hængende node, og et drift i instrument-tokens kan placere korrekte pitches på det forkerte spor.
Det aktuelle officielle eksempel bruger batch-størrelse 1, beam-størrelse 1, cfg_coef=1 og prelude forcing. Beam-størrelse 1 er en deterministisk argmax-vej. En bredere beam bibeholder flere præfikser og bruger mere hukommelse; uden en kontrolleret ablation kan beam 4 ikke bare omdøbes til »maksimal kvalitet«.
Classifier-free guidance skærper en betingelse ved at kombinere betingede og ubetingede logits: ℓ=ℓu+s(ℓc−ℓu). Den endelige tabel i artiklen rapporterer Multi F1 på 48.2 ved CFG=1 og 47.8 ved CFG=2. Den offentlige standard forbliver derfor 1 i stedet for at antage, at et højere guidance-tal er bedre.
Artiklen opdeler træningsmaterialet i tre lag. D_Synth indeholder cirka 1.45 mio. MIDI-filer fra Lakh MIDI og en kommerciel dataleverandør, renderet gennem mere end 250 SoundFonts. Transposition, tempo, velocity, instrumentrandomisering og detuning udsætter det samme symbolske materiale for et bredere klangområde. Syntetisk rendering giver eksakte hændelsesgrænser, men kan ikke fuldt gengive mikrofon-oversiv, mastering, musikerstøj eller den lange hale af rigtig produktion.
D_Real indeholder cirka 170,000 interne optagelser, i alt omkring 11,000 timer. Deres nodelabels kommer fra audio-symbolsk alignment snarere end manuel annotation på sampleniveau. Rigtige mix udvider produktionsfordelingen, mens de tilføjer titelmatching, versionsforskelle, plug-in-latens og alignmentfejl. D_RL udvælger derefter 300 højkvalitetstransskriptioner, som mennesker har gennemgået, til GRPO/REINFORCE-agtig eftertræning. De tre stadier adresserer dækning, domæneskift og sekvenspræference, men de rigtige datasæt og belønningsdatasættet er ikke offentlige.
Superviseret læring minimerer negativ log-likelihood på tokenniveau, mens eftertræning bruger en belønning sammensat af onset-, offset-, frame-, tromme- og multi-instrument-mål. Optimering på sekvensniveau kan straffe strukturelle fejl, som uafhængig tokenklassificering overser. Fordi det gennemgåede belønningssæt kun rummer 300 numre, kræver dækningen af sjældne instrumenter, ekstreme tempi og ikke-vestlige traditioner stadig offentlig ekstern evaluering.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTsekvens-krydsentropi under superviseret træningR(y)kombineret belønning for en færdig transskriptionD_RL300 gennemgåede transskriptioner, ikke et offentligt benchmarkMuScriptor mapper 128 General MIDI-programmer til MT3_FULL_PLUS-instrumentgrupper. Modellen lærer 36 grupper, mens den offentlige demo eksponerer 35 valgbare navne: akustiske og elektriske klaverer, tre guitargrupper, akustisk og elektrisk bas, strygere, messingblæsere, træblæsere, synthesizere, vokal og trommer blandt dem. Forskellen afspejler en grænse mellem intern repræsentation og valgbar interface; 35 interfacevalg bør ikke rapporteres som det fulde antal lærte kategorier.
Med et tomt instrumentfelt kan modellen detektere enhver understøttet gruppe. Så snart et eller flere navne er valgt, hard-masker decoderen alle andre instrument-tokens. Det er en streng whitelist, ikke en blød præference. Den kan reducere instrumentlækage, når et ensemble er kendt, men den kan også slette en rigtig stemme, som brugeren ikke fik medtaget. Klaver, bas og trommer kan være en god begrænsning for en kendt trio; automatisk detektion er sikrere, når arrangementet er usikkert.
Begrænsningen skal vandre fra interfacen til tokenizerens tokenmaske. Valgte chips, der kasseres af en API, skaber en falsk kontrol, mens ubegrænsede strenge udskyder stavefejl til udførelsen. En trofast kontrakt accepterer kun de officielle 35 identifikatorer, afviser dubletter og definerer et tomt array som automatisk detektion.
Artiklens Tabel 1 sammenligner YourMT3+ YPTF.MoE+Multi (noPS) med MuScriptors træningsstadier på samme private D_Test. Den endelige large-model ved CFG=1 rapporterer Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 og Multi 48.2. YourMT3+ rapporterer 32.52, 45.54, 17.79, 41.4 og 21.9. Forskellen er betydelig og understøtter påstanden om, at forfatternes større data, model og eftertræningsopskrift reelt forbedrede præstationen under deres real-mix-fordeling og annotationsprotokol.
| Samme private D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 kræver, at instrument, pitch, onset og offset tilfredsstiller matchningsreglen samtidig, så det kan ikke udskiftes med en score, der tjekker færre felter. MIROS scorede 0.5998 i 2025 AMT Challenge på et andet sæt af 76 cirka tyve sekunder lange syntetiske uddrag og en program + pitch + onset Multi Onset F1. MuScriptor deltog ikke i den test under samme protokol. At rangere 48.2 ved siden af 0.5998 ville sammenligne forskellige nævnere og forskellige hændelsesdefinitioner.
D_Test indeholder 372 multi-instrument-værker hentet fra internt materiale, med titelfiltrering beregnet til at reducere lækage mellem træning og test. Titelfiltrering er nyttig, men svarer ikke til en offentlig, reproducerbar deduplikeringsrevision. Lyden, annotationerne, versionsvalgene og reglerne for overlaprensning er utilgængelige. Overskriften skal derfor forblive mærket som et forfatterrapporteret resultat på et privat sæt.
De otte eksterne datasæt viser en mere ujævn profil. Over for YourMT3+ vinder MuScriptor Frame F1 på 7/8 datasæt og Multi F1 på 6/8, men vinder kun Onset F1 på 4/8. Den halter bagud på onset, frame, offset og multi for RWC-C; på offset, drums og multi for RWC-R; og på onset og offset for Bach10. Stærk aktivitet i vedvarende pitch og samlet sporindhold indebærer ikke dominans på enhver transient, instrumentfamilie eller optagefordeling.
Tokenizeren har en konkret repræsentationsgrænse: samtidige overlappende noder med samme instrument og pitch kan ikke begge repræsenteres rent. Artiklen fjerner det kortere overlap til hovedevalueringen på D_Test. Uden den fjernelse falder Onset F1 fra 60.4 til 51.8, Offset fra 49.0 til 41.9 og Multi fra 48.2 til 42.0. Gentagne klavernoder med samme pitch under pedal, strygerunisonoer og lagdelte guitarer kan alle ramme denne kollision.
Modelskala-ablation hører hjemme i et separat diagram i forhold til den endelige sammenligning. Artiklens Tabel 4 træner kun på D_Real med instrumentbetingelse. Multi F1 stiger fra 35.2 til 38.2, 39.7 og 40.5 hen over betegnelserne 60M, 100M, 300M og 1.3B. Det demonstrerer fortsat skalagevinst under det setup, men inkluderer ikke de endelige syntetiske pretraining- og reinforcement-stadier og er ikke et direkte benchmark af de offentlige small-, medium- og large-filer.
| Artiklens skalabetegnelse | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Lyttevurdering bør koncentrere sig om tætte unisonoer, delte tromme- og bas-transienter, forvrængede guitarer, kor, sjældne klange og kraftig rumklang. Aggregerede scores kan forblive gode, mens et nummer udvikler korte fragmenter, lækage på tværs af spor, afskårne vedhold eller flere kanaler til ét instrument. Gennemsnit beskriver populationsadfærd; de erstatter ikke inspektion af piano-roll og gensyntetiseret afspilning.
Den nuværende writer producerer Type-1 MIDI: metadata optager sit eget spor, og hvert instrumentspor bærer et navn, program, kanal, note-on- og note-off-hændelser. Trommer følger General MIDI-konventionen for kanal 10. Sammenlignet med at flade alt ud til Type-0 er denne struktur lettere at mute, solo og redigere i en DAW, og den gør instrumentdrift mere synlig.
Outputtet genskaber ikke den spillede dynamik. Den offentlige kode skriver node-velocity som 100. Et velocity-felt i MIDI-filen opfylder kun filformatet; det er ikke bevis på, at modellen udledte udtryk fra optagelsen. Trommer giver kun onsets. Modellen udleder heller ikke sangens tempokort, taktart eller beatgrid. Writeren bruger en fast 120 BPM tempohændelse til at mappe hændelsers sekunder til ticks. »Fast ved 120 BPM« må aldrig fremstilles som »detekteret 120 BPM«.
Kontinuerlig timing kan tilnærmelsesvist bevares, mens de noderede værdier, som nodeprogrammer viser, afhænger af det faste tempo og senere kvantisering. Rubato, swing, passager i fri tid og tempoændringer kræver en separat beat- og strukturanalyse. Spilbare hændelser, redigerbare spor og publikationsklar notation er tre forskellige lag; voicing, bindinger, pedaler, enharmonisk stavning, gentagelser og udtryk kræver stadig musikalske beslutninger.
Når lang lyd behandles som overlappende segmenter, skal onset-ejerskab tildeles i globale sekunder, mens noder, der forbliver åbne hen over en grænse, føres videre. Sammenkædning af segment-MIDI-filer kan duplikere grænseangreb, skære vedhold over eller kassere spornavne, programmer og trommekanalen. Accept bør tjekke for hængende noder, bevarede spormetadata og fravær af systematisk timingsdrift hen over segmentsammenføjninger.
MuScriptor-koden bruger MIT-licensen. De store vægte bruger CC BY-NC 4.0 og distribueres gennem en gated Hugging Face-side. Adgang kræver en konto, der er logget ind, accept af sidens vilkår og bekræftelse af, at brugeren besidder de nødvendige rettigheder til den musik, der transskriberes.
Koden og vægtene har separate licenser. Adgang til vægtfilerne ændrer ikke deres NonCommercial-betingelse; det fastgjorte modelkort og licensteksten er de primære referencer for tilladt brug.
Værdien af MuScriptor-large er specifik: den er det største offentlige familiemedlem med 1.366B parametre, sigter mod rigtige fulde mix, understøtter en hård instrument-whitelist, producerer redigerbar Type-1 MIDI med flere spor og har en stor forfatterrapporteret gevinst over YourMT3+ på det private D_Test. Dens grænser er lige så specifikke: overskriftsdataene er ikke offentlige, de eksterne metrikker er ikke en ren sejr på hele linjen, overlappende noder med samme pitch kolliderer i tokenizeren, velocity og et rigtigt tempokort mangler, og vægtene er licenseret til ikke-kommerciel brug.
»MuScriptor-checkpoint i højeste kvalitet« er understøttet. »Uafhængigt bekræftet universel audio-til-MIDI SOTA« er det ikke. Den vurdering kan ændre sig, når en offentlig reproduktion sammenligner MuScriptor-large, YourMT3+ og MIROS på de samme optagelser, hændelsesdefinitioner, matchningstolerancer og overlappolitik.