MuScriptor-large: tatsächliche Messung und Grenzen von 1,366 Milliarden Parametern, kompletter Mix zu mehrspurigem MIDI
Automatische Musiktranskription
AUTOMATISCHE MUSIKTRANSKRIPTION
MuScriptor-large ist der größte öffentliche MuScriptor-Checkpoint und laut Modellkarte die Qualitätsoption der Spitzenklasse. Das Modell zerlegt 16-kHz-Mono-Audio in Fünf-Sekunden-Segmente, bildet diese als 512-Bin-Mel-Merkmale ab und erzeugt mit einem Decoder-only-Transformer mit 48 Schichten Ereignisse für Tonhöhe, Onset, Offset, Instrument und Drums. Der öffentliche Checkpoint enthält exakt 1,366,399,488 F32-Parameter, gespeichert in einer 5,465,642,136 Byte großen Safetensors-Datei.
Das größte Modell einer Familie zu sein, ist nicht dasselbe wie universeller Stand der Technik. Das Paper meldet einen deutlichen Vorsprung gegenüber YourMT3+ auf dem privaten D_Test, veröffentlicht aber auch Ergebnisse auf acht externen Datensätzen, bei denen MuScriptor nicht jede Metrik gewinnt. D_Real, D_RL und D_Test sind nicht öffentlich, und mit MIROS wurde bislang kein Vergleich auf gleichem Audio, gleicher Metrik und gleichem Post-Processing-Protokoll gefahren. Die vertretbare Schlussfolgerung ist enger gefasst: MuScriptor-large gehört zu den stärksten neuen Open-Weight-Kandidaten für allgemeine Multi-Instrument-AMT, gestützt durch von den Autoren berichtete Spitzenwerte.
1. Die Flaggschiff-Stufe ist ein exakter Checkpoint, kein aus dem Marketing abgeleiteter Name
MuScriptor veröffentlicht Checkpoints in den Größen small, medium und large. Die Repository-Metadaten nennen exakte Parameterzahlen von 102,968,832, 307,030,528 und 1,366,399,488. Large ist etwa 4,45-mal so groß wie medium und wird ausdrücklich als Flaggschiff-Release mit der besten Qualität beschrieben. Die Skalenablation des Papers arbeitet mit den Labels 60M, 100M, 300M und 1.3B; diese Experimentlabels dürfen nicht mit den exakten Parameterzahlen der drei öffentlichen Checkpoints gleichgesetzt werden.
In Revision 8809fdfbed2affa7ade94a7059e746e3880720e7 enthält das Gewichts-Repository eine 5,465,642,136 Byte große model.safetensors sowie einige wenige Konfigurationsdateien. Die Quelle ist separat auf Commit 302343e8992bdfc619f77f1988168374ed5d675d gepinnt. Gemeinsam binden diese Kennungen Architektur, Tokenizer, Inferenz-Defaults und Gewichte. Ein Label mit der Aufschrift „large“ reicht nicht, wenn eine Implementierung stillschweigend medium laden oder einem wandernden Main-Branch folgen kann.
F32-Speicherung bedeutet weder, dass jede Operation in F32 laufen muss, noch belegt sie, dass ein inoffizielles Low-Bit-Derivat qualitätsgleich ist. Das Release enthält keine Qualitätsstudie nach gleichem Protokoll für einen alternativen quantisierten Checkpoint. Ein qualitätsorientierter Pfad kann daher die exakte Large-Identität verlangen und klar scheitern, wenn sie nicht geladen werden kann, statt auf eine kleinere Stufe auszuweichen.
2. Vom akustischen Fenster zur konditionalen Ereignisfolge
Die Eingabe wird in 16-kHz-Mono umgewandelt. Die Kurzzeit-Fourier-Transformation nutzt ein 2,048-Punkte-Fenster mit einem Hop von 160 Samples, liefert 100 Frames pro Sekunde und projiziert sie in 512 Mel-Bins. Ein Fünf-Sekunden-Segment umfasst damit rund 500 akustische Frames. Diese Merkmale laufen in einen Decoder-only-Transformer mit Breite 1,536, 24 Attention Heads und 48 Schichten. Das Modell zerlegt einen Mix nicht zuerst in eine feste Stems-Auswahl mit jeweils eigenem Transkribierer; Zeit-, Instrumenten- und Notenereignisse entstehen in einer gemeinsamen Sequenz.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xMel-Darstellung eines Fünf-Sekunden-Audiosegmentscoptionale Instrumentenbedingung; eine leere Menge bedeutet automatische Erkennungynein Token für Zeit, Instrument, Tonhöhe oder Abschluss
Die autoregressive Faktorisierung lässt bereits erzeugte Instrumente und Akkorde in spätere Entscheidungen einfließen, was für instrumentenübergreifenden Kontext in einem Vollmix nützlich ist. Sie pflanzt aber auch Fehler fort. Ein falscher Time-Shift kann spätere Noten verschieben, ein fehlendes Note-off lässt eine Note hängen, und ein Drift beim Instrumenten-Token setzt korrekte Tonhöhen auf die falsche Spur.
Das aktuelle offizielle Beispiel arbeitet mit Batch Size 1, Beam Size 1, cfg_coef=1 und Prelude Forcing. Beam Size 1 ist ein deterministischer Argmax-Pfad. Ein breiterer Beam behält mehr Präfixe und verbraucht mehr Speicher; ohne kontrollierte Ablation lässt sich Beam 4 nicht einfach als „maximale Qualität“ umdeklarieren.
Classifier-free Guidance schärft eine Bedingung, indem konditionale und unkonditionale Logits kombiniert werden: ℓ=ℓu+s(ℓc−ℓu). Die Abschlusstabelle des Papers meldet Multi F1 von 48.2 bei CFG=1 und 47.8 bei CFG=2. Der öffentliche Default bleibt deshalb 1, statt vorschnell eine höhere Guidance-Zahl als besser anzunehmen.
3. 1,45 Millionen MIDI-Dateien, 11,000 Stunden echtes Audio und 300 geprüfte Transkriptionen
Das Paper gliedert das Trainingsmaterial in drei Schichten. D_Synth enthält rund 1,45 Millionen MIDI-Dateien aus Lakh MIDI und einem kommerziellen Datenanbieter, gerendert über mehr als 250 SoundFonts. Transposition, Tempo, Velocity, Instrumenten-Randomisierung und Verstimmung setzen dasselbe symbolische Material einem breiteren Klangspektrum aus. Synthetisches Rendering liefert exakte Ereignisgrenzen, kann aber Mikrofonübersprechen, Mastering, Spielgeräusche und die lange Verteilungsflanke realer Produktion nicht vollständig nachbilden.
D_Real umfasst etwa 170,000 interne Aufnahmen, insgesamt rund 11,000 Stunden. Ihre Notenlabels stammen aus Audio-Symbol-Alignment und nicht aus manueller Annotation auf Sample-Ebene. Echte Mixe verbreitern die Produktionsverteilung, bringen aber Titelabgleich, Versionsunterschiede, Plug-in-Latenz und Alignment-Fehler mit. D_RL wählt anschließend 300 von Menschen geprüfte hochwertige Transkriptionen für ein Post-Training im Stil von GRPO/REINFORCE aus. Die drei Stufen adressieren Abdeckung, Domain Shift und Sequenzpräferenz, doch die realen Datensätze und der Reward-Datensatz sind nicht öffentlich.
Überwachtes Lernen minimiert die negative Log-Likelihood auf Token-Ebene, während das Post-Training einen Reward aus Onset-, Offset-, Frame-, Drums- und Multi-Instrument-Maßen verwendet. Optimierung auf Sequenzebene kann strukturelle Fehlschläge bestrafen, die eine unabhängige Token-Klassifikation übersieht. Weil der geprüfte Reward-Datensatz nur 300 Titel umfasst, braucht die Abdeckung seltener Instrumente, extremer Tempi und nichtwestlicher Traditionen weiterhin öffentliche externe Evaluation.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTSequenz-Kreuzentropie während des überwachten TrainingsR(y)kombinierter Reward für eine abgeschlossene TranskriptionD_RL300 geprüfte Transkriptionen, kein öffentlicher Benchmark
4. Eine strikte Whitelist zwischen 35 Interface-Namen und 36 gelernten Gruppen
MuScriptor bildet 128 General-MIDI-Programme auf MT3_FULL_PLUS-Instrumentengruppen ab. Das Modell lernt 36 Gruppen, während die öffentliche Demo 35 auswählbare Namen anbietet: akustische und elektrische Pianos, drei Gitarrengruppen, akustischer und elektrischer Bass, Streicher, Blechbläser, Holzbläser, Synthesizer, Stimme und Drums. Die Differenz spiegelt die Grenze zwischen interner Repräsentation und auswählbarer Oberfläche; 35 Interface-Optionen sollten nicht als volle Zahl der gelernten Kategorien ausgegeben werden.
Bei leerem Instrumentenfeld darf das Modell jede unterstützte Gruppe erkennen. Sobald ein oder mehrere Namen gewählt sind, maskiert der Decoder alle anderen Instrumenten-Tokens hart. Das ist eine strikte Whitelist, keine weiche Präferenz. Sie kann Instrumenten-Leckage reduzieren, wenn das Ensemble bekannt ist, aber ebenso eine reale Stimme tilgen, die der Nutzer nicht angegeben hat. Piano, Bass und Drums können für ein bekanntes Trio eine gute Einschränkung sein; bei unklarem Arrangement ist die automatische Erkennung sicherer.
Die Einschränkung muss von der Oberfläche bis zur Token-Maske des Tokenizers reichen. Ausgewählte Chips, die von einer API verworfen werden, erzeugen eine falsche Kontrolle, während unbeschränkte Strings Schreibfehler bis zur Ausführung aufschieben. Ein verlässlicher Vertrag akzeptiert nur die offiziellen 35 Kennungen, weist Duplikate zurück und definiert ein leeres Array als automatische Erkennung.
5. Den großen Vorsprung auf dem privaten D_Test richtig lesen
Tabelle 1 des Papers vergleicht YourMT3+ YPTF.MoE+Multi (noPS) mit den MuScriptor-Trainingsstufen auf demselben privaten D_Test. Das finale Large-Modell bei CFG=1 meldet Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 und Multi 48.2. YourMT3+ meldet 32.52, 45.54, 17.79, 41.4 und 21.9. Der Abstand ist erheblich und stützt die Aussage, dass die größeren Daten, das größere Modell und das Post-Training-Rezept der Autoren die Leistung unter deren Real-Mix-Verteilung und Annotationsprotokoll spürbar verbessert haben.
| Gleiches privates D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 verlangt, dass Instrument, Tonhöhe, Onset und Offset die Matching-Regel gemeinsam erfüllen; der Wert ist daher nicht mit einer Bewertung austauschbar, die weniger Felder prüft. MIROS erreichte 0.5998 in der 2025 AMT Challenge auf einem anderen Satz von 76 jeweils rund zwanzig Sekunden langen synthetischen Ausschnitten mit einer Multi Onset F1 aus Programm + Tonhöhe + Onset. MuScriptor hat an diesem Test nach gleichem Protokoll nicht teilgenommen. 48.2 neben 0.5998 zu stellen hieße, unterschiedliche Nenner und unterschiedliche Ereignisdefinitionen zu vergleichen.
D_Test enthält 372 Multi-Instrument-Werke aus internem Material, mit einer Titelfilterung, die Training-Test-Leckage reduzieren soll. Titelfilterung ist nützlich, aber kein Ersatz für ein öffentliches, reproduzierbares Deduplizierungs-Audit. Audio, Annotationen, Versionswahl und Regeln zur Bereinigung von Überlappungen sind nicht verfügbar. Die Schlagzeile muss deshalb als von den Autoren gemeldetes Ergebnis auf einem privaten Datensatz gekennzeichnet bleiben.
6. Domänenübergreifende Tabellen und die Overlapping-Note-Ablation legen Schwachstellen offen
Die acht externen Datensätze zeichnen ein ungleichmäßigeres Bild. Gegenüber YourMT3+ gewinnt MuScriptor Frame F1 auf 7/8 Datensätzen und Multi F1 auf 6/8, Onset F1 jedoch nur auf 4/8. Bei RWC-C liegt es bei Onset, Frame, Offset und Multi zurück; bei RWC-R bei Offset, Drums und Multi; bei Bach10 bei Onset und Offset. Starke Aktivität bei gehaltenen Tönen und Gesamtspurinhalt bedeuten keine Dominanz bei jedem Transienten, jeder Instrumentenfamilie oder jeder Aufnahmeverteilung.
Der Tokenizer hat eine konkrete Repräsentationsgrenze: Gleichzeitig überlappende Noten mit gleichem Instrument und gleicher Tonhöhe lassen sich nicht beide sauber darstellen. Für die Hauptevaluation auf D_Test entfernt das Paper die kürzere Überlappung. Ohne diese Entfernung fällt Onset F1 von 60.4 auf 51.8, Offset von 49.0 auf 41.9 und Multi von 48.2 auf 42.0. Wiederholte Klaviernoten gleicher Tonhöhe unter Pedal, Streicher-Unisoni und geschichtete Gitarren können alle auf diese Kollision stoßen.
Die Modellskalen-Ablation gehört in eine eigene Grafik, getrennt vom finalen Vergleich. Tabelle 4 des Papers trainiert nur auf D_Real, mit Instrumentenkonditionierung. Multi F1 steigt über die Labels 60M, 100M, 300M und 1.3B von 35.2 auf 38.2, 39.7 und 40.5. Das belegt einen anhaltenden Skalennutzen unter diesem Setup, umfasst aber weder das finale synthetische Pretraining noch die Reinforcement-Stufen und ist kein direkter Benchmark der öffentlichen Small-, Medium- und Large-Dateien.
| Skalenlabel des Papers | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Beim Hörcheck lohnt der Blick auf dichte Unisoni, gemeinsame Transienten von Drums und Bass, verzerrte Gitarren, Chöre, seltene Klänge und starken Hall. Aggregatwerte können gut bleiben, während ein Titel kurze Fragmente, spurübergreifende Leckage, abgeschnittene Sustains oder mehrere Kanäle für ein Instrument entwickelt. Mittelwerte beschreiben Populationsverhalten; sie ersetzen weder die Prüfung der Piano Roll noch das resynthetisierte Abhören.
7. Was Type-1-Multitrack-MIDI bewahrt und was der Writer festlegt
Der aktuelle Writer erzeugt Type-1-MIDI: Metadaten belegen eine eigene Spur, und jede Instrumentenspur trägt Name, Programm, Kanal sowie Note-on- und Note-off-Events. Drums folgen der General-MIDI-Konvention auf Kanal 10. Verglichen mit einem Alles-in-Type-0-Abflachen lassen sich diese Strukturen in einer DAW leichter muten, solo schalten und bearbeiten, und Instrumenten-Drift wird sichtbarer.
Die Ausgabe stellt gespielte Dynamik nicht wieder her. Der öffentliche Code schreibt Note Velocity fest als 100. Ein Velocity-Feld im MIDI erfüllt damit lediglich das Dateiformat; es ist kein Beleg dafür, dass das Modell Ausdruck aus der Aufnahme erschlossen hätte. Drums liefern nur Onsets. Das Modell erschließt außerdem weder Tempo-Map, Taktart noch Beat Grid des Stücks. Der Writer nutzt ein festes Tempo-Event von 120 BPM, um Ereignisse in Sekunden auf Ticks abzubilden. „Fest bei 120 BPM“ darf niemals als „120 BPM erkannt“ dargestellt werden.
Kontinuierliches Timing lässt sich näherungsweise bewahren, während die von Notationssoftware angezeigten Notenwerte von diesem festen Tempo und späterer Quantisierung abhängen. Rubato, Swing, freie Passagen und Tempowechsel erfordern eine separate Beat- und Strukturanalyse. Spielbare Events, editierbare Spuren und publikationsreife Notation sind drei verschiedene Ebenen; Stimmführung, Bindungen, Pedal, enharmonische Schreibweise, Wiederholungen und Ausdruck verlangen weiterhin musikalische Entscheidungen.
Wird langes Audio als überlappende Segmente verarbeitet, muss die Onset-Zugehörigkeit in globalen Sekunden zugewiesen und über eine Grenze hinweg offene Noten weitergeführt werden. Das Aneinanderhängen von Segment-MIDI-Dateien kann Anschläge an Grenzen verdoppeln, Sustains abschneiden oder Spurnamen, Programme und den Drum-Kanal verwerfen. Bei der Abnahme sollte auf hängende Noten, erhaltene Spur-Metadaten und das Fehlen systematischer Timing-Drift über Segmentübergänge geprüft werden.
8. Lizenzinformationen
Der MuScriptor-Code steht unter der MIT-Lizenz. Die Large-Gewichte stehen unter CC BY-NC 4.0 und werden über eine zugangsbeschränkte Hugging-Face-Seite verteilt. Der Zugang setzt ein angemeldetes Konto, die Annahme der Seitenbedingungen und die Bestätigung voraus, dass der Nutzer die erforderlichen Rechte an der zu transkribierenden Musik besitzt.
Code und Gewichte haben getrennte Lizenzen. Der Zugriff auf die Gewichtsdateien ändert nichts an deren NonCommercial-Bedingung; die gepinnte Modellkarte und der Lizenztext sind die primären Referenzen für die erlaubte Nutzung.
9. Fazit und Primärquellen
Der Wert von MuScriptor-large ist konkret: Es ist mit 1.366B Parametern das größte öffentliche Familienmitglied, zielt auf echte Vollmixe, unterstützt eine harte Instrumenten-Whitelist, erzeugt editierbares Type-1-Multitrack-MIDI und weist einen großen, von den Autoren gemeldeten Vorsprung gegenüber YourMT3+ auf dem privaten D_Test auf. Seine Grenzen sind ebenso konkret: Die Schlagzeilendaten sind nicht öffentlich, die externen Metriken sind kein Rundumschlag, überlappende Noten gleicher Tonhöhe kollidieren im Tokenizer, Velocity und eine echte Tempo-Map fehlen, und die Gewichte sind für nicht-kommerzielle Nutzung lizenziert.
„Qualitativ hochwertigster MuScriptor-Checkpoint“ ist belegt. „Unabhängig bestätigter universeller Audio-zu-MIDI-SOTA“ ist es nicht. Diese Einschätzung kann sich ändern, sobald eine öffentliche Reproduktion MuScriptor-large, YourMT3+ und MIROS auf denselben Aufnahmen, Ereignisdefinitionen, Matching-Toleranzen und Overlap-Regeln vergleicht.
- MuScriptor-Paper: Methode, Trainingsquellen, Tabellen 1–4 und Overlapping-Note-Ablation
- Gepinnter Quell-Commit: Inferenz, Tokenizer, Type-1-MIDI-Writer und Demo-Verhalten
- Gepinnte MuScriptor-large-Revision: Dateien, Modellkarte und Lizenz
- 2025 AMT Challenge: MIROS auf anderem Datensatz und Multi-Onset-F1-Protokoll