MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Musik mit MuScriptor-large in MIDI für mehrere Instrumente umwandeln.
Lädt...
Wandle Songs oder Ensembles in Mehrspur-MIDI um, um Noten und Stimmen in der DAW zu bearbeiten.
Eingabe
Unterstützt Eingaben in Formaten wie mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Unterstützte Formate
Ausgabe
MIDI
Anwendungsfall
Noten, Instrumentierung und Spieldetails bearbeiten.
Wähle ein Modell passend zu deinem Material und Vorhaben und sieh dir vor dem Start die Beispiele an.
Kosten, Dauer, Formate und Parameter hängen vom gewählten Modell ab.
Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.
Verwendet die offizielle Segmentierung und den Instrumentenkontext ohne TelkNet-Segmentkorrektur oder Gesangswiederherstellung.
Standard-Segmentkorrektur reduziert segmentübergreifende Instrumentfehler und erhält Sustain; Startpunkt für volle Mischungen.
YourMT3+ · YPTF.MoE+Multi noPS: Editierbar MIDI Entwürfe aus vollständigen Mixen sowie sauberere Solo-/Common-Instrument-Eingänge wie piano/Keyboard, guitar, bass, drums, Streicher/Bläser und vocal Drafts
YMT3+: Editierbar MIDI Entwürfe aus vollständigen Mixen sowie sauberere Solo-/Common-Instrument-Eingänge wie piano/Keyboard, guitar, bass, drums, Streicher/Bläser und vocal Drafts
YourMT3+ · YPTF.Single noPS: Editierbar MIDI Entwürfe aus vollständigen Mixen sowie sauberere Solo-/Common-Instrument-Eingänge wie piano/Keyboard, guitar, bass, drums, Streicher/Bläser und vocal Drafts
YourMT3+ · YPTF.Multi PS: Editierbar MIDI Entwürfe aus vollständigen Mixen sowie sauberere Solo-/Common-Instrument-Eingänge wie piano/Keyboard, guitar, bass, drums, Streicher/Bläser und vocal Drafts
YourMT3+ · YPTF.MoE+Multi PS: Editierbar MIDI Entwürfe aus vollständigen Mixen sowie sauberere Solo-/Common-Instrument-Eingänge wie piano/Keyboard, guitar, bass, drums, Streicher/Bläser und vocal Drafts
MIROS MusicFM multi-decoder betreibt die offizielle lokale Route MIROS mit pretrained_msd.pt sowie dem fein abgestimmten last.ckpt checkpoint.
BS-RoFormer SW Fixed verwendet BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml, um einen kompletten Mix in six WAV stems aufzuteilen.
OaFS erkennt 34 Instrumentklassen und exportiert MIDI und Notentabellen mit fester Anschlagstärke 127.
Ordnet Noten einer vorgegebenen Anzahl unbenannter Klangfarbenspuren zu. Instrumentennamen werden nicht erkannt. Geeignet für kurze Ensembles mit bekannter Instrumentenzahl; überlagerte Stimmen gleicher Tonhöhe lassen sich möglicherweise nicht trennen.
Trennt Gesang, Schlagzeug, Bass, Gitarre, Klavier und übrige Klänge, transkribiert sie und führt das MIDI zusammen. Anschlagstärke und Instrumentenzuordnung sind optional; Trennfehler können Noten beeinflussen.
Trennt sechs Stems und transkribiert anschließend MIDI. SheetSage2-Refined erkennt Schläge, Taktart und Abschnitte; Tsumugi erkennt Akkorde und Tonart. Die bisherige Ganzsong-Transkription bleibt wählbar.
arXiv - 2026
Musik mit MuScriptor-large in MIDI für mehrere Instrumente umwandeln.
IEEE MLSP - 2024
YourMT3+ erweitert MT3 mit erweiterter Transformatorarchitektur, MoE-Varianten, Mehrkanal-Dekodierung und cross-dataset stem augmentation.
ICLR - 2022
MT3 etablierte Multitask-Multitrack-Musiktranskription mit Sequenzmodellierung und bleibt die benannte Basis für neuere AMT-Vergleiche.
arXiv / OpenReview - 2026
Das Zusammenfassungspapier der AMT Challenge 2025 wurde am 29.03.2026 für den Wettbewerb vom 1. Januar bis 30. April 2025 veröffentlicht. Es meldet 21 registrierte Teams, 14 einreichende Teams, 8 gültig bewertete Teams und eine 76-teilige klassische Testreihe mit bis zu drei Instrumenten pro Auszug.
Signals - 2026
OaFS erkennt 34 Instrumentklassen und exportiert MIDI und Notentabellen mit fester Anschlagstärke 127.
Enthält öffentliche Testergebnisse für hier und andernorts verwendete Modelle. Standardmäßig wird die vollständige Quelltabelle angezeigt; Bedingungen und Metriken lassen sich zum Vergleich auswählen. Werte aus unterschiedlichen Testbedingungen sind nicht direkt vergleichbar.
Angezeigt werden nur Einträge mit verifizierter öffentlicher Inferenzimplementierung und passenden Gewichten sowie Algorithmen ohne trainierte Gewichte. Geschlossene Dienste, unveröffentlichte Gewichte und nicht zuordenbare Experimentversionen sind ausgeschlossen. Dies ist keine Gesamtrangliste aller Modelle.
Öffentliche Gewichte belegen keine vollständige Open-Source-Lizenz. Die aufgeklappten Daten zeigen erklärte Gewichtslizenzen und Zugangsbedingungen. Nicht erklärte Lizenzen sind gesondert gekennzeichnet.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 3 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Auf demselben privaten D_Test vergleicht die Arbeit das finale CFG=1-Modell mit YourMT3+. Die Ergebnisse wurden nicht unabhängig reproduziert und sind nicht direkt mit MIROS oder anderen Protokollen vergleichbar.
| Rang nach Kennzahl | Modell | Testbedingung | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLHier eingesetztes ModellÖffentliche Gewichte · Inferenzcodemodel.safetensorsInferenzcodeGewichtslizenz (Angabe des Repositorys): cc-by-nc-4.0Zustimmung zu Bedingungen oder Zugangsanfrage erforderlich | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Die Markierungen kennzeichnen hier verwendete Modelle oder Komponenten. Werte und Einstellungen stammen aus den zitierten Tests, nicht aus einer neuen Bewertung der gesamten Verarbeitungskette.
Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.
Ausführbare Einträge 3 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Ausführbare Einträge 16 / Originalzeilen 16
Ausführbare Einträge 0 / Originalzeilen 4
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Ausführbare Einträge 9 / Originalzeilen 17
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Ausführbare Einträge 9 / Originalzeilen 14
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Ausführbare Einträge 9 / Originalzeilen 9
Ausführbare Einträge 1 / Originalzeilen 5
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Ausführbare Einträge 1 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Ausführbare Einträge 1 / Originalzeilen 12
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Ausführbare Einträge 10 / Originalzeilen 25
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Ausführbare Einträge 68 / Originalzeilen 102
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Ausführbare Einträge 28 / Originalzeilen 28
Ausführbare Einträge 2 / Originalzeilen 5
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Ausführbare Einträge 3 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
D16 · MSE · Syn · Rescale
Werte gelten für den jeweiligen Datensatz, Messwert und die Modellversion. Verschiedene Tests sind nicht direkt vergleichbar.
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 3 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Auf demselben privaten D_Test vergleicht die Arbeit das finale CFG=1-Modell mit YourMT3+. Die Ergebnisse wurden nicht unabhängig reproduziert und sind nicht direkt mit MIROS oder anderen Protokollen vergleichbar.
| Rang nach Kennzahl | Modell | Testbedingung | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLÖffentliche Gewichte · Inferenzcodemodel.safetensorsInferenzcodeGewichtslizenz (Angabe des Repositorys): cc-by-nc-4.0Zustimmung zu Bedingungen oder Zugangsanfrage erforderlich | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 16 / Originalzeilen 16
Tabelle 2 der Veröffentlichung bewertet die beiden veröffentlichten, lokal einsetzbaren Modelle auf acht Datensätzen, die in keinem der Trainingssätze enthalten waren.
| Rang nach Kennzahl | Modell | Testbedingung | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorÖffentliche Gewichte · Inferenzcodemodel.safetensorsInferenzcodeGewichtslizenz (Angabe des Repositorys): cc-by-nc-4.0Zustimmung zu Bedingungen oder Zugangsanfrage erforderlich | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 9 / Originalzeilen 17
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Reproduzierbare Open-Source-Einträge der offiziellen Rangliste mit unveränderten offiziellen Rängen. F1, Präzision, Recall, Einsatz, Ende und Überlappung werden in Prozent angegeben; Laufzeiten in Millisekunden. Die Wettbewerbskonfiguration von YourMT3+ nutzt die in den Dateinamen angegebenen Instrumente. Ihr Wert ist keine Messung des gesamten Verarbeitungsablaufs dieser Website.
| Offizieller Rang | Modell | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Öffentliche Gewichte · InferenzcodeMIROS fine-tuned decoderMusicFM encoderInferenzcode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptAuswertungseinstellungenGewichtslizenz nicht angegeben | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Öffentliche Gewichte · Inferenzcode | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VÖffentliche Gewichte · Inferenzcodelogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATÖffentliche Gewichte · Inferenzcode | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchÖffentliche Gewichte · Inferenzcode | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 9 / Originalzeilen 14
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Website und Publikation sind getrennte Datenstände mit kleinen Abweichungen der letzten Ziffer. Der Test umfasst 76 eingeschränkte synthetische Ausschnitte mit höchstens drei Instrumenten. Die Originalwerte bleiben erhalten. Die Wettbewerbskonfiguration von YourMT3+ nutzt die in den Dateinamen angegebenen Instrumente. Ihr Wert ist keine Messung des gesamten Verarbeitungsablaufs dieser Website.
| Offizieller Rang | Modell | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSÖffentliche Gewichte · InferenzcodeMIROS fine-tuned decoderMusicFM encoderInferenzcode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptAuswertungseinstellungenGewichtslizenz nicht angegeben | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Öffentliche Gewichte · Inferenzcode | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VÖffentliche Gewichte · Inferenzcodelogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATÖffentliche Gewichte · Inferenzcode | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchÖffentliche Gewichte · Inferenzcode | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 9 / Originalzeilen 9
Table 2 gruppiert nach genauer Instrumentenzahl und zeigt Mittelwert ± Standardabweichung. Jede Gruppe wird separat eingestuft und ersetzt die Gesamttabelle nicht. Die Wettbewerbskonfiguration von YourMT3+ nutzt die in den Dateinamen angegebenen Instrumente. Ihr Wert ist keine Messung des gesamten Verarbeitungsablaufs dieser Website.
| Rang nach Kennzahl | Modell | Testbedingung | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSÖffentliche Gewichte · InferenzcodeMIROS fine-tuned decoderMusicFM encoderInferenzcode logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptAuswertungseinstellungenGewichtslizenz nicht angegeben | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Öffentliche Gewichte · Inferenzcode | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 1 / Originalzeilen 5
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ Paper-Vergleich mit MT3-Familien-Baselines auf Slakh-ähnlichen Metriken.
| Rang nach Kennzahl | Modell | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 1 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Rang nach Kennzahl | Modell | Testbedingung | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 1 / Originalzeilen 12
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Rang nach Kennzahl | Modell | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 10 / Originalzeilen 25
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Die offizielle Tabelle 5 vergleicht fünf Datensätze getrennt und zeigt nur Experimente mit überprüften passenden öffentlichen Gewichten. Das aktuelle OaFS ist gemeinsam trainiert; daraus folgt keine Überlegenheit gegenüber MuScriptor.
| Rang nach Kennzahl | Modell | Testbedingung | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Öffentliche Gewichte · InferenzcodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSÖffentliche Gewichte · Inferenzcode | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 68 / Originalzeilen 102
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Rang nach Kennzahl | Modell | Testbedingung | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSÖffentliche Gewichte · Inferenzcode | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Öffentliche Gewichte · InferenzcodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 28 / Originalzeilen 28
| Rang nach Kennzahl | Modell | Testbedingung | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSÖffentliche Gewichte · Inferenzcode | Piano | 70.36 | 72.10 |
| 2 | MT3Öffentliche Gewichte · InferenzcodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | Piano | 63.12 | 69.99 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 2 / Originalzeilen 5
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Rang nach Kennzahl | Modell | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Öffentliche Gewichte · InferenzcodeOfficial MT3 T5X checkpoint and 294 tensor filesInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | 93.7 M | 34 |
| - | OaFSÖffentliche Gewichte · Inferenzcode | 64.9 M | 34 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 3 / Originalzeilen 7
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
D16 · MSE · Syn · Rescale
Paper-Tabelle 3: K ist die vorgegebene Zahl der Klangfarben. F1 wird nach optimaler Spurzuordnung je Spur berechnet. Die Werte mitteln mindestens drei Trainingsläufe; sie sind keine neue Messung dieses Website-Checkpoints.
| Rang nach Kennzahl | Modell | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursÖffentliche Gewichte · Inferenzcode | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | ShareÖffentliche Gewichte · Inferenzcodeseptimbre/ablation/DicephNet/dicephnet_model.pthInferenzcodeAuswertungseinstellungenGewichtslizenz nicht angegeben | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaÖffentliche Gewichte · Inferenzcode | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet-Reparaturnotiz · 13. August 2026
Wir haben denselben vollständigen Song mit TelkNet und mit dem offiziellen MuScriptor Large 0.3.0 im strikten Modus verarbeitet. Beide Ergebnisse enthalten 8 Stimmen und 6.560 Noten; Stimme, Tonhöhe und Reihenfolge stimmen für jede Note überein. Die Auffälligkeit liegt zwischen etwa 182 und 222 Sekunden: Im Ausgangsaudio ist weiterhin eine klare tonale Linie im mittleren bis hohen Frequenzbereich zu hören, im MIDI fehlt oberhalb von C4 jedoch ein Abschnitt von rund 40,31 Sekunden. Oberfläche, BPM-Verarbeitung und MIDI-Editor haben keine Noten gelöscht; die Lücke steckt bereits im offiziellen Modellergebnis. Ohne Originalpartitur lässt sich nicht genau sagen, wie viele Noten fehlen.
TelkNet passt die Weitergabe von Instrumenteninformationen zwischen 5-Sekunden-Abschnitten an, um die Fortsetzung von Fehlklassifikationen zu verringern und gehaltene Noten zu verbinden. MuScriptor Large transkribiert jeden Abschnitt einmal.
Anschließend liefen 16 vollständige Aufgaben mit 14 Songs ohne Abbruch durch. Beim ersten Song sank die längste Einsatzlücke oberhalb von C4 von 40,309 auf 1,970 Sekunden. Beim zweiten änderte sich das Ergebnis von 1.698 Noten auf 6 aktiven Spuren mit 70,79 % Klavier zu 2.279 Noten auf 8 aktiven Spuren mit 50,77 % Klavier. Je zwei vollständige Wiederholungen pro Song ergaben bytegleiche Dateien.
MuScriptor-Tempokompatibilität
Die offizielle Basis verwendet Beat This final0 und eine Kleinste-Quadrate-Anpassung mit freiem Achsenabschnitt, um genau eine konstante BPM zu veröffentlichen. Der strikte Modus schlägt fehl, wenn die Beats kein konstantes Tempo tragen; best-effort schreibt einen Platzhalter von 120 BPM. Der MIDI-Writer korrigiert außerdem die Onset-Verzögerung und verschiebt alle Noten vorwärts, um eine Taktlinie am Downbeat auszurichten.
TelkNet behält Beat This final0 bei; ein automatisch erkanntes einzelnes BPM bleibt der empfohlene Standard. Wird das Folgen der Tempoänderungen des Titels gewählt, kommt ein einzelnes BPM nur zum Einsatz, wenn das Raster des gesamten Titels höchstens 40 ms von den erkannten Beats entfernt ist; andernfalls wird eine adaptive Tempokarte geschrieben. Manuelles BPM bleibt wählbar. Ohne Quantisierung bleiben die ursprünglichen Notenzeiten erhalten.
| Vergleichspunkt | Offizielles MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Beat-Erkennung | Verwendet Beat This final0. | Verwendet dasselbe Beat This final0; das Erkennungsmodell wird nicht ersetzt. |
| Veröffentlichtes Temporaster | Veröffentlicht per Anpassung mit freiem Achsenabschnitt eine konstante BPM; strikt scheitert bei variablem Tempo, best-effort schreibt 120 BPM. | Konstantes BPM nur bei maximal 40 ms Rasterabstand; andernfalls eine phasenbegrenzte anpassbare Tempokarte. |
| BPM-Steuerung | Die aktuelle offizielle CLI bietet keine manuelle BPM. | Unterstützt adaptiv, automatisch fest und manuelle BPM von 30 bis 300. |
| Notenzeitachse | Korrigiert die Onset-Verzögerung und verschiebt alle Noten zur Ausrichtung der Taktlinie am Downbeat. | Ohne Quantisierung bleiben native Notenzeiten erhalten; eine Taktverschiebung erfolgt nicht. |
Beat This bleibt ein Audioschätzer. Ungewöhnliche Taktarten, schwache oder transientenlose Rhythmen, Rubato, abrupte Tempowechsel oder ein fälschlich halbiert beziehungsweise verdoppelt erkannter Puls können weiterhin ein falsches Raster ergeben. Automatisches BPM kann leicht von einem bekannten exakten Wert abweichen; bei bekanntem Quelltempo steht daher „Fest · Manuelles BPM“ bereit. Notenquantisierung verschiebt Notenzeiten absichtlich. Tempoeinstellungen können fehlende Noten, falsche Tonhöhen sowie Instrument- und Spurbezeichnungsfehler von MuScriptor nicht korrigieren. Wichtige MIDI-Dateien sollten weiterhin in einer DAW mit der Quelle verglichen werden.