MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
Transkrybuj muzykę do wieloinstrumentowego MIDI za pomocą MuScriptor-large.
Ładowanie...
Zamień utwory lub zespoły na wielościeżkowe MIDI, aby poprawiać nuty i partie w DAW.
Wejście
Obsługuje wejścia w formatach takich jak mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Obsługiwane formaty
Produkcja
MIDI
Przypadek użycia
Edytuj nuty, instrumentację i szczegóły wykonania.
Wybierz model do swojego materiału i celu, a przed wysłaniem zapoznaj się z przykładami.
Koszt, czas, formaty i parametry zależą od wybranego modelu.
W opinii podaj nazwę narzędzia, kroki i napotkany problem. Zrzuty ekranu ułatwią jego zlokalizowanie.
Domyślna naprawa zmniejsza błędy instrumentów między segmentami, zachowując wybrzmienia; na początek do całego miksu.
YourMT3+ · YPTF.MoE+Multi noPS: Edytowalne MIDI szkice z pełnych miksów, a także czystsze wejścia solo/wspólnych instrumentów, takie jak piano/keyboard, guitar, bass, drums, smyczki/instrumenty dęte oraz vocal drafty
YMT3+: Edytowalne MIDI szkice z pełnych miksów, a także czystsze wejścia solo/wspólnych instrumentów, takie jak piano/keyboard, guitar, bass, drums, smyczki/instrumenty dęte oraz vocal drafty
YourMT3+ · YPTF.Single noPS: Edytowalne MIDI szkice z pełnych miksów, a także czystsze wejścia solo/wspólnych instrumentów, takie jak piano/keyboard, guitar, bass, drums, smyczki/instrumenty dęte oraz vocal drafty
YourMT3+ · YPTF.Multi PS: Edytowalne MIDI szkice z pełnych miksów, a także czystsze wejścia solo/wspólnych instrumentów, takie jak piano/keyboard, guitar, bass, drums, smyczki/instrumenty dęte oraz vocal drafty
YourMT3+ · YPTF.MoE+Multi PS: Edytowalne MIDI szkice z pełnych miksów, a także czystsze wejścia solo/wspólnych instrumentów, takie jak piano/keyboard, guitar, bass, drums, smyczki/instrumenty dęte oraz vocal drafty
MIROS MusicFM multi-decoder prowadzi oficjalną trasą lokalnej MIROS z pretrained_msd.pt oraz dopracowanym last.ckpt checkpoint.
BS-RoFormer SW Fixed używa BS-Rofo-SW-Fixed.ckpt plus BS-Rofo-SW-Fixed.yaml do podzielenia pełnego miksu na six WAV stems.
OaFS rozpoznaje 34 klasy instrumentów i eksportuje MIDI oraz tabele nut ze stałą siłą uderzenia 127.
Grupuje nuty w podaną liczbę nienazwanych ścieżek barwowych. Nie rozpoznaje nazw instrumentów. Odpowiedni dla krótkich zespołów o znanej liczbie instrumentów; nakładające się głosy o tej samej wysokości mogą być nierozdzielne.
Rozdziela wokal, perkusję, bas, gitarę, fortepian i pozostałe dźwięki, transkrybuje je i łączy MIDI. Można przewidywać velocity i zmieniać przypisanie instrumentów; błędy separacji mogą wpływać na nuty.
Rozdziela sześć ścieżek, a następnie tworzy MIDI. SheetSage2-Refined rozpoznaje uderzenia, metrum i części utworu, a Tsumugi akordy i tonację. Dotychczasowa transkrypcja całego utworu pozostaje dostępna.
arXiv - 2026
Transkrybuj muzykę do wieloinstrumentowego MIDI za pomocą MuScriptor-large.
IEEE MLSP - 2024
YourMT3+ rozszerza MT3 o ulepszoną architekturę transformatorów, warianty MoE, dekodowanie wielokanałowe oraz cross-dataset stem augmentation.
ICLR - 2022
MT3 wprowadziło wielozadaniową transkrypcję muzyki wielościeżkowej z modelowaniem sekwencyjnym i pozostaje wyznaczoną bazą dla nowszych porównań AMT.
arXiv / OpenReview - 2026
Podsumowanie AMT Challenge 2025 zostało opublikowane 29.03.2026 na konkurs od 1 stycznia do 30 kwietnia 2025. Raportuje 21 zarejestrowanych drużyn, 14 zespołów zgłaszających się, 8 ważnych zespołów z punktami oraz zestaw testowy z 76 elementami klasycznymi, z maksymalnie trzema instrumentami na fragment.
Signals - 2026
OaFS rozpoznaje 34 klasy instrumentów i eksportuje MIDI oraz tabele nut ze stałą siłą uderzenia 127.
Zawiera publiczne wyniki testów modeli używanych tutaj i poza serwisem. Domyślnie wyświetlana jest pełna tabela źródłowa; można też wybrać warunki i metryki do porównania. Wyniki z różnych warunków testowych nie są bezpośrednio porównywalne.
Wyświetlane są tylko wyniki ze zweryfikowaną publiczną implementacją inferencji i odpowiednimi wagami oraz algorytmy niewymagające wag. Zamknięte usługi, nieopublikowane wagi i niepotwierdzone wersje eksperymentalne są pomijane. To nie jest ranking wszystkich modeli.
Publiczne wagi nie potwierdzają pełnej licencji open source. Rozwiń dane, aby sprawdzić zadeklarowane licencje wag i warunki dostępu. Brak deklaracji licencji jest oznaczony osobno.
Wybrany model nie ma zweryfikowanego, odpowiadającego mu publicznego wyniku i nie otrzymał miejsca w rankingu.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 3 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Na tym samym prywatnym D_Test artykuł porównuje końcowy model CFG=1 z YourMT3+. Wyniki nie zostały niezależnie odtworzone i nie można ich bezpośrednio porównywać z MIROS ani innymi protokołami.
| Pozycja według metryki | Model | Warunek testu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPubliczne wagi · Kod inferencjimodel.safetensorsKod inferencjiLicencja wag (deklaracja repozytorium): cc-by-nc-4.0Wymagana akceptacja warunków lub prośba o dostęp | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.
Do wdrożenia 3 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Do wdrożenia 16 / wiersze źródłowe 16
Do wdrożenia 0 / wiersze źródłowe 4
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
Do wdrożenia 9 / wiersze źródłowe 17
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Do wdrożenia 9 / wiersze źródłowe 14
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Do wdrożenia 9 / wiersze źródłowe 9
Do wdrożenia 1 / wiersze źródłowe 5
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
Do wdrożenia 1 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
Do wdrożenia 1 / wiersze źródłowe 12
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
Do wdrożenia 10 / wiersze źródłowe 25
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Do wdrożenia 68 / wiersze źródłowe 102
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
Do wdrożenia 28 / wiersze źródłowe 28
Do wdrożenia 2 / wiersze źródłowe 5
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-ResUnet · OaFS-CFP · OaFS-single
Do wdrożenia 3 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
D16 · MSE · Syn · Rescale
Wyniki dotyczą wskazanego zbioru, miary i wersji modelu. Różnych testów nie można bezpośrednio porównywać.
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 3 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
Na tym samym prywatnym D_Test artykuł porównuje końcowy model CFG=1 z YourMT3+. Wyniki nie zostały niezależnie odtworzone i nie można ich bezpośrednio porównywać z MIROS ani innymi protokołami.
| Pozycja według metryki | Model | Warunek testu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLPubliczne wagi · Kod inferencjimodel.safetensorsKod inferencjiLicencja wag (deklaracja repozytorium): cc-by-nc-4.0Wymagana akceptacja warunków lub prośba o dostęp | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 16 / wiersze źródłowe 16
Tabela 2 publikacji ocenia dwa opublikowane, lokalnie wdrażalne modele na ośmiu zbiorach nieobecnych w obu zestawach treningowych.
| Pozycja według metryki | Model | Warunek testu | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorPubliczne wagi · Kod inferencjimodel.safetensorsKod inferencjiLicencja wag (deklaracja repozytorium): cc-by-nc-4.0Wymagana akceptacja warunków lub prośba o dostęp | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 9 / wiersze źródłowe 17
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
Odtwarzalne pozycje z otwartym kodem z oficjalnego rankingu, z zachowaniem oficjalnych miejsc. F1, precyzja, czułość, początek, koniec i nakładanie są podane w procentach; czas w milisekundach. Konfiguracja konkursowa YourMT3+ wykorzystuje informacje o instrumentach podane w nazwach plików. Jej wynik nie jest pomiarem całego procesu przetwarzania w tym serwisie.
| Oficjalna pozycja | Model | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)Publiczne wagi · Kod inferencjiMIROS fine-tuned decoderMusicFM encoderKod inferencji logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptUstawienia ocenyNie zadeklarowano licencji wag | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3Publiczne wagi · Kod inferencji | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-VPubliczne wagi · Kod inferencjilogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATPubliczne wagi · Kod inferencjiWeight/String_MusicNet/Unet_R_VAT-XI=1e-06-eps=1.3-String_MusicNet-lr=0.001/weight.ptKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic PitchPubliczne wagi · Kod inferencji | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 9 / wiersze źródłowe 14
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
Witryna i publikacja to odrębne migawki z drobnymi różnicami ostatniej cyfry. Test obejmuje 76 ograniczonych fragmentów syntetycznych, do trzech instrumentów każdy. Zachowano wartości źródłowe. Konfiguracja konkursowa YourMT3+ wykorzystuje informacje o instrumentach podane w nazwach plików. Jej wynik nie jest pomiarem całego procesu przetwarzania w tym serwisie.
| Oficjalna pozycja | Model | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSPubliczne wagi · Kod inferencjiMIROS fine-tuned decoderMusicFM encoderKod inferencji logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptUstawienia ocenyNie zadeklarowano licencji wag | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)Publiczne wagi · Kod inferencji | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-VPubliczne wagi · Kod inferencjilogs/2024/ptfs_gmlp_wf_e12_d8_500k/checkpoints/epoch=466-step=500000.ckptKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATPubliczne wagi · Kod inferencjiWeight/String_MusicNet/Unet_R_VAT-XI=1e-06-eps=1.3-String_MusicNet-lr=0.001/weight.ptKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic PitchPubliczne wagi · Kod inferencji | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
Tabela obejmuje tylko modele z publicznymi wagami lub konfiguracjami, które można uruchomić lokalnie.
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 9 / wiersze źródłowe 9
Table 2 grupuje dokładne liczby instrumentów i podaje średnią ± odchylenie standardowe. Grupy mają osobne rankingi i nie zastępują tabeli ogólnej. Konfiguracja konkursowa YourMT3+ wykorzystuje informacje o instrumentach podane w nazwach plików. Jej wynik nie jest pomiarem całego procesu przetwarzania w tym serwisie.
| Pozycja według metryki | Model | Warunek testu | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSPubliczne wagi · Kod inferencjiMIROS fine-tuned decoderMusicFM encoderKod inferencji logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptUstawienia ocenyNie zadeklarowano licencji wag | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)Publiczne wagi · Kod inferencji | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 1 / wiersze źródłowe 5
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ porównanie artykułów z bazowymi liniami rodziny MT3 na podstawie metryk w stylu Slackha.
| Pozycja według metryki | Model | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 1 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| Pozycja według metryki | Model | Warunek testu | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 1 / wiersze źródłowe 12
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| Pozycja według metryki | Model | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 10 / wiersze źródłowe 25
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
Oficjalna tabela 5 porównuje osobno pięć zbiorów i pokazuje tylko eksperymenty ze zweryfikowanymi odpowiednimi publicznymi wagami. Obecny OaFS jest trenowany wspólnie; wyniki nie dowodzą przewagi nad MuScriptor.
| Pozycja według metryki | Model | Warunek testu | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3Publiczne wagi · Kod inferencjiOfficial MT3 T5X checkpoint and 294 tensor filesKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSPubliczne wagi · Kod inferencji | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 68 / wiersze źródłowe 102
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| Pozycja według metryki | Model | Warunek testu | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSPubliczne wagi · Kod inferencji | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3Publiczne wagi · Kod inferencjiOfficial MT3 T5X checkpoint and 294 tensor filesKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | Acoustic Piano | 974,080 | 56.90 | 66.08 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 28 / wiersze źródłowe 28
| Pozycja według metryki | Model | Warunek testu | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSPubliczne wagi · Kod inferencji | Piano | 70.36 | 72.10 |
| 2 | MT3Publiczne wagi · Kod inferencjiOfficial MT3 T5X checkpoint and 294 tensor filesKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | Piano | 63.12 | 69.99 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 2 / wiersze źródłowe 5
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| Pozycja według metryki | Model | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3Publiczne wagi · Kod inferencjiOfficial MT3 T5X checkpoint and 294 tensor filesKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | 93.7 M | 34 |
| - | OaFSPubliczne wagi · Kod inferencji | 64.9 M | 34 |
Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.
Do wdrożenia 3 / wiersze źródłowe 7
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
D16 · MSE · Syn · Rescale
Tabela 3 publikacji: K to podana liczba barw. F1 oblicza się dla każdej ścieżki po optymalnym dopasowaniu. Wyniki są średnią co najmniej trzech treningów, a nie nowym pomiarem modelu używanego na stronie.
| Pozycja według metryki | Model | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | OursPubliczne wagi · Kod inferencji | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | SharePubliczne wagi · Kod inferencjiseptimbre/ablation/DicephNet/dicephnet_model.pthKod inferencjiUstawienia ocenyNie zadeklarowano licencji wag | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | TanakaPubliczne wagi · Kod inferencji | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
Znajdź metody i kroki odpowiednie dla swojego materiału.
Notatka o poprawce TelkNet · 13 sierpnia 2026
Tę samą pełną piosenkę przetworzyliśmy w TelkNet oraz w oficjalnym MuScriptor Large 0.3.0 w trybie strict. Oba wyniki mają 8 partii i 6560 nut; partia, wysokość i kolejność zgadzają się nuta po nucie. Odchylenie skupia się mniej więcej między 182. a 222. sekundą: w źródle nadal słychać wyraźną linię tonalną w średnim i wysokim paśmie, lecz w MIDI powyżej C4 pojawia się luka trwająca około 40,31 sekundy. Interfejs, obróbka BPM i edytor MIDI nie usunęły tych nut; luka jest już w wyniku oficjalnego modelu. Bez oryginalnej partytury nie da się dokładnie policzyć brakujących nut.
TelkNet zmienia przekazywanie informacji o instrumentach między 5-sekundowymi segmentami, aby ograniczyć przenoszenie błędów i łączyć podtrzymane dźwięki. MuScriptor Large transkrybuje każdy segment raz.
Następnie ukończyliśmy 16 pełnych przebiegów na 14 piosenkach. W pierwszej najdłuższa luka początku nut powyżej C4 zmalała z 40,309 do 1,970 sekundy. W drugiej wynik zmienił się z 1698 nut na 6 aktywnych ścieżkach i 70,79% fortepianu na 2279 nut na 8 aktywnych ścieżkach i 50,77% fortepianu. Dwa pełne powtórzenia każdej piosenki dały pliki identyczne bajt po bajcie.
Zgodność tempa MuScriptor
Oficjalna baza używa Beat This final0 i dopasowania najmniejszych kwadratów ze swobodnym wyrazem wolnym, aby opublikować jeden stały BPM. Tryb ścisły kończy się błędem, gdy uderzenia nie wspierają stałego tempa; best-effort zapisuje tymczasowe 120 BPM. Zapis MIDI koryguje też opóźnienie początku i przesuwa wszystkie nuty, by wyrównać kreskę taktową z downbeatem.
TelkNet zachowuje ten sam Beat This final0, a jedno automatycznie wykryte BPM pozostaje zalecanym ustawieniem domyślnym. Po wybraniu śledzenia zmian tempa utworu jedno BPM jest używane tylko wtedy, gdy siatka całego utworu mieści się w 40 ms od wykrytych uderzeń; w przeciwnym razie publikowana jest adaptacyjna Tempo Map. Ręczne BPM nadal jest dostępne. Bez kwantyzacji pierwotne czasy nut pozostają bez zmian.
| Element porównania | Oficjalny MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| Wykrywanie uderzeń | Używa Beat This final0. | Używa tego samego Beat This final0; model wykrywania nie jest zastępowany. |
| Publikowana siatka tempa | Publikuje jeden stały BPM z dopasowaniem o swobodnym wyrazie wolnym; tryb ścisły zawodzi przy zmiennym tempie, a best-effort zapisuje 120 BPM. | Stałe BPM tylko przy maksymalnej odległości siatki do 40 ms; w przeciwnym razie adaptacyjna Tempo Map z ograniczeniem fazy. |
| Sterowanie BPM | Bieżący oficjalny CLI nie oferuje ręcznego BPM. | Obsługuje tryb adaptacyjny, automatycznie stały i ręczny BPM od 30 do 300. |
| Oś czasu nut | Koryguje opóźnienie początku i przesuwa wszystkie nuty, aby wyrównać takt z downbeatem. | Bez kwantyzacji zachowuje natywne czasy nut i nie stosuje przesunięcia taktów. |
Beat This pozostaje estymatorem dźwięku. Nietypowe metrum, słaby rytm bez transjentów, rubato, nagłe zmiany tempa lub błędnie rozpoznany puls połowiczny albo podwójny nadal mogą dać niepoprawną siatkę. Automatyczny BPM może nieznacznie różnić się od znanej dokładnej wartości, dlatego przy znanym BPM źródła dostępne jest „Stałe · Ręczny BPM”. Włączenie kwantyzacji celowo przesuwa czasy nut. Ustawienia tempa nie poprawiają brakujących nut, błędnych wysokości ani błędów nazw instrumentów i ścieżek z MuScriptor. Ważne MIDI należy nadal porównywać ze źródłem w DAW.