Model
MuScriptor-large: rzeczywisty pomiar i granice 1,366 miliarda parametrów, kompletny miks do wielościeżkowego MIDI
Automatyczna transkrypcja muzyki
Automatyczna transkrypcja muzyki
AUTOMATYCZNA TRANSKRYPCJA MUZYKI
MuScriptor-large to największy publiczny checkpoint MuScriptor i flagowa, najwyższej jakości opcja według karty modelu. Zamienia dźwięk mono 16 kHz na pięciosekundowe segmenty, przedstawia je jako cechy mela o 512 przedziałach i używa 48-warstwowego Transformera typu decoder-only do generowania zdarzeń wysokości dźwięku, onsetu, offsetu, instrumentu i perkusji. Publiczny checkpoint zawiera dokładnie 1,366,399,488 parametrów F32, zapisanych w pliku safetensors o rozmiarze 5,465,642,136 bajtów.
Największy w rodzinie to nie to samo, co uniwersalny state of the art. Artykuł zgłasza dużą przewagę nad YourMT3+ na prywatnym zbiorze D_Test, a także publikuje wyniki na ośmiu zewnętrznych zbiorach danych, gdzie MuScriptor nie wygrywa każdej metryki. D_Real, D_RL i D_Test nie są publiczne, a MIROS nie został porównany na tym samym dźwięku, metryce i protokole post-processingu. Obronna konkluzja jest węższa: MuScriptor-large należy do najsilniejszych nowych kandydatów open-weight do ogólnej, wieloinstrumentalnej AMT, popartych zgłoszonymi przez autorów wynikami lidera.
MuScriptor publikuje checkpointy small, medium i large. Metadane repozytorium podają dokładne liczby parametrów: 102,968,832, 307,030,528 i 1,366,399,488. Wariant large jest około 4.45 raza większy od medium i jest wyraźnie opisywany jako flagowe, najwyższej jakości wydanie. Ablacja skali w artykule używa etykiet 60M, 100M, 300M i 1.3B; tych etykiet eksperymentalnych nie wolno podstawiać za dokładne liczby parametrów trzech publicznych checkpointów.
W rewizji 8809fdfbed2affa7ade94a7059e746e3880720e7 repozytorium wag zawiera plik model.safetensors o rozmiarze 5,465,642,136 bajtów oraz niewielki zestaw plików konfiguracyjnych. Kod źródłowy jest przypięty osobno do commita 302343e8992bdfc619f77f1988168374ed5d675d. Razem te identyfikatory wiążą architekturę, tokenizator, domyślne ustawienia wnioskowania i wagi. Etykieta „large” nie wystarczy, jeśli implementacja może po cichu załadować medium albo podążać za ruchomą gałęzią main.
Zapis w F32 nie oznacza, że każda operacja musi używać F32, ani nie dowodzi, że nieoficjalna niskobitowa pochodna jest równoważna jakościowo. Wydanie nie zawiera badania jakości w tym samym protokole dla alternatywnego skwantyzowanego checkpointu. Ścieżka stawiająca na jakość może więc wymagać dokładnej tożsamości large i jasno zawodzić, gdy nie można jej załadować, zamiast przełączać się na mniejszy poziom.
Wejście jest konwertowane do mono 16 kHz. Krótkoczasowa transformata Fouriera używa okna 2,048-punktowego i przeskoku 160 próbek, co daje 100 ramek na sekundę, a następnie rzutuje je na 512 przedziałów melowych. Pięciosekundowy segment zawiera zatem około 500 ramek akustycznych. Te cechy trafiają do Transformera decoder-only o szerokości 1,536, 24 głowicach uwagi i 48 warstwach. Model nie dzieli najpierw miksu na stały zestaw ścieżek i nie uruchamia niezależnego transkrybera dla każdej z nich; zdarzenia czasu, instrumentu i nut generowane są we wspólnej sekwencji.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xreprezentacja melowa pięciosekundowego segmentu audiocopcjonalny warunek instrumentu; pusty zbiór oznacza automatyczną detekcjęyntoken zdarzenia czasu, instrumentu, wysokości dźwięku lub zakończeniaAutoregresyjna faktoryzacja pozwala, by wcześniej wygenerowane instrumenty i akordy informowały późniejsze decyzje, co pomaga w kontekście międzyinstrumentalnym pełnego miksu. Propaguje też błędy. Błędne przesunięcie czasowe może przemieszczać późniejsze nuty, brakujący note-off może zostawić wiszącą nutę, a dryf tokena instrumentu może umieścić poprawne wysokości na niewłaściwej ścieżce.
Bieżący oficjalny przykład używa batch size 1, beam size 1, cfg_coef=1 i prelude forcing. Beam size 1 to deterministyczna ścieżka argmax. Szerszy beam zachowuje więcej prefiksów i zużywa więcej pamięci; bez kontrolowanej ablacji beam 4 nie można po prostu przemianować na „maksymalną jakość”.
Classifier-free guidance wyostrza warunek, łącząc logity warunkowe i bezwarunkowe: ℓ=ℓu+s(ℓc−ℓu). Końcowa tabela artykułu raportuje Multi F1 równe 48.2 przy CFG=1 i 47.8 przy CFG=2. Publiczna wartość domyślna pozostaje więc 1, zamiast zakładać, że większa liczba guidance jest lepsza.
Artykuł dzieli materiał treningowy na trzy warstwy. D_Synth zawiera około 1.45 miliona plików MIDI z Lakh MIDI i od komercyjnego dostawcy danych, renderowane przez ponad 250 SoundFontów. Transpozycja, tempo, velocity, randomizacja instrumentów i rozstrajanie wystawiają ten sam materiał symboliczny na szerszy zakres barw. Renderowanie syntetyczne daje dokładne granice zdarzeń, ale nie potrafi w pełni odtworzyć przecieków mikrofonowych, masteringu, szumów wykonawczych ani długiego ogona rzeczywistej produkcji.
D_Real zawiera około 170,000 wewnętrznych nagrań, łącznie około 11,000 godzin. Ich etykiety nut pochodzą z wyrównania audio-symbolicznego, a nie z ręcznej adnotacji na poziomie próbek. Rzeczywiste miksy poszerzają rozkład produkcyjny, dodając jednocześnie dopasowanie tytułów, różnice wersji, opóźnienia wtyczek i błędy wyrównania. D_RL wybiera następnie 300 wysokiej jakości transkrypcji zweryfikowanych przez ludzi do post-treningu w stylu GRPO/REINFORCE. Te trzy etapy odpowiadają na pokrycie, przesunięcie domeny i preferencje sekwencji, ale zbiory rzeczywisty i nagrodowy nie są publiczne.
Uczenie nadzorowane minimalizuje ujemny logarytm wiarygodności na poziomie tokenów, a post-trening używa nagrody złożonej z miar onsetu, offsetu, ramki, perkusji i wieloinstrumentalnej. Optymalizacja na poziomie sekwencji może karać strukturalne niepowodzenia, których niezależna klasyfikacja tokenów nie wychwytuje. Ponieważ zweryfikowany zbiór nagród ma tylko 300 utworów, pokrycie rzadkich instrumentów, ekstremalnych temp i tradycji pozazachodnich wciąż wymaga publicznej oceny zewnętrznej.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTentropia krzyżowa sekwencji podczas treningu nadzorowanegoR(y)łączna nagroda za ukończoną transkrypcjęD_RL300 zweryfikowanych transkrypcji, nie publiczny benchmarkMuScriptor mapuje 128 programów General MIDI na grupy instrumentów MT3_FULL_PLUS. Model uczy się 36 grup, a publiczne demo udostępnia 35 wybieralnych nazw: między innymi fortepiany akustyczne i elektryczne, trzy grupy gitar, bas akustyczny i elektryczny, smyczki, dęte blaszane, dęte drewniane, syntezatory, głos i perkusję. Różnica odzwierciedla granicę między reprezentacją wewnętrzną a wybieralnym interfejsem; 35 opcji interfejsu nie należy raportować jako pełnej liczby wyuczonych kategorii.
Przy pustym polu instrumentów model może wykryć dowolną obsługiwaną grupę. Gdy tylko wybrana zostanie jedna lub więcej nazw, dekoder twardo maskuje wszystkie pozostałe tokeny instrumentów. To ścisła whitelist, nie miękka preferencja. Może ograniczyć przecieki instrumentów, gdy skład jest znany, ale może też wymazać rzeczywistą partię, której użytkownik nie uwzględnił. Fortepian, bas i perkusja mogą być dobrym ograniczeniem dla znanego tria; automatyczna detekcja jest bezpieczniejsza, gdy aranżacja jest niepewna.
Ograniczenie musi dotrzeć z interfejsu do maski tokenów tokenizatora. Wybrane chipy odrzucone przez API tworzą fałszywą kontrolę, a nieskrępowane ciągi znaków odkładają błędy pisowni na moment wykonania. Wierny kontrakt akceptuje wyłącznie oficjalne 35 identyfikatorów, odrzuca duplikaty i definiuje pustą tablicę jako automatyczną detekcję.
Tabela 1 artykułu porównuje YourMT3+ YPTF.MoE+Multi (noPS) z etapami treningu MuScriptor na tym samym prywatnym D_Test. Końcowy model large przy CFG=1 raportuje Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 i Multi 48.2. YourMT3+ raportuje 32.52, 45.54, 17.79, 41.4 i 21.9. Różnica jest znacząca i wspiera tezę, że większe dane, model i receptura post-treningowa autorów istotnie poprawiły wyniki w ich rozkładzie rzeczywistych miksy i protokole adnotacji.
| Ten sam prywatny D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 wymaga, by instrument, wysokość dźwięku, onset i offset łącznie spełniały regułę dopasowania, więc nie jest wymienne z wynikiem sprawdzającym mniej pól. MIROS uzyskał 0.5998 w AMT Challenge 2025 na innym zbiorze 76 mniej więcej dwudziestosekundowych syntetycznych fragmentów i protokole program + pitch + onset Multi Onset F1. MuScriptor nie wziął udziału w tym teście o wspólnym protokole. Zestawienie 48.2 obok 0.5998 porównywałoby różne mianowniki i różne definicje zdarzeń.
D_Test zawiera 372 wieloinstrumentalne utwory z materiału wewnętrznego, z filtrowaniem po tytułach mającym ograniczyć przecieki między treningiem a testem. Filtrowanie po tytułach jest użyteczne, ale nie jest równoważne publicznemu, powtarzalnemu audytowi deduplikacji. Dźwięk, adnotacje, wybory wersji i zasady czyszczenia nakładania są niedostępne. Wynik nagłówkowy musi więc pozostać oznaczony jako zgłoszony przez autorów rezultat na zbiorze prywatnym.
Osiem zewnętrznych zbiorów danych pokazuje bardziej nierówny profil. Wobec YourMT3+ MuScriptor wygrywa Frame F1 na 7/8 zbiorów i Multi F1 na 6/8, ale Onset F1 tylko na 4/8. Ustępuje w onset, frame, offset i multi dla RWC-C; w offset, drums i multi dla RWC-R; oraz w onset i offset dla Bach10. Silna aktywność dźwięków podtrzymywanych i ogólna treść ścieżki nie oznaczają dominacji w każdym transiencie, rodzinie instrumentów czy rozkładzie nagrań.
Tokenizator ma konkretny limit reprezentacji: jednoczesnych nakładających się nut o tym samym instrumencie i wysokości nie da się obu czysto przedstawić. Artykuł usuwa krótszą nakładającą się nutę z głównej oceny na D_Test. Bez tego usunięcia Onset F1 spada z 60.4 do 51.8, Offset z 49.0 do 41.9, a Multi z 48.2 do 42.0. Powtarzane nuty fortepianowe o tej samej wysokości przy pedale, unizony smyczków i warstwowe gitary mogą natrafić na tę kolizję.
Ablacja skali modelu należy do osobnego wykresu niż porównanie końcowe. Tabela 4 artykułu trenuje wyłącznie na D_Real z warunkowaniem instrumentów. Multi F1 rośnie z 35.2 do 38.2, 39.7 i 40.5 dla etykiet 60M, 100M, 300M i 1.3B. Pokazuje to dalszą korzyść skali w tym ustawieniu, ale nie obejmuje końcowego syntetycznego pre-treningu i etapów wzmacniania oraz nie jest bezpośrednim benchmarkiem publicznych plików small, medium i large.
| Etykieta skali z artykułu | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Odsłuch recenzencki powinien skupić się na gęstych unizonach, współdzielonych transientach perkusji i basu, przesterowanych gitarach, chórach, rzadkich barwach i silnym pogłosie. Zagregowane wyniki mogą pozostać dobre, podczas gdy utwór rozwija krótkie fragmenty, przecieki między ścieżkami, ucięte podtrzymania lub wiele kanałów dla jednego instrumentu. Średnie opisują zachowanie populacji; nie zastępują inspekcji piano-roll i resyntezowanego odtworzenia.
Bieżący zapisujący produkuje MIDI Type-1: metadane zajmują własną ścieżkę, a każda ścieżka instrumentu niesie nazwę, program, kanał oraz zdarzenia note-on i note-off. Perkusja stosuje konwencję kanału 10 General MIDI. W porównaniu ze spłaszczeniem wszystkiego do Type-0 taka struktura jest łatwiejsza do wyciszania, izolowania i edycji w DAW oraz czyni dryf instrumentów bardziej widocznym.
Wynik nie odzyskuje wykonanej dynamiki. Publiczny kod zapisuje velocity nut jako 100. Pole velocity w MIDI jedynie spełnia format pliku; nie jest dowodem, że model wywnioskował ekspresję z nagrania. Perkusja dostarcza wyłącznie onsetów. Model nie wnioskuje też mapy tempa utworu, metrum ani siatki taktów. Zapisujący używa stałego zdarzenia tempa 120 BPM, by odwzorować sekundy zdarzeń na ticki. „Stałe 120 BPM” nigdy nie wolno przedstawiać jako „wykryte 120 BPM”.
Ciągłe tajmingi można w przybliżeniu zachować, podczas gdy wartości nutowe pokazywane przez oprogramowanie partyturowe zależą od tego stałego tempa i późniejszej kwantyzacji. Rubato, swing, fragmenty w wolnym czasie i zmiany tempa wymagają osobnej analizy taktu i struktury. Odtwarzalne zdarzenia, edytowalne ścieżki i notacja gotowa do publikacji to trzy różne warstwy; voicing, wiązania, pedalizacja, pisownia enharmoniczna, repetycje i ekspresja wciąż wymagają decyzji muzycznych.
Gdy długie audio przetwarzane jest jako nakładające się segmenty, przynależność onsetów trzeba przypisywać w globalnych sekundach, a nuty pozostające otwarte przez granicę należy przenosić dalej. Konkatenacja plików MIDI segmentów może zdublować graniczne ataki, uciąć podtrzymania lub odrzucić nazwy ścieżek, programy i kanał perkusji. Akceptacja powinna sprawdzać wiszące nuty, zachowane metadane ścieżek i brak systematycznego dryfu tajmingu na połączeniach segmentów.
Kod MuScriptor używa licencji MIT. Wagi large objęte są CC BY-NC 4.0 i rozpowszechniane przez stronę Hugging Face z bramką dostępu. Dostęp wymaga zalogowanego konta, akceptacji warunków strony i potwierdzenia, że użytkownik posiada niezbędne prawa do transkrybowanej muzyki.
Kod i wagi mają osobne licencje. Dostęp do plików wag nie zmienia ich warunku NonCommercial; przypięta karta modelu i tekst licencji pozostają podstawowymi odniesieniami dozwolonego użycia.
Wartość MuScriptor-large jest konkretna: to największy publiczny członek rodziny przy 1.366B parametrów, celuje w rzeczywiste pełne miksy, obsługuje twardą whitelist instrumentów, produkuje edytowalne wielośladowe MIDI Type-1 i ma dużą, zgłoszoną przez autorów przewagę nad YourMT3+ na prywatnym D_Test. Jego granice są równie konkretne: nagłówkowe dane nie są publiczne, metryki zewnętrzne nie są czystą wygraną, nakładające się nuty o tej samej wysokości kolidują w tokenizatorze, velocity i prawdziwa mapa tempa są nieobecne, a wagi licencjonowane są do użytku niekomercyjnego.
„Najwyższej jakości checkpoint MuScriptor” jest poparte. „Niezależnie potwierdzony uniwersalny SOTA audio-do-MIDI” nie jest. Ta ocena może się zmienić, gdy publiczna reprodukcja porówna MuScriptor-large, YourMT3+ i MIROS na tych samych nagraniach, definicjach zdarzeń, tolerancjach dopasowania i polityce nakładania.