Co to jest Transkrypcja wieloinstrumentalna MuScriptor?

Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large; Obsługuje wejścia w formatach takich jak mp3 / wav / flac

W jakich zadaniach może Transkrypcja wieloinstrumentalna MuScriptor pomóc?

MIDI / transkrypcja; Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large; Obsługuje wejścia w formatach takich jak mp3 / wav / flac; Sprawdź, czy obsługiwane formaty wejściowe odpowiadają Twoim materiałom; Sprawdź, czy wyjście pasuje do twojego obecnego workflow; Rozważ runtime i kredyty, aby zdecydować, czy przetwarzanie wsadowe ma sens

MIDI / transkrypcjaGPU obciążenia pracąSOTA

Transkrypcja wieloinstrumentalna MuScriptor

Q: Dla kogo Transkrypcja wieloinstrumentalna MuScriptor?

MIDI / transkrypcja Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large; Obsługuje wejścia w formatach takich jak mp3 / wav / flac

Q: Które modele i jednostki słów kluczowych są powiązane z Transkrypcja wieloinstrumentalna MuScriptor?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large

5 kredyty/wykorzystanieWejście plikuMax 100 MBSzacowany czas 90-1800 sekund

Wejście

Obsługuje wejścia w formatach takich jak mp3 / wav / flac

Obsługiwane formaty

mp3wavflacoggm4aaacaifaiffmp4movmkv

Produkcja

Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large

Przypadek użycia

Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large

Modele, parametry i źródła

Zamień zmiksowane nagranie w wieloinstrumentowy MIDI za pomocą MuScriptor-large

MuScriptor-largeMuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paperMuScriptor Table 1D_Test / CFG=1Paper Table 1YourMT3+D_Test / YPTF.MoE+Multi (noPS)MuScriptor Table 2Bach10Paper Table 2

MuScriptor-large

Ta ścieżka udostępnia wyłącznie flagowy checkpoint MuScriptor-large; nie ma fallbacku do small, medium ani wersji kwantyzowanej.

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Dokładna tożsamość: 1 366 399 488 parametrów F32; safetensors 5 465 642 136 bajtów; revision 8809fdfbed2affa7ade94a7059e746e3880720e7.
Decoder-only Transformer: 48 warstw, szerokość 1536 i 24 głowice; mono 16 kHz, fragmenty 5 s i mel 512 bins przy 100 Hz.
Wyjście Type-1 MIDI z wieloma ścieżkami; 35 etykiet UI odpowiada 36 grupom. Velocity pozostaje stałe i wynosi 100. Przetwarzanie automatycznie wykrywa i zapisuje BPM źródła. Po zakończeniu szybkość odtwarzania i BPM można zmieniać w kontrolce podglądu, a pobierany plik używa jej bieżącego ustawienia. Zmiany tempa źródła nie są odtwarzane.

Wykres referencyjny: Porównanie MuScriptor-large raportowane przez autorów / MuScriptor i YourMT3+ na ośmiu publicznych zbiorach / Ablacja skali modelu MuScriptor

Zakres open source i wdrożeń lokalnych: tabele obejmują tylko wiersze ze zweryfikowanymi, dostępnymi do pobrania wagami lub konfiguracjami i ścieżką lokalnego wdrożenia. SOTA i Najlepszy dotyczą wyłącznie pokazanych zweryfikowanych wierszy, bez systemów hostowanych, tylko API lub komercyjnych, i nie są uniwersalnym rankingiem.

Porównanie MuScriptor-large raportowane przez autorów

MuScriptor Table 1

Na tym samym prywatnym D_Test artykuł porównuje końcowy model CFG=1 z YourMT3+. Wyniki nie zostały niezależnie odtworzone i nie można ich bezpośrednio porównywać z MIROS ani innymi protokołami.

Warunek oceny	Model	Wieloinstrumentowe F1 (%)	Szczegółowe metryki
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	F1 początku (%)60.40NajlepszyF1 ramek (%)73.30NajlepszyF1 zakończenia (%)49.00NajlepszyF1 perkusji (%)50.20Najlepszy
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	F1 początku (%)32.52F1 ramek (%)45.54F1 zakończenia (%)17.79F1 perkusji (%)41.40

MuScriptor i YourMT3+ na ośmiu publicznych zbiorach

MuScriptor Table 2

Tabela 2 publikacji ocenia dwa opublikowane, lokalnie wdrażalne modele na ośmiu zbiorach nieobecnych w obu zestawach treningowych. SOTA i Najlepszy są liczone osobno dla każdego zbioru; MIROS nie dodano, bo publikacja nie podaje wyniku w tym protokole.

Warunek oceny	Model	Wieloinstrumentowe F1 (%)	Szczegółowe metryki
Bach10	YourMT3+Paper Table 2	26.4	F1 początku (%)59.8NajlepszyF1 ramek (%)66.0F1 zakończenia (%)48.0Najlepszy
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	F1 początku (%)43.1F1 ramek (%)85.0NajlepszyF1 zakończenia (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	F1 początku (%)22.3NajlepszyF1 ramek (%)51.0F1 zakończenia (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	F1 początku (%)14.4F1 ramek (%)80.7NajlepszyF1 zakończenia (%)11.5Najlepszy
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	F1 początku (%)56.7NajlepszyF1 ramek (%)58.9F1 zakończenia (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	F1 początku (%)56.1F1 ramek (%)74.6NajlepszyF1 zakończenia (%)32.6Najlepszy
RWC-P	YourMT3+Paper Table 2	19.1	F1 początku (%)36.1F1 ramek (%)51.6F1 zakończenia (%)20.6F1 perkusji (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	F1 początku (%)46.1NajlepszyF1 ramek (%)61.2NajlepszyF1 zakończenia (%)25.6NajlepszyF1 perkusji (%)42.1Najlepszy
RWC-C	YourMT3+Paper Table 2	40.5SOTA	F1 początku (%)71.7NajlepszyF1 ramek (%)71.3NajlepszyF1 zakończenia (%)44.3NajlepszyF1 perkusji (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	F1 początku (%)67.7F1 ramek (%)70.5F1 zakończenia (%)36.9F1 perkusji (%)23.7Najlepszy
RWC-G	YourMT3+Paper Table 2	17.2	F1 początku (%)36.9F1 ramek (%)49.4F1 zakończenia (%)20.5F1 perkusji (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	F1 początku (%)44.7NajlepszyF1 ramek (%)58.7NajlepszyF1 zakończenia (%)24.4NajlepszyF1 perkusji (%)29.2Najlepszy
RWC-J	YourMT3+Paper Table 2	26.4	F1 początku (%)52.9F1 ramek (%)57.2F1 zakończenia (%)31.1F1 perkusji (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	F1 początku (%)59.4NajlepszyF1 ramek (%)62.7NajlepszyF1 zakończenia (%)33.9NajlepszyF1 perkusji (%)31.3Najlepszy
RWC-R	YourMT3+Paper Table 2	23.1SOTA	F1 początku (%)46.1F1 ramek (%)61.5F1 zakończenia (%)28.6NajlepszyF1 perkusji (%)51.3Najlepszy
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	F1 początku (%)47.1NajlepszyF1 ramek (%)68.6NajlepszyF1 zakończenia (%)24.8F1 perkusji (%)36.5

Ablacja skali modelu MuScriptor

MuScriptor Table 4

Tabela 4 wykorzystuje wyłącznie trening D_Real i ten sam prywatny D_Test. Rozmiary wierszy są etykietami z artykułu, a nie dokładną liczbą parametrów publicznych checkpointów.

Notatki z artykułu i benchmarków	Model	Wieloinstrumentowe F1 (%)	Szczegółowe metryki
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	F1 początku (%)47.7F1 ramek (%)65.7F1 zakończenia (%)35.3F1 perkusji (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	F1 początku (%)51.2F1 ramek (%)67.2F1 zakończenia (%)38.7F1 perkusji (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	F1 początku (%)52.4F1 ramek (%)68.0F1 zakończenia (%)40.3F1 perkusji (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	F1 początku (%)53.2F1 ramek (%)68.7F1 zakończenia (%)41.0F1 perkusji (%)42.5

Oficjalne / repozytoria

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Artykuły / notatki techniczne

Nie podano żadnego linku do artykułu publicznego; Użyj oficjalnego repozytorium lub implementacji runtime jako źródła.

Przewodnik po parametrach

Przypadki użycia

Sprawdź, czy obsługiwane formaty wejściowe odpowiadają Twoim materiałom
Sprawdź, czy wyjście pasuje do twojego obecnego workflow
Rozważ runtime i kredyty, aby zdecydować, czy przetwarzanie wsadowe ma sens

Przepływ pracy

1Przygotuj plik wejściowy spełniający wymagania formatowe
2Potwierdź parametry i przekaż zadanie
3Śledź wynik na stronie zadania i pobierz plik wyjściowy

Lista kontrolna przed lotem

Potwierdź, że plik wejściowy spełnia limity formatu i rozmiaru
Najpierw zweryfikowaj wynik za pomocą jednej reprezentatywnej próby
Sprawdź dwa razy kredytowe i runtime szacunki przed przetwarzaniem wsadowym

Szybka opinia

Wpisz tutaj swoją sugestię lub prośbę i wyślij. Słuchamy każdego głosu i dokładamy starań, by dobre pomysły zamieniać w realne funkcje.

Warunek oceny

Model

Wieloinstrumentowe F1 (%)

Szczegółowe metryki

D_Test / CFG=1

MuScriptor-largeTelkNetPaper Table 1

48.20SOTA

F1 początku (%)60.40NajlepszyF1 ramek (%)73.30NajlepszyF1 zakończenia (%)49.00NajlepszyF1 perkusji (%)50.20Najlepszy

D_Test / YPTF.MoE+Multi (noPS)

YourMT3+Paper Table 1

21.90

F1 początku (%)32.52F1 ramek (%)45.54F1 zakończenia (%)17.79F1 perkusji (%)41.40

Warunek oceny

Model

Wieloinstrumentowe F1 (%)

Szczegółowe metryki

Bach10

YourMT3+Paper Table 2

26.4

F1 początku (%)59.8NajlepszyF1 ramek (%)66.0F1 zakończenia (%)48.0Najlepszy

Bach10

MuScriptor-largeTelkNetPaper Table 2

34.7SOTA

F1 początku (%)43.1F1 ramek (%)85.0NajlepszyF1 zakończenia (%)36.0

Dagstuhl ChoirSet

YourMT3+Paper Table 2

2.6

F1 początku (%)22.3NajlepszyF1 ramek (%)51.0F1 zakończenia (%)10.8

Dagstuhl ChoirSet

MuScriptor-largeTelkNetPaper Table 2

11.5SOTA

F1 początku (%)14.4F1 ramek (%)80.7NajlepszyF1 zakończenia (%)11.5Najlepszy

PHENICX-Anechoic

YourMT3+Paper Table 2

12.2

F1 początku (%)56.7NajlepszyF1 ramek (%)58.9F1 zakończenia (%)18.7

PHENICX-Anechoic

MuScriptor-largeTelkNetPaper Table 2

25.7SOTA

F1 początku (%)56.1F1 ramek (%)74.6NajlepszyF1 zakończenia (%)32.6Najlepszy

RWC-P

YourMT3+Paper Table 2

19.1

F1 początku (%)36.1F1 ramek (%)51.6F1 zakończenia (%)20.6F1 perkusji (%)36.5

RWC-P

MuScriptor-largeTelkNetPaper Table 2

25.6SOTA

F1 początku (%)46.1NajlepszyF1 ramek (%)61.2NajlepszyF1 zakończenia (%)25.6NajlepszyF1 perkusji (%)42.1Najlepszy

RWC-C

YourMT3+Paper Table 2

40.5SOTA

F1 początku (%)71.7NajlepszyF1 ramek (%)71.3NajlepszyF1 zakończenia (%)44.3NajlepszyF1 perkusji (%)8.7

RWC-C

MuScriptor-largeTelkNetPaper Table 2

36.0

F1 początku (%)67.7F1 ramek (%)70.5F1 zakończenia (%)36.9F1 perkusji (%)23.7Najlepszy

RWC-G

YourMT3+Paper Table 2

17.2

F1 początku (%)36.9F1 ramek (%)49.4F1 zakończenia (%)20.5F1 perkusji (%)25.6

RWC-G

MuScriptor-largeTelkNetPaper Table 2

23.7SOTA

F1 początku (%)44.7NajlepszyF1 ramek (%)58.7NajlepszyF1 zakończenia (%)24.4NajlepszyF1 perkusji (%)29.2Najlepszy

RWC-J

YourMT3+Paper Table 2

26.4

F1 początku (%)52.9F1 ramek (%)57.2F1 zakończenia (%)31.1F1 perkusji (%)30.6

RWC-J

MuScriptor-largeTelkNetPaper Table 2

31.8SOTA

F1 początku (%)59.4NajlepszyF1 ramek (%)62.7NajlepszyF1 zakończenia (%)33.9NajlepszyF1 perkusji (%)31.3Najlepszy

RWC-R

YourMT3+Paper Table 2

23.1SOTA

F1 początku (%)46.1F1 ramek (%)61.5F1 zakończenia (%)28.6NajlepszyF1 perkusji (%)51.3Najlepszy

RWC-R

MuScriptor-largeTelkNetPaper Table 2

20.3

F1 początku (%)47.1NajlepszyF1 ramek (%)68.6NajlepszyF1 zakończenia (%)24.8F1 perkusji (%)36.5

Notatki z artykułu i benchmarków

Model

Wieloinstrumentowe F1 (%)

Szczegółowe metryki

D_Real only / conditioning on

MuScriptor 60MPaper Table 4

35.2

F1 początku (%)47.7F1 ramek (%)65.7F1 zakończenia (%)35.3F1 perkusji (%)39.8

D_Real only / conditioning on

MuScriptor 100MPaper Table 4

38.2

F1 początku (%)51.2F1 ramek (%)67.2F1 zakończenia (%)38.7F1 perkusji (%)41.5

D_Real only / conditioning on

MuScriptor 300MPaper Table 4

39.7

F1 początku (%)52.4F1 ramek (%)68.0F1 zakończenia (%)40.3F1 perkusji (%)42.0

D_Real only / conditioning on

MuScriptor 1.3BPaper Table 4

40.5

F1 początku (%)53.2F1 ramek (%)68.7F1 zakończenia (%)41.0F1 perkusji (%)42.5