Що таке Багатоінструментальна транскрипція MuScriptor?

Перетворіть змішаний запис у мультиінструментальний MIDI за допомогою MuScriptor-large; Підтримує введення у форматах, таких як mp3 / wav / flac

Для кого Багатоінструментальна транскрипція MuScriptor?

MIDI / транскрипція Перетворіть змішаний запис у мультиінструментальний MIDI за допомогою MuScriptor-large; Підтримує введення у форматах, таких як mp3 / wav / flac

Які моделі та ключові слова пов'язані з Багатоінструментальна транскрипція MuScriptor?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

Багатоінструментальна транскрипція MuScriptor

Q: З якими завданнями Багатоінструментальна транскрипція MuScriptor може допомогти?

MIDI / транскрипція; Перетворіть змішаний запис у мультиінструментальний MIDI за допомогою MuScriptor-large; Підтримує введення у форматах, таких як mp3 / wav / flac; Перевірте, чи відповідають підтримувані формати введення вашому матеріалу; Перевірте, чи відповідає результат вашому поточному робочому процесу; Зважте runtime і кредити, щоб вирішити, чи має сенс пакетна обробка

MuScriptor-large

Цей маршрут використовує лише флагманський checkpoint MuScriptor-large; повернення до small, medium або квантованої версії немає.

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Точна ідентичність: 1 366 399 488 параметрів F32; safetensors розміром 5 465 642 136 байт; revision 8809fdfbed2affa7ade94a7059e746e3880720e7.
Decoder-only Transformer: 48 шарів, ширина 1536 і 24 голови; моно 16 кГц, фрагменти 5 с та mel 512 bins при 100 Гц.
Вихід — багатодоріжковий MIDI Type-1; 35 міток UI відповідають 36 навченим групам. Velocity залишається фіксованою на 100. Під час обробки BPM джерела визначається й записується автоматично. Після завершення швидкість відтворення та BPM можна змінити в елементі попереднього перегляду, а завантаження використовує його поточне налаштування. Зміни темпу оригіналу не відновлюються.

Бенчмарк-графік: Порівняння MuScriptor-large за даними авторів / MuScriptor і YourMT3+ на восьми відкритих наборах / Абляція масштабу моделі MuScriptor

Обсяг відкритих локально розгортаних моделей: таблиці містять лише рядки з перевіреними доступними для завантаження вагами або конфігураціями та шляхом локального запуску. SOTA й «Найкращий» стосуються тільки показаних перевірених рядків, не включають хостовані, лише API чи комерційні системи й не є універсальним рейтингом.

Порівняння MuScriptor-large за даними авторів

MuScriptor Table 1

На тому самому закритому D_Test автори порівнюють фінальну модель з CFG=1 і YourMT3+. Результати не відтворено незалежно й не можна напряму порівнювати з MIROS або іншими протоколами.

Умова оцінювання	Модель	Багатоінструментальний F1 (%)	Докладні метрики
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	F1 початку (%)60.40НайкращийF1 кадрів (%)73.30НайкращийF1 завершення (%)49.00НайкращийF1 ударних (%)50.20Найкращий
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	F1 початку (%)32.52F1 кадрів (%)45.54F1 завершення (%)17.79F1 ударних (%)41.40

MuScriptor і YourMT3+ на восьми відкритих наборах

MuScriptor Table 2

Таблиця 2 статті оцінює дві опубліковані локально розгортані моделі на восьми наборах, яких не було в жодному тренувальному наборі. SOTA й найкращий результат обчислюються окремо для кожного набору; MIROS не додано, бо стаття не подає результату за цим протоколом.

Умова оцінювання	Модель	Багатоінструментальний F1 (%)	Докладні метрики
Bach10	YourMT3+Paper Table 2	26.4	F1 початку (%)59.8НайкращийF1 кадрів (%)66.0F1 завершення (%)48.0Найкращий
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	F1 початку (%)43.1F1 кадрів (%)85.0НайкращийF1 завершення (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	F1 початку (%)22.3НайкращийF1 кадрів (%)51.0F1 завершення (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	F1 початку (%)14.4F1 кадрів (%)80.7НайкращийF1 завершення (%)11.5Найкращий
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	F1 початку (%)56.7НайкращийF1 кадрів (%)58.9F1 завершення (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	F1 початку (%)56.1F1 кадрів (%)74.6НайкращийF1 завершення (%)32.6Найкращий
RWC-P	YourMT3+Paper Table 2	19.1	F1 початку (%)36.1F1 кадрів (%)51.6F1 завершення (%)20.6F1 ударних (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	F1 початку (%)46.1НайкращийF1 кадрів (%)61.2НайкращийF1 завершення (%)25.6НайкращийF1 ударних (%)42.1Найкращий
RWC-C	YourMT3+Paper Table 2	40.5SOTA	F1 початку (%)71.7НайкращийF1 кадрів (%)71.3НайкращийF1 завершення (%)44.3НайкращийF1 ударних (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	F1 початку (%)67.7F1 кадрів (%)70.5F1 завершення (%)36.9F1 ударних (%)23.7Найкращий
RWC-G	YourMT3+Paper Table 2	17.2	F1 початку (%)36.9F1 кадрів (%)49.4F1 завершення (%)20.5F1 ударних (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	F1 початку (%)44.7НайкращийF1 кадрів (%)58.7НайкращийF1 завершення (%)24.4НайкращийF1 ударних (%)29.2Найкращий
RWC-J	YourMT3+Paper Table 2	26.4	F1 початку (%)52.9F1 кадрів (%)57.2F1 завершення (%)31.1F1 ударних (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	F1 початку (%)59.4НайкращийF1 кадрів (%)62.7НайкращийF1 завершення (%)33.9НайкращийF1 ударних (%)31.3Найкращий
RWC-R	YourMT3+Paper Table 2	23.1SOTA	F1 початку (%)46.1F1 кадрів (%)61.5F1 завершення (%)28.6НайкращийF1 ударних (%)51.3Найкращий
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	F1 початку (%)47.1НайкращийF1 кадрів (%)68.6НайкращийF1 завершення (%)24.8F1 ударних (%)36.5

Абляція масштабу моделі MuScriptor

MuScriptor Table 4

У таблиці 4 використано навчання лише на D_Real і той самий закритий D_Test. Розміри рядків — позначення зі статті, а не точна кількість параметрів публічних checkpointів.

Паперові та бенчмаркові нотатки	Модель	Багатоінструментальний F1 (%)	Докладні метрики
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	F1 початку (%)47.7F1 кадрів (%)65.7F1 завершення (%)35.3F1 ударних (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	F1 початку (%)51.2F1 кадрів (%)67.2F1 завершення (%)38.7F1 ударних (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	F1 початку (%)52.4F1 кадрів (%)68.0F1 завершення (%)40.3F1 ударних (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	F1 початку (%)53.2F1 кадрів (%)68.7F1 завершення (%)41.0F1 ударних (%)42.5

Офіційні / репозиторії

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Статті / технічні нотатки

Жодного посилання на публічну статтю не вказано; Використовуйте офіційний репозиторій або реалізацію runtime як джерело.

Багатоінструментальна транскрипція MuScriptor

Моделі, параметри та джерела

MuScriptor-large

Бенчмарк-графік: Порівняння MuScriptor-large за даними авторів / MuScriptor і YourMT3+ на восьми відкритих наборах / Абляція масштабу моделі MuScriptor

Порівняння MuScriptor-large за даними авторів

MuScriptor і YourMT3+ на восьми відкритих наборах

Абляція масштабу моделі MuScriptor

Офіційні / репозиторії

Статті / технічні нотатки

Керівництво параметрів

Сценарії використання

Робочий процес

Передпольотний чек-лист

Швидкий відгук