Phiên âm đa nhạc cụ MuScriptor là gì?

Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large; Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac

Phiên âm đa nhạc cụ MuScriptor dành cho ai?

MIDI / phiên âm Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large; Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac

MIDI / phiên âmGPU khối lượng công việcSOTA

Phiên âm đa nhạc cụ MuScriptor

Q: Phiên âm đa nhạc cụ MuScriptor có thể giúp những nhiệm vụ nào?

MIDI / phiên âm; Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large; Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac; Kiểm tra xem các định dạng đầu vào được hỗ trợ có khớp với tài liệu của bạn hay không; Xác nhận xem đầu ra có phù hợp với quy trình làm việc hiện tại của bạn hay không; Cân nhắc runtime và tín dụng để quyết định xem xử lý hàng loạt có hợp lý hay không

Q: Mô hình và thực thể từ khóa nào được kết nối với Phiên âm đa nhạc cụ MuScriptor?

MuScriptor-large, MuScriptor source (pinned), MuScriptor-large weights (pinned), MuScriptor paper, MuScriptor Table 1, D_Test / CFG=1, Paper Table 1, YourMT3+

Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large

5 tín dụng/sử dụngĐầu vào tệpTối đa 100 MBƯớc tính 90-1800 giây

Đầu vào

Hỗ trợ đầu vào ở các định dạng như mp3 / wav / flac

Các định dạng được hỗ trợ

mp3wavflacoggm4aaacaifaiffmp4movmkv

Đầu ra

Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large

Trường hợp sử dụng

Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large

Mô hình, thông số và nguồn

Biến bản ghi hỗn hợp thành MIDI nhiều nhạc cụ với MuScriptor-large

MuScriptor-largeMuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paperMuScriptor Table 1D_Test / CFG=1Paper Table 1YourMT3+D_Test / YPTF.MoE+Multi (noPS)MuScriptor Table 2Bach10Paper Table 2

MuScriptor-large

Tuyến này chỉ cung cấp checkpoint cao cấp MuScriptor-large; không fallback sang small, medium hay bản quantized.

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Định danh chính xác: 1.366.399.488 tham số F32; safetensors 5.465.642.136 byte; revision 8809fdfbed2affa7ade94a7059e746e3880720e7.
Decoder-only Transformer 48 lớp, độ rộng 1536 và 24 heads; mono 16 kHz, đoạn 5 giây và mel 512 bins ở 100 Hz.
Xuất MIDI đa track Type-1; 35 nhãn UI ánh xạ vào 36 nhóm đã học. Velocity vẫn cố định ở 100. Quá trình xử lý tự động nhận dạng và ghi BPM của nguồn. Sau khi hoàn tất, có thể chỉnh tốc độ phát và BPM trong bộ điều khiển xem trước; tệp tải xuống dùng thiết lập hiện tại của bộ điều khiển. Các thay đổi tempo của bản gốc không được dựng lại.

Biểu đồ điểm chuẩn: So sánh MuScriptor-large theo báo cáo của tác giả / MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai / Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

Phạm vi nguồn mở có thể triển khai cục bộ: các bảng này chỉ gồm những hàng đã xác minh có trọng số hoặc cấu hình tải xuống được và có quy trình triển khai cục bộ. SOTA và Tốt nhất chỉ tương đối trong các hàng đã xác minh đang hiển thị, không gồm hệ thống lưu trữ, chỉ API hoặc thương mại và không phải bảng xếp hạng toàn diện.

So sánh MuScriptor-large theo báo cáo của tác giả

MuScriptor Table 1

Trên cùng bộ D_Test riêng tư, bài báo so sánh mô hình cuối với CFG=1 và YourMT3+. Kết quả chưa được tái lập độc lập và không thể so sánh trực tiếp với MIROS hay các quy trình đánh giá khác.

Điều kiện đánh giá	Mô hình	F1 đa nhạc cụ (%)	Chỉ số chi tiết
D_Test / CFG=1	MuScriptor-largeTelkNetPaper Table 1	48.20SOTA	F1 điểm bắt đầu (%)60.40Tốt nhấtF1 theo khung (%)73.30Tốt nhấtF1 điểm kết thúc (%)49.00Tốt nhấtF1 trống (%)50.20Tốt nhất
D_Test / YPTF.MoE+Multi (noPS)	YourMT3+Paper Table 1	21.90	F1 điểm bắt đầu (%)32.52F1 theo khung (%)45.54F1 điểm kết thúc (%)17.79F1 trống (%)41.40

MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai

MuScriptor Table 2

Bảng 2 của bài báo đánh giá hai mô hình đã phát hành và có thể triển khai cục bộ trên tám bộ dữ liệu không nằm trong tập huấn luyện của cả hai. SOTA và Tốt nhất được tính riêng trong từng bộ; MIROS không được thêm vì bài báo không có kết quả theo giao thức này.

Điều kiện đánh giá	Mô hình	F1 đa nhạc cụ (%)	Chỉ số chi tiết
Bach10	YourMT3+Paper Table 2	26.4	F1 điểm bắt đầu (%)59.8Tốt nhấtF1 theo khung (%)66.0F1 điểm kết thúc (%)48.0Tốt nhất
Bach10	MuScriptor-largeTelkNetPaper Table 2	34.7SOTA	F1 điểm bắt đầu (%)43.1F1 theo khung (%)85.0Tốt nhấtF1 điểm kết thúc (%)36.0
Dagstuhl ChoirSet	YourMT3+Paper Table 2	2.6	F1 điểm bắt đầu (%)22.3Tốt nhấtF1 theo khung (%)51.0F1 điểm kết thúc (%)10.8
Dagstuhl ChoirSet	MuScriptor-largeTelkNetPaper Table 2	11.5SOTA	F1 điểm bắt đầu (%)14.4F1 theo khung (%)80.7Tốt nhấtF1 điểm kết thúc (%)11.5Tốt nhất
PHENICX-Anechoic	YourMT3+Paper Table 2	12.2	F1 điểm bắt đầu (%)56.7Tốt nhấtF1 theo khung (%)58.9F1 điểm kết thúc (%)18.7
PHENICX-Anechoic	MuScriptor-largeTelkNetPaper Table 2	25.7SOTA	F1 điểm bắt đầu (%)56.1F1 theo khung (%)74.6Tốt nhấtF1 điểm kết thúc (%)32.6Tốt nhất
RWC-P	YourMT3+Paper Table 2	19.1	F1 điểm bắt đầu (%)36.1F1 theo khung (%)51.6F1 điểm kết thúc (%)20.6F1 trống (%)36.5
RWC-P	MuScriptor-largeTelkNetPaper Table 2	25.6SOTA	F1 điểm bắt đầu (%)46.1Tốt nhấtF1 theo khung (%)61.2Tốt nhấtF1 điểm kết thúc (%)25.6Tốt nhấtF1 trống (%)42.1Tốt nhất
RWC-C	YourMT3+Paper Table 2	40.5SOTA	F1 điểm bắt đầu (%)71.7Tốt nhấtF1 theo khung (%)71.3Tốt nhấtF1 điểm kết thúc (%)44.3Tốt nhấtF1 trống (%)8.7
RWC-C	MuScriptor-largeTelkNetPaper Table 2	36.0	F1 điểm bắt đầu (%)67.7F1 theo khung (%)70.5F1 điểm kết thúc (%)36.9F1 trống (%)23.7Tốt nhất
RWC-G	YourMT3+Paper Table 2	17.2	F1 điểm bắt đầu (%)36.9F1 theo khung (%)49.4F1 điểm kết thúc (%)20.5F1 trống (%)25.6
RWC-G	MuScriptor-largeTelkNetPaper Table 2	23.7SOTA	F1 điểm bắt đầu (%)44.7Tốt nhấtF1 theo khung (%)58.7Tốt nhấtF1 điểm kết thúc (%)24.4Tốt nhấtF1 trống (%)29.2Tốt nhất
RWC-J	YourMT3+Paper Table 2	26.4	F1 điểm bắt đầu (%)52.9F1 theo khung (%)57.2F1 điểm kết thúc (%)31.1F1 trống (%)30.6
RWC-J	MuScriptor-largeTelkNetPaper Table 2	31.8SOTA	F1 điểm bắt đầu (%)59.4Tốt nhấtF1 theo khung (%)62.7Tốt nhấtF1 điểm kết thúc (%)33.9Tốt nhấtF1 trống (%)31.3Tốt nhất
RWC-R	YourMT3+Paper Table 2	23.1SOTA	F1 điểm bắt đầu (%)46.1F1 theo khung (%)61.5F1 điểm kết thúc (%)28.6Tốt nhấtF1 trống (%)51.3Tốt nhất
RWC-R	MuScriptor-largeTelkNetPaper Table 2	20.3	F1 điểm bắt đầu (%)47.1Tốt nhấtF1 theo khung (%)68.6Tốt nhấtF1 điểm kết thúc (%)24.8F1 trống (%)36.5

Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

MuScriptor Table 4

Bảng 4 chỉ dùng dữ liệu huấn luyện D_Real và cùng bộ D_Test riêng tư. Kích thước từng hàng là nhãn trong bài báo, không phải số tham số chính xác của checkpoint công khai.

Giấy tờ và ghi chú điểm chuẩn	Mô hình	F1 đa nhạc cụ (%)	Chỉ số chi tiết
D_Real only / conditioning on	MuScriptor 60MPaper Table 4	35.2	F1 điểm bắt đầu (%)47.7F1 theo khung (%)65.7F1 điểm kết thúc (%)35.3F1 trống (%)39.8
D_Real only / conditioning on	MuScriptor 100MPaper Table 4	38.2	F1 điểm bắt đầu (%)51.2F1 theo khung (%)67.2F1 điểm kết thúc (%)38.7F1 trống (%)41.5
D_Real only / conditioning on	MuScriptor 300MPaper Table 4	39.7	F1 điểm bắt đầu (%)52.4F1 theo khung (%)68.0F1 điểm kết thúc (%)40.3F1 trống (%)42.0
D_Real only / conditioning on	MuScriptor 1.3BPaper Table 4	40.5	F1 điểm bắt đầu (%)53.2F1 theo khung (%)68.7F1 điểm kết thúc (%)41.0F1 trống (%)42.5

Chính thức / kho lưu trữ

MuScriptor source (pinned)MuScriptor-large weights (pinned)MuScriptor paper

Giấy tờ/ghi chú kỹ thuật

Không có liên kết giấy công khai nào được liệt kê; Sử dụng repo chính thức hoặc triển khai runtime làm nguồn.

Hướng dẫn tham số

Trường hợp sử dụng

Kiểm tra xem các định dạng đầu vào được hỗ trợ có khớp với tài liệu của bạn hay không
Xác nhận xem đầu ra có phù hợp với quy trình làm việc hiện tại của bạn hay không
Cân nhắc runtime và tín dụng để quyết định xem xử lý hàng loạt có hợp lý hay không

Quy trình làm việc

1Chuẩn bị tệp đầu vào phù hợp với yêu cầu định dạng
2Xác nhận các thông số và gửi nhiệm vụ
3Theo dõi kết quả trên trang nhiệm vụ và tải xuống tệp đầu ra

Danh sách kiểm tra trước chuyến bay

Xác nhận tệp đầu vào đáp ứng giới hạn định dạng và kích thước
Xác nhận kết quả với một mẫu đại diện trước
Kiểm tra kỹ ước tính tín dụng và runtime trước khi xử lý hàng loạt

Điều kiện đánh giá

Mô hình

F1 đa nhạc cụ (%)

Chỉ số chi tiết

D_Test / CFG=1

MuScriptor-largeTelkNetPaper Table 1

48.20SOTA

F1 điểm bắt đầu (%)60.40Tốt nhấtF1 theo khung (%)73.30Tốt nhấtF1 điểm kết thúc (%)49.00Tốt nhấtF1 trống (%)50.20Tốt nhất

D_Test / YPTF.MoE+Multi (noPS)

YourMT3+Paper Table 1

21.90

F1 điểm bắt đầu (%)32.52F1 theo khung (%)45.54F1 điểm kết thúc (%)17.79F1 trống (%)41.40

Điều kiện đánh giá

Mô hình

F1 đa nhạc cụ (%)

Chỉ số chi tiết

Bach10

YourMT3+Paper Table 2

26.4

F1 điểm bắt đầu (%)59.8Tốt nhấtF1 theo khung (%)66.0F1 điểm kết thúc (%)48.0Tốt nhất

Bach10

MuScriptor-largeTelkNetPaper Table 2

34.7SOTA

F1 điểm bắt đầu (%)43.1F1 theo khung (%)85.0Tốt nhấtF1 điểm kết thúc (%)36.0

Dagstuhl ChoirSet

YourMT3+Paper Table 2

2.6

F1 điểm bắt đầu (%)22.3Tốt nhấtF1 theo khung (%)51.0F1 điểm kết thúc (%)10.8

Dagstuhl ChoirSet

MuScriptor-largeTelkNetPaper Table 2

11.5SOTA

F1 điểm bắt đầu (%)14.4F1 theo khung (%)80.7Tốt nhấtF1 điểm kết thúc (%)11.5Tốt nhất

PHENICX-Anechoic

YourMT3+Paper Table 2

12.2

F1 điểm bắt đầu (%)56.7Tốt nhấtF1 theo khung (%)58.9F1 điểm kết thúc (%)18.7

PHENICX-Anechoic

MuScriptor-largeTelkNetPaper Table 2

25.7SOTA

F1 điểm bắt đầu (%)56.1F1 theo khung (%)74.6Tốt nhấtF1 điểm kết thúc (%)32.6Tốt nhất

RWC-P

YourMT3+Paper Table 2

19.1

F1 điểm bắt đầu (%)36.1F1 theo khung (%)51.6F1 điểm kết thúc (%)20.6F1 trống (%)36.5

RWC-P

MuScriptor-largeTelkNetPaper Table 2

25.6SOTA

F1 điểm bắt đầu (%)46.1Tốt nhấtF1 theo khung (%)61.2Tốt nhấtF1 điểm kết thúc (%)25.6Tốt nhấtF1 trống (%)42.1Tốt nhất

RWC-C

YourMT3+Paper Table 2

40.5SOTA

F1 điểm bắt đầu (%)71.7Tốt nhấtF1 theo khung (%)71.3Tốt nhấtF1 điểm kết thúc (%)44.3Tốt nhấtF1 trống (%)8.7

RWC-C

MuScriptor-largeTelkNetPaper Table 2

36.0

F1 điểm bắt đầu (%)67.7F1 theo khung (%)70.5F1 điểm kết thúc (%)36.9F1 trống (%)23.7Tốt nhất

RWC-G

YourMT3+Paper Table 2

17.2

F1 điểm bắt đầu (%)36.9F1 theo khung (%)49.4F1 điểm kết thúc (%)20.5F1 trống (%)25.6

RWC-G

MuScriptor-largeTelkNetPaper Table 2

23.7SOTA

F1 điểm bắt đầu (%)44.7Tốt nhấtF1 theo khung (%)58.7Tốt nhấtF1 điểm kết thúc (%)24.4Tốt nhấtF1 trống (%)29.2Tốt nhất

RWC-J

YourMT3+Paper Table 2

26.4

F1 điểm bắt đầu (%)52.9F1 theo khung (%)57.2F1 điểm kết thúc (%)31.1F1 trống (%)30.6

RWC-J

MuScriptor-largeTelkNetPaper Table 2

31.8SOTA

F1 điểm bắt đầu (%)59.4Tốt nhấtF1 theo khung (%)62.7Tốt nhấtF1 điểm kết thúc (%)33.9Tốt nhấtF1 trống (%)31.3Tốt nhất

RWC-R

YourMT3+Paper Table 2

23.1SOTA

F1 điểm bắt đầu (%)46.1F1 theo khung (%)61.5F1 điểm kết thúc (%)28.6Tốt nhấtF1 trống (%)51.3Tốt nhất

RWC-R

MuScriptor-largeTelkNetPaper Table 2

20.3

F1 điểm bắt đầu (%)47.1Tốt nhấtF1 theo khung (%)68.6Tốt nhấtF1 điểm kết thúc (%)24.8F1 trống (%)36.5

Giấy tờ và ghi chú điểm chuẩn

Mô hình

F1 đa nhạc cụ (%)

Chỉ số chi tiết

D_Real only / conditioning on

MuScriptor 60MPaper Table 4

35.2

F1 điểm bắt đầu (%)47.7F1 theo khung (%)65.7F1 điểm kết thúc (%)35.3F1 trống (%)39.8

D_Real only / conditioning on

MuScriptor 100MPaper Table 4

38.2

F1 điểm bắt đầu (%)51.2F1 theo khung (%)67.2F1 điểm kết thúc (%)38.7F1 trống (%)41.5

D_Real only / conditioning on

MuScriptor 300MPaper Table 4

39.7

F1 điểm bắt đầu (%)52.4F1 theo khung (%)68.0F1 điểm kết thúc (%)40.3F1 trống (%)42.0

D_Real only / conditioning on

MuScriptor 1.3BPaper Table 4

40.5

F1 điểm bắt đầu (%)53.2F1 theo khung (%)68.7F1 điểm kết thúc (%)41.0F1 trống (%)42.5

Trường hợp sử dụng

Kiểm tra xem các định dạng đầu vào được hỗ trợ có khớp với tài liệu của bạn hay không

Xác nhận xem đầu ra có phù hợp với quy trình làm việc hiện tại của bạn hay không

Cân nhắc runtime và tín dụng để quyết định xem xử lý hàng loạt có hợp lý hay không

Phiên âm đa nhạc cụ MuScriptor

Mô hình, thông số và nguồn

MuScriptor-large

Biểu đồ điểm chuẩn: So sánh MuScriptor-large theo báo cáo của tác giả / MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai / Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

So sánh MuScriptor-large theo báo cáo của tác giả

MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai

Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

Chính thức / kho lưu trữ

Giấy tờ/ghi chú kỹ thuật

Hướng dẫn tham số

Trường hợp sử dụng

Quy trình làm việc

Danh sách kiểm tra trước chuyến bay

Phiên âm đa nhạc cụ MuScriptor

Mô hình, thông số và nguồn

MuScriptor-large

Biểu đồ điểm chuẩn: So sánh MuScriptor-large theo báo cáo của tác giả / MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai / Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

So sánh MuScriptor-large theo báo cáo của tác giả

MuScriptor và YourMT3+ trên tám bộ dữ liệu công khai

Thử nghiệm loại trừ theo quy mô mô hình MuScriptor

Chính thức / kho lưu trữ

Giấy tờ/ghi chú kỹ thuật

Hướng dẫn tham số

Trường hợp sử dụng

Quy trình làm việc

Danh sách kiểm tra trước chuyến bay

Phản hồi nhanh