Mô hình
MuScriptor-large: phép đo thực tế và ranh giới của 1,366 tỷ tham số kết hợp hoàn chỉnh với MIDI nhiều bản nhạc
Phiên âm nhạc tự động
Phiên âm nhạc tự động
PHIÊN ÂM ÂM NHẠC TỰ ĐỘNG
MuScriptor-large là checkpoint công khai lớn nhất của MuScriptor và là lựa chọn đầu bảng, chất lượng tốt nhất trên model card. Mô hình chuyển âm thanh mono 16 kHz thành các đoạn năm giây, biểu diễn chúng dưới dạng đặc trưng mel 512 bin, rồi dùng một Transformer decoder-only 48 lớp để sinh ra các sự kiện cao độ, onset, offset, nhạc cụ và trống. Checkpoint công khai chứa đúng 1,366,399,488 tham số F32, trong một tệp safetensors nặng 5,465,642,136 byte.
Lớn nhất trong một họ mô hình không đồng nghĩa với state of the art toàn diện. Bài báo ghi nhận mức cải thiện lớn so với YourMT3+ trên tập D_Test riêng tư của nhóm, đồng thời công bố kết quả trên tám bộ dữ liệu bên ngoài, nơi MuScriptor không thắng mọi chỉ số. D_Real, D_RL và D_Test đều không công khai, và MIROS chưa từng được so sánh trên cùng âm thanh, cùng chỉ số và cùng giao thức hậu xử lý. Kết luận đủ căn cứ vì thế hẹp hơn: MuScriptor-large là một trong những ứng viên trọng số mở mới mạnh nhất cho AMT đa nhạc cụ tổng quát, dựa trên các kết quả dẫn đầu do chính tác giả báo cáo.
MuScriptor phát hành các checkpoint small, medium và large. Metadata của kho lưu trữ ghi số tham số chính xác là 102,968,832, 307,030,528 và 1,366,399,488. Bản large lớn gấp khoảng 4.45 lần bản medium và được mô tả dứt khoát là bản phát hành đầu bảng, chất lượng tốt nhất. Thí nghiệm ablation về quy mô trong bài báo dùng các nhãn 60M, 100M, 300M và 1.3B; không được lấy những nhãn thí nghiệm ấy thay cho số tham số chính xác của ba checkpoint công khai.
Tại revision 8809fdfbed2affa7ade94a7059e746e3880720e7, kho trọng số chứa một tệp model.safetensors nặng 5,465,642,136 byte cùng một vài tệp cấu hình. Mã nguồn được ghim riêng tại commit 302343e8992bdfc619f77f1988168374ed5d675d. Các định danh này cùng nhau khóa chặt kiến trúc, tokenizer, tham số suy luận mặc định và trọng số. Nhãn “large” là chưa đủ nếu một bản triển khai có thể lặng lẽ nạp medium hay chạy theo nhánh main luôn thay đổi.
Lưu trữ dạng F32 không có nghĩa mọi phép tính đều phải chạy F32, cũng không chứng minh rằng một bản dẫn xuất low-bit không chính thức có chất lượng tương đương. Bản phát hành không kèm nghiên cứu chất lượng cùng giao thức nào cho một checkpoint lượng tử hóa thay thế. Một lộ trình đặt chất lượng lên trước vì thế có thể yêu cầu đúng định danh large và báo lỗi rõ ràng khi không nạp được, thay vì tự chuyển xuống tầng nhỏ hơn.
Đầu vào được chuyển về mono 16 kHz. Biến đổi Fourier thời gian ngắn dùng cửa sổ 2,048 điểm và bước nhảy 160 mẫu, tạo ra 100 khung hình mỗi giây, rồi chiếu chúng vào 512 bin mel. Một đoạn năm giây vì thế chứa khoảng 500 khung âm học. Các đặc trưng này đi vào một Transformer decoder-only với độ rộng 1,536, 24 đầu chú ý và 48 lớp. Mô hình không tách bản phối thành một tập stem cố định rồi chạy bộ phiên âm độc lập cho từng stem; các sự kiện thờii gian, nhạc cụ và nốt nhạc được sinh chung trong một chuỗi duy nhất.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xbiểu diễn mel của một đoạn âm thanh năm giâycđiều kiện nhạc cụ tùy chọn; tập rỗng nghĩa là tự động nhận diệnynmột token sự kiện thờii gian, nhạc cụ, cao độ hoặc kết thúcPhép phân tích tự hồi quy cho phép các nhạc cụ và hợp âm đã sinh trước đó cung cấp ngữ cảnh cho những quyết định sau, điều hữu ích khi cần ngữ cảnh chéo giữa các nhạc cụ trong một bản phối đầy đủ. Nhưng nó cũng lan truyền lỗi. Một time-shift sai có thể đẩy lệch các nốt phía sau, một note-off bị thiếu sẽ để lại nốt treo, và độ trôi của token nhạc cụ có thể đặt cao độ đúng vào sai rãnh.
Ví dụ chính thức hiện tại dùng batch size 1, beam size 1, cfg_coef=1 và prelude forcing. Beam size 1 là một đường argmax tất định. Beam rộng hơn giữ lại nhiều tiền tố hơn và tốn thêm bộ nhớ; khi chưa có ablation có kiểm soát, không thể cứ thế dán nhãn beam 4 là “chất lượng tối đa”.
Classifier-free guidance làm sắc điều kiện bằng cách kết hợp logits có điều kiện và vô điều kiện: ℓ=ℓu+s(ℓc−ℓu). Bảng cuối của bài báo ghi Multi F1 đạt 48.2 ở CFG=1 và 47.8 ở CFG=2. Mặc định công khai vì thế vẫn là 1, thay vì cho rằng hệ số guidance càng lớn càng tốt.
Bài báo chia dữ liệu huấn luyện thành ba lớp. D_Synth gồm khoảng 1.45 triệu tệp MIDI từ Lakh MIDI và một nhà cung cấp dữ liệu thương mại, được kết xuất qua hơn 250 SoundFonts. Các phép ngẫu nhiên hóa về chuyển giọng, tempo, velocity, nhạc cụ và lệch tông đưa cùng một chất liệu ký hiệu đến vùng âm sắc rộng hơn. Kết xuất tổng hợp cho biên sự kiện chính xác, nhưng không tái hiện hết được tiếng lọt micro, công đoạn mastering, tạp âm của ngườii chơi hay đuôi dài của sản xuất thực tế.
D_Real chứa khoảng 170,000 bản thu nội bộ, tổng cộng chừng 11,000 giờ. Nhãn nốt của chúng đến từ căn chỉnh âm thanh–ký hiệu chứ không phải gán nhãn thủ công ở mức mẫu. Bản phối thực mở rộng phân phối sản xuất, đồng thờii kéo theo bài toán khớp tên bài, khác biệt phiên bản, độ trễ plug-in và sai số căn chỉnh. D_RL sau đó chọn 300 bản phiên âm chất lượng cao đã được con ngườii thẩm định cho giai đoạn hậu huấn luyện kiểu GRPO/REINFORCE. Ba giai đoạn xử lý lần lượt độ phủ, dịch miền và ưu tiên chuỗi, nhưng bộ dữ liệu thực và bộ dữ liệu thưởng đều không công khai.
Học có giám sát tối thiểu hóa negative log likelihood ở mức token, còn hậu huấn luyện dùng phần thưởng tổ hợp từ các độ đo onset, offset, frame, drums và đa nhạc cụ. Tối ưu ở mức chuỗi có thể phạt những lỗi cấu trúc mà phân loại token độc lập bỏ sót. Vì tập thưởng đã thẩm định chỉ có 300 bản, độ phủ với nhạc cụ hiếm, tempo cực đoan và các truyền thống phi phương Tây vẫn cần đánh giá bên ngoài một cách công khai.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTcross-entropy chuỗi trong huấn luyện có giám sátR(y)phần thưởng tổ hợp cho một bản phiên âm hoàn chỉnhD_RL300 bản phiên âm đã thẩm định, không phải benchmark công khaiMuScriptor ánh xạ 128 program General MIDI vào các nhóm nhạc cụ MT3_FULL_PLUS. Mô hình học 36 nhóm, trong khi demo công khai cho chọn 35 tên: piano acoustic và điện, ba nhóm guitar, bass acoustic và điện, dây, đồng, gỗ, synthesizer, giọng hát và trống nằm trong số đó. Khoảng chênh phản ánh ranh giới giữa biểu diễn nội bộ và giao diện có thể chọn; không nên trích dẫn 35 lựa chọn giao diện như tổng số loại đã học.
Khi trường nhạc cụ để trống, mô hình có thể nhận diện bất kỳ nhóm nào được hỗ trợ. Ngay khi một hoặc nhiều tên được chọn, decoder sẽ mask cứng mọi token nhạc cụ còn lại. Đây là whitelist nghiêm ngặt, không phải ưu tiên mềm. Nó có thể giảm rò rỉ nhạc cụ khi đã biết đội hình ban nhạc, nhưng cũng có thể xóa mất một part thật mà ngườii dùng quên khai báo. Piano, bass và trống là ràng buộc tốt cho một bộ ba đã biết trước; còn khi chưa chắc về dàn nhạc, tự động nhận diện an toàn hơn.
Ràng buộc phải đi từ giao diện tới token mask của tokenizer. Các chip đã chọn mà bị API loại bỏ sẽ tạo ra một quyền kiểm soát ảo, còn chuỗi tự do không kiểm tra sẽ dồn lỗi chính tả đến lúc thực thi mới lộ. Một hợp đồng trung thực chỉ chấp nhận đúng 35 định danh chính thức, từ chối trùng lặp, và định nghĩa mảng rỗng là tự động nhận diện.
Bảng 1 của bài báo so sánh YourMT3+ YPTF.MoE+Multi (noPS) với các giai đoạn huấn luyện MuScriptor trên cùng tập D_Test riêng tư. Mô hình large cuối cùng ở CFG=1 ghi nhận Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2 và Multi 48.2. YourMT3+ đạt 32.52, 45.54, 17.79, 41.4 và 21.9. Khoảng cách là đáng kể, ủng hộ nhận định rằng dữ liệu lớn hơn, mô hình lớn hơn và công thức hậu huấn luyện của nhóm tác giả đã cải thiện rõ rệt hiệu năng trong phân phối bản phối thực và giao thức gán nhãn của họ.
| Cùng tập D_Test riêng tư | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1 đòi hỏi nhạc cụ, cao độ, onset và offset cùng thỏa quy tắc khớp, nên không thể hoán đổi với một điểm số chỉ kiểm tra ít trường hơn. MIROS đạt 0.5998 tại 2025 AMT Challenge trên một tập khác gồm 76 đoạn tổng hợp dài khoảng hai mươi giây và một giao thức Multi Onset F1 theo program + pitch + onset. MuScriptor không tham gia bài kiểm tra cùng giao thức đó. Xếp 48.2 cạnh 0.5998 là so sánh hai mẫu số và hai định nghĩa sự kiện khác nhau.
D_Test gồm 372 tác phẩm đa nhạc cụ lấy từ nguồn nội bộ, có lọc theo tên bài nhằm giảm rò rỉ huấn luyện–kiểm tra. Lọc theo tên hữu ích nhưng không tương đương một đợt kiểm toán khử trùng lặp công khai, tái lập được. Âm thanh, nhãn, lựa chọn phiên bản và quy tắc làm sạch trùng lặp đều không được cung cấp. Con số tiêu đề vì thế phải luôn được gắn nhãn là kết quả trên tập riêng tư do tác giả báo cáo.
Tám bộ dữ liệu bên ngoài cho thấy bức tranh chênh lệch hơn. So với YourMT3+, MuScriptor thắng Frame F1 ở 7/8 bộ và Multi F1 ở 6/8, nhưng chỉ thắng Onset F1 ở 4/8. Mô hình thua onset, frame, offset và multi trên RWC-C; thua offset, drums và multi trên RWC-R; thua onset và offset trên Bach10. Hoạt động cao độ duy trì mạnh và nội dung rãnh tổng thể không đồng nghĩa với áp đảo trên mọi transient, mọi bộ nhạc cụ hay mọi phân phối bản thu.
Tokenizer có một giới hạn biểu diễn cụ thể: hai nốt chồng lấp đồng thờii cùng nhạc cụ và cùng cao độ không thể cùng được biểu diễn sạch. Bài báo loại phần chồng lấp ngắn hơn trong đánh giá D_Test chính. Nếu không loại, Onset F1 rơi từ 60.4 xuống 51.8, Offset từ 49.0 xuống 41.9 và Multi từ 48.2 xuống 42.0. Các nốt piano cùng cao độ lặp lại dưới pedal, unison ở dàn dây và guitar chồng lớp đều có thể gặp va chạm này.
Ablation quy mô mô hình thuộc về một biểu đồ riêng, tách khỏi phép so sánh cuối cùng. Bảng 4 của bài báo chỉ huấn luyện trên D_Real với điều kiện nhạc cụ. Multi F1 tăng từ 35.2 lên 38.2, 39.7 và 40.5 qua các nhãn 60M, 100M, 300M và 1.3B. Kết quả cho thấy lợi ích của quy mô vẫn tiếp tục trong thiết lập ấy, nhưng không bao gồm giai đoạn tiền huấn luyện tổng hợp và tăng cường cuối cùng, cũng không phải benchmark trực tiếp của các tệp small, medium, large công khai.
| Nhãn quy mô trong bài báo | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
Khi nghe kiểm nên tập trung vào các đoạn unison dày đặc, transient dùng chung giữa trống và bass, guitar méo tiếng, hợp xướng, âm sắc hiếm và reverb nặng. Điểm tổng hợp có thể vẫn tốt trong khi một bản thu sinh ra các mảnh ngắn, rò rỉ chéo giữa rãnh, nốt bị cắt ngang hay một nhạc cụ bị dàn ra nhiều kênh. Trung bình mô tả hành vi của tổng thể; nó không thay thế được việc soi piano-roll và nghe lại bản tái tổng hợp.
Writer hiện tại sinh MIDI Type-1: metadata nằm trên một rãnh riêng, còn mỗi rãnh nhạc cụ mang tên, program, kênh, các sự kiện note-on và note-off. Trống theo quy ước kênh 10 của General MIDI. So với việc dàn phẳng mọi thứ thành Type-0, cấu trúc này dễ mute, solo và chỉnh sửa trong DAW hơn, đồng thờii làm độ trôi nhạc cụ dễ thấy hơn.
Đầu ra không khôi phục động lực trình diễn. Mã công khai ghi velocity của nốt là 100. Trường velocity trong MIDI chỉ thỏa mãn định dạng tệp; nó không phải bằng chứng rằng mô hình đã suy ra cảm xúc diễn tấu từ bản thu. Trống chỉ cung cấp onset. Mô hình cũng không suy ra bản đồ tempo, nhịp tính hay lưới phách của bài. Writer dùng một sự kiện tempo cố định 120 BPM để quy đổi giây của sự kiện sang tick. “Cố định ở 120 BPM” tuyệt đối không được trình bày thành “phát hiện 120 BPM”.
Thờii gian liên tục có thể được giữ lại gần đúng, trong khi giá trị ký phổ mà phần mềm soạn nhạc hiển thị phụ thuộc vào tempo cố định ấy và bước lượng tử hóa sau đó. Rubato, swing, các đoạn free-time và thay đổi tempo đòi hỏi một phân tích phách và cấu trúc riêng. Sự kiện chơi được, rãnh chỉnh sửa được và bản phổ sẵn sàng xuất bản là ba tầng khác nhau; cách xếp giọng, nốt luyến, pedal, cách viết đồng âm, dấu lặp và diễn tấu vẫn cần quyết định âm nhạc.
Khi xử lý âm thanh dài thành các đoạn chồng lấp, quyền sở hữu onset phải được gán theo giây toàn cục, còn các nốt còn vang qua biên phải được chuyển tiếp. Nối ghép các tệp MIDI của từng đoạn có thể nhân đôi attack ở biên, cắt nốt vang, hoặc làm mất tên rãnh, program và kênh trống. Nghiệm thu cần kiểm tra nốt treo, metadata rãnh được bảo toàn, và không có độ trôi thờii gian mang tính hệ thống tại các mối nối đoạn.
Mã nguồn MuScriptor dùng giấy phép MIT. Trọng số large dùng CC BY-NC 4.0 và được phân phối qua một trang Hugging Face có kiểm soát truy cập. Muốn truy cập cần tài khoản đã đăng nhập, chấp nhận điều khoản của trang, và xác nhận rằng ngườii dùng nắm quyền cần thiết đối với bản nhạc được phiên âm.
Mã nguồn và trọng số có giấy phép riêng. Được truy cập tệp trọng số không làm thay đổi điều kiện NonCommercial của chúng; model card được ghim và văn bản giấy phép là tài liệu tham chiếu chính về phạm vi sử dụng được phép.
Giá trị của MuScriptor-large rất cụ thể: thành viên công khai lớn nhất của họ với 1.366B tham số, nhắm vào bản phối nguyên bản thực tế, hỗ trợ whitelist nhạc cụ cứng, sinh MIDI đa rãnh Type-1 chỉnh sửa được, và có mức cải thiện lớn so với YourMT3+ trên D_Test riêng tư theo báo cáo của tác giả. Giới hạn của nó cũng cụ thể không kém: dữ liệu tiêu đề không công khai, các chỉ số bên ngoài không phải thắng tuyệt đối, nốt chồng lấp cùng cao độ va chạm trong tokenizer, không có velocity thật lẫn bản đồ tempo thật, và trọng số được cấp phép cho mục đích phi thương mại.
“Checkpoint MuScriptor chất lượng cao nhất” là nhận định đủ căn cứ. “SOTA audio-to-MIDI toàn diện đã được xác nhận độc lập” thì không. Đánh giá ấy có thể thay đổi khi một công trình tái lập công khai đặt MuScriptor-large, YourMT3+ và MIROS lên cùng bản thu, cùng định nghĩa sự kiện, cùng dung sai khớp và cùng chính sách xử lý chồng lấp.