Google Magenta RealTime 2: khi mô hình âm nhạc trở thành nhạc cụ có thể biểu diễn
Bản cập nhật có hình chính thức từ Google về độ trễ thấp, điều khiển MIDI/văn bản/âm thanh, cấu trúc 2.4B/230M, phần cứng và giới hạn của MRT2.
Tin tức mô hình / Google Magenta
Google Magenta RealTime 2 (MRT2) không phải kiểu trình tạo nhạc thông thường, nơi người dùng nhập lời nhắc rồi chờ một bản nhạc hoàn chỉnh. Google giới thiệu bản phát hành như sự kết hợp giữa mô hình mở, bộ máy suy luận thời gian thực và các ứng dụng mẫu: mô hình cơ sở 2,4 tỷ tham số, mô hình nhỏ 230 triệu tham số, codec âm thanh SpectroStream, biểu diễn phong cách MusicCoCa, khả năng điều khiển bằng MIDI, văn bản và âm thanh, cùng trải nghiệm tạo nhạc thời gian thực chạy cục bộ.
Bài phân tích cập nhật này bổ sung hình ảnh chính thức của Google và dữ liệu từ thẻ mô hình để làm rõ vị trí riêng của MRT2. Hệ thống không nhằm thay thế công việc phối khí, hòa âm hay sản xuất trọn vẹn một ca khúc. Nó đưa mô hình âm nhạc đến gần hơn với tương tác trực tiếp: có thể chơi, điều khiển, tích hợp với DAW và sử dụng khi biểu diễn. Trong thực tế, MRT2 giống một cộng sự thời gian thực hơn là cỗ máy làm nhạc ngoại tuyến.
Từ Magenta RealTime và Lyria RealTime API đến một mô hình cục bộ có thể biểu diễn
MRT2 tiếp nối hai nhánh trước đó của cùng chương trình nghiên cứu: mô hình Magenta RealTime và dịch vụ Lyria RealTime API được lưu trữ trên máy chủ. Các hệ thống này đã thiết lập khả năng tạo nhạc liên tục và điều hướng phong cách, nhưng mô hình trước dùng tự hồi quy theo từng khối với khung thời gian khoảng hai giây. Một nốt nhạc, thay đổi phong cách hay tham chiếu âm thanh mới chỉ có thể tác động sau khi khối hiện tại kết thúc.
MRT2 giữ lại SpectroStream và MusicCoCa, đồng thời thay lõi tạo sinh bằng Transformer chỉ có bộ giải mã, tự hồi quy theo từng khung. Mỗi khung giờ dài 40 ms, vì vậy trạng thái MIDI, token phong cách và ngữ cảnh âm thanh được đọc lại cho từng khung mới. Độ trễ điều khiển theo công bố của Google giảm từ khoảng ba giây xuống gần 200 ms. Trong khoảng hai giây mà mô hình cũ chỉ tạo được một khối, mô hình mới có năm mươi cơ hội để chuyển hướng âm thanh.
Bản phát hành cũng phân biệt bản trình diễn lưu trữ trên máy chủ với mô hình mà nhạc sĩ có thể đưa vào công cụ riêng. Lyria RealTime API thể hiện việc tạo nhạc tương tác dưới dạng dịch vụ; MRT2 công bố trọng số, thư viện Python, bộ máy MLX C++, ví dụ cho DAW và ứng dụng độc lập để chạy trên thiết bị. Mô hình có thể tham gia một hệ thống biểu diễn, hệ thống nhạc trò chơi hay tác phẩm sắp đặt mà không thu hẹp quy trình thành nhập lời nhắc, chờ đợi rồi tải xuống.
Bằng chứng kỹ thuật: không chỉ là một mô hình lớn hơn
Thẻ mô hình chính thức chia MRT2 thành ba thành phần cốt lõi: SpectroStream, MusicCoCa và LLM Transformer chỉ có bộ giải mã. SpectroStream là codec âm thanh rời rạc, chuyển nhạc stereo 48 kHz thành token. MusicCoCa ánh xạ văn bản và âm thanh âm nhạc vào một không gian embedding chung. LLM tạo khung âm thanh tiếp theo từ token ngữ cảnh âm thanh, token phong cách MusicCoCa và token MIDI.
Cấu trúc này giải thích vì sao MRT2 có thể nhận đồng thời văn bản, âm thanh và MIDI. Văn bản mô tả phong cách, âm thanh cung cấp tham chiếu về chất âm hoặc âm nhạc, còn MIDI điều khiển trạng thái biểu diễn. Các đầu vào không chỉ được nối liền thành một chuỗi; mỗi loại đảm nhiệm vai trò riêng trong vòng lặp tạo nhạc thời gian thực.
Hai cấu hình chính thức cũng cho thấy sự đánh đổi rõ ràng: mô hình cơ sở 2,4 tỷ tham số và mô hình nhỏ 230 triệu. Mô hình cơ sở ưu tiên chất lượng, còn mô hình nhỏ hạ thấp yêu cầu chạy cục bộ. Thẻ mô hình cũng nêu cơ chế chú ý theo cửa sổ 25 khung (1 s) cho base, 41 khung (khoảng 1,6 s) cho small và trường tiếp nhận hiệu dụng 20 s cho cả hai. Đây là tạo nhạc liên tục với ngữ cảnh có giới hạn, không phải xử lý ngoại tuyến toàn bộ bài hát.
Độ trễ thấp thực sự có nghĩa gì?
Một trong những thay đổi nổi bật mà Google công bố là giảm kích thước khung của mô hình từ 2 s xuống 40 ms so với thế hệ trước, đồng thời giảm độ trễ điều khiển từ khoảng 3 s xuống gần 200 ms. Con số này hấp dẫn nhưng cần được hiểu trong phạm vi chính thức: thời gian phản ứng từ đầu đến cuối không chỉ phụ thuộc vào suy luận của mô hình. Nó còn bao gồm bộ đệm đầu vào và đầu ra, giao diện âm thanh, phần mềm máy chủ và các thành phần bên ngoài.
Với nhạc sĩ, khoảng 200 ms chưa phải phản hồi gần như tức thì của bàn phím phần cứng hay bộ kích hoạt trống. Tuy vậy, mức này đủ để chuyển mô hình từ “trình tạo ngoại tuyến” thành “hệ thống tương tác”. MRT2 phù hợp hơn với chuyển đổi phong cách, kéo dài phần đệm, phản ứng theo kết cấu âm thanh, live coding, tác phẩm sắp đặt và nhạc trò chơi, thay vì thay thế máy trống hay piano đòi hỏi độ chính xác tính bằng mili giây.
Khác biệt so với việc tạo trọn bài hát trong một lần
| Khía cạnh | Magenta RealTime 2 | Trình tạo bản nhạc bằng lời nhắc thông thường | Tác động thực tế |
|---|---|---|---|
| Nhịp tương tác | Nghe, biểu diễn, điều chỉnh và tiếp tục tạo. | Nhập lời nhắc rồi chờ kết quả hoàn chỉnh. | MRT2 hợp với thử nghiệm và biểu diễn thời gian thực; trình tạo theo lời nhắc hợp với bản nháp hoàn chỉnh nhanh. |
| Đầu vào điều khiển | MIDI, văn bản và âm thanh cùng lúc. | Thường là lời nhắc văn bản và một số điều khiển cấu trúc hạn chế. | MIDI cho phép mô hình phản ứng với cử chỉ biểu diễn. |
| Nơi thực thi | Được định hướng chính thức cho ứng dụng và plugin DAW cục bộ, trọng số mở trên Apple Silicon. | Thường là dịch vụ chạy trên đám mây. | MRT2 tự nhiên hơn cho nghiên cứu, plugin và tích hợp phần mềm âm nhạc cục bộ, nhưng cần phần cứng tại chỗ. |
| Mục tiêu đầu ra | Âm thanh âm nhạc liên tục và có thể điều hướng. | Bài hát hoặc đoạn âm thanh hoàn chỉnh. | MRT2 hoạt động giống nhạc cụ hoặc người đệm trong thời gian thực hơn là nhà máy sản xuất bài hát hoàn chỉnh. |
| Giới hạn sáng tạo | Thẻ mô hình tập trung vào nhạc không lời và ghi nhận hạn chế với âm thanh giọng hát không có từ vựng. | Thường được quảng bá xoay quanh việc tạo bài hát có giọng hát. | Nên hiểu MRT2 chủ yếu cho nhạc không lời, kết cấu âm thanh, phần đệm và bối cảnh âm nhạc tương tác. |
Các dữ kiện chính từ nguồn chính thức của MRT2
| Khía cạnh | Nguồn chính thức | Cách hiểu chính xác |
|---|---|---|
| Giấy phép | Mã nguồn theo Apache-2.0, trọng số mô hình theo CC-BY 4.0. | Đây không phải bản phát hành chỉ có một giấy phép; khi tích hợp cần đọc cùng lúc điều khoản của mã nguồn, trọng số và việc sử dụng. |
| Phân chia mô hình | 2.4B base / 230M small. | Base và small thể hiện những đánh đổi khác nhau giữa chất lượng và khả năng chạy cục bộ. |
| Codec âm thanh | SpectroStream chuyển âm thanh stereo 48 kHz thành token với tốc độ khung 25 Hz, độ sâu 64 RVQ, mã 10 bit và băng thông 16 kbps. | Khả năng thời gian thực đến từ sự kết hợp của mô hình, codec và biểu diễn dạng luồng, chứ không chỉ từ tần số lấy mẫu. |
| Đầu vào điều khiển | Lời nhắc văn bản, ví dụ âm thanh và MIDI. | Ba đầu vào lần lượt đại diện cho phong cách, ngữ cảnh và điều khiển trạng thái biểu diễn. |
| Dữ liệu huấn luyện | Khoảng 71 nghìn giờ nhạc thư viện, chủ yếu là nhạc không lời. | Nên thận trọng với kỳ vọng về lời hát; thẻ mô hình ghi nhận âm thanh giọng hát thường không tạo thành từ. |
| Đánh giá | Thẻ mô hình cho biết chỉ số và kết quả sẽ được công bố trong một báo cáo kỹ thuật sắp tới. | Không được tự tạo bảng xếp hạng hay điểm số chưa công bố; chỉ nên dẫn kiến trúc và giới hạn đã được phát hành. |
Bản phát hành thay đổi gì đối với âm nhạc tương tác?
Đặc điểm cốt lõi của MRT2 là tạo nhạc liên tục và điều khiển với độ trễ thấp. Mô hình được thiết kế để chơi và định hướng, không chỉ thực hiện một lời nhắc.
Thẻ mô hình tập trung vào sáng tạo âm nhạc tương tác và dữ liệu nhạc thư viện chủ yếu không lời. Bài hát hoàn chỉnh, ca từ, giọng hát và quy trình sản xuất sẵn sàng phát hành vẫn cần con người.
Trọng số mở và suy luận cục bộ giúp nghiên cứu, plugin và tích hợp DAW trở nên thiết thực hơn, nhưng phần cứng, bộ đệm, phần mềm máy chủ và giao diện âm thanh đều ảnh hưởng đến trải nghiệm.
Mọi hình ảnh và tệp GIF trong bài phân tích này đều là tài liệu chính thức từ bản phát hành Google Magenta, không phải hình thay thế hay biểu đồ được dựng lại.