Google Magenta RealTime 2: เมื่อโมเดลดนตรีกลายเป็นเครื่องดนตรีที่เล่นได้

จาก Magenta RealTime และ Lyria RealTime API สู่โมเดลในเครื่องที่เล่นได้

MRT2 สานต่อสองแขนงก่อนหน้าของโครงการวิจัยเดียวกัน ได้แก่ โมเดล Magenta RealTime และ Lyria RealTime API แบบโฮสต์ ระบบเหล่านั้นทำให้การสร้างอย่างต่อเนื่องและการกำกับสไตล์ดนตรีเกิดขึ้นได้ แต่โมเดลก่อนหน้าใช้การถดถอยอัตโนมัติทีละช่วง โดยมีเฟรมยาวประมาณสองวินาที โน้ต การเปลี่ยนสไตล์ หรือเสียงอ้างอิงใหม่จึงไม่อาจส่งผลต่อเสียงได้จนกว่าช่วงปัจจุบันจะสิ้นสุด

MRT2 ยังคงใช้ SpectroStream และ MusicCoCa แต่เปลี่ยนแกนหลักในการสร้างเป็น decoder-only Transformer ที่ถดถอยอัตโนมัติทีละเฟรม ขณะนี้หนึ่งเฟรมยาว 40 ms ทำให้ระบบอ่านสถานะ MIDI โทเค็นสไตล์ และบริบทเสียงใหม่ในทุกเฟรม Google รายงานว่าเวลาแฝงในการควบคุมลดจากประมาณสามวินาทีเหลือราว 200 ms ภายในช่วงสองวินาทีที่โมเดลเดิมสร้างได้หนึ่งช่วง โมเดลใหม่มีโอกาสห้าสิบครั้งในการเปลี่ยนทิศทางของเสียง

รุ่นนี้ยังแยกการสาธิตแบบโฮสต์ออกจากโมเดลที่นักดนตรีนำไปใส่ในเครื่องมือของตนเองได้ Lyria RealTime API แสดงการสร้างแบบโต้ตอบในรูปบริการ ส่วน MRT2 เผยแพร่เวต ไลบรารี Python เอนจิน MLX C++ ตัวอย่าง DAW และแอปพลิเคชันแบบสแตนด์อโลนสำหรับใช้งานบนอุปกรณ์ จึงวางไว้ในชุดแสดงสด ระบบดนตรีเกม หรืองานจัดวางได้ โดยไม่ลดทอนการโต้ตอบให้เหลือเพียงป้อนพรอมต์ รอ และดาวน์โหลด

หลักฐานทางเทคนิค: ไม่ใช่แค่โมเดลที่ใหญ่ขึ้น

การ์ดโมเดลอย่างเป็นทางการแบ่ง MRT2 ออกเป็นสามองค์ประกอบหลัก ได้แก่ SpectroStream, MusicCoCa และ decoder-only Transformer LLM โดย SpectroStream เป็นตัวแปลงสัญญาณเสียงแบบไม่ต่อเนื่องที่เปลี่ยนเสียงดนตรีสเตอริโอ 48kHz เป็นโทเค็น MusicCoCa จับคู่ข้อความและเสียงดนตรีเข้ากับปริภูมิการฝังร่วมกัน ส่วน LLM สร้างเฟรมเสียงถัดไปจากโทเค็นเสียงบริบท โทเค็นสไตล์ MusicCoCa และโทเค็น MIDI

โครงสร้างนี้อธิบายว่าเหตุใด MRT2 จึงรับข้อความ เสียง และ MIDI ได้พร้อมกัน ข้อความใช้บรรยายสไตล์ เสียงให้ข้อมูลอ้างอิงด้านลักษณะเสียงหรือดนตรี และ MIDI ควบคุมสถานะการบรรเลง อินพุตเหล่านี้ไม่ได้เพียงนำมาต่อกัน แต่ทำหน้าที่ต่างกันในวงรอบการสร้างแบบเรียลไทม์

การกำหนดค่าโมเดลอย่างเป็นทางการสองแบบก็น่าสนใจเช่นกัน ได้แก่ โมเดลพื้นฐาน 2.4B พารามิเตอร์ และโมเดลขนาดเล็ก 230M พารามิเตอร์ โมเดลพื้นฐานเน้นคุณภาพ ส่วนโมเดลเล็กช่วยลดข้อกำหนดสำหรับการทำงานในเครื่อง การ์ดโมเดลยังระบุ attention แบบหน้าต่าง 25 เฟรม (1s) สำหรับรุ่นพื้นฐาน 41 เฟรม (~1.6s) สำหรับรุ่นเล็ก และขอบเขตการรับรู้ที่มีผล 20s สำหรับทั้งคู่ นี่คือการสร้างอย่างต่อเนื่องภายใต้บริบทที่จำกัด ไม่ใช่การให้เหตุผลแบบออฟไลน์กับเพลงทั้งเพลง

เวลาแฝงต่ำหมายถึงอะไรจริง ๆ

หนึ่งในการเปลี่ยนแปลงสำคัญที่ Google ชูขึ้นมาคือการลดขนาดเฟรมของโมเดลจาก 2s เหลือ 40ms เมื่อเทียบกับรุ่นก่อน และลดเวลาแฝงในการควบคุมจากประมาณ 3s เหลือราว 200ms ตัวเลขนี้น่าสนใจ แต่ต้องพิจารณาขอบเขตที่ระบุไว้อย่างเป็นทางการด้วยว่า เวลาตอบสนองตั้งแต่ต้นจนจบไม่ได้ขึ้นอยู่กับการอนุมานของโมเดลเพียงอย่างเดียว แต่ยังรวมบัฟเฟอร์อินพุต บัฟเฟอร์เอาต์พุต อินเทอร์เฟซเสียง ซอฟต์แวร์โฮสต์ และส่วนประกอบภายนอก

สำหรับนักดนตรี ~200ms ไม่ใช่การตอบสนองแทบจะทันทีแบบคีย์บอร์ดฮาร์ดแวร์หรือทริกเกอร์กลอง แต่ก็เพียงพอที่จะย้ายโมเดลจาก “เครื่องมือสร้างแบบออฟไลน์” ไปเป็น “ระบบโต้ตอบ” MRT2 เหมาะกับการแปรเปลี่ยนสไตล์ การต่อขยายเสียงประกอบ การตอบสนองต่อพื้นผิวเสียง ไลฟ์โค้ดดิ้ง งานจัดวาง และดนตรีเกม มากกว่าการใช้แทนดรัมแมชชีนหรือเครื่องดนตรีเปียโนที่ต้องแม่นยำระดับมิลลิวินาที

แตกต่างจากการสร้างเพลงครั้งเดียวอย่างไร

ข้อเท็จจริงสำคัญจากแหล่งข้อมูล MRT2 อย่างเป็นทางการ

รุ่นนี้เปลี่ยนแปลงดนตรีแบบโต้ตอบอย่างไร