MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
แปลงเพลงเป็น MIDI หลายเครื่องดนตรีด้วย MuScriptor-large
MIDI / การถอดความภาระงาน GPUtsumugi · ซอร์สโค้ดinstrument_agnostic_amt · น้ำหนักstem-splitter · น้ำหนักTsumugi · full pipeline · บทความวิจัย
แปลงหลายเครื่องดนตรีเป็น MIDI
แปลงเพลงหรือวงดนตรีเป็น MIDI หลายแทร็ก เพื่อแก้โน้ตและเรียบเรียงแต่ละส่วนใน DAW
40 เครดิต/การใช้งานFile อินพุตสูงสุด 100 MBประมาณ 60-3600 วินาที
อินพุต
รองรับอินพุตในรูปแบบต่างๆ เช่น mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
รูปแบบที่รองรับ
mp3wavflacoggm4aaacaifaiffmp4movmkv
เอาท์พุต
MIDI · CSV
กรณีการใช้งาน
แยกเสียงร้อง กลอง เบส กีตาร์ เปียโน และเสียงอื่น จากนั้นถอดโน้ตและรวม MIDI เลือกทำนาย velocity และกำหนดเครื่องดนตรีใหม่ได้ ความผิดพลาดในการแยกอาจส่งผลต่อโน้ต
เลือกโมเดลให้เหมาะกับเนื้อหาและวัตถุประสงค์ แล้วดูตัวอย่างก่อนส่ง
ค่าใช้จ่าย เวลา รูปแบบและพารามิเตอร์ขึ้นอยู่กับโมเดลที่เลือก
แสดงความคิดเห็นอย่างรวดเร็ว
โปรดระบุชื่อเครื่องมือ ขั้นตอน และปัญหาที่พบในข้อเสนอแนะ ภาพหน้าจอช่วยให้ตรวจสอบได้ง่ายขึ้น
โมเดล พารามิเตอร์ และแหล่งที่มา
แยกเสียงร้อง กลอง เบส กีตาร์ เปียโน และเสียงอื่น จากนั้นถอดโน้ตและรวม MIDI เลือกทำนาย velocity และกำหนดเครื่องดนตรีใหม่ได้ ความผิดพลาดในการแยกอาจส่งผลต่อโน้ต
MuScriptor-largeMuScriptor Table 1YourMT3+MuScriptor Table 2MuScriptor Table 4MuScriptor 60MMuScriptor 100MMuScriptor 300MMuScriptor 1.3BMuScriptor: An Open Model for Multi-Instrument Music TranscriptionYourMT3+ · YPTF.MoE+Multi noPSMIROS
MuScriptor-large
การซ่อมช่วงเริ่มต้นลดการระบุเครื่องดนตรีผิดข้ามช่วงและรักษาเสียงค้าง เริ่มจากรุ่นนี้กับเพลงผสม
- ตัวตนที่แน่นอน: พารามิเตอร์ F32 จำนวน 1,366,399,488; safetensors 5,465,642,136 ไบต์; revision 8809fdfbed2affa7ade94a7059e746e3880720e7
- Decoder-only Transformer 48 ชั้น ความกว้าง 1536 และ 24 heads; โมโน 16 kHz, ช่วงละ 5 วินาที และ mel 512 bins ที่ 100 Hz
- ส่งออก MIDI หลายแทร็ก Type-1; ป้าย UI 35 รายการแมปกับ 36 กลุ่มที่เรียนรู้ไว้ และ velocity คงที่ 100 ก่อนแปลงสามารถเลือก tempo map แบบปรับตามช่วงเพลงที่เสถียร (ตรงกับห้องเพลงเมื่อหลักฐานอัตราจังหวะเชื่อถือได้), BPM เดียวที่ตรวจจับอัตโนมัติ หรือ BPM เดียวที่กรอกเอง หลังจากนั้นยังปรับความเร็วและ BPM ในตัวอย่างได้ และไฟล์ดาวน์โหลดจะใช้ค่าปัจจุบัน
YourMT3+ · YPTF.MoE+Multi noPS
YourMT3+ · YPTF.MoE+Multi noPS: ร่าง MIDI ที่แก้ไขได้จากมิกซ์เต็มรูปแบบ รวมถึงอินพุตโซโล/เครื่องดนตรีทั่วไปที่สะอาดยิ่งขึ้น เช่น piano/คีย์บอร์ด, guitar, bass, drums, สตริง/ลม และร่าง vocal
mimbres/YourMT3YourMT3 HF checkpointsYourMT3 HF SpaceTelkNet music-to-midi workflowYourMT3 arXivMT3 arXiv2025 AMT Challenge paperOfficial leaderboard
- สถาปัตยกรรม: YourMT3+ เพิ่มความสนใจในความถี่เวลาตามลําดับชั้น MoE และถอดรหัสหลายช่องทางนอกเหนือจากการถอดรหัสโทเค็นสไตล์ MT3
- TelkNet ใช้ YPTF.MoE+Multi noPS เพื่อสร้างร่าง MIDI หลายเครื่องดนตรีจากมิกซ์เต็ม สำหรับเครื่องดนตรีเดี่ยวให้เลือกเครื่องมือเฉพาะที่ตรงกัน และใช้เครื่องมือถอดโน้ตเปียโนสำหรับเปียโนเดี่ยว
- เอาต์พุต: multi-track MIDI ที่แก้ไขได้พร้อมการหาปริมาณ ค่าเริ่มต้นของความเร็ว และการควบคุมหลังการประมวลผล
YMT3+
YMT3+: ร่าง MIDI ที่แก้ไขได้จากมิกซ์เต็มรูปแบบ รวมถึงอินพุตโซโล/เครื่องดนตรีทั่วไปที่สะอาดยิ่งขึ้น เช่น piano/คีย์บอร์ด, guitar, bass, drums, สตริง/ลม และร่าง vocal
YourMT3+ · YPTF.Single noPS
YourMT3+ · YPTF.Single noPS: ร่าง MIDI ที่แก้ไขได้จากมิกซ์เต็มรูปแบบ รวมถึงอินพุตโซโล/เครื่องดนตรีทั่วไปที่สะอาดยิ่งขึ้น เช่น piano/คีย์บอร์ด, guitar, bass, drums, สตริง/ลม และร่าง vocal
YourMT3+ · YPTF.Multi PS
YourMT3+ · YPTF.Multi PS: ร่าง MIDI ที่แก้ไขได้จากมิกซ์เต็มรูปแบบ รวมถึงอินพุตโซโล/เครื่องดนตรีทั่วไปที่สะอาดยิ่งขึ้น เช่น piano/คีย์บอร์ด, guitar, bass, drums, สตริง/ลม และร่าง vocal
YourMT3+ · YPTF.MoE+Multi PS
YourMT3+ · YPTF.MoE+Multi PS: ร่าง MIDI ที่แก้ไขได้จากมิกซ์เต็มรูปแบบ รวมถึงอินพุตโซโล/เครื่องดนตรีทั่วไปที่สะอาดยิ่งขึ้น เช่น piano/คีย์บอร์ด, guitar, bass, drums, สตริง/ลม และร่าง vocal
MIROS MusicFM multi-decoder
MIROS MusicFM multi-decoder วิ่งเส้นทาง MIROS ท้องถิ่นอย่างเป็นทางการพร้อม pretrained_msd.pt บวกกับ last.ckpt checkpoint ที่ปรับแต่งอย่างละเอียด
amt-os/ai4m-mirosOfficial leaderboardMIROS fine-tuned checkpointMIROS pretrained checkpoint2025 AMT Challenge paper
- หลักฐานสาธารณะ: MIROS อยู่ในอันดับแรกในตาราง AMT Challenge ปี 2025 ที่อ้างถึงที่นี่
- ขอบเขต: multi-instrument AMT สําหรับวัสดุคลาสสิก/โพลีโฟนิกและการถอดเสียงโน้ต ขอบเขตความท้าทายครอบคลุม piano ไวโอลิน วิโอลา เชลโล ขลุ่ย บาสซูน ทรอมโบน และโอโบ แต่หนังสือพิมพ์สาธารณะไม่ได้เผยแพร่โซโล่ F1 ต่อเครื่องดนตรี
BS-RoFormer SW Fixed 6-stem pre-split
BS-RoFormer SW Fixed ใช้ BS-Rofo-SW-Fixed.ckpt บวก BS-Rofo-SW-Fixed.yaml เพื่อแบ่งมิกซ์เต็มออกเป็น six WAV stems
- เอาต์พุตเสียง: vocals, drums, bass, guitar, piano และ other WAV stems
- มีประโยชน์สําหรับการทบทวนการเรียบเรียง สื่อการฝึกหัด การเตรียมรีมิกซ์ และเปลี่ยนเพลงผสมเป็นไฟล์ stem แยกต่างหาก
OaFS
OaFS ตรวจจับเครื่องดนตรี 34 ประเภทและส่งออก MIDI พร้อมตารางโน้ต โดยกำหนดค่าความแรงคงที่ 127
- เลือกเครื่องดนตรีจากส่วนเบี่ยงเบนมาตรฐานของการกระตุ้นจุดเริ่มและเฟรม ไม่ใช่ความน่าจะเป็น
- เกณฑ์ Z-score ของค่าการกระตุ้นที่ปรับมาตรฐานเฉพาะส่วนตามวิธีทางการ
- ความเด่นขั้นต่ำของยอดเริ่มเสียงในช่วง Z-score ทางการ
- ระยะห่างขั้นต่ำระหว่างจุดเริ่มที่มีระดับเสียงเดียวกัน หน่วยวินาที อย่างน้อยหนึ่งเฟรม 0.02 วินาที
- หน้าต่างที่ไม่มีการกระตุ้นเพื่อระบุจุดจบโน้ต หน่วยวินาที อย่างน้อย 0.02 วินาที
- ขนาดแบตช์อนุมานทางการ คือจำนวนช่วงเสียงที่ประมวลผลพร้อมกัน
- ตารางทางการ 5 เปรียบเทียบห้าชุดข้อมูลแยกกัน และแสดงเฉพาะการทดลองที่ตรวจสอบน้ำหนักสาธารณะตรงกันแล้ว OaFS ปัจจุบันฝึกร่วมกัน ผลนี้ไม่ยืนยันว่าเหนือกว่า MuScriptor
timbreAMT v2
จัดโน้ตเป็นแทร็กสีสันเสียงที่ไม่มีชื่อตามจำนวนที่ระบุ โดยไม่ระบุชื่อเครื่องดนตรี เหมาะกับวงบรรเลงสั้นที่ทราบจำนวนเครื่องดนตรี ส่วนที่ซ้อนกันในระดับเสียงเดียวกันอาจแยกไม่ได้
- ตาราง 3 ในบทความ: K คือจำนวนสีสันเสียงที่ระบุ คำนวณ F1 รายแทร็กหลังจับคู่แทร็กอย่างเหมาะสม ผลเป็นค่าเฉลี่ยจากการฝึกอย่างน้อยสามครั้ง ไม่ใช่ผลวัดใหม่ของน้ำหนักโมเดลบนเว็บไซต์นี้
Tsumugi · full pipeline
- ยังไม่มีคะแนนสาธารณะที่เปรียบเทียบได้สำหรับกระบวนการครบทั้งหกส่วน คะแนนโมเดลย่อยไม่ใช่คะแนนทั้งเพลง คงข้อกำหนดทางการที่โน้ตยาวได้สูงสุด 15 วินาที โน้ตที่ลากยาวมากอาจถูกละไว้
Tsumugi · SheetSage2-Refined
แยกเสียงเป็น 6 สเต็มแล้วถอดเป็น MIDI โดย SheetSage2-Refined ตรวจจับจังหวะ อัตราจังหวะ และท่อนเพลง ส่วน Tsumugi ตรวจจับคอร์ดและคีย์ ยังสามารถเลือกวิธีถอดทั้งเพลงแบบเดิมได้
การเปรียบเทียบรุ่น
รุ่น
บทบาท
ทําไมถึงใช้
ผลกระทบต่อเอาต์พุต
บทบาทmulti-instrument AMT ระดับความท้าทาย
ทําไมถึงใช้ใช้เป็นเส้นทางการเปรียบเทียบ MIROS: อยู่ในอันดับ #1 โดยรวมใน AMT Challenge ปี 2025 และรักษา F1 สามเครื่องดนตรีที่สูงกว่า YourMT3+ แต่ก็ยังลดลงเนื่องจากความสับสนของโพลีโฟนีและเสียงต่ําที่หนาแน่น
ผลกระทบต่อเอาต์พุตMIDI หลายแทร็ก
รุ่นYourMT3+ YPTF.MoE+Multi
บทบาทการถอดเสียงหลายเครื่องดนตรีเป็น MIDI
ทําไมถึงใช้เส้นทาง TelkNet ที่เสถียรพร้อมการควบคุม checkpoint สาธารณะ เอกสารความท้าทายยังคงแสดงให้เห็นถึงขีดจํากัดที่ยากอย่างชัดเจน: YourMT3-YPTF-MoE-M ลดลงจาก 0.7594 F1 ในข้อความที่ตัดตอนมาจากเครื่องมือเดียวเป็น 0.3918 ในข้อความที่ตัดตอนมาจากเครื่องมือสามเครื่อง
ผลกระทบต่อเอาต์พุตแบบร่าง MIDI แบบหลายแทร็ก
รุ่นMT3 baseline
บทบาทพื้นฐานในอดีต
ทําไมถึงใช้เส้นฐานเบนช์มาร์กสาธารณะของตระกูล MT3 แสดงไว้เพื่อการเปรียบเทียบเท่านั้น
ผลกระทบต่อเอาต์พุตการเปรียบเทียบพื้นฐานเท่านั้น
รุ่นMuScriptor-large
บทบาทการถอดเสียงหลายเครื่องดนตรี MuScriptor
ทําไมถึงใช้MuScriptor-large นำ YourMT3+ ในการเปรียบเทียบมัลติแทร็ก D_Test แบบส่วนตัวร่วมกันของบทความ และออกแบบมาสำหรับเพลงมิกซ์จริง นี่คือผลที่ผู้เขียนรายงาน ไม่ใช่การจัดอันดับ AMT Challenge 2025 ใหม่
ผลกระทบต่อเอาต์พุตส่งออก MIDI หลายแทร็ก Type-1; ป้าย UI 35 รายการแมปกับ 36 กลุ่มที่เรียนรู้ไว้ และ velocity คงที่ 100 ก่อนแปลงสามารถเลือก tempo map แบบปรับตามช่วงเพลงที่เสถียร (ตรงกับห้องเพลงเมื่อหลักฐานอัตราจังหวะเชื่อถือได้), BPM เดียวที่ตรวจจับอัตโนมัติ หรือ BPM เดียวที่กรอกเอง หลังจากนั้นยังปรับความเร็วและ BPM ในตัวอย่างได้ และไฟล์ดาวน์โหลดจะใช้ค่าปัจจุบัน
รุ่นYourMT3+ YPTF.MoE+Multi noPS
บทบาทการถอดเสียงหลายเครื่องดนตรีเป็น MIDI
ทําไมถึงใช้เส้นทาง TelkNet ที่เสถียรพร้อมการควบคุม checkpoint สาธารณะ เอกสารความท้าทายยังคงแสดงให้เห็นถึงขีดจํากัดที่ยากอย่างชัดเจน: YourMT3-YPTF-MoE-M ลดลงจาก 0.7594 F1 ในข้อความที่ตัดตอนมาจากเครื่องมือเดียวเป็น 0.3918 ในข้อความที่ตัดตอนมาจากเครื่องมือสามเครื่อง
ผลกระทบต่อเอาต์พุตแบบร่าง MIDI แบบหลายแทร็ก
กระดาษและบันทึกเกณฑ์มาตรฐาน
YourMT3+: Multi-instrument Music Transcription
IEEE MLSP - 2024
YourMT3+ ขยาย MT3 ด้วยสถาปัตยกรรมหม้อแปลงที่ได้รับการปรับปรุง MoE ตัวแปร การถอดรหัสหลายช่องสัญญาณ และ cross-dataset stem augmentation
MT3: Multi-Task Multitrack Music Transcription
ICLR - 2022
MT3 สร้างการถอดเสียงเพลงแบบมัลติแทร็กแบบมัลติทาสก์ด้วยการสร้างแบบจําลองลําดับและยังคงเป็นพื้นฐานที่มีชื่อสําหรับการเปรียบเทียบ AMT ที่ใหม่กว่า
Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge
arXiv / OpenReview - 2026
เอกสารสรุป AMT Challenge ปี 2025 ได้รับการเผยแพร่เมื่อวันที่ 29 มีนาคม 2026 สําหรับการแข่งขันระหว่างวันที่ 1 มกราคม-30 เมษายน 2025 รายงานทีมที่ลงทะเบียน 21 ทีม ทีมที่ส่ง 14 ทีม ทีมที่ให้คะแนนที่ถูกต้อง 8 ทีม และชุดทดสอบคลาสสิก 76 ชิ้นพร้อมเครื่องดนตรีสูงสุดสามชิ้นต่อข้อความที่ตัดตอนมา
Multitrack Music Transcription Based on Joint Learning of Onset and Frame Streams
Signals - 2026
OaFS ตรวจจับเครื่องดนตรี 34 ประเภทและส่งออก MIDI พร้อมตารางโน้ต โดยกำหนดค่าความแรงคงที่ 127
เป็นทางการ / ที่เก็บ
MuScriptor source (pinned)MuScriptor-large weights (pinned)mimbres/YourMT3YourMT3 HF checkpointsYourMT3 HF SpaceTelkNet music-to-midi workflowbs_6stem_fixed.ckpt · HF mirrorpython-audio-separatoramt-os/ai4m-mirosOfficial leaderboardMIROS fine-tuned checkpointMIROS pretrained checkpointTomokiMatsunaga/OaFSOaFS · checkpointmadderscientist/timbreAMTtimbreAMT v2anime-song/tsumugiTsumugi · full pipeline
คู่มือพารามิเตอร์
- ยังไม่มีคะแนนสาธารณะที่เปรียบเทียบได้สำหรับกระบวนการครบทั้งหกส่วน คะแนนโมเดลย่อยไม่ใช่คะแนนทั้งเพลง คงข้อกำหนดทางการที่โน้ตยาวได้สูงสุด 15 วินาที โน้ตที่ลากยาวมากอาจถูกละไว้
เวิร์กโฟลว์
- 1อัปโหลดมิกซ์ทั้งเพลง แล้วเลือกว่าจะประมาณค่า velocity หรือกำหนดเครื่องดนตรีใหม่หรือไม่
- 2ดาวน์โหลด MIDI ที่รวมจากหกสเต็มที่แยกแล้วและการถอดโน้ตด้วยโมเดลเฉพาะทาง
อันดับโมเดลในสาขานี้
ผลทดสอบ 3 รายการรวมผลทดสอบสาธารณะของโมเดลที่ใช้ในเว็บไซต์นี้และที่อื่น โดยแสดงตารางต้นฉบับทั้งหมดเป็นค่าเริ่มต้น และสามารถเลือกเงื่อนไขกับตัวชี้วัดเพื่อเปรียบเทียบได้ คะแนนจากเงื่อนไขการทดสอบต่างกันไม่สามารถเปรียบเทียบโดยตรงได้
แสดงเฉพาะรายการที่ตรวจสอบแล้วว่ามีโค้ดอนุมานสาธารณะและน้ำหนักตรงกับรุ่นทดลอง รวมถึงอัลกอริทึมที่ไม่ต้องใช้น้ำหนัก โดยไม่รวมบริการปิด น้ำหนักที่ยังไม่เผยแพร่ หรือรุ่นทดลองที่จับคู่ไม่ได้ นี่ไม่ใช่อันดับรวมของทุกรุ่น
การเผยแพร่น้ำหนักไม่ได้ยืนยันว่ามีสัญญาอนุญาตโอเพนซอร์สครบถ้วน ขยายข้อมูลเพื่อดูสัญญาอนุญาตน้ำหนักและเงื่อนไขการเข้าถึง รายการที่ไม่ระบุสัญญาอนุญาตจะแสดงแยกต่างหาก
โมเดลที่เลือกยังไม่มีผลประเมินสาธารณะที่ตรงกันและผ่านการตรวจสอบ จึงไม่ได้จัดอันดับ
MuScriptor Table 1
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 3 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
บทความเปรียบเทียบโมเดลสุดท้าย CFG=1 กับ YourMT3+ บน D_Test แบบส่วนตัวชุดเดียวกัน ผลยังไม่มีการทำซ้ำโดยอิสระ และเปรียบเทียบโดยตรงกับ MIROS หรือโพรโทคอลอื่นไม่ได้
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLน้ำหนักสาธารณะ · โค้ดอนุมานmodel.safetensorsโค้ดอนุมานสัญญาอนุญาตน้ำหนัก (ตามที่คลังโค้ดระบุ): cc-by-nc-4.0ต้องยอมรับเงื่อนไขหรือขอสิทธิ์เข้าถึง | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
รายการต้นฉบับ (3)
MuScriptor Table 1 ↗ตรวจสอบเมื่อ 2026-10-25
แหล่งประเมินทั้งหมด (14)
แยกชุดข้อมูล รุ่น และเงื่อนไข รวมถึงแหล่งที่ยังไม่มีรายการผ่านเกณฑ์จัดอันดับ
- MuScriptor Table 1 ↗
ติดตั้งได้ 3 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
- MuScriptor Table 2 ↗
ติดตั้งได้ 16 / แถวต้นฉบับ 16
- MuScriptor Table 4 ↗
ติดตั้งได้ 0 / แถวต้นฉบับ 4
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
- Official 2025 AMT Challenge leaderboard ↗
ติดตั้งได้ 9 / แถวต้นฉบับ 17
ไม่จัดอันดับ: 8
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
- AMT Challenge · arXiv:2603.27528v1 · Table 1 ↗
ติดตั้งได้ 9 / แถวต้นฉบับ 14
ไม่จัดอันดับ: 5
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
- AMT Challenge · arXiv:2603.27528v1 · Table 2 ↗
ติดตั้งได้ 9 / แถวต้นฉบับ 9
- YourMT3+ v3, Tables 2, 3, 14 ↗
ติดตั้งได้ 1 / แถวต้นฉบับ 5
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
- YourMT3+ · Table 2 ↗
ติดตั้งได้ 1 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 6
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
- YourMT3+ · Table 3 ↗
ติดตั้งได้ 1 / แถวต้นฉบับ 12
ไม่จัดอันดับ: 11
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
- OaFS · Table 5 ↗
ติดตั้งได้ 10 / แถวต้นฉบับ 25
ไม่จัดอันดับ: 15
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
- OaFS · Table 6 ↗
ติดตั้งได้ 68 / แถวต้นฉบับ 102
ไม่จัดอันดับ: 34
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
- OaFS · Table 7 ↗
ติดตั้งได้ 28 / แถวต้นฉบับ 28
- OaFS · Table 4 ↗
ติดตั้งได้ 2 / แถวต้นฉบับ 5
ไม่จัดอันดับ: 3
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-ResUnet · OaFS-CFP · OaFS-single
- TISMIR 2026 · Table 3 ↗
ติดตั้งได้ 3 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
D16 · MSE · Syn · Rescale
ผลต้นฉบับและแหล่งที่มาทั้งหมด
คะแนนอ้างอิงชุดข้อมูล ตัวชี้วัด และรุ่นโมเดลที่ระบุ จึงเปรียบเทียบข้ามการทดสอบโดยตรงไม่ได้
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
MuScriptor Table 1
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 3 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
บทความเปรียบเทียบโมเดลสุดท้าย CFG=1 กับ YourMT3+ บน D_Test แบบส่วนตัวชุดเดียวกัน ผลยังไม่มีการทำซ้ำโดยอิสระ และเปรียบเทียบโดยตรงกับ MIROS หรือโพรโทคอลอื่นไม่ได้
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RLน้ำหนักสาธารณะ · โค้ดอนุมานmodel.safetensorsโค้ดอนุมานสัญญาอนุญาตน้ำหนัก (ตามที่คลังโค้ดระบุ): cc-by-nc-4.0ต้องยอมรับเงื่อนไขหรือขอสิทธิ์เข้าถึง | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
รายการต้นฉบับ (3)
MuScriptor Table 1 ↗ตรวจสอบเมื่อ 2026-10-25
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
MuScriptor Table 2
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 16 / แถวต้นฉบับ 16
ตาราง 2 ของบทความประเมินโมเดลที่เผยแพร่และติดตั้งในเครื่องได้สองตัวบนชุดข้อมูล 8 ชุดที่ไม่อยู่ในชุดฝึกของทั้งคู่ SOTA และดีที่สุดคำนวณแยกในแต่ละชุดข้อมูล ส่วน MIROS ไม่ถูกเพิ่มเพราะบทความไม่มีผลภายใต้โปรโตคอลนี้
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptorน้ำหนักสาธารณะ · โค้ดอนุมานmodel.safetensorsโค้ดอนุมานสัญญาอนุญาตน้ำหนัก (ตามที่คลังโค้ดระบุ): cc-by-nc-4.0ต้องยอมรับเงื่อนไขหรือขอสิทธิ์เข้าถึง | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
รายการต้นฉบับ (16)
MuScriptor Table 2 ↗ตรวจสอบเมื่อ 2026-10-25
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
Official 2025 AMT Challenge leaderboard
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 9 / แถวต้นฉบับ 17
ไม่จัดอันดับ: 8
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
รายการโอเพนซอร์สที่ทำซ้ำได้จากตารางอันดับทางการ โดยคงอันดับเดิมไว้ F1 ความแม่นยำ การเรียกคืน จุดเริ่ม จุดสิ้นสุด และการซ้อนทับแสดงเป็นเปอร์เซ็นต์ ส่วนเวลาเป็นมิลลิวินาที การตั้งค่า YourMT3+ สำหรับการแข่งขันใช้ข้อมูลเครื่องดนตรีที่ระบุในชื่อไฟล์ คะแนนนี้ไม่ได้วัดผลกระบวนการประมวลผลทั้งหมดของเว็บไซต์นี้
| อันดับทางการ | รุ่น | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)น้ำหนักสาธารณะ · โค้ดอนุมานMIROS fine-tuned decoderMusicFM encoderโค้ดอนุมาน logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3น้ำหนักสาธารณะ · โค้ดอนุมาน | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-Vน้ำหนักสาธารณะ · โค้ดอนุมาน | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVATน้ำหนักสาธารณะ · โค้ดอนุมาน | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic Pitchน้ำหนักสาธารณะ · โค้ดอนุมาน | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
รายการต้นฉบับ (9)
Official 2025 AMT Challenge leaderboard ↗ตรวจสอบเมื่อ 2026-10-25
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
AMT Challenge · arXiv:2603.27528v1 · Table 1
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 9 / แถวต้นฉบับ 14
ไม่จัดอันดับ: 5
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
เว็บไซต์และบทความเป็นข้อมูลคนละชุด โดยหลักสุดท้ายต่างกันเล็กน้อย ทดสอบเสียงสังเคราะห์ที่มีข้อกำหนด 76 ช่วง ช่วงละไม่เกินสามเครื่องดนตรี คงค่าจากแต่ละแหล่ง การตั้งค่า YourMT3+ สำหรับการแข่งขันใช้ข้อมูลเครื่องดนตรีที่ระบุในชื่อไฟล์ คะแนนนี้ไม่ได้วัดผลกระบวนการประมวลผลทั้งหมดของเว็บไซต์นี้
| อันดับทางการ | รุ่น | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROSน้ำหนักสาธารณะ · โค้ดอนุมานMIROS fine-tuned decoderMusicFM encoderโค้ดอนุมาน logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)น้ำหนักสาธารณะ · โค้ดอนุมาน | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-Vน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVATน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic Pitchน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
รายการต้นฉบับ (9)
AMT Challenge · arXiv:2603.27528v1 · Table 1 ↗ตรวจสอบเมื่อ 2026-10-25
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
AMT Challenge · arXiv:2603.27528v1 · Table 2
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 9 / แถวต้นฉบับ 9
Table 2 แบ่งตามจำนวนเครื่องดนตรีที่แน่นอน แสดงค่าเฉลี่ย ± ส่วนเบี่ยงเบนมาตรฐาน แต่ละกลุ่มจัดอันดับแยกและใช้แทนตารางรวมไม่ได้ การตั้งค่า YourMT3+ สำหรับการแข่งขันใช้ข้อมูลเครื่องดนตรีที่ระบุในชื่อไฟล์ คะแนนนี้ไม่ได้วัดผลกระบวนการประมวลผลทั้งหมดของเว็บไซต์นี้
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROSน้ำหนักสาธารณะ · โค้ดอนุมานMIROS fine-tuned decoderMusicFM encoderโค้ดอนุมาน logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckptการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)น้ำหนักสาธารณะ · โค้ดอนุมาน | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
รายการต้นฉบับ (9)
AMT Challenge · arXiv:2603.27528v1 · Table 2 ↗ตรวจสอบเมื่อ 2026-10-25
YourMT3+ v3, Tables 2, 3, 14
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 1 / แถวต้นฉบับ 5
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
การเปรียบเทียบกระดาษ YourMT3+ กับพื้นฐานของตระกูล MT3 บนตัวชี้วัดสไตล์ Slakh
| อันดับตามตัวชี้วัด | รุ่น | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
รายการต้นฉบับ (1)
YourMT3+ v3, Tables 2, 3, 14 ↗ตรวจสอบเมื่อ 2026-10-25
YourMT3+ · Table 2
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 1 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 6
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
รายการต้นฉบับ (1)
YourMT3+ · Table 2 ↗ตรวจสอบเมื่อ 2026-10-25
YourMT3+ · Table 3
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 1 / แถวต้นฉบับ 12
ไม่จัดอันดับ: 11
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| อันดับตามตัวชี้วัด | รุ่น | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
รายการต้นฉบับ (1)
YourMT3+ · Table 3 ↗ตรวจสอบเมื่อ 2026-10-25
OaFS · Table 5
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 10 / แถวต้นฉบับ 25
ไม่จัดอันดับ: 15
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
ตารางทางการ 5 เปรียบเทียบห้าชุดข้อมูลแยกกัน และแสดงเฉพาะการทดลองที่ตรวจสอบน้ำหนักสาธารณะตรงกันแล้ว OaFS ปัจจุบันฝึกร่วมกัน ผลนี้ไม่ยืนยันว่าเหนือกว่า MuScriptor
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3น้ำหนักสาธารณะ · โค้ดอนุมานOfficial MT3 T5X checkpoint and 294 tensor filesโค้ดอนุมานการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFSน้ำหนักสาธารณะ · โค้ดอนุมาน | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
รายการต้นฉบับ (10)
OaFS · Table 5 ↗ตรวจสอบเมื่อ 2026-10-25
OaFS · Table 6
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 68 / แถวต้นฉบับ 102
ไม่จัดอันดับ: 34
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFSน้ำหนักสาธารณะ · โค้ดอนุมาน | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3น้ำหนักสาธารณะ · โค้ดอนุมานOfficial MT3 T5X checkpoint and 294 tensor filesโค้ดอนุมานการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | Acoustic Piano | 974,080 | 56.90 | 66.08 |
รายการต้นฉบับ (68)
OaFS · Table 6 ↗ตรวจสอบเมื่อ 2026-10-25
OaFS · Table 7
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 28 / แถวต้นฉบับ 28
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFSน้ำหนักสาธารณะ · โค้ดอนุมาน | Piano | 70.36 | 72.10 |
| 2 | MT3น้ำหนักสาธารณะ · โค้ดอนุมานOfficial MT3 T5X checkpoint and 294 tensor filesโค้ดอนุมานการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | Piano | 63.12 | 69.99 |
รายการต้นฉบับ (28)
OaFS · Table 7 ↗ตรวจสอบเมื่อ 2026-10-25
OaFS · Table 4
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 2 / แถวต้นฉบับ 5
ไม่จัดอันดับ: 3
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
OaFS-ResUnet · OaFS-CFP · OaFS-single
| อันดับตามตัวชี้วัด | รุ่น | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3น้ำหนักสาธารณะ · โค้ดอนุมานOfficial MT3 T5X checkpoint and 294 tensor filesโค้ดอนุมานการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | 93.7 M | 34 |
| - | OaFSน้ำหนักสาธารณะ · โค้ดอนุมาน | 64.9 M | 34 |
รายการต้นฉบับ (2)
OaFS · Table 4 ↗ตรวจสอบเมื่อ 2026-10-25
TISMIR 2026 · Table 3
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 3 / แถวต้นฉบับ 7
ไม่จัดอันดับ: 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
D16 · MSE · Syn · Rescale
ตาราง 3 ในบทความ: K คือจำนวนสีสันเสียงที่ระบุ คำนวณ F1 รายแทร็กหลังจับคู่แทร็กอย่างเหมาะสม ผลเป็นค่าเฉลี่ยจากการฝึกอย่างน้อยสามครั้ง ไม่ใช่ผลวัดใหม่ของน้ำหนักโมเดลบนเว็บไซต์นี้
| อันดับตามตัวชี้วัด | รุ่น | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | Oursน้ำหนักสาธารณะ · โค้ดอนุมาน | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | Shareน้ำหนักสาธารณะ · โค้ดอนุมานseptimbre/ablation/DicephNet/dicephnet_model.pthโค้ดอนุมานการตั้งค่าการประเมินไม่ระบุสัญญาอนุญาตน้ำหนัก | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | Tanakaน้ำหนักสาธารณะ · โค้ดอนุมาน | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
รายการต้นฉบับ (3)
TISMIR 2026 · Table 3 ↗ตรวจสอบเมื่อ 2026-10-25
บันทึกการแก้ไขของ TelkNet · 13 สิงหาคม 2026
ปัญหาโน้ตหายใน MuScriptor
การคาดเดาผิดเพียงครั้งเดียวทำให้ 40 วินาทีถัดไปคลาดเคลื่อนได้อย่างไร?
เราใช้เพลงเต็มเพลงเดียวกันทดสอบทั้ง TelkNet และ MuScriptor Large 0.3.0 ทางการในโหมด strict ผลทั้งสองมี 8 พาร์ตและ 6,560 โน้ต โดยพาร์ต ระดับเสียง และลำดับของแต่ละโน้ตตรงกัน ความผิดปกติอยู่ราววินาทีที่ 182–222: ต้นฉบับยังมีแนวทำนองชัดเจนในย่านกลางถึงสูง แต่ MIDI กลับมีช่องว่างเหนือ C4 ประมาณ 40.31 วินาที UI การประมวลผล BPM และตัวแก้ไข MIDI ไม่ได้ลบโน้ตเหล่านั้น ช่องว่างมีอยู่แล้วในเอาต์พุตของโมเดลทางการ เราไม่มีสกอร์ต้นฉบับ จึงบอกจำนวนโน้ตที่หายไปอย่างแม่นยำไม่ได้
TelkNet ปรับการส่งข้อมูลเครื่องดนตรีระหว่างช่วงละ 5 วินาที เพื่อลดการส่งต่อการจำแนกที่ผิดและเชื่อมโน้ตที่ลากข้ามช่วง MuScriptor Large ถอดโน้ตแต่ละช่วงหนึ่งครั้ง
จากนั้นเรารันงานเต็ม 16 ครั้งกับ 14 เพลง และทุกงานจบตามปกติ เพลงแรกมีช่องว่างการเริ่มโน้ตเหนือ C4 ยาวที่สุดลดจาก 40.309 เป็น 1.970 วินาที ส่วนเพลงที่สองเปลี่ยนจาก 1,698 โน้ต 6 แทร็กที่ใช้งาน และเปียโน 70.79% เป็น 2,279 โน้ต 8 แทร็กที่ใช้งาน และเปียโน 50.77% เมื่อรันเพลงแต่ละเพลงใหม่แบบเต็มสองครั้ง ไฟล์ที่ได้ตรงกันทุกไบต์
