VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music
ISMIR - 2021
VOCANO ใช้ Patch-CNN ดึงระดับเสียงร้องและ PyramidNet-110 หาแนวแบ่งโน้ต จุดเรียก inference ที่เผยแพร่ไม่มีตัวปรับโมเดลเพิ่มเติม
กําลังโหลด...
แปลงเสียงร้อง ฮัม หรือแทร็กเสียงร้องเป็น MIDI เปรียบเทียบ ROSVOT, GAME, SOME และ VOCANO แล้วแก้ทำนอง
อินพุต
อัปโหลดเสียงร้องเดี่ยว เสียงฮัม หรือแทร็กเสียงร้องนำที่แยกแล้ว หากมีเพียงเพลงสำเร็จ ให้เลือก “เพลงเต็ม” ระบบจะแยกเสียงร้องนำก่อนถอดเป็นโน้ต
รูปแบบที่รองรับ
เอาท์พุต
MIDI
กรณีการใช้งาน
การคัดลอกทำนองเพลงลงใน DAW เพื่อการแก้ไข การเล่นสองเท่า การเขียนโปรแกรมซินธ์ หรือร่างโน้ต
เลือกโมเดลให้เหมาะกับเนื้อหาและวัตถุประสงค์ แล้วดูตัวอย่างก่อนส่ง
ค่าใช้จ่าย เวลา รูปแบบและพารามิเตอร์ขึ้นอยู่กับโมเดลที่เลือก
โปรดระบุชื่อเครื่องมือ ขั้นตอน และปัญหาที่พบในข้อเสนอแนะ ภาพหน้าจอช่วยให้ตรวจสอบได้ง่ายขึ้น
SOME เป็นเส้นทางเสียงร้องไป MIDI ที่เร็วและเบา
เส้นทางที่ทนต่อเสียงรบกวนหรือเสียงดนตรีประกอบรั่วเข้ามา โดย checkpoint ทางการปัจจุบันฝึกจากการร้องภาษาจีนกลางเป็นหลัก
แปลงเสียงร้องเป็น MIDI พร้อมปรับภาษาที่ร้อง การแบ่งช่วง และการตรวจจับโน้ต
VOCANO ใช้ Patch-CNN ดึงระดับเสียงร้องและ PyramidNet-110 หาแนวแบ่งโน้ต จุดเรียก inference ที่เผยแพร่ไม่มีตัวปรับโมเดลเพิ่มเติม
ISMIR - 2021
VOCANO ใช้ Patch-CNN ดึงระดับเสียงร้องและ PyramidNet-110 หาแนวแบ่งโน้ต จุดเรียก inference ที่เผยแพร่ไม่มีตัวปรับโมเดลเพิ่มเติม
ACL - 2024
เส้นทางที่ทนต่อเสียงรบกวนหรือเสียงดนตรีประกอบรั่วเข้ามา โดย checkpoint ทางการปัจจุบันฝึกจากการร้องภาษาจีนกลางเป็นหลัก
Official technical guide - 2026
แปลงเสียงร้องเป็น MIDI พร้อมปรับภาษาที่ร้อง การแบ่งช่วง และการตรวจจับโน้ต
Official technical guide - 2023
รวมผลทดสอบสาธารณะของโมเดลที่ใช้ในเว็บไซต์นี้และที่อื่น โดยแสดงตารางต้นฉบับทั้งหมดเป็นค่าเริ่มต้น และสามารถเลือกเงื่อนไขกับตัวชี้วัดเพื่อเปรียบเทียบได้ คะแนนจากเงื่อนไขการทดสอบต่างกันไม่สามารถเปรียบเทียบโดยตรงได้
แสดงเฉพาะรายการที่ตรวจสอบแล้วว่ามีโค้ดอนุมานสาธารณะและน้ำหนักตรงกับรุ่นทดลอง รวมถึงอัลกอริทึมที่ไม่ต้องใช้น้ำหนัก โดยไม่รวมบริการปิด น้ำหนักที่ยังไม่เผยแพร่ หรือรุ่นทดลองที่จับคู่ไม่ได้ นี่ไม่ใช่อันดับรวมของทุกรุ่น
การเผยแพร่น้ำหนักไม่ได้ยืนยันว่ามีสัญญาอนุญาตโอเพนซอร์สครบถ้วน ขยายข้อมูลเพื่อดูสัญญาอนุญาตน้ำหนักและเงื่อนไขการเข้าถึง รายการที่ไม่ระบุสัญญาอนุญาตจะแสดงแยกต่างหาก
โมเดลที่เลือกยังไม่มีผลประเมินสาธารณะที่ตรงกันและผ่านการตรวจสอบ จึงไม่ได้จัดอันดับ
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ข้อมูลส่วนตัวของผู้เขียน มีเสียงบันทึกที่กันไว้ 100 รายการ แต่ละขนาดใช้ K ที่ดีที่สุดตามรายงาน OA คือความแม่นยำรวมระดับเฟรม ไม่ใช่ F1 ของโน้ต และไม่รวมกับคะแนน ROSVOT
| อันดับตามตัวชี้วัด | รุ่น | อันดับรวมภายใต้เงื่อนไขเดียวกัน↑OA (%) | QER (%)↓ | Presence F1 (%)↑ | RPA (%)↑ | Pitch RMSE↓ | Chamfer (frames)↓ |
|---|---|---|---|---|---|---|---|
| 1 | GAME 1.0 Medium · K=8น้ำหนักสาธารณะ · โค้ดอนุมาน | 95.03 | 12.3 | 99.23 | 94.86 | 0.552 | 1.44 |
| 1 | GAME 1.0 Large · K=1น้ำหนักสาธารณะ · โค้ดอนุมาน | 95.03 | 12.87 | 99.15 | 94.92 | 0.684 | 1.44 |
| 3 | GAME 1.0 Small · K=2น้ำหนักสาธารณะ · โค้ดอนุมาน | 94.99 | 13.13 | 99.14 | 94.99 | 0.653 | 1.5 |
แยกชุดข้อมูล รุ่น และเงื่อนไข รวมถึงแหล่งที่ยังไม่มีรายการผ่านเกณฑ์จัดอันดับ
ติดตั้งได้ 2 / แถวต้นฉบับ 10
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
คะแนนอ้างอิงชุดข้อมูล ตัวชี้วัด และรุ่นโมเดลที่ระบุ จึงเปรียบเทียบข้ามการทดสอบโดยตรงไม่ได้
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 2 / แถวต้นฉบับ 10
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)
เส้นทางที่ทนต่อเสียงรบกวนหรือเสียงดนตรีประกอบรั่วเข้ามา โดย checkpoint ทางการปัจจุบันฝึกจากการร้องภาษาจีนกลางเป็นหลัก
| อันดับตามตัวชี้วัด | รุ่น | COn (F) ↑ | COff (F) ↑ | COnPOff (F) ↑ | Pitch (AOR) ↑ | Melody (RPA) ↑ | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| clean | noisy | clean | noisy | clean | noisy | clean | noisy | clean | noisy | ||
| 1 | ℳ (ours)น้ำหนักสาธารณะ · โค้ดอนุมาน | 94.0 | 93.8 | 94.5 | 94.4 | 77.4 | 77.0 | 97.0 | 97.1 | 87.6 | 87.4 |
| 2 | ℳ (w/ E W )น้ำหนักสาธารณะ · โค้ดอนุมาน | 93.3 | 93.5 | 93.2 | 92.9 | 77.1 | 77.0 | 96.5 | 96.2 | 87.5 | 87.2 |