การถอดเสียงเพลงอัตโนมัติ
GAPS, FiloSax, FiloBass, VioPTT และ SwiftF0 ต่างก็ให้ผลลัพธ์เป็น MIDI เหมือนกัน แต่การกระจายตัวของข้อมูลนำเข้า ป้ายกำกับ และความคลาดเคลื่อนที่ยอมรับในการจับคู่ไม่เหมือนกัน เส้นทางที่ถูกต้องคือเลือกโมเดลตามเครื่องดนตรีก่อน แล้วค่อยเปรียบเทียบเฉพาะภายในชุดข้อมูลเดียวกัน
Event F1
เมื่อจับคู่โน้ตภายใต้ช่วงความคลาดเคลื่อนของ onset แล้ว จะได้ P=TP/(TP+FP), R=TP/(TP+FN) และ F1=2PR/(P+R) การจับคู่แบบพิจารณา offset ด้วยนั้นเข้มงวดกว่า ค่า F1 ทุกตัวจึงต้องระบุความคลาดเคลื่อนและนิยามการจับคู่กำกับไว้เสมอ
สามแนวทางการสร้างโมเดล
GAPS แปลงกีตาร์เดี่ยวที่สะอาดหรือแยกเสียงแล้วเป็นเหตุการณ์โน้ตและ MIDI โดยไม่ส่งออกตำแหน่งสาย เฟรต F0 ต่อเนื่อง หรือ Pitch Bend โปรดเทียบกับเสียงต้นฉบับเพื่อปรับความแรงของโน้ต MIDI FiloSax ใช้กับโซโลแซกโซโฟนแจ๊สเสียงเดียว และส่งออกเหตุการณ์ระดับเสียง เวลาเริ่ม และเวลาจบแบบไม่ต่อเนื่องเป็น MIDI โดยไม่ส่งออกเส้นระดับเสียง slide หรือ vibrato แบบต่อเนื่อง FiloBass ใช้กับดับเบิลเบสแจ๊สเสียงเดียว (double bass / upright bass) ไม่ใช่เบสทั่วไปหรือเบสไฟฟ้า ควรใช้ stem ที่สะอาดหรือแยกแล้ว เพราะเสียงกระเดื่องและเสียงรั่วในย่านต่ำอาจสร้างโน้ตปลอม VioPTT ส่งออกเหตุการณ์โน้ตไวโอลินและป้ายเทคนิคหนึ่งในสี่แบบ —détaché, flageolet, spiccato, pizzicato— หรือไม่มีป้าย ค่า MIDI velocity เป็นค่าคงที่ ไม่ใช่การวัดไดนามิกของการบรรเลง SwiftF0 ติดตาม F0 ต่อเนื่องของเสียงเดียว TelkNet แบ่งเส้นนั้นเป็นโน้ตแล้วส่งออก MIDI, CSV ระดับเสียงรายเฟรม และกราฟ โมเดลนี้ไม่ถอดเสียงมิกซ์หลายเสียงเต็มเพลง
สายงานประมวลผล
ส่งไฟล์กีตาร์โซโล แซกโซโฟนแจ๊ส ดับเบิลเบสแจ๊ส ไวโอลินโซโล หรือทำนองเสียงเดียวที่สะอาดหรือแยก stem แล้ว ไปยังโมเดลเฉพาะทางที่ตรงกับเครื่องดนตรี
วิวัฒนาการของวิธีถอดเสียง
งานแปลงเสียงเป็น MIDI ไม่มีโมเดลเดียวที่ครอบคลุมทุกเครื่องดนตรีและทุกตัวชี้วัด GAPS มุ่งที่กีตาร์; FiloSax, FiloBass และ VioPTT ใช้ประโยชน์จากช่วงเสียงและการเกิดเสียงเฉพาะของแต่ละเครื่องดนตรี; ส่วน SwiftF0 ใกล้กับการติดตามพิตช์ทั่วไปมากกว่า การใช้รูปแบบไฟล์ร่วมกันไม่ได้ทำให้การกระจายตัวของข้อมูลฝึกเทียบเคียงกันได้
วงการนี้เคลื่อนจากการตรวจจับพิตช์ทีละเฟรม ไปสู่การทำนาย onset, offset, พิตช์ และ velocity พร้อมกัน ก่อนจะมุ่งไปที่การถอดรหัสอีเวนต์โน้ตแบบลำดับที่สมบูรณ์ ความก้าวหน้าเห็นได้จากโน้ตซ้ำ เสียงค้างสะสวน สไลด์ และวิบราโต ไม่ใช่แค่ค่า F1 ที่สูงขึ้น คะแนนจากผลงานวิจัยต่าง ๆ ยังเปรียบเทียบกันไม่ได้ตราบใดที่ช่วงความคลาดเคลื่อนและกฎการจับคู่ไม่ตรงกัน
แผนผังการสร้างชุดข้อมูลจากผลงาน GAPSเสียงจาก YouTube และโน้ตกีตาร์ผ่านขั้นตอนการจัดแนว ตรวจสอบด้วยมือ จัดแนวใหม่ และกรองผลถอดเสียง ก่อนรวมกันเป็นชุดข้อมูลเฉพาะทางแหล่งต้นทางอย่างเป็นทางการ: Figure 1 / figs/GAPS_flowchart.png
การถอดเสียงระดับอีเวนต์ต้องให้คะแนนทั้ง onset และ offset
ผลงานวิจัยแต่ละฉบับนิยาม true positive ต่างกัน: บางฉบับใช้เพียงความคลาดเคลื่อนของ onset ขณะที่บางฉบับกำหนดเพิ่มทั้ง offset พิตช์ หรือเทคนิคการเล่น เมื่อถอดกฎการจับคู่ออก ค่า F1 ก็ไม่สามารถนำมาเปรียบเทียบกันได้อีก
GAPS, FiloSax, FiloBass, VioPTT และ SwiftF0 มุ่งเป้าที่เครื่องดนตรีและระดับการกำกับข้อมูลที่แตกต่างกัน การเลือกเส้นทางโมเดลให้ถูกต้องสำคัญกว่าการรวมค่าสูงสุดจากชุดข้อมูลที่ไม่เกี่ยวข้องกันเข้าด้วยกัน
ผลงานวิจัย โค้ด และน้ำหนักโมเดลติดตามได้ผ่าน Unified specialist runtime / GAPS paper / VioPTT
ฮีตแมปการกระจายตัวบนคอกีตาร์จากผลงาน GAPSการกระจายตัวแบบหางยาวของคู่สาย–เฟรต แสดงให้เห็นว่าเหตุใดการถอดเสียงกีตาร์จึงไม่สามารถย่อให้เหลือเพียงค่า event F1 เฉลี่ยรวมตัวเดียวแหล่งต้นทางอย่างเป็นทางการ: figs/fret_heatmap.png
เปรียบเทียบได้ก็ต่อเมื่อนิยามอีเวนต์ตรงกัน
แต่ละแถวคงสถาปัตยกรรม ตัวชี้วัด หรือนิยามงานจากต้นทางของตนเองไว้; ผลลัพธ์ที่ไม่มีโปรโตคอลร่วมกันจึงต้องแยกกันอยู่
ตรวจสอบอีเวนต์โน้ตด้วยหู
เปียโนต้องตรวจเสียงค้างสะสวนและโน้ตซ้ำ; แซกโซโฟนและไวโอลินต้องตรวจสไลด์ เสียงประดับ และวิบราโต; ส่วนเบสมักถูกสับสนกับกลองเบสและฮาร์มอนิกต่ำ ๆ ซินธิไซเซอร์สามารถปกปิดความผิดพลาดด้านจังหวะเวลาได้ จึงควรตรวจ piano roll เทียบกับคลื่นเสียงเสมอ
ค่า event F1 เปลี่ยนตามขนาดหน้าต่างความคลาดเคลื่อน การจับคู่ onset ที่ 50 ms การจับคู่ onset แบบเข้มงวด คะแนนโน้ตแบบพิจารณา offset และ frame F1 ตอบคำถามคนละข้อ เครื่องมือจึงบันทึกโมเดล ค่าขีดจำกัด และการปัดจำนวนไว้ เพื่อให้คำนวณผลซ้ำได้
ข้อมูลทางดนตรีที่ MIDI ไม่ได้เก็บไว้
MIDI เก็บอีเวนต์เชิงสัญลักษณ์ ไม่ใช่ทิมเบอร์ ห้อง หรือน้ำหนักการสัมผัสดั้งเดิม ความผิดพลาดในการระบุตัวตนเครื่องดนตรีภายในมิกซ์จะลามไปถึงงานเรียบเรียงและการเขียนโน้ต
เมื่อไม่มีชุดข้อมูลร่วมกันและกฎความคลาดเคลื่อนที่ตรงกัน ตัวชี้วัดเฉพาะแหล่งก็ยังต้องแยกกันอยู่ แทนที่จะถูกนำมาประกอบเป็นผู้ชนะข้ามผลงานวิจัยที่ไม่มีอยู่จริง