Enhanced Automatic Drum Transcription via Drum Stem Source Separation
arXiv - 2025
กําลังโหลด...
ADTOF Plus · ADTOF Direct · ADT_STR · MSG-LD. มิกซ์เต็มจะแยกเสียงกลองก่อนตามขั้นตอนของโมเดลที่เลือก ส่วนเสียงกลองที่แยกแล้วจะส่งเข้าโมเดลถอดโน้ตหรือแยกชิ้นกลองโดยตรง
อินพุต
รองรับอินพุตในรูปแบบต่างๆ เช่น mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
รูปแบบที่รองรับ
เอาท์พุต
MIDI
กรณีการใช้งาน
แก้ไขโน้ต การจัดเครื่องดนตรี และรายละเอียดการบรรเลง
เลือกโมเดลให้เหมาะกับเนื้อหาและวัตถุประสงค์ แล้วดูตัวอย่างก่อนส่ง
ค่าใช้จ่าย เวลา รูปแบบและพารามิเตอร์ขึ้นอยู่กับโมเดลที่เลือก
โปรดระบุชื่อเครื่องมือ ขั้นตอน และปัญหาที่พบในข้อเสนอแนะ ภาพหน้าจอช่วยให้ตรวจสอบได้ง่ายขึ้น
ADT_STR ตรวจจับเวลาเริ่มและความแรงของกลอง 26 ประเภท แล้วส่งออก MIDI
MSG-LD สร้างเสียงกลองห้าประเภทและตรวจจับจุดเริ่ม MIDI ใช้ความแรงคงที่ 100 และระยะเล่นคงที่ 0.1 วินาที
MSG-LD สร้างเสียงกลองห้าประเภทและตรวจจับจุดเริ่ม MIDI ใช้ความแรงคงที่ 100 และระยะเล่นคงที่ 0.1 วินาที
ADTOF Plus เพิ่มการแยกเสียงกลอง การกำหนดความแรง และการประมวลผลไฮแฮตเปิด/ปิดให้ ADTOF โดยรับเพลงมิกซ์เต็มได้
ADTOF Direct ถอดโน้ตกลองที่แยกแล้วด้วย PyTorch ADTOF หากเลือกมิกซ์เต็ม TelkNet จะแยกกลองด้วย AudioSep-Hive ก่อน โดยไม่ใช้การประมวลผลความแรงและไฮแฮตเปิด/ปิดแบบ Plus
arXiv - 2025
ISMIR - 2021
Signals - 2023
รวมผลทดสอบสาธารณะของโมเดลที่ใช้ในเว็บไซต์นี้และที่อื่น โดยแสดงตารางต้นฉบับทั้งหมดเป็นค่าเริ่มต้น และสามารถเลือกเงื่อนไขกับตัวชี้วัดเพื่อเปรียบเทียบได้ คะแนนจากเงื่อนไขการทดสอบต่างกันไม่สามารถเปรียบเทียบโดยตรงได้
แสดงเฉพาะรายการที่ตรวจสอบแล้วว่ามีโค้ดอนุมานสาธารณะและน้ำหนักตรงกับรุ่นทดลอง รวมถึงอัลกอริทึมที่ไม่ต้องใช้น้ำหนัก โดยไม่รวมบริการปิด น้ำหนักที่ยังไม่เผยแพร่ หรือรุ่นทดลองที่จับคู่ไม่ได้ นี่ไม่ใช่อันดับรวมของทุกรุ่น
การเผยแพร่น้ำหนักไม่ได้ยืนยันว่ามีสัญญาอนุญาตโอเพนซอร์สครบถ้วน ขยายข้อมูลเพื่อดูสัญญาอนุญาตน้ำหนักและเงื่อนไขการเข้าถึง รายการที่ไม่ระบุสัญญาอนุญาตจะแสดงแยกต่างหาก
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
คำแนะนำใน README ของ ADT-STR ขัดกับกราฟคะแนน อันดับนี้ใช้ค่าที่ระบุในกราฟทางการ
| อันดับตามตัวชี้วัด | รุ่น | ENST↑F1 % | MDB↑F1 % |
|---|---|---|---|
| 1 | ADT-STR · τ=0.4น้ำหนักสาธารณะ · โค้ดอนุมาน | 60 | 71 |
| 2 | ADT-STR · τ=0.6น้ำหนักสาธารณะ · โค้ดอนุมาน | 58 | 65 |
| 3 | ADT-STR · τ=0.8โมเดลที่ใช้ในเว็บไซต์น้ำหนักสาธารณะ · โค้ดอนุมาน | 52 | 61 |
เครื่องหมายระบุโมเดลหรือส่วนประกอบที่ใช้ที่นี่ คะแนนและการตั้งค่ามาจากการทดสอบที่อ้างอิง ไม่ใช่ผลประเมินใหม่ของกระบวนการทั้งหมดบนเว็บไซต์
แยกชุดข้อมูล รุ่น และเงื่อนไข รวมถึงแหล่งที่ยังไม่มีรายการผ่านเกณฑ์จัดอันดับ
ติดตั้งได้ 2 / แถวต้นฉบับ 2
ติดตั้งได้ 6 / แถวต้นฉบับ 6
ติดตั้งได้ 3 / แถวต้นฉบับ 6
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
Vogl et al. 8-class baseline · MDB · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · RBMA · 8-class evaluation · onset only · 50 ms · Vogl et al. 8-class baseline · ENST · 8-class evaluation · onset only · 50 ms
ติดตั้งได้ 0 / แถวต้นฉบับ 8
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
Setting-1 · ENST · Setting-2 · ENST · Setting-3 · ENST · Setting-4 · ENST · Setting-1 · MDB · Setting-2 · MDB · Setting-3 · MDB · Setting-4 · MDB
ติดตั้งได้ 2 / แถวต้นฉบับ 3
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
LarsNet
ติดตั้งได้ 2 / แถวต้นฉบับ 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
MSG-LD Vanilla · MSG-LD TB
คะแนนอ้างอิงชุดข้อมูล ตัวชี้วัด และรุ่นโมเดลที่ระบุ จึงเปรียบเทียบข้ามการทดสอบโดยตรงไม่ได้
ตารางแสดงเฉพาะโมเดลที่มีเวตหรือการตั้งค่าแบบสาธารณะและเรียกใช้ในเครื่องได้
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 2 / แถวต้นฉบับ 2
ADTOF-PyTorch README · PyTorch 88.51 · Keras 88.74
| อันดับตามตัวชี้วัด | รุ่น | Recall↑ | Precision↑ | F-measure↑ |
|---|---|---|---|---|
| 1 | ADTOF (original) | 88.68 | 89.90 | 88.74 |
| 2 | ADTOF-pytorchน้ำหนักสาธารณะ · โค้ดอนุมาน | 88.26 | 89.83 | 88.51 |
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ค่าตัวเลขมาจากแหล่งข้อมูลสาธารณะที่เชื่อมโยงไว้ ป้ายกำกับแถวระบุชุดทดสอบหรือเช็กพอยต์ ส่วนคะแนนที่ไม่ได้รายงานจะแสดงด้วยเครื่องหมาย "-"
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F1 %↑ | ความแม่นยำ%↑ | เรียกคืน %↑ |
|---|---|---|---|---|---|
| 1 | ADTOF Plusน้ำหนักสาธารณะ · โค้ดอนุมานMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchโค้ดอนุมาน drumsep_5stems_mdx23c_jarredou.ckptสัญญาอนุญาตน้ำหนัก (ตามที่คลังโค้ดระบุ): mit | MDB · 5 classes · onset only · 50 ms | 89 | 89 | 89 |
| 2 | Original ADTOF | MDB · 5 classes · onset only · 50 ms | 87 | - | - |
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ค่าตัวเลขมาจากแหล่งข้อมูลสาธารณะที่เชื่อมโยงไว้ ป้ายกำกับแถวระบุชุดทดสอบหรือเช็กพอยต์ ส่วนคะแนนที่ไม่ได้รายงานจะแสดงด้วยเครื่องหมาย "-"
| อันดับตามตัวชี้วัด | รุ่น | เงื่อนไขทดสอบ | F1 %↑ | ความแม่นยำ%↑ | เรียกคืน %↑ |
|---|---|---|---|---|---|
| - | ADTOF Plusน้ำหนักสาธารณะ · โค้ดอนุมานMDX23C 5-stemMDX23C full-mix drumsADTOF PyTorchโค้ดอนุมาน drumsep_5stems_mdx23c_jarredou.ckptสัญญาอนุญาตน้ำหนัก (ตามที่คลังโค้ดระบุ): mit | MDB · 8-class evaluation · onset only · 50 ms | 84 | 84 | 84 |
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 2 / แถวต้นฉบับ 3
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
LarsNet
งานวิจัยประเมิน OB, TB และ OBTB แยกกัน คะแนน OB ไม่ใช่คะแนนของ OBTB ค่าเริ่มต้น แสดง F1 ของโน้ตและ mel-MSE/FAD ของเสียงคนละตาราง กระบวนการตรวจจับในงานวิจัยยังไม่ได้วัดซ้ำที่นี่
| อันดับตามตัวชี้วัด | รุ่น | MDB · Kick | MDB · Snare | MDB · Toms | MDB · Hi-Hats | MDB · Cymbals | MDB · Overall | ENST · Kick | ENST · Snare | ENST · Toms | ENST · Hi-Hats | ENST · Cymbals | ENST · Overall | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | ADTOF | 0.851 | 0.790 | 0.923 | 0.752 | 0.828 | 0.690 | 0.520 | 0.520 | 0.520 | 0.773 | 0.859 | 0.703 | 0.849 | 0.802 | 0.902 | 0.795 | 0.813 | 0.778 | 0.795 | 0.984 | 0.667 | 0.599 | 0.932 | 0.441 | 0.581 | 0.669 | 0.513 | 0.777 | 0.936 | 0.663 | 0.657 | 0.788 | 0.563 | 0.709 | 0.908 | 0.582 |
| 2 | MSG-LD OBน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.931 | 0.939 | 0.923 | 0.760 | 0.791 | 0.732 | 0.268 | 0.309 | 0.236 | 0.650 | 0.550 | 0.794 | 0.481 | 0.663 | 0.377 | 0.707 | 0.709 | 0.704 | 0.821 | 0.941 | 0.729 | 0.642 | 0.698 | 0.594 | 0.491 | 0.415 | 0.602 | 0.630 | 0.643 | 0.618 | 0.391 | 0.611 | 0.287 | 0.640 | 0.695 | 0.593 |
เลือกชุดข้อมูลเพื่อดูทุกตัวชี้วัดของแต่ละโมเดล แถวเรียงตามอันดับทางการหรือตัวชี้วัดที่เลือก ตัวหนาแสดงค่าที่ดีที่สุดที่เปรียบเทียบกันได้ในแต่ละคอลัมน์ รวมถึงค่าที่เสมอกัน วิธีประเมินที่ต่างกันจะแยกจัดอันดับ คะแนนที่ไม่มีจะแสดงเป็น "-"
ติดตั้งได้ 2 / แถวต้นฉบับ 4
ยังไม่ได้ยืนยันแพ็กเกจอนุมานสาธารณะที่ครบถ้วนสำหรับการทดลองเหล่านี้ น้ำหนักอื่นที่ชื่อโมเดลเดียวกันใช้แทนไม่ได้
MSG-LD Vanilla · MSG-LD TB
งานวิจัยประเมิน OB, TB และ OBTB แยกกัน คะแนน OB ไม่ใช่คะแนนของ OBTB ค่าเริ่มต้น แสดง F1 ของโน้ตและ mel-MSE/FAD ของเสียงคนละตาราง กระบวนการตรวจจับในงานวิจัยยังไม่ได้วัดซ้ำที่นี่
| อันดับตามตัวชี้วัด | รุ่น | MDB Overall | ENST Overall | Mean overall F1 (2 sets) | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | F1↑ | P↑ | R↑ | ||
| 1 | MSG-LD OBน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.707 | 0.709 | 0.704 | 0.640 | 0.695 | 0.593 | 0.674 | 0.674 | 0.674 |
| 2 | MSG-LD OBTBน้ำหนักสาธารณะ · โค้ดอนุมาน | 0.690 | 0.709 | 0.672 | 0.636 | 0.703 | 0.580 | 0.663 | 0.663 | 0.663 |