Âm thanh chuyên biệt cho MIDI: năm mẫu, năm đề thi F1 khác nhau · TelkNet
Mô hình
Âm thanh chuyên biệt cho MIDI: năm mẫu, năm đề thi F1 khác nhau
Các mô hình này có trọng số công khai, kết nối dưới dạng công cụ hoặc profile TelkNet, lựa chọn phiên bản rõ ràng và định nghĩa runtime bất biến. Trạng thái Admin quyết định việc hiển thị và nhận tác vụ; kích hoạt cần E2–E4, còn tuyến mặc định cần thêm E5.
GAPS, FiloSax, FiloBass, VioPTT và SwiftF0 đều xuất ra MIDI, nhưng phân phối đầu vào, nhãn và ngưỡng dung sai khi khớp nốt của chúng khác nhau. Hãy định tuyến đúng nhạc cụ trước; chỉ so sánh trong phạm vi bộ dữ liệu tương ứng.
F1 sự kiện
Sau khi khớp các nốt trong ngưỡng dung sai onset, P=TP/(TP+FP), R=TP/(TP+FN) và F1=2PR/(P+R). Cách khớp có tính offset chặt chẽ hơn, nên mỗi giá trị F1 phải đi kèm ngưỡng dung sai và định nghĩa khớp của nó.
Ba hướng mô hình hóa
GAPS chuyển guitar độc tấu sạch hoặc đã tách thành sự kiện nốt và MIDI. Không xuất vị trí dây, phím đàn, F0 liên tục hoặc Pitch Bend. Hãy đối chiếu bản thu gốc để điều chỉnh lực nhấn MIDI. FiloSax dành cho solo saxophone jazz đơn âm và xuất các sự kiện cao độ, thời điểm bắt đầu và kết thúc rời rạc dưới dạng MIDI. Mô hình không xuất đường cao độ, slide hay vibrato liên tục. FiloBass dành cho contrabass jazz đơn âm (double bass / upright bass), không phải bass nói chung hay bass điện. Nên dùng stem sạch hoặc đã tách; tiếng kick và rò dải trầm có thể tạo nốt giả. VioPTT xuất sự kiện nốt violin và một trong bốn nhãn kỹ thuật —détaché, flageolet, spiccato, pizzicato— hoặc không có nhãn. MIDI velocity là giá trị cố định, không phải phép đo sắc thái trình diễn. SwiftF0 theo dõi F0 liên tục của nguồn đơn âm. TelkNet chia đường cao độ thành nốt rồi xuất MIDI, CSV cao độ theo khung hình và biểu đồ. Mô hình không chép bản phối đa âm đầy đủ.
Chuỗi xử lý
Bản thu guitar solo, saxophone jazz, contrabass jazz, violin solo hoặc giai điệu đơn âm đã làm sạch hay tách stem sẽ được chuyển đến mô hình chuyên dụng tương ứng.
Các phương pháp phiên ký âm đã tiến hóa ra sao
Audio-sang-MIDI không có một mô hình nào bao trọn mọi nhạc cụ và mọi phép đo. GAPS nhắm vào guitar; FiloSax, FiloBass và VioPTT khai thác quãng âm và cách diễn tấu đặc thù của từng nhạc cụ; SwiftF0 gần với bài toán theo dõi cao độ tổng quát hơn. Dùng chung định dạng tệp không có nghĩa phân phối huấn luyện của chúng tương đương nhau.
Lĩnh vực này đã đi từ phát hiện cao độ theo từng frame sang dự đoán đồng thời onset, offset, cao độ và velocity, rồi tiến tới giải mã chuỗi các sự kiện nốt trọn vẹn. Tiến bộ thể hiện ở các nốt lặp, sustain, slide và vibrato — chứ không chỉ là một con số F1 lớn hơn. Điểm số trong các bài báo vẫn không thể đặt cạnh nhau khi cửa sổ dung sai và quy tắc khớp khác nhau.
Lưu đồ tạo bộ dữ liệu của bài báo GAPSÂm thanh YouTube và bản phổ guitar đi qua các bước căn chỉnh, kiểm tra thủ công, căn chỉnh lại và lọc bản phiên ký âm trước khi tạo thành bộ dữ liệu chuyên biệt.Nguồn chính thức: Hình 1 / figs/GAPS_flowchart.png
Phiên ký âm sự kiện phải chấm cả onset lẫn offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPsự kiện khớp theo ngưỡng dung sai của bài báo đó
FPsự kiện dự đoán thừa
FNsự kiện bị bỏ sót
Mỗi bài báo định nghĩa true positive một cách khác nhau: có bài chỉ yêu cầu dung sai onset; có bài còn đòi hỏi cả offset, cao độ hoặc kỹ thuật chơi. Một giá trị F1 không còn so sánh được khi tách khỏi quy tắc khớp của nó.
GAPS, FiloSax, FiloBass, VioPTT và SwiftF0 nhắm tới những nhạc cụ và mức độ gán nhãn khác nhau. Định tuyến đúng quan trọng hơn việc gom các giá trị cực đại từ những bộ dữ liệu không liên quan.
Có thể theo dõi bài báo, mã nguồn và trọng số qua Unified specialist runtime / GAPS paper / VioPTT.
Bản đồ nhiệt phân phối trên cần đàn của bài báo GAPSPhân phối đuôi dài của các tổ hợp dây–ngăn đàn cho thấy vì sao phiên ký âm guitar không thể gói gọn trong một F1 sự kiện tổng hợp.Nguồn chính thức: figs/fret_heatmap.png
Chỉ so sánh khi định nghĩa sự kiện đã khớp nhau
Mỗi hàng giữ nguyên kiến trúc nguồn, phép đo hoặc định nghĩa tác vụ của nó; những kết quả không có chung giao thức vẫn được tách riêng.
Mô hình
Đầu ra gốc hoặc suy ra
Phạm vi chính xác
GAPS
MIDI · pitch/onset/offset
GAPS chuyển guitar độc tấu sạch hoặc đã tách thành sự kiện nốt và MIDI. Không xuất vị trí dây, phím đàn, F0 liên tục hoặc Pitch Bend. Hãy đối chiếu bản thu gốc để điều chỉnh lực nhấn MIDI.
FiloSax
MIDI · pitch/onset/offset
FiloSax dành cho solo saxophone jazz đơn âm và xuất các sự kiện cao độ, thời điểm bắt đầu và kết thúc rời rạc dưới dạng MIDI. Mô hình không xuất đường cao độ, slide hay vibrato liên tục.
FiloBass
MIDI · pitch/onset/offset
FiloBass dành cho contrabass jazz đơn âm (double bass / upright bass), không phải bass nói chung hay bass điện. Nên dùng stem sạch hoặc đã tách; tiếng kick và rò dải trầm có thể tạo nốt giả.
VioPTT
MIDI + technique CSV
VioPTT xuất sự kiện nốt violin và một trong bốn nhãn kỹ thuật —détaché, flageolet, spiccato, pizzicato— hoặc không có nhãn. MIDI velocity là giá trị cố định, không phải phép đo sắc thái trình diễn.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 theo dõi F0 liên tục của nguồn đơn âm. TelkNet chia đường cao độ thành nốt rồi xuất MIDI, CSV cao độ theo khung hình và biểu đồ. Mô hình không chép bản phối đa âm đầy đủ.
Nghe kiểm tra các sự kiện nốt
Piano cần kiểm tra sustain và nốt lặp; saxophone và violin cần kiểm tra slide, hoa mỹ và vibrato; bass dễ bị nhầm với trống kick và các họa âm trầm. Synthesizer có thể che giấu lỗi thời gian, vì vậy hãy đối chiếu piano roll với dạng sóng.
F1 sự kiện thay đổi theo cửa sổ dung sai. Khớp onset 50 ms, khớp onset chặt, điểm nốt có tính offset và F1 theo frame trả lờin những câu hỏi khác nhau. Công cụ ghi lại mô hình, ngưỡng và lượng tử hóa để kết quả có thể tính lại.
Những thông tin âm nhạc mà MIDI không giữ lại
MIDI lưu các sự kiện ký hiệu, chứ không lưu âm sắc, không gian phòng hay cách chạm phím ban đầu. Lỗi nhận diện nhạc cụ trong một bản mix sẽ lan sang phối khí và ký âm.
Khi không có bộ dữ liệu chung và quy tắc dung sai khớp thống nhất, các phép đo riêng của từng nguồn vẫn phải tách biệt, thay vì tạo ra một quán quân tổng hợp xuyên bài báo.
Bài báo và tệp công khai của Unified specialist runtime
Tên mô hình, con số và các giới hạn đều truy về các bài báo, kho mã hoặc model card bên dưới.