MIDI-তে বিশেষ অডিও: পাঁচটি মডেল, পাঁচটি ভিন্ন F1 পরীক্ষার প্রশ্নপত্র · TelkNet
মডেল
MIDI-তে বিশেষ অডিও: পাঁচটি মডেল, পাঁচটি ভিন্ন F1 পরীক্ষার প্রশ্নপত্র
এই মডেলগুলোর উন্মুক্ত ওজন, TelkNet tool বা profile সংযোগ, স্পষ্ট version নির্বাচন এবং অপরিবর্তনীয় runtime সংজ্ঞা রয়েছে। দৃশ্যমানতা ও task গ্রহণ Admin status নিয়ন্ত্রণ করে; সক্রিয় করতে E2–E4 এবং default route-এর জন্য অতিরিক্ত E5 প্রয়োজন।
স্বয়ংক্রিয় সঙ্গীত ট্রান্সক্রিপশন
GAPS, FiloSax, FiloBass, VioPTT ও SwiftF0—সবাই MIDI তৈরি করে, তবে এদের ইনপুট বণ্টন, লেবেল আর ম্যাচিং সহনসীমতা আলাদা। আগে যন্ত্রটি সঠিক পথে পাঠান; তুলনা করুন শুধু সংশ্লিষ্ট ডেটাসেটের ভেতরে।
ইভেন্ট F1
অনসেট সহনসীমতার ভেতরে নোট মিলিয়ে নেওয়ার পর P=TP/(TP+FP), R=TP/(TP+FN) এবং F1=2PR/(P+R)। অফসেট-সচেতন ম্যাচিং আরও কঠোর, তাই প্রতিটি F1-এর সঙ্গে তার সহনসীমতা ও ম্যাচিং সংজ্ঞা জানা জরুরি।
মডেলিংয়ের তিনটি ধারা
GAPS পরিষ্কার বা আলাদা করা একক গিটারকে নোট ইভেন্ট ও MIDI-তে রূপান্তর করে। তারের অবস্থান, ফ্রেট, অবিচ্ছিন্ন F0 বা Pitch Bend দেয় না। মূল রেকর্ডিংয়ের সঙ্গে তুলনা করে MIDI ভেলোসিটি ঠিক করুন। FiloSax একস্বরের জ্যাজ স্যাক্সোফোন সোলোকে লক্ষ্য করে এবং বিচ্ছিন্ন পিচ, শুরু ও শেষের ইভেন্ট MIDI হিসেবে দেয়। এটি ধারাবাহিক পিচ, স্লাইড বা ভাইব্রেটো ট্র্যাক দেয় না। FiloBass একস্বরের জ্যাজ ডাবল বেস (double bass / upright bass)-এর জন্য, সাধারণ বা ইলেকট্রিক বেসের জন্য নয়। পরিষ্কার বা আলাদা করা stem ব্যবহার করুন; কিক ও নিম্ন-কম্পাঙ্কের লিকেজ ভুল নোট তৈরি করতে পারে। VioPTT ভায়োলিন নোট ইভেন্ট এবং détaché, flageolet, spiccato, pizzicato—এই চার কৌশলের একটি বা কোনো কৌশল নয় এমন লেবেল দেয়। MIDI velocity স্থির; এটি পরিবেশনের ডায়নামিক্সের মাপ নয়। SwiftF0 একস্বরের ধারাবাহিক F0 অনুসরণ করে। TelkNet কনট্যুরকে নোটে ভাগ করে MIDI, প্রতি-ফ্রেম পিচ CSV ও গ্রাফ দেয়। এটি বহুস্বরের পূর্ণ মিক্স ট্রান্সক্রাইব করে না।
প্রসেসিং চেইন
পরিষ্কার বা আলাদা করা সোলো গিটার, জ্যাজ স্যাক্সোফোন, জ্যাজ ডাবল বেস, সোলো ভায়োলিন অথবা একস্বরের মেলোডি সংশ্লিষ্ট বিশেষায়িত মডেলে পাঠানো হয়।
ট্রান্সক্রিপশন পদ্ধতির বিবর্তন
অডিও-টু-MIDI-তে এমন কোনো একক মডেল নেই যা সব যন্ত্র আর মেট্রিক ঢেকে দেয়। GAPS-এর লক্ষ্য গিটার; FiloSax, FiloBass আর VioPTT কাজে লাগায় যন্ত্রনির্দিষ্ট রেঞ্জ ও আর্টিকুলেশন; SwiftF0 তুলনামূলকভাবে সাধারণ পিচ ট্র্যাকিংয়ের কাছাকাছি। ফাইল ফরম্যাট এক হলেই এদের প্রশিক্ষণ বণ্টন সমতুল্য হয়ে যায় না।
ক্ষেত্রটি এগিয়েছে ফ্রেমভিত্তিক পিচ শনাক্তকরণ থেকে অনসেট, অফসেট, পিচ ও ভেলোসিটির যৌথ ভবিষ্যদ্বাণীর দিকে, এরপর পূর্ণ নোট ইভেন্টের সিকোয়েন্স ডিকোডিংয়ের পথে। অগ্রগতি দেখা যায় পুনরাবৃত নোট, সাস্টেইন, স্লাইড আর ভাইব্রাটোতে—শুধু বড় F1 নয়। সহনসীমতার জানালা ও ম্যাচিং নিয়ম ভিন্ন হলে পেপারের স্কোর তুলনীয় থাকে না।
GAPS পেপারের ডেটাসেট-তৈরি ফ্লোচার্টবিশেষায়িত ডেটাসেট তৈরি হওয়ার আগে YouTube অডিও আর গিটার স্কোর অতিক্রম করে অ্যালাইনমেন্ট, ম্যানুয়াল যাচাই, পুনঃঅ্যালাইনমেন্ট আর ট্রান্সক্রিপশন ফিল্টারিং।মূল উৎস: Figure 1 / figs/GAPS_flowchart.png
ইভেন্ট ট্রান্সক্রিপশনে অনসেট ও অফসেট দুটোই স্কোর করতে হয়
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPসংশ্লিষ্ট পেপারের সহনসীমতায় মিলে যাওয়া ইভেন্ট
FPঅতিরিক্ত ভবিষ্যদ্বাণীকৃত ইভেন্ট
FNবাদ পড়া ইভেন্ট
পেপারভেদে ট্রু পজিটিভের সংজ্ঞা আলাদা: কোথাও শুধু অনসেট সহনসীমতা লাগে, কোথাও আবার অফসেট, পিচ বা কৌশলও চাওয়া হয়। ম্যাচিং নিয়ম সরিয়ে দিলে কোনো F1 মানই তুলনীয় থাকে না।
GAPS, FiloSax, FiloBass, VioPTT আর SwiftF0 লক্ষ্য করে ভিন্ন যন্ত্র ও ভিন্ন অ্যানোটেশন স্তর। অসংগত ডেটাসেটের সর্বোচ্চ মান একসাথে জোড়া দেওয়ার চেয়ে সঠিক রাউটিং অনেক বেশি জরুরি।
পেপার, কোড ও ওয়েট অনুসরণ করা যায় Unified specialist runtime / GAPS paper / VioPTT এর মাধ্যমে।
GAPS পেপারের ফ্রেটবোর্ড-বণ্টন হিটম্যাপস্ট্রিং-ফ্রেট সমন্বয়ের দীর্ঘ-লেজ বণ্টন দেখায় কেন গিটার ট্রান্সক্রিপশনকে একটি সমষ্টিগত ইভেন্ট F1-এ চাপিয়ে দেওয়া যায় না।মূল উৎস: figs/fret_heatmap.png
ইভেন্টের সংজ্ঞা মিললে তবেই তুলনা করুন
প্রতিটি সারি তার নিজস্ব উৎস আর্কিটেকচার, মেট্রিক বা টাস্ক সংজ্ঞা ধরে রাখে; সম্মিলিত প্রোটোকল ছাড়া ফলাফলগুলো পৃথকই থাকে।
মডেল
মূল বা উদ্ভূত আউটপুট
সুনির্দিষ্ট সীমা
GAPS
MIDI · pitch/onset/offset
GAPS পরিষ্কার বা আলাদা করা একক গিটারকে নোট ইভেন্ট ও MIDI-তে রূপান্তর করে। তারের অবস্থান, ফ্রেট, অবিচ্ছিন্ন F0 বা Pitch Bend দেয় না। মূল রেকর্ডিংয়ের সঙ্গে তুলনা করে MIDI ভেলোসিটি ঠিক করুন।
FiloSax
MIDI · pitch/onset/offset
FiloSax একস্বরের জ্যাজ স্যাক্সোফোন সোলোকে লক্ষ্য করে এবং বিচ্ছিন্ন পিচ, শুরু ও শেষের ইভেন্ট MIDI হিসেবে দেয়। এটি ধারাবাহিক পিচ, স্লাইড বা ভাইব্রেটো ট্র্যাক দেয় না।
FiloBass
MIDI · pitch/onset/offset
FiloBass একস্বরের জ্যাজ ডাবল বেস (double bass / upright bass)-এর জন্য, সাধারণ বা ইলেকট্রিক বেসের জন্য নয়। পরিষ্কার বা আলাদা করা stem ব্যবহার করুন; কিক ও নিম্ন-কম্পাঙ্কের লিকেজ ভুল নোট তৈরি করতে পারে।
VioPTT
MIDI + technique CSV
VioPTT ভায়োলিন নোট ইভেন্ট এবং détaché, flageolet, spiccato, pizzicato—এই চার কৌশলের একটি বা কোনো কৌশল নয় এমন লেবেল দেয়। MIDI velocity স্থির; এটি পরিবেশনের ডায়নামিক্সের মাপ নয়।
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 একস্বরের ধারাবাহিক F0 অনুসরণ করে। TelkNet কনট্যুরকে নোটে ভাগ করে MIDI, প্রতি-ফ্রেম পিচ CSV ও গ্রাফ দেয়। এটি বহুস্বরের পূর্ণ মিক্স ট্রান্সক্রাইব করে না।
নোট ইভেন্টের শ্রুতি-পর্যালোচনা
পিয়ানোতে সাস্টেইন ও পুনরাবৃত-নোট যাচাই দরকার; স্যাক্সোফোন আর ভায়োলিনে স্লাইড, অলংকার ও ভাইব্রাটো; বেসকে সহজেই কিক ড্রাম ও নিচু হারমোনিকের সঙ্গে গুলিয়ে ফেলা যায়। সিনথেসাইজার টাইমিং ভুল ঢেকে রাখতে পারে, তাই ওয়েভফর্মের সঙ্গে পিয়ানো রোল মিলিয়ে দেখুন।
সহনসীমতার জানালা বদলালে ইভেন্ট F1-ও বদলায়। 50 ms অনসেট ম্যাচ, কঠোর অনসেট ম্যাচ, অফসেট-সচেতন নোট স্কোর আর ফ্রেম F1—প্রত্যেকে আলাদা প্রশ্নের উত্তর দেয়। টুলটি মডেল, থ্রেশহোল্ড ও কোয়ান্টাইজেশন সংরক্ষণ করে, যাতে ফলাফল পুনর্গণনা করা যায়।
MIDI যে সঙ্গীততথ্য ধরে রাখে না
MIDI সংরক্ষণ করে প্রতীকী ইভেন্ট, আসল টিম্বার, রুম বা স্পর্শ নয়। মিক্সে যন্ত্র-পরিচয়ের ভুল ছড়িয়ে পড়ে অ্যারেঞ্জমেন্ট আর নোটেশন পর্যন্ত।
সম্মিলিত ডেটাসেট ও ম্যাচিং সহনসীমতা নিয়ম ছাড়া উৎসনির্দিষ্ট মেট্রিকগুলো পৃথকই থাকে—কৃত্রিম কোনো ক্রস-পেপার বিজেতা তৈরি হয় না।
Unified specialist runtime-এর পেপার ও সর্বজনীন ফাইল
মডেলের নাম, সংখ্যা ও সীমাবদ্ধতার সূত্র পাওয়া যাবে নিচের পেপার, রিপোজিটরি বা মডেল কার্ডে।