মডেল
Beat This!: DBN শেষ না করেই বিট ট্র্যাকিং
সঙ্গীত তথ্য পুনরুদ্ধার / কাগজের ব্যাখ্যা
সঙ্গীত তথ্য পুনরুদ্ধার / কাগজের ব্যাখ্যা
© 2026 টেলকনেট। সর্বস্বত্ব সংরক্ষিত।
সংগীত তথ্য পুনরুদ্ধার / কারিগরি নোট
বিট ট্র্যাকিং জানতে চায় স্পন্দনটি কখন ঘটে। নোট ট্রান্সক্রিপশন জানতে চায় কোন যন্ত্র কোন পিচ বাজিয়েছে। Beat This! প্রথম সমস্যাটির সমাধান করে এবং আগে dynamic Bayesian post-processing-এর ওপর ন্যস্ত কাঠামোর বড় অংশটি শেখা sequence model-এর মধ্যে নিয়ে আসে।
মানুষের করা বিট annotation স্যাম্পল-স্তরের নির্ভুলতায় একমত হয় না। লক্ষ্য impulse y_t এবং frame probability p_t হলে, সাধারণ framewise BCE মাত্র কয়েকটি frame সরে থাকা, অথচ সংগীতগতভাবে বৈধ prediction-কেও শাস্তি দেয়। স্থানচ্যুতি-সহনশীল objective-টির সংক্ষিপ্ত রূপ হলো:
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
এই tolerance প্রশিক্ষণের অংশ, পরে গ্রিডে টেনে বসানোর কোনো operation নয়। বিট ও ডাউনবিট head একই sequence representation ভাগ করে, তবে তুলনামূলক বিরল ডাউনবিটগুলোর জন্য এখনো আলাদা decision path দরকার।
ধ্রুপদি system tempo continuity ও meter transition আরোপ করতে DBN ব্যবহার করে। Beat This! দেখায়, dataset অনুযায়ী সমন্বয় করা ওই ধাপ ছাড়াই মূল model স্থিতিশীল বিট ও ডাউনবিট sequence তৈরি করতে পারে। সেকেন্ড-স্তরের beat event, downbeat এবং interval থেকে নির্ণীত BPM—এই তিনটি আলাদা output হিসেবেই থাকে।
অফিশিয়াল final0.ckpt-কে SHA-256 দিয়ে স্থির করা হয়েছে এবং task অফলাইনে চলে। চূড়ান্ত model-গুলো প্রশিক্ষণের সময় একাধিক public beat dataset দেখেছে বলে ওই set-গুলোর score অতিরিক্ত আশাব্যঞ্জক হতে পারে। তাই গ্রহণযোগ্যতা যাচাইয়ে একটি বাস্তব পূর্ণাঙ্গ গান থাকে এবং DAW grid, slicing ও downstream MIDI quantisation-এর জন্য raw timing table export করা হয়।
বিট ট্র্যাকিংয়ে প্রচলিতভাবে neural network দিয়ে activation অনুমান করা হয় এবং sequence বেছে নেওয়ার কাজটি dynamic Bayesian network-কে দেওয়া হয়। Beat This আরও শক্তিশালী sequence modeling ও স্থানচ্যুতি-সহনশীল তত্ত্বাবধান ব্যবহার করে সরাসরি স্থিতিশীল বিট ও ডাউনবিট তৈরি করে, ফলে default path থেকে DBN সরে যায়।
Post-processing সরিয়ে দিলেই সংগীতগত prior দূর হয় না। Meter, tempo range ও annotation style ডেটার মধ্যে থেকেই যায়। ISMIR-এর ফল dataset ও metric ধরে পড়তে হবে; rubato, drumless passage ও compound meter এখনো বিরল ও কঠিন case।
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δঅনুমোদিত সামান্য frame shiftΔannotation tolerance windowBCEactivation-এর ওপর binary cross-entropyমানুষের করা বিট annotation কয়েকটি frame পর্যন্ত আলাদা হতে পারে। স্থানচ্যুতি-সহনশীল তত্ত্বাবধান একটি ছোট alignment window-তে খোঁজ করে; এতে annotation-এর দুলুনির জন্য penalty কমে, কিন্তু গানের পুরো স্তরে ইচ্ছামতো drift করার সুযোগ তৈরি হয় না।
Beat, downbeat, BPM এবং MIDI note আলাদা output। Half/double tempo, pickup ও drumless passage পরীক্ষা করতে waveform ও bar grid-এর ওপর prediction বসিয়ে দেখুন।
প্রবন্ধ, code ও weight সম্পর্কে Beat This-এর সোর্স ও ওয়েট / ISMIR 2024 প্রবন্ধ থেকে জানা যায়।
প্রতিটি সারিতে মূল architecture, metric বা task definition অক্ষুণ্ণ রাখা হয়েছে; একই protocol ছাড়া পাওয়া ফল আলাদাই থাকে।
| Model | Architecture বা প্রমাণ | পরিধি |
|---|---|---|
| DBN ছাড়া Beat This | end-to-end বিট ও ডাউনবিট | default path ও দীর্ঘ পরিসরের স্থিতিশীলতা |
| ঐচ্ছিক post-processing-সহ Beat This | বিশেষ tempo constraint | অদৃশ্য পরিবর্তন এড়াতে parameter নথিভুক্ত করা |
| activation-এর সঙ্গে DBN | স্পষ্ট tempo/transition prior | স্থিতিশীল, তবে ভুল tempo-তে আটকে যেতে পারে |
Half/double tempo, pickup, tempo change ও drumless passage পরীক্ষা করতে waveform ও bar grid-এর ওপর prediction বসিয়ে দেখুন। গড় F-measure একটি পুরো গান এক beat সরে যাওয়ার ঘটনাকে আড়াল করতে পারে।
স্থানচ্যুতি-সহনশীল loss annotation boundary-এর কাছে যুক্তিসঙ্গত gradient দেয়; এটি ইচ্ছামতো timestamp drift-এর অনুমতি দেয় না।
Beat time কোনো পূর্ণাঙ্গ score নয়। Segmentation, groove, swing ratio ও meter change বুঝতে উচ্চতর স্তরের analysis দরকার।
Dataset-ভেদে window, continuity rule ও downbeat weighting আলাদা হয়, তাই ranking-এ protocol-এর নাম অক্ষুণ্ণ রাখতে হবে।
Model-এর নাম, সংখ্যা ও সীমাবদ্ধতার উৎস নিচের প্রবন্ধ, repository বা model card।