মডেল
SFC-লোকোফর্মার: 11.8 dB DnR এর জন্য অভিযোজিত বর্ণালী সংকোচন এবং সংলাপ সীমানা
কাগজ/চলচ্চিত্র এবং টেলিভিশন শব্দ পৃথকীকরণের নিবিড় পঠন
কাগজ/চলচ্চিত্র এবং টেলিভিশন শব্দ পৃথকীকরণের নিবিড় পঠন
পেপার পাঠ / সিনেমাটিক সেপারেশন
DnR একটি প্রোগ্রাম মিক্সকে ডায়ালগ, মিউজিক ও ইফেক্টস—এই তিন ভাগে ভাগ করে। উৎসগুলো সময় ও ফ্রিকোয়েন্সি দুই অক্ষেই ওভারল্যাপ করে, তাই সমস্যাটিকে কেবল স্পিচ অ্যাক্টিভিটি ডিটেকশনে নামিয়ে আনা যায় না। SFC-Locoformer, BandIt ও TIGER-DnR একই কাজটি করে, কিন্তু ভিন্ন কম্প্রেশন স্কিম, সিকোয়েন্স খরচ ও প্রকাশিত প্রমাণ নিয়ে।
STFT থেকে পাওয়া যায় কমপ্লেক্স স্পেকট্রাম X(t,f)। প্রতিটি সংলগ্ন বিনকে একই চ্যানেল বাজেট দিলে অত্যন্ত পারস্পরিক সম্পর্কযুক্ত ফিচারের ওপর কম্পিউট নষ্ট হয়। SFC শিখে নেয় একটি কমপ্যাক্ট স্পেকট্রাল অক্ষে প্রজেকশন:
Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]
ডিকোডার ক্রস-অ্যাটেনশন দিয়ে কম্প্রেসড রিপ্রেজেন্টেশনকে লক্ষ্য ফ্রিকোয়েন্সি বিনে ফিরিয়ে আনে। এটি কোনো হাই-ফ্রিকোয়েন্সি কাট নয়: কনসোন্যান্ট ট্রানজিয়েন্ট, টানা হারমনিকস ও ব্রডব্যান্ড ইফেক্টস—সবই সেপারেটরের কাছে থেকে যায়।
স্থানীয় ব্লকগুলো মডেল করে ধাক্কা, প্লোসিভ ও ড্রাম অ্যাটাক; উইন্ডোগুলোর মধ্যকার যোগাযোগ বহন করে মিউজিক বেড, বাক্য ও অ্যাম্বিয়েন্স। একটিমাত্র ঘন অ্যাটেনশন ফিল্ড থাকলে দৈর্ঘ্যের সঙ্গে মেমরি বেড়ে যেত অনেকখানি। Locoformer স্থানীয় মিক্সিংকে সাশ্রয়ী দূরপাল্লার বিনিময়ের সঙ্গে জুড়েছে, যাতে প্রকাশিত medium চেকপয়েন্টটি ব্যবহারের মতো থাকে।
Table II-তে একই DnR টেস্ট প্রোটোকলে SFC-Locoformer medium-এর জন্য 11.8 dB এবং BandIt-এর জন্য 10.9 dB জানানো হয়েছে। স্কেল-ইনভেরিয়েন্ট অবজেক্টিভটি হলো:
SI-SDR=10 log10(||s_target||² / ||e_noise||²)
এটি প্রোটোকলের ভেতরের র্যাংকিংকে সমর্থন করে, MUSDB, অন্য কোনো DnR রিভিশন বা হাতে বাছাই করা ক্লিপের সঙ্গে তুলনাকে নয়। 0.9 dB এগিয়ে থাকাও এ কথার নিশ্চয়তা দেয় না যে প্রতিটি ফিল্মের অংশে জয় হবে; ফ্রিকেটিভ, অ্যাম্বিয়েন্সের প্রস্থ ও ইফেক্ট ট্রানজিয়েন্ট মূল্যায়নে এখনও ব্লাইন্ড লিসেনিং দরকার।
লেখকরা প্রকাশ করেছেন SFC-CA, SFC-Mamba ও BandIt এনকোডার, TF-Locoformer সেপারেটর, এবং প্রি-ট্রেইনড MUSDB18-HQ ও DnR ওয়েট। তাই পেপারের আর্কিটেকচার, রিপোজিটরির ইমপ্লিমেন্টেশন ও মডেল-কার্ড ফাইল—একটির সঙ্গে অন্যটি মিলিয়ে যাচাই করা যায়; তবু 11.8 dB শুধুই Table II-এর DnR v2 প্রোটোকলের ফলাফল।
2021-এর DnR Challenge-এর পর ডায়ালগ, মিউজিক ও ইফেক্টস সেপারেশন তুলনামূলক স্থিতিশীল লক্ষ্য সংজ্ঞা পায়। পরে BandIt মডেলিং ক্ষমতা জমা দেয় অ-সমান ফ্রিকোয়েন্সি ব্যান্ডে, আর TIGER খুঁজে দেখে সস্তা সিকোয়েন্স মডেলের পথ। SFC-Locoformer তোলে আলাদা এক প্রকৌশল প্রশ্ন: পাশাপাশি ফ্রিকোয়েন্সি বিন যদি রিডানড্যান্ট হয়, তবে দীর্ঘ ডায়ালগ ও স্কোর স্ট্রাকচারে মডেল বাজেট খরচ করার আগে সেগুলোকে কি কম্প্রেস করা যায় না?
এই ইতিহাসের কারণেই তিনটি প্রকাশিত মডেল এক টাস্ক পেজে থাকে, তবে সেগুলোকে পুরনো থেকে নতুনের সরল প্রতিস্থাপন বলা যাবে না। BandIt শক্তিশালী ব্যান্ড-স্প্লিট বেসলাইন, TIGER দেয় কম্পিউট-কেন্দ্রিক বিকল্প, আর প্রকাশিত SFC medium চেকপয়েন্ট Table II-তে ব্যবহৃত একই DnR v2 প্রোটোকলে 11.8 dB রিপোর্ট করে। আর্কিটেকচার, ওয়েট ও মূল্যায়ন প্রোটোকল—সবই গুরুত্বপূর্ণ।
Z(t,k)=Σ_f A(k,f|X)·W_f·X(t,f)X(t,f)কমপ্লেক্স ইনপুট স্পেকট্রামA(k,f|X)ইনপুট-অ্যাডাপটিভ ব্যান্ড অ্যাগ্রিগেশনZ(t,k)কম্প্রেসড সিকোয়েন্স রিপ্রেজেন্টেশনA কোনো ফিক্সড ফ্রিকোয়েন্সি-প্রুনিং নিয়ম নয়। এটি ইনপুট-নির্ভর অ্যাগ্রিগেশন ওয়েট, তাই সংক্ষিপ্ত k অক্ষ সময় ধরে ডায়ালগ, স্কোর ও অ্যাম্বিয়েন্সের জন্য আরও বেশি সিকোয়েন্স ক্ষমতা ছেড়ে দেয়।
ডিকোডার এখনও প্রতিটি আউটপুট বিন পুনরুদ্ধারে অ-কম্প্রেসড ফিচার দিয়ে কোয়েরি করে। সমীকরণটি তথ্যপ্রবাহের বিমূর্ত রূপ; রিপোজিটরির CrossAttnEncoder, CrossAttnDecoder ও অ্যাডাপটিভ কোয়েরিই যাচাইযোগ্য ইমপ্লিমেন্টেশন।
পেপার, কোড ও ওয়েট—সবই SFC-Locoformer সোর্স / প্রকাশিত DnR চেকপয়েন্ট / SFC পেপার ও DnR টেবিল দিয়ে অনুসরণ করা যায়।
এখানে শুধু একই প্রকাশিত প্রোটোকলে যাচাই করা সারিগুলো স্থান পেয়েছে; মিল এমন ফলাফল ছাড়া TIGER-DnR-কে Table II-তে ঢোকানো হয়নি।
| মডেল | প্রকাশিত ফলাফল | কীভাবে পড়বেন |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | এই প্রোটোকলে সর্বোচ্চ প্রকাশিত মান; তবু ডায়ালগ প্রান্ত আলাদাভাবে যাচাই করুন |
| BandIt | 10.9 dB SI-SDR | একই প্রোটোকলের ব্যান্ড-স্প্লিট বেসলাইন |
| TIGER-DnR | দক্ষতার প্রমাণ আলাদাভাবে দেখানো | অনুপস্থিত টেবিল সারিতে মেশানো হয়নি |
ডায়ালগে খেয়াল করুন সিবিল্যান্ট, নিঃশ্বাস ও দূরবর্তী কথা। SI-SDR তুলনা থেকে গ্লোবাল গেইন সরিয়ে দেয়, কিন্তু ধাতব প্রান্ত ও নষ্ট রুম টেইল এটি ধরতে পারে না। মিউজিকে দেখুন স্পিচ গোস্ট আছে কি না; ইফেক্টসে দরজা, পদশব্দ ও অ্যাম্বিয়েন্সের ধারাবাহিকতা অক্ষত রাখুন।
ব্রডকাস্ট মিক্সে লিমিটিং, ডায়ালগ ডাকিং ও চ্যানেল ফোল্ড-ডাউনও থাকে। DnR পেপারের প্রোটোকল স্বয়ংক্রিয়ভাবে প্রতিটি ডেলিভারি মাস্টারের প্রতিনিধিত্ব করে না; SFC, BandIt ও TIGER-এর তুলনায় একই অংশ ব্যবহার করা উচিত, আর ডায়ালগ প্রান্ত, মিউজিক লিকেজ ও অ্যাম্বিয়েন্সের ধারাবাহিকতা আলাদাভাবে যাচাই করা উচিত।
ইফেক্টস স্টেম একটি বৃহৎ পাত্র। বৃষ্টি, যানবাহন, করতালি ও ফোলি সবই একসঙ্গে থাকে, তাই DnR আউটপুট অবজেক্ট-স্তরের সাউন্ড ডিকম্পোজিশন নয়।
টাস্ক ফর্ম এখন আর মডেল-লাইসেন্সের বক্তৃতা দিয়ে কর্মপ্রবাহ থামিয়ে দেয় না, তবু আপস্ট্রিম লাইসেন্সের শর্তই ডিপ্লয়মেন্ট ও পুনবিতরণ নিয়ন্ত্রণ করে।
মডেলের নাম, সংখ্যা ও সীমাবদ্ধতার উৎস নিচের পেপার, রিপোজিটরি বা মডেল কার্ডে।