চার-stem অডিও separation: Huge-SCNet কেন MSS লক্ষ্য পূরণ করে · TelkNet
মডেল
চার-stem অডিও separation: Huge-SCNet কেন MSS লক্ষ্য পূরণ করে
TelkNet-এর বর্তমান চার-stem tool Huge-SCNet-4stems V1.2 ব্যবহার করে পূর্ণ mix-কে vocals, drums, bass এবং other-এ ভাগ করে। লেখাটি MSS architecture ইতিহাস, Mel-Band RoFormer-এর শক্তি ও সীমা, SCNet subband modeling এবং public four-stem score দিয়ে সিদ্ধান্ত ব্যাখ্যা করে।
AI-ভিত্তিক সংগীতের উৎস পৃথকীকরণ এখন মিক্স থেকে ভোকাল আলাদা করা যায় কি না—এই সরল প্রশ্নকে ছাড়িয়ে গেছে। রিমিক্স, স্যাম্পলিং, অনুশীলন, Music-to-MIDI, স্থানিক অডিও এবং উপাদান পরিষ্কারের ক্ষেত্রে কার্যকর প্রশ্ন হলো ফলটি পরে সম্পাদনা করা যায় কি না। মানক চার-স্টেম পৃথকীকরণ এই কঠোরতর লক্ষ্য অনুসরণ করে: শুধু ভোকাল ও ব্যাকিং-ট্র্যাক ফাইল তৈরির বদলে একটি পূর্ণ মিক্সকে vocals, drums, bass ও other-এ ভাগ করে।
MVSep Ensemble, SCNet XL IHF, Mel-Band RoFormer, BS-RoFormer এবং Huge-SCNet-4stems V1.2 চার-স্টেম পৃথকীকরণের ভিন্ন ভিন্ন পদ্ধতির প্রতিনিধিত্ব করে। শুধু ভোকালের শক্তি চার-স্টেম মান নির্ধারণ করে না। একটি প্ল্যাটফর্ম এনসেম্বল ডাউনলোডযোগ্য স্বতন্ত্র মডেল না হয়েও বেশি স্কোর করতে পারে, আর একটি সর্বজনীন চেকপয়েন্ট দেয় পুনরুৎপাদনযোগ্য আর্টিফ্যাক্ট।
HTDemucs কাগজের অফিসিয়াল স্ট্রাকচার ডায়াগ্রাম: ওয়েভফর্ম ডোমেনের দুটি শাখা এবং স্পেকট্রাম ডোমেন মডেলের ভিতরে একত্রিত হয়। নীচের টাইমলাইনে "দ্বৈত ডোমেন" পর্যায়ের প্রতিনিধিত্বমূলক নকশাটি এইরকম দেখাচ্ছে (উৎস: হাইব্রিড ট্রান্সফরমার পেপার, arXiv:2211.08553)।Mel-Band RoFormer পেপার অফিসিয়াল ডায়াগ্রাম: কিভাবে বর্ণালী বিনগুলিকে একটি মেল স্কেলে সংগঠিত ওভারল্যাপিং সাবব্যান্ডগুলিতে ম্যাপ করা হয়। মধ্য-নিম্ন ফ্রিকোয়েন্সিতে প্রাপ্ত সাব-ব্যান্ডগুলি ঘন হয়, তাই ভোকাল বিবরণগুলি সূক্ষ্ম বিবরণে প্রকাশ করা হয় (সূত্র: arXiv:2310.01809)।SCNet পেপার অফিসিয়াল আর্কিটেকচার ডায়াগ্রাম: এনকোডার এবং সেপারেশন নেটওয়ার্কের মধ্যে স্পার্স কম্প্রেশন মডিউলের অবস্থান এক নজরে পরিষ্কার - প্রথমে কম তথ্যের ঘনত্বের ক্ষেত্রগুলিকে সংকুচিত করা, এবং তারপরে কম্পিউটিং শক্তিকে ভিড়ের ভয়েস বাউন্ডারিতে ছেড়ে দেওয়া (সূত্র: SCNet কাগজ, arXiv242:0631)।
MVSep-এর সর্বজনীন অ্যালগরিদম পেজ ও লিডারবোর্ড সংগীতের উৎস পৃথকীকরণের সাধারণ রেফারেন্স। এগুলো ফলাফল ও কনফিগারেশন নথিবদ্ধ করে; কোনো এনসেম্বল কর্মপ্রবাহকে একটিমাত্র স্বতন্ত্র মডেল হিসেবে পড়া উচিত নয়।
চারটি স্টেম ব্যাকিং ট্র্যাকের আরেক নাম নয়
মানক চার-স্টেম পৃথকীকরণ বলতে সাধারণত vocals, drums, bass ও other বোঝায়। Vocals হলো গানের ট্র্যাক, drums হলো ড্রাম কিট, bass হলো বেস অংশ, আর other-এ থাকে বাকি বাদ্যযন্ত্র: গিটার, পিয়ানো, স্ট্রিংস, সিন্থ, ব্রাস, ইফেক্টসহ আরও অনেক কিছু। ভোকাল মিউট করার পর যে ব্যাকিং ট্র্যাক শোনা যায়, সেটি আসলে drums, bass ও other-এর যোগফল।
সংগীতের উৎস পৃথকীকরণের প্রধান ডেটাসেট ও মূল্যায়ন-ঐতিহ্য থেকেই এই লক্ষ্য এসেছে। MUSDB18 ও MUSDB18-HQ দীর্ঘদিন ধরে এই চারটি স্টেমকে ঘিরে মডেল প্রশিক্ষণ ও মূল্যায়ন গড়ে তুলেছে। কমিউনিটি যখন 4-stem বলে, তখন সাধারণত এই আউটপুট লক্ষ্যই বোঝায়।
এই পার্থক্য যন্ত্র নির্বাচন বদলে দেয়। লক্ষ্য যদি পরিষ্কার ভোকাল বা ভোকালহীন ইনস্ট্রুমেন্টাল হয়, দুই-স্টেম ভোকাল সেপারেটর বেশি সরাসরি। লক্ষ্য যদি ড্রাম অনুশীলন, বেস বিশ্লেষণ, স্যাম্পলিং, রিমিক্স বা সম্পাদনাযোগ্য উপাদান পরিষ্কার করা হয়, চারটি স্টেম বেশি উপযোগী। Other কোনো দুর্বল ব্যাকিং ট্র্যাক নয়; এটি সিস্টেমের সবচেয়ে কঠিন বাদ্যযন্ত্রের ঝুড়ি।
U-Net থেকে SCNet পর্যন্ত চারটি ধাপ
সংগীতের উৎস পৃথকীকরণ সময় ও ফ্রিকোয়েন্সি জুড়ে একটি মিশ্র তরঙ্গরূপ থেকে একাধিক উৎস পুনরুদ্ধারের চেষ্টা করে। আগের মডেলগুলো শোনার উপযোগী ফল দিতে পারত, কিন্তু আর্টিফ্যাক্টগুলো পরিচিত ছিল: ভোকাল লিকেজ, ড্রাম ব্লিড, ঘোলা বেস, ছড়িয়ে যাওয়া উচ্চ ফ্রিকোয়েন্সি বা ঘন অ্যারেঞ্জমেন্টে ছেঁড়া ফেজের মতো শব্দ।
সময়কাল
প্রতিনিধিত্বমূলক ধারা
অগ্রগতি
অবশিষ্ট সমস্যা
2020-2021
VR Architecture / U-Net
স্পেকট্রোগ্রামকে ছবির মতো বিবেচনা করে মৌলিক ভোকাল ও সঙ্গত পৃথকীকরণকে ব্যবহারিক করেছে।
স্থানীয় কনভলিউশন উইন্ডো দীর্ঘ সংগীত-কনটেক্সট ও ফেজ সম্পর্ক সামলাতে সমস্যায় পড়ত।
2022-2023
HTDemucs (Meta AI) / MDX-Net
তরঙ্গরূপ ও স্পেকট্রোগ্রাম মডেলিং একত্র করে পুনর্গঠনের মান ও স্থিতি উন্নত করেছে।
ঘন ক্লাইম্যাক্স, ভারী রিভার্ব ও জটিল ট্রানজিয়েন্ট তখনও আর্টিফ্যাক্ট তৈরি করতে পারত।
2023-2024
BS-RoFormer / Mel-Band RoFormer (SAMI, ByteDance)
ভোকাল, হারমোনি, স্লাইড ও সাসটেইনের জন্য ব্যান্ড বিভাজন, RoPE এবং শক্তিশালী সময়-ফ্রিকোয়েন্সি মডেলিং ব্যবহার করেছে।
ভোকালকে অগ্রাধিকার দেওয়া ফ্রিকোয়েন্সি বরাদ্দ চার-স্টেমের সব বাদ্যযন্ত্রের জন্য আপনাআপনি সেরা নয়।
তথ্যসমৃদ্ধ সময়-ফ্রিকোয়েন্সি অঞ্চলে নজর দিতে সাবব্যান্ড মডেলিং ও স্পার্স কম্প্রেশন ব্যবহার করেছে।
লক্ষ্য এখনো মানক চার-স্টেম পৃথকীকরণ, ছয়-স্টেম আউটপুট বা প্ল্যাটফর্ম এনসেম্বল নয়।
এই ইতিহাস দেখায় কেন মডেল নির্বাচনকে শুধু ভোকাল মানে নামিয়ে আনা যায় না। চার-স্টেম পৃথকীকরণকে ড্রামের ট্রানজিয়েন্ট, বেসের মৌলিক কম্পাঙ্ক ও হারমোনিক, ভোকালের সীমানা এবং other-এর উচ্চ-ফ্রিকোয়েন্সি খুঁটিনাটিও ধরে রাখতে হয়।
সময়ের পরিধিও উৎসনির্ভর: SCNet গবেষণাপত্রটি 2024 সালের জানুয়ারিতে প্রকাশ্যে আসে, আর Huge-SCNet-4stems V1.2 পরের দিকের সর্বজনীন-চেকপয়েন্ট প্রেক্ষাপটের অংশ। তাই এই সময়রেখায় 2024-2026 ব্যবহার করা হয়েছে, যাতে এমন ইঙ্গিত না যায় যে SCNet নিজেই শুধু 2025 সালের পর এসেছে।
Mel-Band RoFormer: ভোকালের শক্তি ও চার-স্টেম সীমাবদ্ধতা
Mel-Band RoFormer প্রস্তাব করেছে ByteDance-এর Speech, Audio, and Music Intelligence (SAMI) দল। গবেষণাপত্রের লেখক Ju-Chiang Wang, Wei-Tsung Lu ও Minz Won; শিরোনাম পাতায় তাদের অধিভুক্তি SAMI, ByteDance হিসেবে লেখা। কমিউনিটি পেজে কখনো এই ধারাকে ByteDance AI Labs বলে সংক্ষেপ করা হয়, তবে উৎসের সবচেয়ে নির্ভুল ভাষা হলো গবেষণাপত্রের লেখক এবং SAMI, ByteDance।
মডেলটি আকর্ষণীয়, কারণ এটি মানুষের শ্রবণের কাছাকাছি করে ফ্রিকোয়েন্সি ব্যান্ড সাজায়। কান নিম্ন ও মধ্য ফ্রিকোয়েন্সির প্রতি বেশি সংবেদনশীল; সেখানে থাকে ভোকালের মৌলিক কম্পাঙ্ক, ব্যঞ্জনধ্বনি, শ্বাস এবং পিচের বহু সংকেত। মেল-ব্যান্ড প্রক্ষেপণ এই অংশকে সূক্ষ্মতর উপস্থাপন দেয়, ফলে মডেল লিড, ব্যাকিং ভোকাল, স্লাইড, ভাইব্রেটো ও রিভার্বের শেষাংশ অনুসরণ করতে পারে।
RoFormer পরিবার সময় ও সাবব্যান্ড—দুই ধরনের সিকোয়েন্সেই রোটারি পজিশন এনকোডিং, অর্থাৎ RoPE ব্যবহার করে। এতে অ্যাটেনশন স্কোর আপেক্ষিক অবস্থানের ওপর নির্ভর করে। স্লাইড, সাসটেইন ও পুনরাবৃত্ত ফ্রেজ এই বৈশিষ্ট্য বোঝার উপযোগী কাঠামোগত উদাহরণ, তবে গবেষণাপত্র সরাসরি শুধু RoPE-সহ ও RoPE-বিহীন নিয়ন্ত্রিত মডেল পরীক্ষা করেছে; স্লাইড বা দীর্ঘ হারমোনির আলাদা মেট্রিক জানায়নি।
গবেষণাপত্রে সংজ্ঞায়িত সিগন্যাল পথ
BS-RoFormer প্রথমে মিশ্র তরঙ্গরূপকে জটিল স্পেকট্রোগ্রামে রূপান্তর করে। এর ব্যান্ড প্রক্ষেপণ ও স্তরবিন্যস্ত Transformer একটি জটিল মাস্ক অনুমান করে, সেই মাস্ক মিশ্র স্পেকট্রামে প্রয়োগ করা হয়, আর বিপরীত STFT লক্ষ্য তরঙ্গরূপ পুনর্গঠন করে। Mel-RoFormer fθ-এর ভেতরের প্রক্ষেপণ বদলায়: ওভারল্যাপ করা মেল ব্যান্ড হিউরিস্টিক, ওভারল্যাপবিহীন বিভাজনের জায়গা নেয়। এটি পুরো পুনর্গঠন পথ বদলে দেয় না।
X = STFT(x)M̂ = fθ(X)Ŷ = M̂ ⊙ Xŷ = iSTFT(Ŷ)
X: বাস্তব ও কাল্পনিক অংশসহ মিশ্রণের জটিল স্পেকট্রোগ্রাম।
fθ: ব্যান্ড প্রক্ষেপণ, ব্যান্ডের ভেতর ও ব্যান্ডের মধ্যে Transformer, এবং মাস্ক অনুমান।
M̂: ম্যাগনিটিউড ও ফেজ পুনরুদ্ধারে ব্যবহৃত জটিল লক্ষ্য মাস্ক।
ŷ: বিপরীত STFT দিয়ে পুনর্গঠিত তরঙ্গরূপ, যা প্রশিক্ষণের সময় তরঙ্গরূপ ও স্পেকট্রাল লস দ্বারা নিয়ন্ত্রিত।
এই কারণেই Mel-Band RoFormer ভোকাল/সঙ্গত, লিড/ব্যাকিং ভোকাল এবং পরিষ্কার ভোকাল নিষ্কাশনের শক্তিশালী পথ। সমস্যা হলো চার-স্টেম পৃথকীকরণ শুধু ভোকাল নিয়ে নয়। একে drums, bass ও other-ও আলাদা করতে হয়, আর other-এ প্রায়ই সবচেয়ে কঠিন উচ্চ-ফ্রিকোয়েন্সির বাদ্যযন্ত্রের খুঁটিনাটি থাকে।
গবেষণাপত্রের পর: RoFormer কীভাবে উন্মুক্ত টুল-ইকোসিস্টেম হলো
BS-RoFormer 2023 সালের সেপ্টেম্বরে একটি গবেষণাপত্রে দুই ধরনের প্রমাণ নিয়ে আসে। MUSDB18HQ ও 500টি নিজস্ব গান দিয়ে প্রশিক্ষিত বড় L=12 সিস্টেমটি SDX23-এ SAMI-ByteDance-এর প্রথম স্থান পাওয়া সাবমিশন নথিবদ্ধ করে। শুধু MUSDB18HQ-এ প্রশিক্ষিত ছোট মডেলগুলো RoPE, ব্যান্ড বিভাজন এবং overlap-and-average পুনর্গঠনের নিয়ন্ত্রিত অ্যাবলেশন দেয়। গবেষণাপত্রটি আর্কিটেকচার, প্রশিক্ষণ শর্ত ও ফলাফলের টেবিল প্রকাশ করে। তবে মূল SDX23 চেকপয়েন্ট সংযুক্ত করেনি বা ByteDance/SAMI-এর প্রশিক্ষণ ও ইনফারেন্স রিপোজিটরির লিংক দেয়নি।
Mel-Band RoFormer আসে 2023 সালের অক্টোবরে। এটি RoPE Transformer, ব্যান্ডের ভেতর ও ব্যান্ডের মধ্যে সিকোয়েন্স মডেলিং, জটিল মাস্ক এবং তরঙ্গরূপ পুনর্গঠন ধরে রাখে, কিন্তু হাতে তৈরি ওভারল্যাপবিহীন বিভাজনকে 60টি ওভারল্যাপ করা মেল ব্যান্ড দিয়ে প্রতিস্থাপন করে। এক মাসের ব্যবধানটি গুরুত্বপূর্ণ: এটি আগের গবেষণাপত্রে চিহ্নিত সীমাবদ্ধতার কারণে ফ্রিকোয়েন্সি প্রক্ষেপণের সর্বজনীন সংশোধন ছিল, লেখার সঙ্গে প্রকাশিত দ্বিতীয় কোনো অফিসিয়াল চেকপয়েন্ট প্যাকেজ নয়।
গবেষণাপত্রের বাইরে নির্বাহযোগ্য কোড জমতে থাকে। lucidrains রিপোজিটরি চিত্র ও সমীকরণকে PyTorch মডেল ক্লাসে রূপ দেয় এবং অন্যদের সেপারেটরটি পুনরুৎপাদনের জন্য প্রকাশ্যে আহ্বান জানায়। স্টেরিও পরিচালনা, একাধিক আউটপুট স্টেম এবং Mel-Band সংস্করণ কাঠামোটিকে পুনর্ব্যবহারযোগ্য করে, কিন্তু শুধু কোড দিয়ে নিজস্ব গান, অপ্টিমাইজারের অবস্থা, প্রশিক্ষণের সময়কাল বা চূড়ান্ত প্রতিযোগিতার প্যারামিটার পুনরুদ্ধার করা যায়নি।
এরপর Music-Source-Separation-Training সেই পুনর্ব্যবহারযোগ্য কাঠামোকে একটি যৌথ কর্মশালা দেয়: ডেটাসেট লোডার, অগমেন্টেশন, প্রশিক্ষণ, যাচাই, চেকপয়েন্ট থেকে পুনরারম্ভ, খণ্ডভিত্তিক ইনফারেন্স, ওভারল্যাপ ও এনসেম্বল। এর README গবেষণাপত্র থেকে RoFormer মডেল পুনর্নির্মাণের জন্য lucidrains-কে কৃতিত্ব দেয় এবং কমিউনিটির মডেল জমা নেয়। একই আর্কিটেকচার তখন ভোকাল/ইনস্ট্রুমেন্টাল পৃথকীকরণ, চার স্টেম, ড্রামের উপ-স্টেম বা অন্য বিশেষায়িত লক্ষ্যের জন্য প্রশিক্ষিত হতে পারে। কমিউনিটির একটিমাত্র প্রামাণ্য ওয়েট ছিল না।
Kimberley Jensen-এর ভোকাল মডেল প্রক্রিয়াটিকে বাস্তব রূপ দেয়। রিপোজিটরি জানায়, ZFTurbo-এর কোড দিয়ে আরও বেশি ডেটায় এটি প্রশিক্ষিত, ডিফল্টে আট সেকেন্ডের খণ্ড ব্যবহার করে এবং দীর্ঘতর ইনফারেন্সের বিনিময়ে জোড়ার আর্টিফ্যাক্ট কমাতে num_overlap প্রকাশ করে। ডেটাসেটে অবদানকারীদেরও কৃতিত্ব দেওয়া হয়েছে। এসব বিবরণ বোঝায় কেন ডাউনলোডযোগ্য চেকপয়েন্টের এমন চরিত্র থাকে, যা শুধু আর্কিটেকচারের নাম দিয়ে বোঝানো যায় না।
বর্তমান MVSep পেজ প্রথম উচ্চমানের সর্বজনীন ওয়েটের কৃতিত্ব Kimberley Jensen-কে দেয়, তারপর উন্মুক্ত ওয়েটের পরবর্তী পরিবর্তন ও চলমান প্রশিক্ষণ বর্ণনা করে। একই পেজে Bas Curtiz, unwa, becruily, gabox ও অন্যান্য সংস্করণ ভিন্ন পূর্ণতা, ব্লিড, নয়েজ ও SDR আপসসহ দেখা যায়। এটি একটি শাখাবিভক্ত ওয়েট বংশলতিকা: মডেলগুলো Mel-Band RoFormer ভাগ করে, কিন্তু তাদের ডেটা, উদ্দেশ্য, ফাইন-টিউনিং ইতিহাস বা চূড়ান্ত শব্দ এক নয়।
দুটি RoFormer গবেষণাপত্র, lucidrains-এর বাস্তবায়ন এবং ZFTurbo/MVSep প্রশিক্ষণ ফ্রেমওয়ার্কের ভিত্তিতে সংশ্লেষ। তীরগুলো বাস্তবায়নের নির্ভরতা দেখায়, অফিসিয়াল অনুমোদন নয়।
নাম বা আর্টিফ্যাক্ট
যা শনাক্ত করে
যার উৎস এখনো জানা দরকার
BS-RoFormer / Mel-Band RoFormer
ব্যান্ড প্রক্ষেপণ, RoPE ও অক্ষীয় সিকোয়েন্স-মডেলিং নকশা।
নির্দিষ্ট চেকপয়েন্টের প্রশিক্ষক, ডেটা, লক্ষ্য স্টেম ও মূল্যায়ন সেট।
ডাউনলোডযোগ্য চেকপয়েন্ট ফাইল
এক সেট প্যারামিটার, যা সাধারণত মিলযুক্ত কনফিগারেশনের ওপর নির্ভর করে।
এটি গবেষণাপত্রের লেখক, কমিউনিটি প্রশিক্ষণ নাকি পরবর্তী ফাইন-টিউনিং থেকে এসেছে।
হোস্ট করা Mel-Band / BS-RoFormer কর্মপ্রবাহ
সেবাটি ওয়েট, খণ্ড, ওভারল্যাপ ও আউটপুট বেছে নিয়েছে।
হোস্ট করা কর্মপ্রবাহের স্কোরকে SDX23 বা মূল গবেষণাপত্রের ফল বলা যায় না।
একই আর্কিটেকচারের নাম এখন প্রতিযোগিতার সিস্টেম, গবেষণাপত্রের অ্যাবলেশন, ভোকাল চেকপয়েন্ট, চার-স্টেম চেকপয়েন্ট বা প্ল্যাটফর্ম এনসেম্বল বোঝাতে পারে। নির্ভুল লেখায় তিনটি বিষয় প্রকাশ করতে হবে: কে আর্কিটেকচারটি প্রস্তাব করেছে, বর্তমান ওয়েট কোথা থেকে এসেছে এবং কোন ইনফারেন্স রেসিপি ফলটি দেয়। তিনটিই না থাকলে “অফিসিয়াল ByteDance মডেল” বা “Mel-Band চার-স্টেম প্রতিযোগিতা স্কোর”-এর মতো বাক্যাংশ এই ইতিহাসের ভিন্ন সময়ের ভিন্ন আর্টিফ্যাক্টকে নীরবে জোড়া লাগায়।
নিয়ন্ত্রিত তুলনা: প্রতিটি স্টেমে Mel, BS-কে প্রতিস্থাপন করে না
সবচেয়ে পরিষ্কার প্রমাণ হলো 2023 সালের Mel-Band গবেষণাপত্রের নিয়ন্ত্রিত তুলনা, MVSep পেজ ও সম্পর্কহীন কমিউনিটি চেকপয়েন্টের মিশ্রণ নয়। নিচের প্রতিটি সারি অতিরিক্ত গান ছাড়া MUSDB18HQ ব্যবহার করে। প্রতিটি গভীরতায় প্রধান পরিবর্তন হলো প্রক্ষেপণ: BS-RoFormer-এর হিউরিস্টিক, ওভারল্যাপবিহীন ব্যান্ডের জায়গায় 60টি ওভারল্যাপ করা মেল ব্যান্ড বসে।
ফলটি আপস, সব দিকের জয় নয়। L=6-এ vocals 10.78 থেকে 11.21 dB এবং drums 9.61 থেকে 9.91 dB-এ ওঠে, আর bass 11.43 থেকে 9.64 dB-এ নামে এবং other 7.86 থেকে 7.81 dB-এ সামান্য কমে। L=9-এ vocals 0.58 dB ও other 0.13 dB বাড়ে, drums 0.32 dB কমে, আর প্রশিক্ষণ খুব ধীরে এগোনোয় bass জানানো হয়নি।
গবেষণাপত্রের মডেল (MUSDB18HQ, অতিরিক্ত ডেটা নেই)
Vocals
Bass
Drums
Other
গড় SDR
প্যারামিটার
BS-RoFormer L=6
10.78
11.43
9.61
7.86
9.92
72.2M
Mel-RoFormer L=6
11.21
9.64
9.91
7.81
9.64
84.2M
BS-RoFormer L=9
11.02
11.58
9.66
7.80
10.02
82.8M
Mel-RoFormer L=9
11.60
জানানো হয়নি
9.34
7.93
জানানো হয়নি
94.8M
গবেষণাপত্রটি বেসের ফলকে ফ্রিকোয়েন্সি ম্যাপিংয়ের সঙ্গে যুক্ত করে। BS-RoFormer ইচ্ছাকৃতভাবে নিম্ন ফ্রিকোয়েন্সিতে সূক্ষ্ম ব্যান্ড বরাদ্দ করে, আর মেল প্রক্ষেপণ ভোকাল ও কিছু বেস-বহির্ভূত লক্ষ্যে বেশি উপযোগী। তাই কার্যকর প্রকৌশল সিদ্ধান্ত কাজনির্ভর: মেল প্রক্ষেপণ ভোকালের শক্তিশালী পছন্দ, তবে শুধু সাইকোঅ্যাকুস্টিক প্রেরণা চার-স্টেম আধিপত্য প্রমাণ করে না।
SCNet ও চার-স্টেম লক্ষ্য
SCNet স্পেকট্রামকে আরও তথ্যকেন্দ্রিক দৃষ্টিতে দেখে। গবেষণাপত্রের লেখকদের মধ্যে আছেন Weinan Tong, Jiaxu Zhu, Jun Chen, Shiyin Kang, Tao Jiang, Yang Li, Zhiyong Wu ও Helen Meng; শিরোনাম পাতায় অধিভুক্তি হিসেবে Shenzhen International Graduate School, Tsinghua University, Skywork AI PTE. LTD., Peng Cheng Lab এবং The Chinese University of Hong Kong-এর নাম রয়েছে। আর্কিটেকচারের দিক থেকে SCNet মিশ্র স্পেকট্রোগ্রামকে স্পষ্টভাবে সাবব্যান্ডে ভাগ করে এবং ব্যান্ডগুলোর ভিন্ন তথ্যঘনত্ব সামলাতে স্পার্স কম্প্রেশন ব্যবহার করে। সহজ ভাষায়, এটি প্রায় সব সক্ষমতা ভোকাল পরিসরে দেয় না। বরং যে সময়-ফ্রিকোয়েন্সি অঞ্চলে ব্যবহারযোগ্য বাদ্যযন্ত্রের সংকেত আছে, সেখানে মডেলকে মনোযোগী করে।
চারটি স্টেমের জন্য এটি গুরুত্বপূর্ণ। বেস নিচে থাকে, কিন্তু গুরুত্বপূর্ণ হারমোনিক বহন করে। ড্রামে খুব ছোট ট্রানজিয়েন্টের সঙ্গে সিম্বল ও ঘরের শব্দ থাকে। Other একই সঙ্গে গিটার, পিয়ানো, স্ট্রিংস, সিন্থ ও ইফেক্ট ধারণ করতে পারে। সাবব্যান্ড মডেলিং ভিন্ন ফ্রিকোয়েন্সি অঞ্চলকে আরও লক্ষ্যভিত্তিকভাবে সামলায়, আর স্পার্স কম্প্রেশন ফাঁকা বা কম-তথ্যপূর্ণ অঞ্চল থেকে মনোযোগ সরিয়ে রাখে।
SCNet গবেষণাপত্র পুরো সিস্টেমকে অডিও এনকোডার, dual-path RNN-ভিত্তিক পৃথকীকরণ নেটওয়ার্ক এবং অডিও ডিকোডার হিসেবে বর্ণনা করে। এনকোডার মিশ্রণকে ফ্রিকোয়েন্সি ডোমেইনের সাবব্যান্ড উপস্থাপনে ম্যাপ করে, পৃথকীকরণ নেটওয়ার্ক সময় ও ফ্রিকোয়েন্সি জুড়ে কাঠামো মডেল করে, আর ডিকোডার লক্ষ্য স্টেম পুনর্গঠন করে।
Huge-SCNet-4stems V1.2 এই ধারার অংশ। এর আউটপুট চুক্তি হলো vocals, drums, bass ও other ফাইলের সুষম সেট, যা শুধু ভোকাল-অপ্টিমাইজড লক্ষ্য না হয়ে রিমিক্স বা ট্রান্সক্রিপশনে এগিয়ে যেতে পারে।
SCNet গবেষণাপত্র ও Huge-SCNet-4stems V1.2 চেকপয়েন্টকে আলাদা রাখাও জরুরি। গবেষণাপত্রটি স্পার্স-কম্প্রেশন আর্কিটেকচার, সাবব্যান্ড নকশা ও MUSDB18-HQ গবেষণা-ফল দেয়; ডাউনলোডযোগ্য আর্টিফ্যাক্টটি হলো সর্বজনীন Hugging Face চেকপয়েন্ট huge_scnet_4stems_v1.2.ckpt। ডেটা ও রিলিজের উৎস ভিন্ন হওয়ায় এই কমিউনিটি চেকপয়েন্ট গবেষণাপত্রের MUSDB18-HQ-এ 9.0 dB ফল উত্তরাধিকার পেতে পারে না।
কোডের সীমানাও আলাদা রাখতে হবে। গবেষণাপত্রের লেখকেরা thuhcsi/SCNet-কে অফিসিয়াল বাস্তবায়ন রিপোজিটরি হিসেবে প্রকাশ করেছেন, কিন্তু রিপোজিটরি বলছে প্রশিক্ষণ কোড এখনো সম্পূর্ণ করতে হবে এবং সাময়িক প্রশিক্ষণ ফ্রেমওয়ার্ক হিসেবে HTDemucs, Music-Source-Separation-Training ও SCNet-PyTorch দেখায়। তাই Huge-SCNet-4stems V1.2-কে SCNet ধারার একটি সর্বজনীন চার-স্টেম চেকপয়েন্ট পছন্দ হিসেবে বর্ণনা করা উচিত, SCNet গবেষণাপত্রের অফিসিয়াল মডেল প্যাকেজ হিসেবে নয়।
প্ল্যাটফর্ম কর্মপ্রবাহ হিসেবে MVSep Ensemble
MVSep Ensemble 2025.06.30 একটি প্ল্যাটফর্ম-স্তরের বহু-মডেল কর্মপ্রবাহ। সর্বজনীন অ্যালগরিদম পেজে একাধিক মডেল পরিবার আছে। ভোকাল পথে UVR-MDX-NET, Demucs, MDX23C, VitLarge23, BS Roformer, Mel Roformer, SCNet XL ও অন্যান্য ধারা ব্যবহার হতে পারে, আর bass, drums ও other ভিন্ন Demucs বা সম্পর্কিত মডেল ডাকতে পারে।
এই ধরনের এনসেম্বলের শক্তি আসে বিশেষায়ন থেকে: ভোকালপ্রধান উপাদান ভোকাল বিশেষজ্ঞকে, নিম্ন-ফ্রিকোয়েন্সি ও ট্রানজিয়েন্টপ্রধান উপাদান শক্তিশালী বাদ্যযন্ত্র সেপারেটরকে দেওয়া হয়, তারপর ফলগুলো একত্র করা হয়। এটি মানের সর্বোচ্চ সীমার রেফারেন্স হতে পারে, কিন্তু একটিমাত্র চেকপয়েন্ট নয় এবং একটি ফাইল ডাউনলোড করে ব্যবহারকারী পুনরুৎপাদন করতে পারেন এমন স্বতন্ত্র মডেলও নয়।
MVSep 2025.06.30 এনসেম্বলের গড় SDR 13.67 বলে। সংখ্যাটি হোস্ট করা প্ল্যাটফর্মের সর্বোচ্চ সীমা হিসেবে উপযোগী, কিন্তু স্বতন্ত্র চেকপয়েন্টের একই সারিতে রাখা উচিত নয়। এটি সার্ভার-পক্ষের এমন কর্মপ্রবাহকে বোঝায়, যা চূড়ান্ত ফল তৈরির আগে ভোকাল, ইনস্ট্রুমেন্টাল, bass, drums, other এবং অতিরিক্ত বাদ্যযন্ত্র-নির্দিষ্ট পথ একত্র করতে পারে।
তাই ডাউনলোডযোগ্য একক চার-স্টেম মডেলের আলোচনায় প্ল্যাটফর্ম এনসেম্বলকে একক-মডেল বিভাগের বাইরে রাখতে হবে। নইলে তুলনা মডেল আর্কিটেকচার থেকে হোস্ট করা কর্মপ্রবাহে সরে যায়।
সর্বজনীন চার-স্টেম তুলনা
নিচের টেবিলে উদ্ধৃত সর্বজনীন মডেল ও বেঞ্চমার্ক পেজের পরিসংখ্যান ব্যবহার করা হয়েছে। স্কোর একই চার-স্টেম লক্ষ্যের অধীনে প্রতিটি মডেলের অবস্থান বুঝতে সহায়তা করে। প্রতিটি গান, ঘরানা বা শোনার পরিস্থিতির জন্য এগুলোকে চূড়ান্ত রায় হিসেবে পড়া উচিত নয়।
উৎসের পরিধি ইচ্ছাকৃতভাবে সংকীর্ণ: Huge-SCNet-4stems V1.2-এর 10.02 dB সারি এসেছে সর্বজনীন HF / MVSep রেফারেন্স থেকে; SCNet XL IHF, BS Roformer ও HTDemucs4 ব্যবহার করে সর্বজনীন ZFTurbo / MVSep Multisong সারি। এটি SCNet গবেষণাপত্রের MUSDB18-HQ ফল, Mel-Band ভোকাল পেজ এবং MVSep Ensemble হোস্ট করা কর্মপ্রবাহের স্কোর মেশানো টেবিল নয়।
বিশেষ করে drums ও bass-এর জন্য শক্তিশালী স্বতন্ত্র চার-স্টেম প্রার্থী।
BS Roformer 4-stem
9.38
9.19
11.29
11.08
5.96
ব্যান্ড-বিভক্ত RoFormer ধারার উপযোগী চার-স্টেম রেফারেন্স।
HTDemucs4
9.16
8.24
10.88
11.76
5.74
পরিণত ধ্রুপদি বেসলাইন, তবে বর্তমান চার-স্টেম মানের সর্বোচ্চ সীমা নয়।
স্কোর যেভাবে পড়বেন
বেশি SDR সাধারণত রেফারেন্স স্টেমের তুলনায় কম বিকৃতি বোঝায়। কিন্তু গড় SDR শোনার বিকল্প নয় এবং সব স্টেমকে একটি উত্তরে সমান করে দিতে পারে না। একটি মডেল bass ও drums-এ শক্তিশালী হতে পারে, অন্যটি vocals আরও পরিষ্কার রাখে। Other বিশেষ কঠিন, কারণ এতে অনেক বাদ্যযন্ত্র থাকে।
Huge-SCNet-4stems V1.2-এর মূল্য এর পরিষ্কার আর্টিফ্যাক্ট সীমানায়: একটি সর্বজনীন চেকপয়েন্টের নাম, মানক চার-স্টেম আউটপুট এবং অনুসরণযোগ্য সর্বজনীন রেফারেন্স পরিসংখ্যান। SCNet XL IHF গুরুত্বপূর্ণ তুলনা হিসেবে থাকে। MVSep Ensemble থাকে হোস্ট করা মানের সর্বোচ্চ-সীমার রেফারেন্স। এগুলো ভিন্ন প্রশ্নের উত্তর দেয়।
ব্যবহারকারীর লক্ষ্য থেকে শুরু করা উচিত। সবচেয়ে পরিষ্কার ভোকালের জন্য ভোকাল পৃথকীকরণ ব্যবহার করুন। সম্পাদনাযোগ্য vocals, drums, bass ও other-এর জন্য চার-স্টেম পৃথকীকরণ ব্যবহার করুন। গিটার ও পিয়ানোর আলাদা ফাইল দরকার হলে ছয়-স্টেম পৃথকীকরণ ব্যবহার করুন।
ছয়-স্টেম পৃথকীকরণ other-কে আরও ভাগ করে গিটার, পিয়ানো ও অবশিষ্ট other-এ। এটি গিটারের স্ট্রাম, পিয়ানোর অ্যাটাক, কিবোর্ডের টেক্সচার ও উচ্চ-ফ্রিকোয়েন্সির হারমোনিকের প্রতি বেশি সংবেদনশীল। তাই BS Roformer SW ছয়-স্টেম চেকপয়েন্ট Huge-SCNet-4stems V1.2 থেকে ভিন্ন লক্ষ্য ও প্রশিক্ষণ চুক্তির প্রতিনিধিত্ব করে।
এসব দাবি ভিন্ন স্তরের: RoFormer একটি আর্কিটেকচার পরিবার বর্ণনা করে, Mel-Band ভোকাল উপস্থাপনকে লক্ষ্য করে, SCNet চারটি স্টেমে ভারসাম্য আনে, আর MVSep এনসেম্বল হোস্ট করা উপাদান একত্র করে। প্রতিটি আর্কিটেকচার, আউটপুট লক্ষ্য, সর্বজনীন প্রাপ্যতা, কর্মপ্রবাহের রূপ বা ইনফারেন্স চুক্তি নিয়ে ভিন্ন প্রশ্নের উত্তর দেয়।
উপসংহার: চটকদার শব্দ নয়, আর্কিটেকচার বেছে নিন
চার-স্টেম পৃথকীকরণ নতুন নাম দেওয়া ব্যাকিং ট্র্যাক নয়, আবার প্রতিটি বাদ্যযন্ত্রের ওপর সবচেয়ে জনপ্রিয় ভোকাল মডেল বসানোর জায়গাও নয়। এতে মডেলকে vocals, drums, bass ও other-এর ভারসাম্য রাখতে হয়—বিশেষ করে ড্রাম ট্রানজিয়েন্ট, বেসের নিম্ন ফ্রিকোয়েন্সি, বাদ্যযন্ত্রের উচ্চ হারমোনিক এবং other-এর ভেতরের মিশ্র বাদ্যযন্ত্রের ঝুড়ি।
Huge-SCNet-4stems V1.2 এই মানক চার-স্টেম লক্ষ্যের চারপাশে স্পষ্ট অবস্থান দখল করে। ভোকাল পৃথকীকরণ বোঝার জন্য Mel-Band RoFormer গুরুত্বপূর্ণ থেকে যায়, আর MVSep Ensemble হোস্ট করা মানের রেফারেন্স হিসেবে উপযোগী থাকে। গবেষণা ও বাস্তবায়নের ইতিহাসে প্রতিটি আলাদা স্তরের।