মডেল
MossFormer2 এবং TIGER-স্পীচ: ভয়েস ফ্রন্ট-এন্ডে টাস্কের তিনটি বিভাগ
ভয়েস ফ্রন্ট-এন্ড / প্রযুক্তি তুলনা
ভয়েস ফ্রন্ট-এন্ড / প্রযুক্তি তুলনা
স্পিচ ফ্রন্ট এন্ড
SS 16K অনুমান করে কে কী বলল। SE 48K একজন স্পিকারের আরও পরিষ্কার সংস্করণ অনুমান করে। SR 48K ব্যান্ডউইথ পুনর্গঠন করে। এদের সুপারভিশন ও আউটপুট কার্ডিনালিটি এক নয়।
আউটপুটের কোনো অন্তর্নিহিত স্পিকার ক্রম থাকে না: L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)})। MossFormer2 SS সাধারণ ওভারল্যাপ সামলায়। TIGER-speech রাখা হয়েছে কোলাহলপূর্ণ, প্রতিধ্বনিমাখা ও রিভার্বারেন্ট দুই ব্যক্তির রেকর্ডিংয়ের জন্য।
এনহান্সমেন্ট একটি পরিষ্কার করা ওয়েভফর্ম দেয়; সুপার-রেজোলিউশন হারানো উচ্চ-ব্যান্ড তথ্যের ভবিষ্যদ্বাণী করে এবং বিশ্বাসযোগ্য বিবরণ বানিয়ে ফেলতে পারে। মূল্যায়নে ইনপুট ও আউটপুট স্যাম্পল রেট স্পষ্টভাবে বলতে হয়, এবং ডিনয়েজিং-এর ক্ষতি ও কাল্পনিক উচ্চ-ফ্রিকোয়েন্সি টেক্সচার আলাদা আলাদা করে শুনতে হয়।
স্পিচ ফ্রন্ট এন্ড তিনটি আলাদা সম্প্রদায়ে বেড়ে উঠেছে: মিটিং সেপারেশনের লক্ষ্য ওভারল্যাপ, এনহান্সমেন্টের লক্ষ্য শব্দ ও রিভার্বারেশন, আর সুপার-রেজোলিউশনের লক্ষ্য হারানো ব্যান্ডউইথ। ClearerVoice-Studio MossFormer2 SS 16K, SE 48K ও ব্যান্ডউইথ রিস্টোরেশনকে একটি প্রকৌশল প্রবেশপথের পেছনে রেখেছে, তবে এদের উদ্দেশ্য ও আউটপুট চুক্তি ভিন্নই থেকে যায়।
TIGER-speech দীর্ঘ-প্রসঙ্গের খরচ কমাতে ব্যান্ড-সচেতন সিকোয়েন্স মডেলিং প্রয়োগ করে। এটি একটি দক্ষতার তুলনা, MossFormer2-এর কোনো সংস্করণ-নম্বর ভিত্তিক বিকল্প নয়। ডিপ্লয়মেন্ট শুরু হয় এই সিদ্ধান্ত দিয়ে যে রেকর্ডিংয়ে আছে কি ওভারল্যাপ করা স্পিকার, ঢাকা পড়া স্পিচ, নাকি হারানো ব্যান্ডউইথ; ভুল কাজ বেছে নিলে ভুল প্রশ্নেরই ঝকঝকে উত্তর পাওয়া যায়।
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_KK জন স্পিকারের পারমুটেশনπএকটি আউটপুট/রেফারেন্স বরাদ্দℓএকক-সংকেত পুনর্গঠন লসদুই-স্পিকার সেপারেশনে কোনো স্বাভাবিক প্রথম স্পিকার থাকে না। PIT সর্বনিম্ন-লসের আউটপুট/রেফারেন্স বরাদ্দ বেছে নেয়, যাতে চ্যানেল নম্বরকরণ পরস্পরবিরোধী সুপারভিশন তৈরি না করে।
SS 16K স্পিকারদের আলাদা করে; SE 48K ও SR 48K একটি সংকেত মেরামত করে। একই লিডারবোর্ডে রাখলে কাজ, ব্যান্ডউইথ ও ডেটাসেট মিশে যাবে।
গবেষণাপত্র, কোড ও ওয়েট অনুসরণ করা যায় ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K এর মাধ্যমে।
প্রতিটি সারিতে তার মূল আর্কিটেকচার, মেট্রিক বা কাজের সংজ্ঞা অক্ষত আছে; ভাগ করা প্রোটোকল ছাড়া ফলাফল আলাদাই থাকে।
| মডেল | আর্কিটেকচার বা প্রমাণ | পরিধি |
|---|---|---|
| MossFormer2 SS 16K | ওভারল্যাপ করা স্পিকারের সেপারেশন | ক্রস-টক, পরিচয় বদল, নীরব অংশ |
| MossFormer2 SE 48K | ওয়াইডব্যান্ড ডিনয়েজ ও ডিরিভার্ব | ব্যঞ্জনধ্বনির ক্ষতি, সংগীত অপসারণ, রুম টেইল |
| TIGER-speech | দক্ষতামুখী ব্যান্ড সিকোয়েন্স মডেল | একই ফাইলে লেটেন্সি ও মান পরিমাপ |
সেপারেশনে পরিচয় বদল, সিবিল্যান্ট, নিঃশ্বাস ও রিভার্ব টেইল খতিয়ে দেখুন। এনহান্সমেন্ট কিবোর্ড বা HVAC শব্দের সঙ্গে ব্যঞ্জনধ্বনিও সরিয়ে ফেলতে পারে। সুপার-রেজোলিউশনকে বিচার করতে হবে বিশ্বাসযোগ্য ব্যান্ডউইথ সম্প্রসারণ হিসেবে, প্রতিটি মূল উচ্চ-ফ্রিকোয়েন্সি স্যাম্পলের পুনরুদ্ধার হিসেবে নয়।
পারমুটেশন-ইনভ্যারিয়েন্ট প্রশিক্ষণ লস থেকে আউটপুটের ক্রম সরিয়ে দেয়, কিন্তু দীর্ঘ মিটিং জুড়ে পরিচয়ের ধারাবাহিকতার নিশ্চয়তা দেয় না। A/B পরীক্ষার আগে স্যাম্পল রেট, রিস্যাম্পলিং ও চ্যানেল ফোল্ড-ডাউন লিখে রাখুন, এবং সময়ভাগ অনুযায়ী স্পিকার বদল পরীক্ষা করুন।
স্পিকারদের কণ্ঠস্বর ও পিচ কাছাকাছি হলে মনো মিশ্রণের কোনো অনন্য সমাধান নাও থাকতে পারে, আর উৎসের সংখ্যাও সীমাহীনভাবে অনুমান করা যায় না।
ব্যান্ডউইথ সম্প্রসারণ বিশ্বাসযোগ্য বিষয়বস্তু তৈরি করে। ফরেনসিক, বায়োমেট্রিক বা চিকিৎসা ব্যবহারে, উৎপন্ন উচ্চ ফ্রিকোয়েন্সি মূল প্রমাণ নয়।
মডেলের নাম, সংখ্যা ও সীমাবদ্ধতার উৎস নিচের গবেষণাপত্র, রিপোজিটরি বা মডেল কার্ড।