AudioSep-Hive: একটি টেক্সট ক্যোয়ারী দিয়ে স্বেচ্ছাচারী শব্দ আলাদা করুন

শব্দ বিচ্ছিন্নকরণ / প্রযুক্তিগত নোট

একটি নির্দিষ্ট-স্টেম সেপারেটর ইনফারেন্সের আগেই উত্তরের সীমা ঠিক করে দেয়। AudioSep-Hive আগে একটি বর্ণনা পড়ে, তারপর সেটি দিয়ে নির্ধারণ করে মিশ্রণের কোন অংশটি লক্ষ্য।

শর্তযুক্ত উদ্দেশ্য

x(t)=s(t)+n(t)-এর ক্ষেত্রে টেক্সট এনকোডার q=E_text(c) দেয়। সেপারেটর M=F(X,q) অনুমান করে এবং Ŝ=M⊙X পুনর্গঠন করে। উদ্দেশ্যটির সংক্ষিপ্ত রূপ:

L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]

শব্দার্থগত পদটি সম্পর্কিত বর্ণনাগুলোকে একটি ধারাবাহিক ক্যোয়ারি স্পেসে স্থান দেয়। এটি অস্পষ্টতা দূর করে না: বিস্তৃত প্রম্পট, দুর্বল লক্ষ্য এবং পরস্পরের সঙ্গে ওভারল্যাপ করা শব্দার্থগত বর্ণনা এখনও কঠিন কেস।

আউটপুটের পরিধি

প্রকাশিত ইনফারেন্স পথটি মূলত 32 kHz মোনো। ভাষা-ক্যোয়ারি নির্ভর এক্সট্রাকশন ও ওপেন-ডোমেইন গবেষণায় এটি কাজে লাগে, কিন্তু এটি 44.1 kHz স্টেরিও প্রোডাকশন স্টেমের বিকল্প নয়। বর্ণনা বদলালে কন্ডিশন ভেক্টরও বদলায়, আর তাতে লক্ষ্যের সীমানাও সরে যেতে পারে।

AudioSep থেকে Hive

2023 সালে AudioSep প্রাকৃতিক-ভাষার ক্যোয়ারির মাধ্যমে ওপেন-ডোমেইন বিচ্ছিন্নকরণের সূচনা করে। Hive সেই ধারাকে এগিয়ে নিয়ে যায় শব্দার্থগতভাবে সামঞ্জস্যপূর্ণ ডেটা নির্মাণ ও ডেটা-দক্ষ প্রশিক্ষণের মাধ্যমে। পেপার, Hive রিপোজিটরি ও মডেল কার্ড যথাক্রমে পদ্ধতি, ডেটাসেট বাস্তবায়ন ও প্রকাশিত ওজনের তথ্য নথিভুক্ত করে।