মডেল
SoulX-Singer এবং YingMusic-Singer-Plus: স্কোর ড্রাইভ এবং মেলোডি রেফারেন্স, দুটি গানের ভয়েস সংশ্লেষণ রুট
Singing synthesis/রুটের তুলনা
Singing synthesis/রুটের তুলনা
গায়ন সংশ্লেষণ
SoulX-এর score মোড MIDI থেকে তৈরি মেটাডেটা গ্রহণ করে। YingMusic-Singer-Plus এমন একটি গানের ক্লিপ গ্রহণ করে, যা লক্ষ্য গানের কথার সঙ্গে মেলোডি সরবরাহ করে। প্রথমটির জন্য নোট ও গানের কথার অ্যালাইনমেন্ট দরকার; অন্যটি অডিও থেকে মেলোডি এনকোড করে।
জেনারেটিভ পথটি dx_t/dt = v_θ(x_t,t | l,m,r) অনুসরণ করে, যেখানে velocity field গানের কথা, মেলোডি ও টিম্বার রেফারেন্স দ্বারা শর্তায়িত। ভুল অ্যালাইনমেন্ট সেই সমাকলিত পথকে উচ্চারণ, ছন্দ ও কণ্ঠ-পরিচয়ের মধ্যে দুর্বল এক আপসের দিকে বাঁকিয়ে দেয়।
SoulX MIDI-কে খণ্ডিত মেটাডেটায় রূপান্তর করে; সিলেবল ও নোটের সূচনা একসঙ্গে মিলতে হবে। YingMusic-এ স্পষ্ট MIDI লাগে না, তবে একটি পরিষ্কার মেলোডি-কণ্ঠ দরকার, কারণ সঙ্গতের লিকেজ তার মেলোডি উপস্থাপনাকে দূষিত করে।
SoulX-Singer-এর কেন্দ্রে রয়েছে MIDI, গানের কথা ও একটি টিম্বার প্রম্পট। YingMusic-Singer-Plus নোট-প্রতি অ্যানোটেশন ছাড়াই নমনীয়ভাবে গানের কথা বদলানো এবং মেলোডি নির্দেশনার ওপরও জোর দেয়। তুলনার সময় pitch, duration, articulation ও রেফারেন্স টিম্বার আলাদা করে দেখতে হবে; দুটি ব্যবস্থাকে কেবল একটি singing switch-এ নামিয়ে আনা যাবে না।
ইনপুট চুক্তিই নির্ধারণ করে একটি গায়ন ব্যবস্থা কী করতে পারে। SoulX-Singer zero-shot টিম্বার ও গায়ন তৈরির ওপর জোর দেয়; YingMusic-Singer-Plus গানের কথার সঙ্গে মেলোডি বা স্কোরের শর্ত যুক্ত করে। দুটিই গান তৈরি করে, তবে একটির নির্ভরতা রেফারেন্স অডিওর ওপর বেশি এবং অন্যটির নির্ভরতা কাঠামোবদ্ধ সংগীতের ওপর।
গায়ন সংশ্লেষণ concatenation ও acoustic model থেকে neural vocoder, codec token এবং বৃহৎ generator পর্যন্ত এগিয়েছে। স্থায়ী সমস্যাটি হলো phoneme, নোটের দৈর্ঘ্য, vibrato, শ্বাস এবং টিম্বারের মধ্যে অ্যালাইনমেন্ট। সাবলীল একটি কোরাসের আড়ালেও ভুল গানের কথা ও বার জুড়ে ছন্দের সরে যাওয়া লুকিয়ে থাকতে পারে।
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchস্বরের উচ্চতা বা মেলোডির রেখাdurationনোটের দৈর্ঘ্যe_timbreঅনুমোদিত প্রম্পট থেকে টিম্বারSoulX-Singer গানের কথা, MIDI/মেটাডেটা ও একটি টিম্বার প্রম্পট ব্যবহার করে; YingMusic-Singer-Plus আরও নমনীয় মেলোডি নির্দেশনা গ্রহণ করে। Pitch ও duration সম্পাদনাযোগ্য স্কোরের শর্ত, আর একটি মেলোডি রেফারেন্সে পরিবেশনার অতিরিক্ত তথ্য থাকে।
Pitch-এর নির্ভুলতা, duration, গানের কথার স্পষ্টতা, টিম্বারের সাদৃশ্য ও শ্বাস আলাদা আলাদা যাচাই। বেছে নেওয়া মাত্র একটি উঁচু নোটের নমুনা দিয়ে পুরো গানের স্থায়িত্ব প্রমাণ করা যায় না।
প্রবন্ধ, কোড ও ওজন SoulX-Singer / SoulX-Singer প্রবন্ধ / YingMusic-Singer-Plus সূত্র ধরে দেখা যায়।
প্রতিটি সারি তার উৎসের আর্কিটেকচার, মেট্রিক বা টাস্কের সংজ্ঞা ধরে রাখে; অভিন্ন প্রোটোকলবিহীন ফলাফল আলাদা থাকে।
| মডেল | আর্কিটেকচার বা প্রমাণ | পরিধি |
|---|---|---|
| SoulX-Singer | রেফারেন্স-চালিত zero-shot গায়ন | পরিচয়, গানের কথা ও দীর্ঘ অংশে স্থায়িত্ব |
| YingMusic-Singer-Plus | গানের কথা ও মেলোডি/স্কোর | অ্যালাইনমেন্ট, স্বরের পরিসর ও tempo |
| প্রচলিত গায়ন pipeline | স্পষ্ট acoustic feature ও vocoder | নিয়ন্ত্রণ পরিষ্কার, তবে cross-domain স্বাভাবিকতা সীমিত |
কোনো শব্দ বাদ পড়া, ব্যঞ্জনধ্বনি গিলে ফেলা, পুনরাবৃত্তি এবং ব্যঞ্জনধ্বনির সময় যাচাই করতে প্রতিটি শব্দ তুলনা করুন; তারপর pitch প্রবেশ, slide ও vibrato দেখুন। স্বাভাবিকতা বিষয়বস্তুর নির্ভুলতার বিকল্প নয়।
Key, BPM, meter ও রেফারেন্সের crop অপরিবর্তিত রাখুন। রেফারেন্সের accompaniment ও reverb আউটপুটে নকল হয়ে আসতে পারে।
গায়কের কণ্ঠ ক্লোন করতে স্পষ্ট অনুমতি প্রয়োজন এবং এটি ছদ্মবেশ, প্রতারণা বা অধিকার এড়ানোর কাজে সহায়তা করতে পারবে না।
মডেল arrangement বা কণ্ঠ নির্দেশনার বিকল্প নয়। স্বরের পরিসর, উচ্চারণ, আবেগ ও ভাষাভিত্তিক অভ্যাসে এখনও মানুষের কাজ দরকার।
মডেলের নাম, সংখ্যা ও সীমাবদ্ধতার উৎস নিচের প্রবন্ধ, রেপোজিটরি বা model card।