মডেল
LongCat-AudioDiT 3.5B: অডিও ডিফিউশন ট্রান্সফরমারে স্পিকারের শর্ত লিখুন
কাগজের নিবিড় পঠন / শূন্য-নমুনা ভয়েস ক্লোনিং
কাগজের নিবিড় পঠন / শূন্য-নমুনা ভয়েস ক্লোনিং
© 2026 টেলকনেট। সর্বস্বত্ব সংরক্ষিত।
পেপার পাঠ / জিরো-শট ভয়েস ক্লোনিং
LongCat-AudioDiT 3.5B বানানো হয়েছে টেক্সট-টু-স্পিচ আর জিরো-শট ক্লোনিংয়ের জন্য। টার্গেট টেক্সট, স্পিকার রেফারেন্স আর প্রসোডিক সূত্র এক জায়গায় মিলিত হয় একটি ডিফিউশন ট্রান্সফরমারের ভেতরে, যা অ্যাকুস্টিক ল্যাটেন্ট তৈরি করে। এর প্রকাশিত সাদৃশ্যের সংখ্যাগুলো আসলে ন্যাচারালনেস, শব্দ-ত্রুটি বা বহুভাষিক উচ্চারণের চেয়ে অনেক সরু এক প্রশ্নের জবাব দেয়।
একটি ফরোয়ার্ড প্রক্রিয়া পরিষ্কার অ্যাকুস্টিক ল্যাটেন্ট x₀-কে নষ্ট করে x_t-তে পরিণত করে। টেক্সট আর স্পিকারের তথ্য c-কে শর্ত হিসেবে ধরে নেটওয়ার্কটি নয়েজ বা ভেলোসিটি ভবিষ্যদ্বাণী করে:
L=E ||ε−εθ(x_t,t,c)||²
প্রকাশিত কোয়ালিটি পথে 32টি ফাংশন ইভ্যালুয়েশন ব্যবহৃত হয়। আনকন্ডিশনড সিনথেসিসে কাজ করে CFG, আর রেফারেন্সভিত্তিক ক্লোনিং শক্ত গাইডেন্সের নিচে অতিরিক্ত স্যাচুরেশন কমাতে প্রজেক্টের APG পদ্ধতি অনুসরণ করে।
অনেক জিরো-শট সিস্টেম বিচ্ছিন্ন অ্যাকুস্টিক ইউনিট একটার পর একটা তৈরি করে। LongCat এর বদলে ডিফিউশন ট্রান্সফরমার দিয়ে একটি ধারাবাহিক অ্যাকুস্টিক ট্রাজেক্টরি পুনরুদ্ধার করে; এখানে টেক্সটের ফিচার জোগায় UMT5, আর পরিচয় ও প্রসোডি জোগায় রেফারেন্সটি। এতে ত্রুটি জমে ওঠার জায়গা সরে যায় টোকেনের ক্রম থেকে পুনরাবৃত্ত ডিনয়েজিং আর গাইডেন্সের দিকে।
অফিসিয়াল Seed টেবিলে স্পিকার-সাদৃশ্যের তিনটি স্প্লিট আছে, যেখানে 3.5B-এর মানগুলোর গড় প্রায় 80.0। ওই সারিগুলোর তুলনা কেবল নামকরা টেবিলের ভেতরেই চলে; এরা MOS, শব্দ-ত্রুটি, ভাষাভেদে উচ্চারণ বা দীর্ঘ অডিওর ধারাবাহিকতার বিকল্প নয়। কোনো নাম ভুল পড়েও কণ্ঠ শোনাতে পারে একদম চেনা চেনা।
কাজে লাগার মতো প্রম্পট হয় সংক্ষিপ্ত, পরিষ্কার আর একজন স্পিকারের। একাধিক স্পিকার, সংগীত আর তীব্র রিভার্ব পরিবেশের সঙ্গে পরিচয় মিশিয়ে দেয়। ভয়েস সাদৃশ্য সিনথেসিসের একটি বৈশিষ্ট্য, পরিচয়-যাচাইয়ের সংকেত নয়, কারো ভান করার অনুমতিও নয়।
জিরো-শট ক্লোনিংয়ে এতদিন প্রায়ই ব্যবহৃত হয়েছে অটোরিগ্রেসিভ বিচ্ছিন্ন অডিও টোকেন: মডেল অ্যাকুস্টিক ইউনিট একটার পর একটা ভবিষ্যদ্বাণী করে, আর রেফারেন্স থেকে আসে স্পিকার কন্ডিশনিং। LongCat-AudioDiT 3.5B তার বদলে ডিফিউশন ট্রান্সফরমার দিয়ে ধারাবাহিক অ্যাকুস্টিক ল্যাটেন্ট পুনরুদ্ধার করে—টেক্সটের জন্য UMT5, আর টিম্বার ও প্রসোডির জন্য রেফারেন্স।
লাভ আর খরচ—দুটোই আসে গ্লোবাল ডিনয়েজিং থেকে। ট্রাজেক্টরি জুড়ে বাক্যের গঠন বদলানো যায়, কিন্তু 32টি ফাংশন ইভ্যালুয়েশন ল্যাটেন্সি বাড়িয়ে দেয়। APG আর CFG শুধু টিম্বারের স্যাচুরেশনই নয়, উচ্চারণের স্থায়িত্ব আর কপি হওয়া ব্যাকগ্রাউন্ড নয়েজও বদলে দেয়; এগুলো একটা গাইডেন্স সংখ্যার চেয়ে অনেক বেশি কিছু।
L=E ||ε−εθ(z_t,t,c_text,c_spk)||²z_tt ধাপে অ্যাকুস্টিক ল্যাটেন্টc_textটেক্সট শর্তc_spkরেফারেন্স থেকে পাওয়া স্পিকার শর্তএই জেনেরিক কন্ডিশনাল-ডিফিউশন নোটেশনে দেখা যাচ্ছে টেক্সট আর স্পিকার শর্ত একসঙ্গে ঢুকছে ডিনয়েজারে; এটিকে রিপোজিটরির লাইন-বাই-লাইন সমীকরণ হিসেবে দেখানো হয়নি। বত্রিশটি ফাংশন ইভ্যালুয়েশন বারবার ল্যাটেন্টটি হালনাগাদ করে।
স্পিকার সাদৃশ্য আর কনটেন্টের সঠিকতা আলাদা আলাদা অক্ষ। নয়েজমাখা প্রম্পট রুমের শব্দকেই ভয়েস শর্তে বদলে দিতে পারে, আর বেশি সাদৃশ্য মানে না যে নাম, সংখ্যা বা থামার জায়গা সব ঠিক আছে।
পেপার, কোড আর ওয়েটসের জন্য LongCat-AudioDiT source / LongCat-AudioDiT 3.5B weights দেখুন।
অফিসিয়াল ZH, EN ও ZH-Hard SIM কলামের গড় নেওয়া হয়েছে, আর ধরা হয়েছে কেবল পূর্ণাঙ্গ সারিগুলোকে। ন্যাচারালনেস আর WER আলাদা প্রশ্নেই রয়ে গেছে।
| মডেল | তিন স্প্লিটের গড় SIM | যা এখনো যাচাই করতে হবে |
|---|---|---|
| LongCat-AudioDiT 3.5B | প্রায় 80.0 | WER, ন্যাচারালনেস আর ল্যাটেন্সি |
| Qwen3-TTS | প্রায় 74.5 | ভয়েস ডিজাইন বনাম ক্লোনিং |
| VoxCPM | প্রায় 74.4 | দীর্ঘ অডিওর ধারাবাহিকতা আর RTF |
একই বাক্যের রেফারেন্সবিহীন আর রেফারেন্স-কন্ডিশনড—দুই রকম আউটপুটই সংরক্ষণ করুন। টিম্বার, উচ্চারণভঙ্গি আর প্রসোডির আগে পরীক্ষা করুন নাম, সংখ্যা আর থামার জায়গা। শুধু মিল খুঁজে শুনলে বাদ পড়া শব্দ বা কপি হওয়া নয়েজ চোখ এড়িয়ে যেতে পারে।
কার্যকর রেফারেন্স হয় সংক্ষিপ্ত, পরিষ্কার আর এক-স্পিকারের। একাধিক কণ্ঠ, তীব্র রিভার্ব আর সংগীত পরিবেশের সঙ্গে পরিচয় গুলিয়ে দেয়; একই টেক্সটের বারবার নমুনা নিলে সাদৃশ্য, প্রসোডি আর উচ্চারণে তারতম্য ধরা পড়ে।
স্পিকার সাদৃশ্য মাপে এমবেডিংয়ের নৈকট্য। এটা পরিচয় প্রমাণও করে না, কোনো কণ্ঠ ব্যবহারের অনুমতিও দেয় না। এই টুল ব্যবহারকারীর প্রক্রিয়াকরণের অধিকার থাকা রেফারেন্স উপকরণের জন্যই।
পাবলিক রিপোজিটরি আর 3.5B মডেল কার্ড মিলে নির্ধারণ করে কী কী উপকরণ প্রকাশিত হয়েছে। সাদৃশ্যের সংখ্যাগুলো তাদের নামকরা টেস্ট সেটের সঙ্গেই বাঁধা থাকে; বহুভাষিক উচ্চারণ, দীর্ঘ অডিওর স্থায়িত্ব আর উপলব্ধ ন্যাচারালনেসের পৃথক যাচাইয়ের বিকল্প নয়।
মডেলের নাম, সংখ্যা আর সীমাবদ্ধতাগুলোর উৎস নিচের পেপার, রিপোজিটরি বা মডেল কার্ডে খুঁজে পাওয়া যাবে।