Zyphra ZONOS2: উচ্চ-নিষ্ঠার ভয়েস ক্লোনিংয়ের জন্য ওপেন TTS MoE
Zyphra Apache-2.0 লাইসেন্সে ZONOS2 প্রকাশ করেছে: মোট 8B, প্রায় 900M সক্রিয় MoE TTS প্যারামিটার এবং 6M+ ঘণ্টা বক্তৃতা ডেটা। লেখাটি এটিকে ZONOS2 Voice Cloning TTS workflow হিসেবে ব্যাখ্যা করে।
মডেল সংবাদ / Zyphra
ZONOS2 হলো 2026 সালের জুনে Zyphra প্রকাশিত উন্মুক্ত রিয়েল-টাইম TTS মডেল। আনুষ্ঠানিক উপকরণে একে Apache-2.0-এর অধীন স্পারস MoE স্পিচ মডেল হিসেবে বর্ণনা করা হয়েছে, যার মোট প্যারামিটার 8B, সক্রিয় প্যারামিটার প্রায় 900M, উচ্চ-নির্ভুলতার কণ্ঠ ক্লোনিং, কম-বিলম্বের TTS, ষাট লক্ষ ঘণ্টার বেশি বহুভাষিক বক্তৃতা ডেটা এবং seed-tts eval ও ZTTS1-Eval-এ Zyphra প্রকাশিত বেঞ্চমার্ক ফলাফল রয়েছে।
গুরুত্বপূর্ণ বিষয়টি শুধু আরেকটি ভয়েস মডেল প্রকাশ হওয়া নয়। ZONOS2 উল্লেখযোগ্য, কারণ এটি উন্মুক্ত ওয়েট, আরও উচ্চ-নির্ভুলতার DAC অডিও পথ, ভাষার স্তর এবং বক্তা কন্ডিশনিংকে একটি পথেই যুক্ত করেছে। রেফারেন্স বক্তৃতা পরিচয় ও ধ্বনিগত প্রসঙ্গ দেয়, লক্ষ্য টেক্সট দেয় বিষয়বস্তু, আর ডিকোডার 44.1 kHz বক্তৃতা ফেরত দেয়।
Zonos-v0.1 থেকে ZONOS2: ডেটা, মডেলের ধারণক্ষমতা ও কন্ডিশনিং একসঙ্গে বদলেছে
ZONOS2 শুধু Zonos-v0.1-এর বড় সংস্করণ নয়। আগের মডেলটিতে প্রায় 1.6B প্যারামিটার ছিল এবং এটি আনুমানিক 200,000 ঘণ্টা বক্তৃতায় প্রশিক্ষিত হয়েছিল। টেক্সটের প্রাথমিক স্তরে এটি ফোনেমাইজেশন ও ভাষার লেবেলের ওপর নির্ভর করত, আর এর বক্তা উপস্থাপন কম বিশদ বহন করত। ওই সংস্করণটি উন্মুক্ত zero-shot কণ্ঠ ক্লোনিংয়ের পথ তৈরি করেছিল, কিন্তু প্রচলিত TTS সমঝোতাগুলো রয়ে গিয়েছিল: ঘন স্কেলিং রিয়েল-টাইম জেনারেশন ধীর করত, ফোনেম অভিধান বহুভাষিক ও ভাষা-বদলানো টেক্সটকে জটিল করত, আর সংক্ষিপ্ত বক্তা ভেক্টর রেফারেন্স ক্লিপের কণ্ঠ ও রেকর্ডিংয়ের বিশদ হারিয়ে ফেলতে পারত।
ZONOS2-তে Zyphra তিনটি সীমাই এগিয়ে নিয়েছে। প্রশিক্ষণ সেট প্রায় 200,000 ঘণ্টা থেকে বেড়ে ষাট লক্ষ ঘণ্টার বেশি হয়েছে। মোট মডেল আকার 1.6B থেকে 8B প্যারামিটারে উঠেছে, আর স্পারস MoE রাউটিং প্রতি ধাপে সক্রিয় সেটকে 900M-এর কাছাকাছি রাখে। প্রকাশনায় আগের মডেলের তুলনায় রিয়েল-টাইম থ্রুপুট চার গুণ বেশি বলে জানানো হয়েছে। ফলে প্রতিটি token-কে সম্পূর্ণ 8B নেটওয়ার্ক চালাতে না দিয়েও ধারণক্ষমতা আরও বিস্তৃত ভাষা, উচ্চারণ, প্রসোডি ও রেকর্ডিং বৈচিত্র্য ধারণ করতে পারে।
বক্তা কন্ডিশনিংও বদলেছে। Zyphra নতুন ECAPA-TDNN embedding-এর ব্যান্ডউইডথ আগের বক্তা মডেলের চেয়ে 20 গুণ বলে বর্ণনা করেছে। এখানে ব্যান্ডউইডথ বলতে embedding কতটা বক্তা-সংক্রান্ত তথ্য বহন করতে পারে তা বোঝায়, আউটপুট WAV-এর স্যাম্পল রেট নয়। এটি প্রকাশনায় নিখুঁত ক্লোনিং ও স্টুডিও-পরিষ্কার বক্তৃতার পার্থক্য বোঝাতে সাহায্য করে: শব্দদূষণ, ঘরের প্রতিক্রিয়া, শ্বাস এবং অস্বাভাবিক কণ্ঠ-টেক্সচার এক কাজে পরিচয়ের প্রমাণ, আর অন্য কাজে সরানোর মতো ত্রুটি হতে পারে।
টেক্সটের পথ স্পষ্ট ফোনেমাইজেশন ও ভাষা ট্যাগ থেকে স্বাভাবিকীকৃত UTF-8 বাইটে গেছে। চীনা অক্ষর, জাপানি লিপি, কোরিয়ান, সংখ্যা, যতিচিহ্ন এবং ভাষা বদলকে মডেলে পৌঁছানোর আগে আর একটি স্থির উচ্চারণ অভিধানের মধ্য দিয়ে যেতে হয় না। বাইট ইনপুট সঠিক বহুউচ্চারণ বা বাক্যভঙ্গি নিশ্চিত করে না, তবে প্রাথমিক স্তরের কয়েকটি ব্যর্থতার জায়গা সরায়: অভিধানে শব্দ না থাকা, ভুল ভাষা লেবেল এবং একটি বাক্যের মধ্যে কঠোর ভাষার সীমা।
শুধু বেশি ডেটা দিলে মডেলের লক্ষ্য গোলমেলে থেকে যেত, তাই আনুষ্ঠানিক বর্ণনায় তিন-ধাপের প্রশিক্ষণ রয়েছে। প্রাক্-প্রশিক্ষণে পূর্ণ ডেটাসেট ন্যূনতম ট্রান্সক্রিপ্ট-মিল ফিল্টারিং এবং কণ্ঠ-ক্লোনিং তথ্য ছাড়া আট epoch চালানো হয়। মধ্যবর্তী প্রশিক্ষণে ট্রান্সক্রিপ্টের মিল ও ডেটাসেট নির্বাচন কঠোর করে হ্যালুসিনেশন, ভুল উচ্চারণ এবং পুনরাবৃত্তি কমানো হয়। শেষ annealing ধাপে আরও কঠোর ফিল্টারিংয়ের মধ্যে বক্তা embeddings, বলার গতি নিয়ন্ত্রণ এবং মানের শর্ত যোগ হয়। প্রথমে ব্যাপ্তি শেখানো হয়; নিয়ন্ত্রণযোগ্য উচ্চারণ ও ক্লোনিং পরে কেন্দ্রীভূত হয়।
কণ্ঠ ক্লোনিং শুধু সাদৃশ্য নয়
কণ্ঠ-ক্লোনিং মূল্যায়ন প্রায়ই একটি প্রশ্নে সীমিত হয়: এটি কি রেফারেন্স বক্তার মতো শোনায়? এটি গুরুত্বপূর্ণ, কিন্তু কোনো টুলের জন্য যথেষ্ট নয়। ব্যবহারযোগ্য TTS ব্যবস্থার জন্য স্বাভাবিকতা, স্থিতিশীলতা, ভাষার ব্যাপ্তি, বিলম্ব, লাইসেন্স এবং সেটআপের চাপও গুরুত্বপূর্ণ। ZONOS2 আকর্ষণীয়, কারণ এটি শুধু বন্ধ API-এর “আরও মানবসদৃশ বক্তৃতা” গল্প অনুসরণ করে না; উচ্চ-নির্ভুলতার ক্লোনিংয়ের সঙ্গে উন্মুক্ত স্থানীয়ভাবে চালানোর পথ যুক্ত করে।
এতে ব্যবহারকারীর সমঝোতা বদলে যায়। বন্ধ TTS API হোস্ট করা কল ও একরূপ বিলিংয়ের জন্য সুবিধাজনক। অনেক উন্মুক্ত TTS প্রকল্প পরীক্ষার জন্য নমনীয়, কিন্তু মান, পরিবেশ ও রানটাইম সমস্যা ব্যবহারকারীকেই সমাধান করতে হয়। ZONOS2 উচ্চমানের কণ্ঠ ক্লোনিং, উন্মুক্ত মডেল উপকরণ এবং সাইট থেকে চেষ্টা করা যায় এমন পণ্য কর্মপ্রবাহ একত্র করে এই দুই প্রান্তের মধ্যে অবস্থান করে।
প্রকাশনাটি বাহ্যিক ভয়েস API নয়, বরং মডেল ও ইনফারেন্স স্ট্যাক। এর জনসম্মুখের চুক্তি রেফারেন্স অডিও, লক্ষ্য টেক্সট, ভাষা ও স্যাম্পলিং নিয়ন্ত্রণকে যুক্ত করে; ফলাফল এখনো প্রাক্-প্রক্রিয়াকরণ, কোডেক ডিকোডিং এবং নির্বাচিত চেকপয়েন্টের ওপর নির্ভরশীল।
আসলে নতুন কী
তিনটি আনুষ্ঠানিক বিষয় আলাদা করে দেখা দরকার। প্রথমটি আর্কিটেকচার: ZONOS2 একটি স্পারস Mixture of Experts TTS মডেল। Zyphra একে মোট 8B প্যারামিটার ও ইনফারেন্সে সক্রিয় প্রায় 900M প্যারামিটারের মডেল হিসেবে বর্ণনা করেছে। অর্থাৎ এটি শুধু বড় করে তোলা ঘন মডেল নয়; MoE নকশা বৃহত্তর প্যারামিটার ভাণ্ডারকে রিয়েল-টাইম TTS লক্ষ্যের সঙ্গে একত্রে কাজ করতে দেয়।
দ্বিতীয়টি অডিও উপস্থাপন। মডেল কার্ড অনুযায়ী, ZONOS2 ইনফারেন্সের সময় nemo TN-স্বাভাবিকীকৃত UTF-8 বাইট ও ECAPA-TDNN বক্তা embedding ব্যবহার করে, তারপর MoE ব্যাকবোন দিয়ে DAC token তৈরি করে। Zyphra-এর আনুষ্ঠানিক নিবন্ধে DAC পথকে 44.1 kHz অডিও উৎপাদনকারী হিসেবে দেখানো হয়েছে। এটি গুরুত্বপূর্ণ, কারণ লক্ষ্য হলো কম স্যাম্পল-রেটের টেলিফোনির বদলে অধিক-বিশদ বর্ণনা, চরিত্রের কণ্ঠ, পডকাস্ট ও বহুভাষিক কণ্ঠ ক্লোনিং।
তৃতীয়টি ভাষার ব্যাপ্তি। মডেল কার্ড Tier 1-এ ইংরেজি, ম্যান্ডারিন চীনা ও জাপানি; Tier 2-এ কোরিয়ান, রুশ, ইতালীয়, পর্তুগিজ, ফরাসি, স্প্যানিশ, ভিয়েতনামি, জার্মান, হিব্রু ও ডাচ; আর Tier 3-এ সুইডিশ, হিন্দি, তামিল, তেলুগু, থাই, নরওয়েজীয়, বাংলা, তাগালগ, আরবি, ড্যানিশ, ইন্দোনেশীয়, পোলিশ, ইউক্রেনীয়, রোমানীয়, ফিনিশ, হাঙ্গেরীয়, লিথুয়ানীয়, এস্তোনীয়, স্লোভাক, ক্রোয়েশীয় ও লাতভীয় ভাষা তালিকাভুক্ত করেছে। স্তরবিভাগ নিজেই একটি সীমা: সমর্থন মানে প্রতিটি ভাষা, উচ্চারণ ও রেফারেন্স ক্লিপ একইভাবে কাজ করবে না।
বেঞ্চমার্কের দাবি কীভাবে পড়তে হবে
Zyphra-এর প্রকাশনা পৃষ্ঠায় seed-tts eval ও নতুন ZTTS1-Eval-এ শক্তিশালী ফলাফলের কথা বলা হয়েছে, যেখানে বক্তার সাদৃশ্য, প্রসোডি, স্বাভাবিকতা ও কণ্ঠ-ক্লোনিংয়ের নির্ভুলতায় জোর দেওয়া হয়েছে। সঠিক ব্যাখ্যা উৎসের সীমার মধ্যে: এটি Zyphra-এর বেঞ্চমার্ক ও নমুনার কাঠামো, প্রতিটি পরবর্তী জেনারেশন সব বন্ধ বা উন্মুক্ত মডেলকে ছাড়িয়ে যাবে—এমন সর্বজনীন নিশ্চয়তা নয়।
মূল্যায়নের আলোচনা একটি স্কোরের চেয়েও সূক্ষ্ম। Zyphra উল্লেখ করেছে, WER TTS-এর জন্য অস্বস্তিকর হতে পারে, কারণ তৈরি কণ্ঠ প্রকৃত মানব বক্তৃতার চেয়ে পরিষ্কার এবং তাই ASR-এর জন্য লেখা সহজ হতে পারে, অথচ সেটি রেফারেন্স বক্তার আরও নিখুঁত ক্লোন নাও হতে পারে। ZONOS2 কণ্ঠের নির্ভুলতাকে স্পষ্টভাবে গুরুত্ব দেয় এবং stable ও expressive দিকনির্দেশ দেয়: একটি পরিষ্কার স্থিতিশীল আউটপুটকে প্রাধান্য দেয়, অন্যটি আরও নিখুঁত স্বাভাবিক ক্লোনিংয়ের লক্ষ্য রাখে।
ZONOS2 হলো 2026 সালের জুনের উন্মুক্ত MoE TTS প্রকাশনা, যা Zyphra নির্দিষ্ট TTS ও কণ্ঠ-ক্লোনিং মূল্যায়ন সেটিংসে রিপোর্ট করেছে। রেফারেন্স অডিওর মান, লক্ষ্য ভাষা, টেক্সটের দৈর্ঘ্য, স্টাইল নিয়ন্ত্রণ ও স্যাম্পলিং কনফিগারেশন পৃথক চলক হিসেবে থাকে; তাই প্রকাশিত ফলাফল ঘোষিত প্রোটোকলের মধ্যেই প্রযোজ্য।
প্রচলিত TTS পথের সঙ্গে তুলনা
| মাত্রা | ZONOS2 / কাজের কর্মপ্রবাহ | বন্ধ হোস্ট করা TTS API | সাধারণ স্ব-হোস্ট করা উন্মুক্ত TTS |
|---|---|---|---|
| ওয়েট ও লাইসেন্স | আনুষ্ঠানিক ওয়েট পাওয়া যায়; মডেল কার্ডে Apache-2.0 উল্লেখ রয়েছে। | সাধারণত শুধু API, ওয়েটের ওপর নিয়ন্ত্রণ নেই। | মডেলের ওপর নির্ভর করে; লাইসেন্স, বাণিজ্যিক ব্যবহার ও মানে ব্যাপক পার্থক্য থাকে। |
| ব্যবহার নিয়ন্ত্রণ | কাজের কর্মপ্রবাহ মডেলের সীমা দৃশ্যমান রেখে অবস্থা অনুসরণ ও WAV ডাউনলোড সংযোজন দিতে পারে। | হোস্টিং সুবিধাজনক, তবে বিলম্ব, অঞ্চল, নিরীক্ষা ও ডেটার পথ বিক্রেতার ওপর নির্ভর করে। | নিয়ন্ত্রণ বেশি, তবে ব্যবহারকারীকে পরিবেশ, ওয়েট, পরিবেশন ও ত্রুটি শনাক্তকরণ পরিচালনা করতে হয়। |
| কণ্ঠ ক্লোনিং | Zyphra উচ্চ-নির্ভুলতার ও স্বাভাবিক কণ্ঠ ক্লোনিংকে স্পষ্টভাবে গুরুত্ব দেয়। | শক্তিশালী হতে পারে, তবে প্রায়ই অ্যাকাউন্ট, অনুমোদন, কোটা ও প্ল্যাটফর্ম নীতিতে সীমাবদ্ধ। | মডেল পরিবার ও রেফারেন্স অডিও অনুযায়ী মানে বড় পার্থক্য হয়। |
| ভাষার সীমা | মডেল কার্ড Tier 1/2/3 ভাষা সমর্থন প্রকাশ করেছে। | পণ্যের ব্যাপ্তি বিস্তৃত হতে পারে, তবে প্রশিক্ষণ ও মূল্যায়নের বিস্তারিত সব সময় প্রকাশ্য নয়। | ব্যাপ্তি প্রশিক্ষণ ডেটা এবং tokenizer/phonemizer নকশার ওপর নির্ভর করে। |
| ব্যবহারকারীর কর্মপ্রবাহ | রেফারেন্স বক্তৃতা আপলোড করুন, টেক্সট লিখুন এবং WAV আউটপুটের জন্য অপেক্ষা করুন। | সাধারণত সরাসরি রিয়েল-টাইম API বা কনসোল কল। | প্রায়ই CLI কাজ, টুল সেটআপ ও অডিও-পরবর্তী প্রক্রিয়াকরণ দরকার। |
টুল কর্মপ্রবাহ হিসেবে ব্যবহার
ব্যবহারকারীর ধাপ সহজ: একটি রেফারেন্স কণ্ঠ আপলোড করুন, যে টেক্সট বলা হবে তা লিখুন, ভাষা ও প্যারামিটার বেছে নিন এবং ফলাফল হিসেবে একটি WAV ফাইল পান।
ব্যবহারকারীর প্রধান সুবিধা হলো কম সেটআপের চাপ: রেফারেন্স কণ্ঠ, টেক্সট, ভাষা ও মানের প্যারামিটার দিয়ে ZONOS2 মূল্যায়নের আগে তাদের গবেষণা পরিবেশ প্রস্তুত করা বা প্রতিটি বাস্তবায়ন বিশদ বোঝা দরকার হয় না।
ব্যবহারিক নির্দেশনা
একজন বক্তা, কাছের মাইক্রোফোন, কম প্রতিধ্বনি ও কম পটভূমির শব্দ বেছে নিন। পরিষ্কার 10-30 সেকেন্ডের ক্লিপ প্রায়ই সংগীত বা ঘরের শব্দসহ দীর্ঘ রেকর্ডিংয়ের চেয়ে বেশি উপকারী।
আনুষ্ঠানিক মডেল কার্ডে ইংরেজি, ম্যান্ডারিন চীনা ও জাপানি Tier 1। তালিকাভুক্ত অন্য ভাষাগুলোও তৈরি আউটপুট ও মানুষের শোনা দিয়ে বিচার করা উচিত।
পরীক্ষার ফল ব্যবহৃত তথ্য ও সেটিংয়ের ওপর নির্ভর করে। উচ্চারণ ও কণ্ঠের মিল বিচার করতে তৈরি কণ্ঠকে রেফারেন্স রেকর্ডিংয়ের সঙ্গে তুলনা করুন।
শুধু যে কণ্ঠ ব্যবহারের অধিকার আপনার আছে সেটিই ক্লোন করুন; বাস্তব ব্যক্তির ছদ্মবেশ নেবেন না এবং পরিচয় নিয়ে বিভ্রান্ত করতে তৈরি বক্তৃতা ব্যবহার করবেন না।
ZONOS2 তথ্য ও পণ্য ব্যাখ্যা
| বিষয় | আনুষ্ঠানিক বা পণ্য-সংক্রান্ত তথ্য | সঠিক অর্থ |
|---|---|---|
| প্রকাশের তারিখ | Zyphra-এর আনুষ্ঠানিক পৃষ্ঠায় 2026-06-12 তারিখ রয়েছে। | এটি মডেল-সংবাদের তারিখ, প্রতিটি পরবর্তী পণ্য ওই দিন হালনাগাদ হয়েছে—এমন প্রমাণ নয়। |
| লাইসেন্স | Hugging Face মডেল কার্ডে apache-2.0 উল্লেখ রয়েছে। | স্থানীয়ভাবে চালানো ও সংযোজনের উপযোগী, তবে দায়িত্বশীল ব্যবহার এখনো জরুরি। |
| আকার | মোট 8B প্যারামিটার / প্রায় 900M সক্রিয় প্যারামিটার। | MoE প্রতি ধাপে বিশেষজ্ঞ ভাণ্ডারের শুধু একাংশ সক্রিয় করে; এটি ঘন 8B ইনফারেন্সের দাবি নয়। |
| প্রশিক্ষণ ডেটা | Zyphra ষাট লক্ষ ঘণ্টার বেশি বহুভাষিক বক্তৃতার কথা জানিয়েছে। | বড় পরিসর, তবে ভাষার স্তর, রেকর্ডিং অবস্থা ও রেফারেন্স কণ্ঠ এখনো গুরুত্বপূর্ণ। |
| অডিও পথ | আনুষ্ঠানিক উপকরণ DAC token তৈরি এবং 44.1 kHz অডিও বর্ণনা করে। | কম-রেটের টেলিফোনির চেয়ে বিস্তারিত বক্তৃতা, বর্ণনা ও চরিত্রের কণ্ঠের সঙ্গে বেশি সামঞ্জস্যপূর্ণ। |
| ইনফারেন্স চুক্তি | রেফারেন্স বক্তৃতা, লক্ষ্য টেক্সট, ভাষা ও স্যাম্পলিং সেটিংস প্রকাশিত মডেলকে শর্তায়িত করে। | মান এখনো ইনপুট উপকরণ, প্রাক্-প্রক্রিয়াকরণ ও ডিকোডিং কনফিগারেশনের ওপর নির্ভর করে। |