Google Magenta RealTime 2: যখন সঙ্গীত মডেল বাজানো যায় এমন যন্ত্রে রূপ নেয়
Google-এর অফিসিয়াল চিত্রসহ আপডেটেড ব্রিফিং: কম লেটেন্সি, MIDI/টেক্সট/অডিও নিয়ন্ত্রণ, 2.4B/230M গঠন, হার্ডওয়্যার ও MRT2-এর সীমা।
মডেল সংবাদ / Google Magenta
Google Magenta RealTime 2 (MRT2) প্রচলিত ধরনের এমন মিউজিক জেনারেটর নয়, যেখানে “একটি প্রম্পট লিখুন, তারপর সম্পূর্ণ ট্র্যাকের জন্য অপেক্ষা করুন”। Google এই প্রকাশনাকে একটি উন্মুক্ত মডেল, রিয়েল-টাইম ইনফারেন্স ইঞ্জিন ও উদাহরণ অ্যাপ্লিকেশনের সমন্বয় হিসেবে উপস্থাপন করেছে: 2.4B প্যারামিটারের বেস মডেল, 230M প্যারামিটারের ছোট মডেল, SpectroStream অডিও কোডেক, MusicCoCa স্টাইল রিপ্রেজেন্টেশন, MIDI/টেক্সট/অডিও নিয়ন্ত্রণ এবং স্থানীয়ভাবে রিয়েল-টাইম মিউজিক তৈরির অভিজ্ঞতা।
এই হালনাগাদ নিবন্ধে Google-এর আনুষ্ঠানিক চিত্র ও মডেল কার্ডের প্রমাণ যোগ করে MRT2-এর স্বতন্ত্র অবস্থান ব্যাখ্যা করা হয়েছে। এটি অ্যারেঞ্জমেন্ট, মিক্সিং বা পূর্ণাঙ্গ গান প্রযোজনার বিকল্প হতে চায় না। বরং মিউজিক মডেলকে বাজানো যায়, নিয়ন্ত্রণ করা যায়, DAW-এর উপযোগী এবং সরাসরি মিথস্ক্রিয়ামূলক ব্যবস্থার দিকে এগিয়ে নেয়। বাস্তবে এটি অফলাইন গান তৈরির যন্ত্রের চেয়ে রিয়েল-টাইম সহযোগীর মতো বেশি মনে হয়।
Magenta RealTime ও Lyria RealTime API থেকে বাজানো যায় এমন স্থানীয় মডেলে
MRT2 একই গবেষণা কর্মসূচির আগের দুটি ধারার অনুসারী: Magenta RealTime মডেল এবং হোস্ট করা Lyria RealTime API। ওই ব্যবস্থাগুলো ধারাবাহিক জেনারেশন ও নিয়ন্ত্রণযোগ্য মিউজিক্যাল স্টাইল প্রতিষ্ঠা করেছিল, তবে আগের মডেলটি প্রায় দুই সেকেন্ডের ফ্রেমে খণ্ডভিত্তিক অটোরিগ্রেশন ব্যবহার করত। বর্তমান খণ্ড শেষ না হওয়া পর্যন্ত কোনো নোট, স্টাইল পরিবর্তন বা নতুন অডিও রেফারেন্স শব্দে প্রভাব ফেলতে পারত না।
MRT2 SpectroStream ও MusicCoCa বহাল রেখে জেনারেটিং ব্যাকবোনকে প্রতি ফ্রেমভিত্তিক অটোরিগ্রেশনসহ decoder-only Transformer-এ পরিবর্তন করেছে। একটি ফ্রেম এখন 40 ms, তাই প্রতিটি নতুন ফ্রেমের জন্য MIDI অবস্থা, স্টাইল টোকেন এবং অডিও প্রসঙ্গ আবার পড়া হয়। Google-এর প্রতিবেদন অনুযায়ী নিয়ন্ত্রণ বিলম্ব প্রায় তিন সেকেন্ড থেকে প্রায় 200 ms-এ নেমেছে। আগে যে দুই সেকেন্ডে একটি খণ্ড তৈরি হতো, সেই সময়ের মধ্যে নতুন মডেল শব্দের দিক বদলানোর পঞ্চাশটি সুযোগ পায়।
এই প্রকাশনা হোস্ট করা প্রদর্শনীকে এমন একটি মডেল থেকেও আলাদা করেছে, যা সংগীতশিল্পীরা নিজেদের টুলে বসাতে পারেন। Lyria RealTime API একটি পরিষেবা হিসেবে ইন্টারঅ্যাকটিভ জেনারেশন দেখিয়েছিল; MRT2 ডিভাইসে ব্যবহারের জন্য ওয়েট, Python লাইব্রেরি, MLX C++ ইঞ্জিন, DAW উদাহরণ এবং স্বতন্ত্র অ্যাপ্লিকেশন প্রকাশ করেছে। মিথস্ক্রিয়াকে শুধু প্রম্পট দেওয়া, অপেক্ষা করা ও ডাউনলোডে সীমাবদ্ধ না রেখে এটি লাইভ পারফরম্যান্স সেটআপ, গেম সাউন্ডট্র্যাক ব্যবস্থা বা ইনস্টলেশনে রাখা যায়।
প্রযুক্তিগত প্রমাণ: শুধু বড় মডেল নয়
আনুষ্ঠানিক মডেল কার্ড MRT2-কে তিনটি মূল উপাদানে ভাগ করেছে: SpectroStream, MusicCoCa এবং একটি decoder-only Transformer LLM। SpectroStream একটি বিচ্ছিন্ন অডিও কোডেক, যা 48kHz স্টেরিও মিউজিক অডিওকে টোকেনে রূপান্তর করে। MusicCoCa টেক্সট ও মিউজিক অডিওকে একটি অভিন্ন এমবেডিং স্পেসে মানচিত্রায়িত করে। LLM প্রসঙ্গ অডিও টোকেন, MusicCoCa স্টাইল টোকেন এবং MIDI টোকেনের ভিত্তিতে পরবর্তী অডিও ফ্রেম তৈরি করে।
এই কাঠামো ব্যাখ্যা করে কেন MRT2 একই সময়ে টেক্সট, অডিও ও MIDI গ্রহণ করতে পারে। টেক্সট স্টাইল বর্ণনা করে, অডিও ধ্বনিগত বা মিউজিক্যাল রেফারেন্স দেয়, আর MIDI পরিবেশনের অবস্থার ওপর নিয়ন্ত্রণ দেয়। ইনপুটগুলো কেবল একসঙ্গে জোড়া হয় না; রিয়েল-টাইম জেনারেশন লুপে এগুলোর ভূমিকা আলাদা।
আনুষ্ঠানিক দুই মডেল কনফিগারেশনও তাৎপর্যপূর্ণ: 2.4B প্যারামিটারের বেস মডেল এবং 230M প্যারামিটারের ছোট মডেল। বেস মডেলটি মানের দিকে ঝোঁকে, আর ছোট মডেলটি স্থানীয়ভাবে চালানোর বাধা কমায়। মডেল কার্ডে বেসের জন্য 25-ফ্রেম (1s) উইন্ডোড attention, ছোট মডেলের জন্য 41-ফ্রেম (~1.6s) উইন্ডোড attention এবং উভয়ের জন্য 20s কার্যকর রিসেপটিভ ফিল্ডের কথাও বলা হয়েছে। এটি সীমাবদ্ধ প্রসঙ্গসহ ধারাবাহিক জেনারেশন, সম্পূর্ণ গান নিয়ে অফলাইনে যুক্তি বিশ্লেষণ নয়।
কম বিলম্ব আসলে কী বোঝায়
Google-এর প্রধান পরিবর্তনগুলোর একটি হলো আগের প্রজন্মের তুলনায় মডেলের ফ্রেমের আকার 2s থেকে 40ms-এ এবং নিয়ন্ত্রণ বিলম্ব প্রায় 3s থেকে প্রায় 200ms-এ নামানো। সংখ্যাটি আকর্ষণীয়, তবে আনুষ্ঠানিক সীমারেখাও মনে রাখা দরকার: শুরু থেকে শেষ পর্যন্ত প্রতিক্রিয়ার সময় শুধু মডেল ইনফারেন্স নয়। এর মধ্যে ইনপুট বাফার, আউটপুট বাফার, অডিও ইন্টারফেস, হোস্ট সফটওয়্যার এবং বাহ্যিক উপাদানও রয়েছে।
সংগীতশিল্পীদের জন্য ~200ms কোনো হার্ডওয়্যার কিবোর্ড বা ড্রাম ট্রিগারের প্রায় তাৎক্ষণিক সাড়া নয়। তবে একটি মডেলকে “অফলাইন জেনারেটর” থেকে “ইন্টারঅ্যাকটিভ ব্যবস্থা”-তে নিয়ে যাওয়ার জন্য এটি যথেষ্ট। মিলিসেকেন্ড-নির্ভুল ড্রাম মেশিন বা পিয়ানো যন্ত্রের বিকল্প হওয়ার চেয়ে MRT2 স্টাইল রূপান্তর, সঙ্গত সম্প্রসারণ, টেক্সচার অনুযায়ী প্রতিক্রিয়া, লাইভ কোডিং, ইনস্টলেশন এবং গেম মিউজিকের জন্য বেশি উপযুক্ত।
একবারে গান তৈরি থেকে এটি যেভাবে আলাদা
| মাত্রা | Magenta RealTime 2 | প্রচলিত প্রম্পট-টু-ট্র্যাক জেনারেটর | ব্যবহারিক প্রভাব |
|---|---|---|---|
| মিথস্ক্রিয়ার ছন্দ | শুনুন, বাজান, সমন্বয় করুন এবং তৈরি চালিয়ে যান। | একটি প্রম্পট দিন এবং সম্পূর্ণ ফলাফলের জন্য অপেক্ষা করুন। | MRT2 রিয়েল-টাইম পরীক্ষা ও পরিবেশনার উপযোগী; প্রম্পট-টু-ট্র্যাক দ্রুত সম্পূর্ণ খসড়ার উপযোগী। |
| নিয়ন্ত্রণ ইনপুট | MIDI, টেক্সট ও অডিও একসঙ্গে। | সাধারণত টেক্সট প্রম্পটের সঙ্গে সীমিত কাঠামোগত নিয়ন্ত্রণ। | MIDI মডেলটিকে পরিবেশনার অঙ্গভঙ্গিতে সাড়া দিতে দেয়। |
| চালানোর স্থান | আনুষ্ঠানিকভাবে স্থানীয়, ওপেন-ওয়েট, Apple Silicon অ্যাপ ও DAW প্লাগইনকেন্দ্রিক হিসেবে উপস্থাপিত। | প্রায়ই ক্লাউডে হোস্ট করা পরিষেবা। | গবেষণা, প্লাগইন ও স্থানীয় মিউজিক সফটওয়্যার সংযোজনে MRT2 বেশি স্বাভাবিক, তবে এর জন্য স্থানীয় হার্ডওয়্যার দরকার। |
| আউটপুটের লক্ষ্য | নিয়ন্ত্রণযোগ্য ধারাবাহিক মিউজিক্যাল অডিও। | সম্পূর্ণ গান বা সম্পূর্ণ ক্লিপ। | MRT2 তৈরি গান উৎপাদনের কারখানার চেয়ে রিয়েল-টাইম যন্ত্র বা সঙ্গতকারীর মতো বেশি আচরণ করে। |
| সৃজনশীল সীমারেখা | মডেল কার্ডটি যন্ত্রসংগীতে মনোযোগ দেয় এবং অর্থপূর্ণ শব্দ নয় এমন কণ্ঠধ্বনির সীমাবদ্ধতার কথা উল্লেখ করে। | প্রায়ই কণ্ঠসহ গান তৈরিকে সামনে রেখে বাজারজাত করা হয়। | যন্ত্রসংগীত, টেক্সচার, সঙ্গত এবং ইন্টারঅ্যাকটিভ মিউজিক দৃশ্যের জন্য MRT2-কে বোঝাই সবচেয়ে যথাযথ। |
আনুষ্ঠানিক MRT2 উৎস থেকে মূল তথ্য
| মাত্রা | আনুষ্ঠানিক উৎস | সঠিক ব্যাখ্যা |
|---|---|---|
| লাইসেন্স | কোড Apache-2.0-এর অধীনে, মডেল ওয়েট CC-BY 4.0-এর অধীনে। | এটি একক লাইসেন্সের প্রকাশনা নয়; সংযোজনের সময় কোড, ওয়েট ও ব্যবহারের শর্ত একসঙ্গে পড়তে হবে। |
| মডেলের বিভাজন | 2.4B base / 230M small. | Base ও small মান এবং স্থানীয়ভাবে চালানোর মধ্যে ভিন্ন সমঝোতা নির্দেশ করে। |
| অডিও কোডেক | SpectroStream 48kHz স্টেরিও অডিওকে 25Hz ফ্রেম রেট, 64 RVQ গভীরতা, 10-bit কোড এবং 16kbps-এ টোকেনে রূপান্তর করে। | রিয়েল-টাইম আচরণ শুধু স্যাম্পল রেট থেকে নয়, মডেলের সঙ্গে কোডেক/স্ট্রিমিং রিপ্রেজেন্টেশনের সমন্বয় থেকে আসে। |
| নিয়ন্ত্রণ ইনপুট | টেক্সট প্রম্পট, অডিও উদাহরণ এবং MIDI। | তিনটি ইনপুট স্টাইল, প্রসঙ্গ ও পরিবেশনার অবস্থা নিয়ন্ত্রণকে উপস্থাপন করে। |
| প্রশিক্ষণ ডেটা | প্রায় 71k ঘণ্টা স্টক মিউজিক, যার বেশির ভাগই যন্ত্রসংগীত। | কণ্ঠের কথার বিষয়ে প্রত্যাশা সতর্ক হওয়া উচিত; মডেল কার্ডে বলা হয়েছে, কণ্ঠধ্বনি অর্থপূর্ণ শব্দ না হওয়ার প্রবণতা রাখে। |
| মূল্যায়ন | মডেল কার্ড বলছে, আসন্ন একটি প্রযুক্তিগত প্রতিবেদনে মেট্রিক ও ফলাফল প্রকাশ করা হবে। | মনগড়া লিডারবোর্ড বা অপ্রকাশিত স্কোর দেবেন না; শুধু প্রকাশিত আর্কিটেকচার ও সীমাবদ্ধতা উদ্ধৃত করুন। |
ইন্টারঅ্যাকটিভ মিউজিকের জন্য প্রকাশনাটি যা বদলে দেয়
MRT2-এর মূল শব্দ হলো ধারাবাহিক জেনারেশন ও কম-বিলম্বের নিয়ন্ত্রণ। এটি শুধু প্রম্পট দিয়ে নির্দেশ দেওয়ার জন্য নয়, বাজানো ও নিয়ন্ত্রণ করার জন্য তৈরি।
মডেল কার্ডটি ইন্টারঅ্যাকটিভ মিউজিক তৈরি এবং প্রধানত যন্ত্রসংগীতভিত্তিক স্টক মিউজিককে কেন্দ্র করে। সম্পূর্ণ গান, গানের কথা, কণ্ঠ এবং প্রকাশের উপযোগী প্রযোজনার জন্য এখনো মানুষের কর্মপ্রবাহ দরকার।
ওপেন ওয়েট ও স্থানীয় ইনফারেন্স গবেষণা, প্লাগইন এবং DAW সংযোজনকে আরও ব্যবহারিক করে, তবে হার্ডওয়্যার, বাফার, হোস্ট সফটওয়্যার ও অডিও ইন্টারফেস—সবকিছুই অভিজ্ঞতাকে গঠন করে।
এই প্রতিবেদনের সব ছবি ও GIF Google Magenta প্রকাশনার আনুষ্ঠানিক উপকরণ; বিকল্প আঁকা ছবি বা পুনর্নির্মিত চার্ট নয়।