نموذج
MuScriptor-large: القياس الفعلي والحدود لمزيج كامل من 1.366 مليار معلمة إلى MIDI متعدد المسارات
النسخ التلقائي للموسيقى
النسخ التلقائي للموسيقى
النسخ الموسيقي الآلي
MuScriptor-large هو أكبر نقطة تحقق عامة في عائلة MuScriptor والخيار الرئيسي الأعلى جودة في بطاقة النموذج. يحوّل الصوت الأحادي بمعدل 16 kHz إلى مقاطع مدة كل منها خمس ثوانٍ، ويمثّلها بملامح mel من 512 حاوية، ثم يستخدم محوّلًا (Transformer) من نوع decoder-only مكوّنًا من 48 طبقة لتوليد أحداث pitch وonset وoffset والآلات والطبول. تحتوي نقطة التحقق العامة على 1,366,399,488 معلمة F32 بالضبط، ضمن ملف safetensors بحجم 5,465,642,136 بايت.
كونه الأكبر داخل عائلته ليس الادعاء نفسه بأنه الأفضل على الإطلاق (state of the art) عالميًا. يُبلغ البحث عن تفوق كبير على YourMT3+ في مجموعة D_Test الخاصة، وينشر أيضًا نتائج على ثماني مجموعات بيانات خارجية لا يتفوق فيها MuScriptor على كل مقياس. مجموعات D_Real وD_RL وD_Test ليست عامة، ولم تُقارَن MIROS على الصوت والمقياس وبروتوكول المعالجة اللاحقة نفسها. والخلاصة التي يمكن الدفاع عنها أضيق: MuScriptor-large أحد أقوى المرشحين الجدد مفتوحي الأوزان في النسخ الموسيقي الآلي (AMT) العام متعدد الآلات، استنادًا إلى نتائج رائدة مُبلَّغ عنها من المؤلفين.
ينشر MuScriptor نقاط تحقق small وmedium وlarge، وتذكر بيانات المستودع الوصفية أعداد معلمات دقيقة قدرها 102,968,832 و307,030,528 و1,366,399,488. ويبلغ حجم large نحو 4.45 أضعاف medium، وهو موصوف صراحة بأنه الإصدار الرئيسي الأعلى جودة. أما اختبار الحجم التجريدي (ablation) في البحث فيستخدم التسميات 60M و100M و300M و1.3B؛ ولا يجوز أن تحل تلك التسميات التجريبية محل أعداد المعلمات الدقيقة لنقاط التحقق العامة الثلاث.
عند المراجعة 8809fdfbed2affa7ade94a7059e746e3880720e7، يحتوي مستودع الأوزان على ملف model.safetensors بحجم 5,465,642,136 بايت، إضافة إلى مجموعة صغيرة من ملفات الإعداد. أما الشيفرة المصدرية فمثبّتة بشكل منفصل عند الالتزام 302343e8992bdfc619f77f1988168374ed5d675d. وتربط هذه المعرّفات مجتمعةً البنية والمقطّع الرمزي (tokenizer) وإعدادات الاستدلال الافتراضية والأوزان. ولا تكفي تسمية تقول «large» ما دام بإمكان التنفيذ أن يحمّل medium بصمت أو يتبع فرعًا رئيسيًا يتحرك باستمرار.
تخزين الأوزان بصيغة F32 لا يعني أن كل عملية يجب أن تجري بـ F32، ولا يثبت أن مشتقًا غير رسمي منخفض البت مكافئ في الجودة. ولا يقدّم الإصدار أي دراسة جودة بالبروتوكول نفسه لنقطة تحقق مكمّاة بديلة. لذلك يحق لمسار يقدّم الجودة أولًا أن يشترط هوية large الدقيقة وأن يفشل بوضوح عند تعذّر تحميلها، بدلًا من الانتقال إلى فئة أصغر.
يُحوَّل الدخل إلى صوت أحادي بمعدل 16 kHz. يستخدم تحويل فورييه قصير الزمن نافذة من 2,048 نقطة وخطوة مقدارها 160 عينة، فينتج 100 إطار في الثانية، ثم يُسقِطها على 512 حاوية mel. وبذلك يضم المقطع ذو الثواني الخمس نحو 500 إطار صوتي. تدخل هذه الملامح إلى محوّل decoder-only بعرض 1,536 و24 رأس انتباه و48 طبقة. لا يقسم النموذج المزيج أولًا إلى مجموعة ثابتة من المسارات (stems) ثم يشغّل ناسخًا مستقلًا لكل منها؛ بل تُولَّد أحداث الزمن والآلة والنغمات في تسلسل واحد مشترك.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)xتمثيل mel لمقطع صوتي مدته خمس ثوانٍcشرط آلات اختياري؛ والمجموعة الفارغة تعني الكشف التلقائيynرمز (token) لحدث زمن أو آلة أو pitch أو إنهاءيتيح التحليل الذاتي الارتدادي أن تُغذي الآلات والتوافقيات المولَّدة سابقًا القرارات اللاحقة، وهو مفيد للسياق المتبادل بين الآلات في مزيج كامل. لكنه ينشر الأخطاء أيضًا: فالإزاحة الزمنية الخاطئة قد تزيح النغمات اللاحقة عن مواضعها، وغياب note-off قد يترك نغمة معلّقة، وانحراف رموز الآلات قد يضع درجات صحيحة على المسار الخاطئ.
يستخدم المثال الرسمي الحالي حجم دفعة 1 وحجم شعاع 1 وcfg_coef=1 مع فرض التمهيد (prelude forcing). حجم الشعاع 1 مسار argmax حتمي. أما الشعاع الأوسع فيحتفظ ببادئات أكثر ويستهلك ذاكرة أكبر؛ ودون اختبار تجريدي مضبوط، لا يمكن ببساطة إعادة تسمية الشعاع 4 بأنه «أقصى جودة».
يشحذ التوجيه الخالي من المصنّف (classifier-free guidance) الشرطَ بدمج اللوغيتات الشرطية وغير الشرطية: ℓ=ℓu+s(ℓc−ℓu). ويسجّل الجدول الأخير في البحث قيمة Multi F1 قدرها 48.2 عند CFG=1 و47.8 عند CFG=2. لذلك يبقى الإعداد الافتراضي العام 1 بدلًا من افتراض أن رقم التوجيه الأكبر أفضل.
يقسّم البحث مادة التدريب إلى ثلاث طبقات. تضم D_Synth نحو 1.45 مليون ملف MIDI من Lakh MIDI ومزوّد بيانات تجاري، مُصيَّرة عبر أكثر من 250 مكتبة SoundFonts. ويُخضِع النقلُ النغمي والسرعةُ وشدةُ الضربة وعشوائيةُ الآلات والانحرافُ النغمي المادةَ الرمزية نفسها لنطاق أوسع من الطبقات الصوتية. تمنح المصاورة التخليقية حدود أحداث دقيقة، لكنها تعجز عن استنساخ تسرب الميكروفونات والماسترينغ وضجيج العازفين والذيل الطويل للإنتاج الحقيقي استنساخًا كاملًا.
تضم D_Real نحو 170,000 تسجيل داخلي، أي ما يقارب 11,000 ساعة في المجموع. وتأتي تسميات نغماتها من محاذاة صوتية-رمزية لا من توصيف يدوي على مستوى العينات. توسّع المزيجات الحقيقية توزيع الإنتاج، لكنها تضيف معه مطابقة العناوين واختلاف الإصدارات وكمون الإضافات وخطأ المحاذاة. ثم تنتقي D_RL عدد 300 نسخة عالية الجودة راجعها بشر لأجل التدريب اللاحق بأسلوب GRPO/REINFORCE. تعالج المراحل الثلاث التغطية وانزياح المجال وتفضيل التسلسل، غير أن مجموعتي البيانات الحقيقية والمكافأة ليستا عامتين.
يقلّل التعلم الموجَّه سالب لوغاريتم الاحتمال على مستوى الرموز، بينما يستخدم التدريب اللاحق مكافأة مُركَّبة من مقاييس onset وoffset وframe وdrums ومتعدد الآلات. ويستطيع التحسين على مستوى التسلسل أن يعاقب إخفاقات بنيوية يفوّتها تصنيف الرموز المستقل. ولأن مجموعة المكافأة المُراجَعة لا تضم سوى 300 مقطوعة، فإن تغطية الآلات النادرة والسرعات القصوى والتقاليد غير الغربية ما تزال بحاجة إلى تقييم خارجي عام.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFTالإنتروبيا المتقاطعة للتسلسل أثناء التدريب الموجَّهR(y)المكافأة المُركَّبة لنسخة مكتملةD_RL300 نسخة مُراجَعة، وليست معيارًا عامًايحوّل MuScriptor برامج General MIDI البالغ عددها 128 إلى مجموعات آلات MT3_FULL_PLUS. يتعلم النموذج 36 مجموعة، بينما يعرض العرض التجريبي العام 35 اسمًا قابلًا للاختيار، منها البيانو الصوتي والكهربائي، وثلاث مجموعات غيتار، والباص الصوتي والكهربائي، والوتريات، والنحاسيات، وآلات النفخ الخشبية، والمُركِّبات الصوتية، والصوت البشري، والطبول. يعكس هذا الفرق حدًّا بين التمثيل الداخلي والواجهة القابلة للاختيار؛ فلا يصح الإبلاغ عن خيارات الواجهة الـ 35 بوصفها العدد الكامل للفئات المُتعلَّمة.
عندما يكون حقل الآلات فارغًا، قد يكشف النموذج أي مجموعة مدعومة. وحالما يُختار اسم واحد أو أكثر، يحجب المفكِّك جميع رموز الآلات الأخرى حجبًا قاسيًا. هذه قائمة بيضاء صارمة لا تفضيل مرن: قد تقلل تسرب الآلات عندما يكون التشكيل معروفًا سلفًا، لكنها قد تمحو أيضًا جزءًا حقيقيًا أغفل المستخدم إدراجه. قد يصلح البيانو والباص والطبول قيدًا جيدًا لثلاثي معروف؛ أما الكشف التلقائي فأكثر أمانًا عندما يكون التوزيع الموسيقي غير مؤكد.
يجب أن ينتقل القيد من الواجهة إلى قناع الرموز في المقطّع الرمزي. فالعناصر المختارة التي تتجاهلها واجهة برمجية تخلق تحكمًا زائفًا، بينما تؤجّل السلاسل النصية غير المقيدة أخطاء الإملاء إلى لحظة التنفيذ. العقد الأمين لا يقبل سوى المعرّفات الرسمية الـ 35، ويرفض التكرارات، ويعرّف المصفوفة الفارغة بأنها كشف تلقائي.
يقارن الجدول 1 في البحث بين YourMT3+ YPTF.MoE+Multi (noPS) ومراحل تدريب MuScriptor على مجموعة D_Test الخاصة نفسها. يسجّل النموذج large النهائي عند CFG=1 القيم Onset 60.4 وFrame 73.3 وOffset 49.0 وDrums 50.2 وMulti 48.2، في حين يسجّل YourMT3+ القيم 32.52 و45.54 و17.79 و41.4 و21.9. الفجوة كبيرة، وتدعم الادعاء بأن بيانات المؤلفين الأكبر ونموذجهم الأضخم ووصفة تدريبهم اللاحق حسّنت الأداء تحسينًا جوهريًا ضمن توزيع المزيج الحقيقي وبروتوكول التوصيف الخاصين بهم.
| مجموعة D_Test الخاصة نفسها | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
يتطلب Multi F1 أن تحقق الآلة وpitch وonset وoffset قاعدة المطابقة معًا، لذا لا يُعامل معاملة درجة تفحص حقولًا أقل. سجّلت MIROS قيمة 0.5998 في تحدي AMT لعام 2025 على مجموعة مختلفة مؤلفة من 76 مقتطفًا تخليقيًا مدة كل منها نحو عشرين ثانية، وبمقياس Multi Onset F1 القائم على program وpitch وonset. لم يدخل MuScriptor ذلك الاختبار بالبروتوكول نفسه. ووضع 48.2 بجانب 0.5998 يعني مقارنة مقامات مختلفة وتعريفات أحداث مختلفة.
تضم D_Test عدد 372 عملًا متعدد الآلات مأخوذًا من مادة داخلية، مع ترشيح بالعناوين يقصد به تقليل تسرب بيانات التدريب إلى الاختبار. الترشيح بالعناوين مفيد، لكنه لا يساوي تدقيق إزالة تكرار عامًا وقابلًا للاستنساخ. فالصوت والتوصيفات وخيارات الإصدارات وقواعد تنظيف التداخل كلها غير متاحة. لذلك يجب أن يبقى الرقم الرئيسي موسومًا بأنه نتيجة مُبلَّغ عنها من المؤلفين على مجموعة خاصة.
تُظهر مجموعات البيانات الخارجية الثماني صورة أقل اتساقًا. فأمام YourMT3+، يفوز MuScriptor في Frame F1 على 7 من 8 مجموعات وفي Multi F1 على 6 من 8، لكنه لا يفوز في Onset F1 إلا على 4 من 8. ويتأخر في onset وframe وoffset وmulti على RWC-C، وفي offset وdrums وmulti على RWC-R، وفي onset وoffset على Bach10. فالقوة في نشاط النغمات الممتدة والمحتوى العام للمسار لا تعنيان الهيمنة على كل عابر صوتي أو عائلة آلات أو توزيع تسجيلي.
للمقطّع الرمزي حد تمثيلي ملموس: فالنغمات المتزامنة المتداخلة بالآلة نفسها والدرجة نفسها لا يمكن تمثيل كلتيهما تمثيلًا سليمًا. يزيل البحث التداخل الأقصر في تقييم D_Test الرئيسي. وبدون تلك الإزالة يهبط Onset F1 من 60.4 إلى 51.8، وOffset من 49.0 إلى 41.9، وMulti من 48.2 إلى 42.0. تكرار نغمات البيانو بالدرجة نفسها تحت الدواسة، واتحاد النغم في الوتريات، والغيتارات المتراكبة، كلها حالات قد تصطدم بهذا التعارض.
اختبار حجم النموذج التجريدي ينتمي إلى مخطط منفصل عن المقارنة النهائية. يتدرّب الجدول 4 في البحث على D_Real وحدها مع شرط الآلات. يرتفع Multi F1 من 35.2 إلى 38.2 ثم 39.7 ثم 40.5 عبر التسميات 60M و100M و300M و1.3B. يُظهر ذلك استمرار فائدة الحجم ضمن ذلك الإعداد، لكنه لا يشمل مرحلتي التدريب المسبق التخليقي والتدريب التعزيزي النهائيتين، وليس قياسًا مباشرًا لملفات small وmedium وlarge العامة.
| تسمية الحجم في البحث | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
ينبغي أن تتركز المراجعة السمعية على اتحادات النغم الكثيفة، والعوابر المشتركة بين الطبول والباص، والغيتارات المشوَّهة، والجوقات، والطبقات الصوتية النادرة، والصدى الكثيف. قد تبقى الدرجات الإجمالية جيدة بينما يُنتج المسار شذرات قصيرة أو تسربًا بين المسارات أو امتدادات مقطوعة أو قنوات متعددة لآلة واحدة. المتوسطات تصف سلوك المجموع الكلي؛ ولا تغني عن فحص piano-roll والاستماع إلى إعادة تخليق صوتية.
ينتج الكاتب الحالي ملفات MIDI من النوع Type-1: تشغل البيانات الوصفية مسارها الخاص، ويحمل كل مسار آلة اسمًا وبرنامجًا وقناة وأحداث note-on وnote-off. وتتبع الطبول اتفاقية القناة 10 في General MIDI. وبالمقارنة مع تسطيح كل شيء في Type-0، يسهل في هذه البنية كتم المسارات وعزلها وتحريرها داخل محطة عمل صوتية (DAW)، ويغدو انحراف الآلات أظهر للعين.
لا يستعيد الناتج الديناميات المُؤدَّاة؛ فالشيفرة العامة تكتب velocity بقيمة 100 لكل نغمة. وجود حقل velocity في ملف MIDI لا يستوفي سوى متطلبات الصيغة؛ وليس دليلًا على أن النموذج استنتج التعبير من التسجيل. وتقدم الطبول أحداث onset فقط. كما لا يستنتج النموذج خريطة سرعة القطعة ولا ميزانها ولا شبكة إيقاعها. يستخدم الكاتب حدث tempo ثابتًا عند 120 BPM لتحويل ثواني الأحداث إلى نبضات (ticks). ولا يجوز أبدًا تقديم عبارة «ثابت عند 120 BPM» بصيغة «اكتُشف إيقاع 120 BPM».
يمكن الاحتفاظ بالتوقيت المستمر بشكل تقريبي، بينما تعتمد القيم المدوَّنة التي تعرضها برامج النوتة على تلك السرعة الثابتة وعلى التكميم اللاحق. أما الروباتو والسوينغ والمقاطع الحرة الزمن وتغيّرات السرعة فتتطلب تحليلًا منفصلًا للإيقاع والبنية. الأحداث القابلة للعزف، والمسارات القابلة للتحرير، والنوتة الجاهزة للنشر ثلاث طبقات مختلفة؛ ولا يزال توزيع الأصوات والربط والدواسات والتهجئة المتعادلة نغميًا والتكرارات والتعبير بحاجة إلى قرارات موسيقية.
عند معالجة الصوت الطويل مقاطعَ متداخلةً، يجب إسناد ملكية أحداث onset بثوانٍ شاملة، مع ترحيل النغمات التي تبقى مفتوحة عبر الحدود. وقد يؤدي ربط ملفات MIDI الخاصة بالمقاطع إلى مضاعفة هجمات الحدود، أو قطع الامتدادات، أو إسقاط أسماء المسارات وبرامجها وقناة الطبول. وينبغي عند القبول فحص النغمات المعلّقة، والتحقق من حفظ البيانات الوصفية للمسارات، وغياب أي انحراف توقيت منهجي عند وصلات المقاطع.
تستخدم شيفرة MuScriptor رخصة MIT. أما أوزان large فتخضع لرخصة CC BY-NC 4.0 وتُوزَّع عبر صفحة مقيَّدة على Hugging Face. ويتطلب الوصول حسابًا مسجَّل الدخول، وقبول شروط الصفحة، وتأكيدًا بأن المستخدم يملك الحقوق اللازمة للموسيقى التي يجري نسخها.
للشيفرة والأوزان ترخيصان منفصلان. والوصول إلى ملفات الأوزان لا يغيّر شرطها غير التجاري (NonCommercial)؛ فبطاقة النموذج المثبّتة ونص الرخصة هما المرجعان الأساسيان للاستخدام المسموح.
قيمة MuScriptor-large محددة بدقة: فهو أكبر أفراد العائلة العامة بمعلمات قدرها 1.366B، ويستهدف المزيجات الكاملة الحقيقية، ويدعم قائمة بيضاء صارمة للآلات، وينتج ملفات MIDI متعددة المسارات من النوع Type-1 قابلة للتحرير، ويحقق تفوقًا كبيرًا مُبلَّغًا عنه من المؤلفين على YourMT3+ في مجموعة D_Test الخاصة. وحدوده محددة بالقدر نفسه: البيانات الرئيسية ليست عامة، والمقاييس الخارجية ليست اكتساحًا كاملًا، والنغمات المتداخلة بالدرجة نفسها تتعارض داخل المقطّع الرمزي، وvelocity وخريطة السرعة الحقيقية غائبان، والأوزان مرخّصة للاستخدام غير التجاري.
عبارة «أعلى نقاط تحقق MuScriptor جودة» مدعومة بالأدلة. أما عبارة «أفضل أداء شامل مؤكَّد بشكل مستقل في تحويل الصوت إلى MIDI (SOTA)» فليست كذلك. وقد يتغير هذا التقييم عندما تقارن إعادة إنتاج عامة بين MuScriptor-large وYourMT3+ وMIROS على التسجيلات نفسها وتعريفات الأحداث نفسها وهوامش المطابقة نفسها وسياسة التداخل نفسها.