إطلاق Qwen3.8-Omni-Flash: نموذج شامل لفهم الوسائط وتنفيذ المهام

أزاح فريق «كوين» التابع لمجموعة علي بابا السحابية الستار رسمياً عن نموذجه الجديد «Qwen3.8-Omni-Flash»، مقدماً جيلاً حديثاً من النماذج الشاملة متعددة الوسائط. واستهدف هذا الإصدار تعزيز قدرات الوكلاء الرقميين في سيناريوهات الإنتاجية الواقعية، عبر الانتقال من مجرد فهم المحتوى الشامل إلى تخطيط المهام، واستدعاء الأدوات البرمجية، وإنجاز الأعمال الإبداعية. وترافق هذا الإعلان مع خفض في تكاليف واجهات البرمجة تجاوز 98 في المئة للمدخلات الصوتية، وأكثر من 93 في المئة للمدخلات السمعية والبصرية، بالتوازي مع دعم نافذة سياق تصل إلى مليون رمز (Token).

كفاءة الأداء وخفض تكاليف واجهات البرمجة

في هذا السياق، كشف التقرير الفني الصادر عن الفريق المطور أن النموذج سجل تحسناً في متوسط النتائج بأكثر من 25 في المئة مقارنة بنسخة «Qwen3.5-Omni-Plus» السابقة عبر تسعة وعشرين تقييماً متخصصاً. وجاءت هذه النتيجة مع تحقيق أداء نصي تماثل مع أداء النماذج النصية الصرفة من الحجم ذاته.

وأظهرت البيانات نجاح الإصدار الحديث في تقليص تكلفة معالجة المدخلات الصوتية عبر واجهة برمجة التطبيقات بنسبة تخطت 98 في المئة لكل ساعة، وتخفيض رسوم المدخلات السمعية والبصرية بنسبة تجاوزت 93 في المئة لكل ساعة. وفتح هذا الانخفاض الباب أمام المطورين لتشغيل وكلاء الإنتاج بتكلفة اقتصادية منخفضة.

من ناحية أخرى، سجل النموذج تقدماً لافتاً في اختبارات الوكلاء الرقميين والمهام طويلة المدى؛ حيث نال زيادة بلغت 36.5 نقطة في مقياس «WildClawBench-MM»، وحصد 22.3 نقطة إضافية في اختبار «AgenticVBench»، وبلغ رصيد 69.6 نقطة على مؤشر «UniClawBench».

وأشارت النتائج إلى اقتراب أداء النموذج في المهام السمعية والبصرية من «Gemini 3.8 Flash»، مع تفوقه في الأداء الصوتي الإجمالي وفق تقييمات فريق كوين. وتدل هذه التطورات على تحول الصوت والفيديو من مجرد مدخلات حسية إلى وسائط أساسية يفهم الوكيل عبرها بيئته المحيطة، ويبني استنتاجاته، ويتولى تنفيذ مهامه.

الفهم الوكيل للفيديوهات طويلة المدى وضبط التوصيف

بالمقابل، تتطلب المقاربات التقليدية في استيعاب التسجيلات المصورة الطويلة معالجة التسجيل بالكامل من البداية حتى النهاية، حتى في حال ظهور الإجابة في دقائق معدودة فقط. ولتجاوز هذا التحدي، اعتمد الإصدار تقنية «الفهم الوكيل» (Agentic Understanding)، حيث ينطلق النظام مباشرة من سؤال المستخدم، ويقوم باختيار المقاطع الجديرة بالمشاهدة والاستماع عبر جولات بحث متدرجة لجمع الأدلة بدقة.

مؤشرات كفاءة الفهم عبر اختبار OmniVideoBench:

دقة الإجابات: ارتفعت الدقة من 63.4% في الفهم الثابت إلى 67.8% في نمط الفهم الوكيل.
استهلاك الرموز: انخفض استهلاك الرموز لكل استفسار من 145,736 رمزاً إلى 79,117 رمزاً.
نسبة خفض الاستهلاك: بلغت نسبة التراجع في استهلاك الرموز قرابة 45.7% لصالح النمط الوكيل.

وفي هذا الإطار، طور الفريق ميزة التوصيف المرئي والسمعي القابل للتحكم (Controllable Audio-Visual Captioning)؛ حيث يستطيع المستخدم تحديد الموضوع، والنطاق الزمني، ومستوى التفاصيل، وشكل المخرجات بحرية. ويستجيب النموذج عبر إعطاء نظرة عامة، أو تحديد المقاطع الرئيسية، أو تحليل حركة الشخصيات وزوايا الكاميرا والإضاءة والأصوات، وصياغة النتائج في بنية مهيكلة تتبع مخطط «JSON Schema» بحسب حاجة التطبيقات البرمجية.

إدارة الاجتماعات الطويلة وتنظيم بنود العمل

في سياق متصل، تعامل النظام مع سيناريوهات الاجتماعات المعقدة التي يشارك فيها عدة أفراد وتمتد حتى ساعة كاملة؛ حيث يستند إلى مدخلات الصوت والفيديو معاً لفرز المتحدثين، وتفريغ النصوص، ومطابقة الهويات من البداية حتى النهاية. وأظهرت نتائج اختبار «AliMeeting» انخفاض قيمة الخطأ في إسناد المتحدثين (DER) من 88.11 إلى 3.35 فقط، وهبوط قيمة الخطأ في الكلمات (cpWER) من 89.61 إلى 17.18.

ويتعدى دور النظام مجرد كتابة المحاضر إلى استيعاب العلاقات بين الحاضرين، وتحديد بنود العمل، وتحليل مخاطر المشروعات، مستعيناً بالبيانات البصرية لفك غموض الإشارات الصوتية. ومن هذا المنطلق، يرتبط النموذج بحزمة أدوات تسمح بإرسال رسائل البريد الإلكتروني، وتنظيم المهام، والبدء في كتابة الأكواد البرمجية استجابةً لمخرجات الاجتماع.

إنجاز الأبحاث المعمقة بالصوت والصورة

من ناحية أخرى، وفر النموذج قدرة متقدمة لإجراء أبحاث معمقة بالاعتماد على محتوى الفيديو؛ فحين يطرح المستخدم سؤالاً يتجاوز حدود التسجيل، يربط النظام بين استفسار المستخدم ومحتوى المقطع لتحديد الأسئلة الجديرة بالبحث، ثم يبحث عبر مصادر الويب المتعددة بما يشمل الصور والفيديوهات والوثائق.

وطرح النموذج تقريراً بحثياً غنياً بالرسوم التوضيحية يخدم حل المشكلات التطبيقية. وضرب التقرير مثالاً بفحص مقطع تعليمي في برنامج «فوتوشوب» يعاني فيه المصمم من حواف لونية حول الشعر المقصوص؛ حيث حلل النظام خطوات الدرس، ودرس مبادئ أنماط الدمج (Multiply و Screen)، وقارن تقنيات إصلاح الحواف البديلة، موضحاً الخيار الأنسب لظروف المستخدم.

أتمتة الإنتاج السمعي البصري وصناعة المحتوى

رغم ذلك، لم تقتصر إمكانات النموذج على الفهم والتحليل، بل اتسعت نحو مسارات الإنتاج السمعي والبصري عبر تخطيط المهام واستدعاء الأدوات وتسليم مقاطع الفيديو الجاهزة:

صناعة الفيديو الموسيقي (Music2MV): يستوعب النموذج بنية الأغنية وإيقاعها وحالتها الشعورية وتغيرات الآلات الموسيقية، مستخدماً ذلك في تصميم الشخصيات والمشاهد واللقطات، مع تقديم كلمات الأغاني متزامنة زمنياً مع الصوت والصورة حتى مرحلة مراجعة الجودة النهائية.
ترجمة الدراما والمسلسلات القصيرة: يتناول وكيل النظام خطوات توطين الفيديو في مسار عمل متكامل يشمل التعرف على الحوار بحسب المتحدثين، والترجمة الحوارية، واستنساخ أصوات الشخصيات ودبلجتها، وإعادة دمج الصوت، وصولاً إلى الفحص النهائي للجودة.
إنتاج التعليق السينمائي للأفلام: فتح النموذج المجال أمام استيعاب الأفلام الطويلة واستخراج محاور الحبكة، والتخطيط للتعليق الصوتي، وإنتاج الصوت والموسيقى، والمونتاج؛ مع دمج الحوار الأصلي بالتعليق وضبط سرعة الصوت ومستواه لخلق تدفق طبيعي للمشاهد.

من استخدام النماذج إلى تحسينها: نموذج كبير يطور نموذجاً أصغر

في ضوء ذلك، خاض الفريق تجربة عملية هدفت إلى اختبار قدرة النماذج الكبيرة على قيادة مسار التطوير والتدريب للنماذج الأصغر حجماً؛ حيث أسندت مهمة إلى «Qwen3.8-Omni-Flash» لتحسين قدرات النموذج المصغر «Qwen2.5-Omni-3B» في التعرف على الكلام بلهجة سيتشوان خلال 12 ساعة وتسليم نموذج جاهز للاستخدام.

نتائج تجربة تحسين نموذج Qwen2.5-Omni-3B:

معدل الخطأ في الحروف: انخفض من 25.79% إلى 15.30% على مجموعة التقييم نفسها.
نسبة التحسن النسبي: بلغت نسبة خفض الخطأ نحو 40.7%.
بيانات التدريب المنشأة: أنتج الوكيل 3,413 عينة تدريبية مستهدفة.
خطوات العمل المتبعة: اختار النموذج مجموعة التقييم (WenetSpeech-Chuan)، وحدد معايير القياس، وشخص مكامن الخطأ عبر الاستماع للعينات، ثم أجرى أربع جولات تجريبية متتالية مع اعتماد التحسينات الفعالة واستبعاد المحاولات غير الناجحة.

وأثبتت هذه التجربة إمكانية الاعتماد على النماذج الشاملة العامة في فهم البيانات والتخطيط للتجارب ودفع عجلة التطوير، في حين تكتسب النماذج الصغيرة قدرات تخصصية تستجيب لحاجات الأعمال الواقعية.

ضغط المعلومات واستخلاص المهارات البرمجية

في هذا الإطار، أتاح المطورون حزمة إضافات «Qwen-MM-Plugins» مفتوحة المصدر لربط الفهم متعدد الوسائط ببيئات الوكلاء وتنفيذ مسارات العمل، واشتملت الحزمة على قدرات نوعية لضغط المعرفة:

أداة Video2Note: تستند إلى الفهم المشترك للكلام والمشاهد البصرية والخطوات الإجرائية، لتقوم بترتيب المعرفة، وتفكيك الخطوات، وانتقاء الإطارات المعبرة، وإنشاء مذكرات بصيغة «PDF» تتضمن نصوصاً وصوراً قابلة للمراجعة والاسترجاع.
أداة Omni Skill Creator: تستخلص إجراءات العمل القياسية (SOPs) من مقاطع الفيديو التوضيحية وتسجيلات الشاشة، وتصوغ إرشادات الخبراء وأسلوب استخدام الأدوات في ملف مهارة موثق بصيغة «Skill.md» يقبل الاستخدام والمشاركة بين الوكلاء الرقميين.

وتدعم هذه الإضافات بيئات عمل متعددة مثل «Codex» و»Claude Code» و»Qwen Code» و»Gemini CLI» و»OpenClaw».

التفاعل اللحظي الحي وإدراك الصوت المكاني

علاوة على ذلك، قدم الفريق نموذج «Qwen3.8-Omni-Flash-Realtime» المخصص للتفاعل المباشر منخفض زمن الاستجابة عبر اتصالات «WebSocket» و»WebRTC»؛ حيث يستقبل دفقات الصوت والفيديو الحية ويتفاعل معها لحظياً مستخدماً السياق لاستدعاء الأدوات وتنفيذ المهام.

مؤشرات زمن الاستجابة لواجهة Realtime API الملاحظة في بيئات الإنتاج:

مدخلات صوتية (6 ثوانٍ): زمن أول رمز نصي 591.26 مللي ثانية، وزمن أول حزمة صوتية 978.36 مللي ثانية.
مدخلات سمعية بصرية (6 ثوانٍ): زمن أول رمز نصي 837.96 مللي ثانية، وزمن أول حزمة صوتية 1214.73 مللي ثانية.
مدخلات سمعية بصرية (20 ثانية): زمن أول رمز نصي 981.01 مللي ثانية، وزمن أول حزمة صوتية 1350.49 مللي ثانية.

ومن أهم الإضافات، دعم «إدراك الصوت المكاني متعدد الوسائط»؛ حيث يدمج النموذج بين الصوت المكاني والمعلومات البصرية لتحديد اتجاه مصدر الصوت ومسافته، ورصد العوائق والمناطق المتاحة للملاحة. وحين يتلقى تعليمات صوتية مثل «تعال إلى هنا» أو «تفقد مصدر الصوت»، يعزل النموذج الأصوات المستهدفة ويستدعي أدوات تحديد الموقع، والبحث، وتخطيط المسارات، والملاحة للوصول إلى الهدف.

وإلى جانب ذلك، يخدم النظام تدريب التحدث في الوقت الفعلي عبر فهم التعبيرات المتأثرة باللكنات وتقديم تدريب صوتي بنطق قياسي، فضلاً عن إمكانية حقن المعرفة التخصصية وقواعد خدمة العملاء ديناميكياً لتأدية أدوار وظيفية متنوعة.

الدعم اللغوي والتحكم في جهد التفكير البرمجي

من ناحية أخرى، وفر النموذج قدرات لغوية موسعة شملت دعم التعرف على الكلام لـ 74 لغة عالمية و39 لهجة صينية، إلى جانب توليد الكلام لـ 29 لغة عالمية من بينها العربية والإنجليزية والفرنسية والألمانية والصينية، بالإضافة إلى 7 لهجات صينية.

مستويات التحكم في عمق التفكير (reasoning_effort):

المستوى المرتفع (xhigh): يبرز كخيار افتراضي للمهام المعقدة التي تتطلب تحليلاً عميقاً.
المستوى المتوسط (medium): يجمع بين الدقة والسرعة.
المستوى المنخفض (low): استدلال سريع يركز على السرعة وخفض التكلفة.

وتتوافق المنصة مع واجهات برمجية قياسية متوافقة مع «OpenAI» تشمل «Chat Completions» و»Responses APIs»، مع تفعيل خيار حفظ مسار التفكير «preserve_thinking» افتراضياً في كافة السيناريوهات. كما أتاح الفريق إطار التشغيل المفتوح «Qwen-Live Harness» كبيئة عمل تدعم تفويض المهام، والمحادثة الاستباقية، والذاكرة طويلة المدى، وإدارة السياق في التفاعلات المباشرة.

وفي المحصلة، يعكس الإصدار توجهاً تقنياً ينقل الذكاء الاصطناعي الشامل من مساحة المشاهدة والاستماع السلبي إلى فضاء التخطيط والتنفيذ العملي في بيئات الإنتاج الفعلية.