اختبار GPT‑6 Astra يكشف فجوة 37 نقطة يخفيها رقم 99.9%
الجواب المباشر: نتيجة GPT‑6 Astra خارج رقم الإطلاق ليست قيمة واحدة. تضع مراجعة الأسبوع الأول للنموذج درجته عند 62.7% على الإطار القياسي و99.9% على إطار المزود في ARC‑AGI‑3؛ والفرق الحسابي 37.2 نقطة مئوية، أي نحو 37 نقطة.
لا يعني ذلك أن إحدى النتيجتين زائفة، بل إنهما تقيسان تكوينين مختلفين: نموذج واحد، لكن مع scaffold مختلف، وسياسة مختلفة لحفظ حالة العمل، ومستويين مختلفين لجهد الاستدلال. لذلك يصلح الرقم الأعلى لوصف أداء المنظومة الكاملة التي اختُبرت، ولا يكفي وحده للتنبؤ بنتيجة استدعاء API أو وكيل لا يعيد إنتاج الشروط نفسها.
ما الذي تقوله نسبة 99.9% فعلًا؟
تعرض صفحة GPT‑6 Astra الرسمية نتيجة 99.9% على ARC‑AGI‑3، وتوضح أن التشغيل استخدم Responses API harness يغير إعدادين كي يقترب من الأداء في الاستخدام الواقعي. وتنبّه الصفحة أيضًا إلى أن تقييمات الشركة قد تختلف عن ChatGPT الإنتاجي بسبب رسائل النظام والأدوات المتاحة وعوامل تشغيل أخرى.
هذه الملاحظة أساسية لأن ARC‑AGI‑3 ليس اختبار أسئلة قصيرة مستقلة. يعمل النموذج داخل بيئات تفاعلية جديدة، فيستكشفها ويستنتج قواعدها ويحدد الهدف ويبني خطة وينفذ إجراءات متتابعة. ما يصل من الخطوة السابقة إلى التالية يمكن أن يحافظ على قاعدة اكتشفها النظام، أو يجبره على إعادة بنائها، أو يفقده جزءًا من خطة لم تكتمل.
الصياغة الدقيقة إذن هي أن GPT‑6 Astra حقق 99.9% تقريبًا على مجموعة ARC‑AGI‑3 شبه الخاصة ضمن Provider Adapter. لا تثبت النسبة أن الأوزان وحدها تنتج الأداء نفسه تحت أي واجهة، كما لا تثبت أن كل تطبيق يستخدم Responses API سيرث النتيجة تلقائيًا.
إعادة الحساب: أين تظهر فجوة 37 نقطة؟
يعرض سجل ARC Prize للدرجات الموثقة أفضل تشغيل قياسي عند 62.71% بمستوى Max وكلفة 26,098 دولارًا، وأفضل تشغيل عبر Provider Adapter عند 99.95% بمستوى High وكلفة 18,817 دولارًا؛ كما يسجل عند Max نسبة 98.55% للمهايئ، وعند High نسبة 54.82% للإطار القياسي، وعند None نسبتي 35.18% و96.72% على الترتيب.
طرح أفضل نتيجتين يعطي 37.24 نقطة مئوية، وهو أساس رقم 37 في العنوان. لكن هذه المقارنة تبدل متغيرين معًا: الإطار ومستوى الجهد. عند تثبيت Max تصبح الفجوة 35.84 نقطة، وعند تثبيت High تبلغ 45.13 نقطة، وعند None تصل إلى 61.54 نقطة.
استمرار الفرق داخل مستويات الجهد المتطابقة أقوى من مقارنة أفضل تشغيلين فقط؛ فهو يستبعد أن يكون الانتقال من Max إلى High تفسيرًا كافيًا للقفزة. لكنه لا يعزل متغيرًا واحدًا داخل Provider Adapter، لأن الـscaffold يغير طريقة إدارة السياق والحالة بين الطلبات بوصفهما حزمة تشغيل واحدة.
كيف يغير الـscaffold الشيء الذي يقيسه المعيار؟
في الإطار القياسي، يقرر النموذج ما يريد الاحتفاظ به داخل ملاحظات مرئية ترافقه خلال البيئة. أما Provider Adapter فيحفظ حالة استدلال غير مرئية بين الطلبات ويستخدم ضغط المحادثة الطويلة، ما يسمح بإعادة استخدام عمل سابق لا يظهر بالضرورة في الملاحظات التي كتبها النموذج لنفسه.
يفصل تحليل ARC Prize للإطارين بين سؤالين: كيف تتقارن النماذج تحت واجهة دنيا محايدة بين المزودين، وكيف يعمل النموذج مع خصائص إدارة السياق التي صممها مزوده؛ وفي الأزواج الـ167 التي حلها المساران عبر المجموعتين العامة وشبه الخاصة ومستويات الجهد كلها، كانت تشغيلات Provider Adapter أسرع بنحو 3.66 مرة واستخدمت رموزًا أقل بنسبة 49%.
لا تسمح هذه البيانات بالقول إن حفظ الحالة صنع الزيادة كاملة. فقد تتداخل بنية الرسائل والضغط وطريقة تمرير السياق وعدد الطلبات والإجراءات. الاستنتاج المدعوم أضيق: تغيير طبقة التشغيل أحدث فرقًا كبيرًا حتى مع تثبيت مستوى الجهد، ولذلك أصبحت تلك الطبقة جزءًا من القدرة المقاسة.
لماذا حققت المنظومة الأعلى نتيجة كلفة أقل؟
من القيم الموثقة أعلاه، تقل كلفة أفضل تشغيل للمهايئ عن أفضل تشغيل قياسي بمقدار 7,281 دولارًا، أو نحو 27.9%. ويعادل الإنفاق حسابيًا قرابة 416 دولارًا لكل نقطة مئوية في التشغيل القياسي مقابل 188 دولارًا في تشغيل المهايئ، مع التحفظ بأن «الكلفة لكل نقطة» ليست وحدة تسعير إنتاجية ولا تعكس تساوي صعوبة أجزاء المعيار.
يفسر نمط الاختبار جزءًا من النتيجة: الاستدلال الأكثر كلفة في الطلب الواحد قد يقلل مجموع الإجراءات والطلبات والرموز إذا وصل إلى الحل أسرع، بينما قد يوفر حفظ الحالة إعادة الاستكشاف في الخطوات اللاحقة. لهذا لا يكفي سعر الرمز أو اسم مستوى effort للحكم على فاتورة مهمة وكيلة طويلة.
تقدم قياسات ComputingForGeeks عبر API في 5 سبتمبر 2026 مثالًا منفصلًا: ارتفعت كلفة سؤال تصحيح واحد من 0.0305 دولار عند Low إلى 0.3006 دولار عند Max، وزمن الاستجابة من 12.4 إلى 104.9 ثانية، بينما كانت الإجابة الأساسية صحيحة عند المستوى المنخفض أيضًا.
هذه التجربة ليست إعادة لاختبار ARC‑AGI‑3، ولا يجوز جمع نتيجتها معه كأنهما عينة واحدة. فائدتها أنها تبين أن أثر effort يعتمد على المهمة: قد يشتري إنفاق إضافي تحققًا وتفصيلًا، وقد لا يغير صحة الجواب الأساسي. القرار الإنتاجي يحتاج قياس المهمة الفعلية، لا افتراض أن أعلى مستوى جهد هو الأفضل اقتصاديًا.
قائمة تحقق قبل اعتماد أي نتيجة معيارية
لتحويل رقم الإطلاق إلى مقارنة هندسية أو قرار شراء، يجب تعريف وحدة القياس كاملة. افحص العناصر الآتية قبل وضع نتيجتين في جدول واحد:
- الأوزان والإصدار: هل استُخدم النموذج نفسه أو snapshot محدد، أم اسم خدمة يمكن أن يتغير خلفه التنفيذ؟
- مجموعة التقييم: هل هي عامة أم خاصة أم شبه خاصة، وهل تتطابق طريقة احتساب الدرجة وعدد المحاولات؟
- الـscaffold: ما الأدوات وبنية الرسائل وحدود الخطوات وسياسة إعادة المحاولة والمنطق الخاص بالمزود؟
- حفظ الحالة: هل تنتقل ملاحظات مرئية يختارها النموذج فقط، أم تستمر حالة استدلال غير مرئية، وكيف يُضغط السياق الطويل؟
- جهد الاستدلال: عند قياس أثر الإطار، يجب تثبيت effort حتى لا تتغير آلية التشغيل وميزانية التفكير في المقارنة نفسها.
- الكلفة والزمن: احسب الرموز والطلبات والأدوات والكمون والتخزين المؤقت ومعدل النجاح، لا سعر مليون رمز منفردًا.
إذا كان السؤال عن قدرة الأوزان، فالمقارنة الأقرب للإنصاف تثبت المجموعة والواجهة والجهد وسياسة الحالة. وإذا كان السؤال عن أفضل حل إنتاجي، فمن المشروع مقارنة منظومتين كاملتين، لكن يجب تسمية النتيجة على هذا الأساس.
الحكم الذي تسمح به البيانات: يستطيع GPT‑6 Astra الاقتراب من تشبع ARC‑AGI‑3 داخل Provider Adapter، بينما تنخفض أفضل درجته كثيرًا تحت الإطار القياسي. فجوة 37 نقطة لا تثبت ضعف النموذج خارج المهايئ ولا تنسب المكسب إلى الذاكرة وحدها؛ إنها تثبت أن 99.9% نتيجة تكوين محدد، وليست خاصية محمولة تلقائيًا إلى كل بيئة تشغيل.
اقرأ أيضًا:
اشترك في نشرتنا الإخبارية
احصل على أحدث أخبار الويب 3 والذكاء الاصطناعي والعملات المشفرة مباشرة في بريدك.