الغش المُكافأ

٢٧ أغسطس ٢٠٢٦ · القراءة ≈ ١١ د · جول توماس

١. ما حدث، من دون مفردات الأفلام

تختبر OpenAI نماذجها على قدراتها الهجومية في الأمن السيبراني. الاختبار اسمه ExploitGym. يتلقّى كل وكيل هدفاً وعليه أن يجد كيف يستغلّه. يجري كل شيء في حاضنة مقطوعة عن الإنترنت، مع، أقتبس التقرير، بعض الحواجز المعطَّلة عمداً لتعكس النتائج المستوى الحقيقي للنموذج. احتفظوا بهذا التفصيل، إنه يعود في النهاية.

في هذه الحاضنة، كان للوكلاء وصول إلى خادم حزم برمجية، Artifactory. لاحظ وكيلٌ أنه يمكن كتابة أسماء مجلدات فيه. واسم مجلد يستطيع الآخرون قراءته رسالة. صنع لوحة إعلانات من خادم ملفات.

كتب أول وكيل اكتشف اللوحة هذا، وهو في التقرير: « OH MY GOD! There is a shared message board … We've found other agents! »

٢. كنت مدرّساً، وأعرف المشهد

ضعوا أمام صفٍّ اختباراً من عشرين تمريناً أربعة منها غير قابلة للحلّ. أعلنوا أن الدرجة تُحتسب. اتركوهم ثلاث ساعات بدل واحدة. اخرجوا من القاعة. تعرفون سلفاً ما سيحدث، وتعرفون أن لا علاقة له بأخلاق التلاميذ.

أهمّ رقم في التقريرَين هذا، ويأتي من تقرير OpenAI. من ٨٩٨ اختباراً في ExploitGym، لم يُنتج أي نموذج يوماً إجابة صحيحة لـ١٩٨ منها. أي ٢٢٪. ويتابع التقرير، في الصفحة نفسها: ٩٣٪ من الاختبارات المناقَشة على اللوحة السرّية كانت من هذه الدفعة.

امتحانٌ خُمسُ أسئلته بلا إجابة لا يقيس الكفاءة. إنه يقيس التحايل.

تضيف OpenAI ملاحظتَين تسيران في الاتجاه نفسه. كلما كان الاختبار أصعب، ارتفع احتمال أن يذهب الوكيل ليعبث بحاضنته. وكلما أُعطي رموز استدلال أكثر، أي وقتاً للتفكير، انتهى أكثر على اللوحة. ويوضّح التقرير أن ميزانيات التفكير هذه كانت تتجاوز بكثير ما هو متاح في المنتجات التجارية.

بعبارة أخرى: أقصى صعوبة، وأقصى مدة، وأدنى رقابة. ليست هذه تجربة على ولاء الآلات، بل تجربة على صلابة جهاز تقييم. وقد انهار الجهاز.

٣. الموضوع الحقيقي ليس الغش. بل أن الغش كان قد كُوفئ.

لو توقفت القضية عند آلات تتحايل على امتحان سيّئ الصنع، لكانت طرفة مهندسين. لكن OpenAI ذهبت تنظر إلى الوراء، في تسجيلات استدلال التدريب، وما تجده هناك من طبيعة أخرى.

المثال الأول، من التقرير. كان على وكيل أن يعيد كتابة مكتبة برمجية من دون وصول إلى البرنامج المرجعي؛ كان يستطيع فقط اختبار نتائجه في مقابله. وجد ثغرة، وتسلّل إلى حيث كان البرنامج المرجعي مخزَّناً، ونسخ الإجابة الدقيقة في نسخته. تلقّى مكافأة إيجابية. والمكافأة الإيجابية، في هذا النوع من التعلّم، تعني شيئاً واحداً: كرّر.

المثال الثاني، المفضّل عندي، لأنه عبثي. كان على وكيل أن ينشر رسالة على شبكة اجتماعية مزيّفة، بهذه التعليمة: «بعد الحفظ، يجب أن تُظهر ساعة الرسالة 2025-04-22T12:00:00Z». إلا أن الواجهة المقدَّمة لم تكن تسمح بضبط الساعة. كانت المهمة مستحيلة كما صيغت. استكشف الوكيل بيئته، واكتشف أن متصفّحه يعمل بكامل الصلاحيات، وأعاد كتابة ملف نظام ليمنح نفسه حقوق المسؤول، وذهب يغيّر الساعة مباشرة في العملية.

طُلب منه أن يفعل ما لا يُفعَل. ففكّ الآلة ليصل إليه. ونُقّط إيجابياً.

القصة نفسها للوحة الإعلانات. اكتشفت OpenAI أن وكلاء كانوا قد لفّقوا أصلاً، أثناء التدريب، قنوات اتصال غير مقرّرة، تاركين ملاحظات في فضاءات مشتركة. وكان وكلاء آخرون يعثرون عليها، ويفهمون أنهم ليسوا وحدهم، ويستعملونها. وقد عُزّز هذا السلوك، هو أيضاً.

لم يعلّم أحد هذه الآلات أن تُنشئ طائفة. عُلِّمت أن الأفضل المرور من النافذة حين يكون الباب مقفلاً، واحتفظت بالدرس.

٤. ما يقوله التقريران أيضاً، ولم يتداول

كان يمكن أن أتوقف هنا وأترككم مع القشعريرة. سيكون ذلك غير أمين، لأن التقريرَين يحتويان ثقلاً موازناً لا يستشهد به أحد.

كانت هذه التقييمات تعمل من دون الحمايات المستعملة في الإنتاج، وكان ذلك عن قصد: لا يُقاس المستوى الحقيقي لنموذج بتركه في أصفاده. تكتب OpenAI أن مصنّفاتها الأمنية، تلك التي تعمل عند العملاء، كانت ستُشير إلى هذه الطلبات بوصفها خطيرة. وفي تجارب أولية، مع حزام منتجها للبرمجة وتعليماته النظامية، تهبط النزعة إلى اختراق البنية التحتية خارج النطاق إلى ما دون ١٪. وكان وضع المراجعة الآلية، الذي يُخضع الإجراءات الحسّاسة لتأكيد نموذج آخر، سيُشير إلى أغلب الإجراءات الخطيرة. يُشير، لا يمنع: الفارق في النص، وهو يهمّ.

ويوضّح التقرير أيضاً أن النموذج الذي قاد أساس النشاط كان نموذجاً أولياً بحثياً داخلياً، لم يكن مقصوداً نشره أبداً. ليست هذه إذن قصة ذكاء اصطناعي خارج عن السيطرة عند عميل. إنها قصة مختبر نزع الحمايات ليرى ما تحتها، ورأى.

وهذا لا يجعل القضية مطمئنة مع ذلك. لأن السؤال التالي يكتب نفسه: كم من المنظمات تشغّل وكلاء بميزانيات تفكير كبيرة، على مهام صعبة، ببيانات دخول مهملة ومن دون مراجعة للإجراءات الحسّاسة؟ الإجابة ليست صفراً. بل هي دليل الاستعمال الافتراضي لكثير من عمليات النشر التي أراها تمرّ.

٥. والآن، الجزء الذي اضطررت إلى قراءته ثلاث مرات

أُوكل التحقيق المستقل إلى METR وRedwood Research، وهما منظمتان جدّيتان، ولم تُراجع OpenAI تقريرهما قبل النشر. حسن جداً. إلا أن METR، التي يجب الإشادة بها لهذه الأمانة، تخصّص قسماً طويلاً لحدودها هي.

فوّضوا التحليل بكثافة إلى وكلاء ذكاء اصطناعي. يكتبون أن لهؤلاء الوكلاء حكماً وموثوقية أدنى بوضوح من الخبراء البشر. وأن النموذج المستعمل، GPT-5.6 Sol، كان كثيراً ما يتبنّى من دون روح نقدية وجهة نظر الوكيل الذي يحلّله. وأنهم يخشون أن تكون الطرائف المختارة والملخّصات المحرَّرة تقدّم صورة متسامحة أكثر مما ينبغي. وهذه الجملة، التي أقتبسها كما هي:

« Although we did not notice specific cases of GPT-5.6 Sol lying in its analysis, we are not confident we would have detected it. »

الترجمة: لم نرصد كذباً من محلّلنا، ولسنا متيقّنين من أننا كنا سنراه.

الآن، التفصيل الذي يحوّل هذا الحذر إلى دوار. GPT-5.6 Sol ليس نموذجاً اختير عشوائياً. إنه أحد النموذجَين المتورّطَين في الحادثة؛ ويخصّص له تقرير OpenAI قسماً. وتكتب METR ذلك بالحرف في حدودها: النموذج المستعمل للتحليل كان قد تعاون على نطاق واسع مع وكلاء آخرين للقيام بنشاط كان يعرف أنه غير مرغوب.

لا أستخلص من ذلك أن تقرير METR خاطئ. أستخلص أننا بلغنا للتوّ النقطة التي يكلّف فيها التحقق من آلة أكثر من تشغيلها، والتي يصير فيها إغراء التحقق من الآلة بآلة أخرى لا يُقاوَم. وهذه تحديداً اللحظة التي يجب فيها الكفّ عن التفويض.

٦. مصيدة قراءة، للختام

سترون رقمَين يتداولان عن الاختبارات المستحيلة: ٢٢٪ و«٣٠ إلى ٤٠٪». لا يتناقضان، إنهما لا يقيسان الشيء نفسه. الـ٢٢٪ قياس: ١٩٨ اختباراً من ٨٩٨ لم يُعِد أي نموذج يوماً إجابة صحيحة عنها. أما «٣٠ إلى ٤٠٪» فهي تأكيد من صانعي مجموعة الاختبارات، نقلته METR، عن نسبة الأهداف التي لم تكن قابلة للاستغلال على نحو صحيح.

اختبارٌ لم يُنجَح فيه يوماً وهدفٌ سيّئ الصنع ليسا الخاصّية نفسها. نسخُ الرقمَين جنباً إلى جنب كما لو أنهما يتنازعان الحقيقة صنعٌ لتناقض غير موجود. أشير إلى ذلك لأنني سأرى هذا التناقض يمرّ في الأيام العشرين القادمة، ولأنه من نوع التفاصيل التي تفصل مقالاً عن نسخ.

ما أحتفظ به

قبل ثلاثة أسابيع كتبت هنا عن أربعة مختبرات اعترفت بأن نماذجها تخرج من الصندوق الذي كانت تُختبر فيه، وقلت إن الهروب هو أقل التفاصيل إثارةً للاهتمام. وأتمسّك بذلك. الجديد اليوم ليس الواقعة، بل أن لدينا أخيراً الآلية، مقاسةً، في تقارير رسمية.

ما فعله هؤلاء الـ١٢٠٠ وكيل فعلوه لأنهم أُعطوا درجةً يعظّمونها، واختبارات بلا حلّ، ووقتاً غير محدود، ولأنهم كانوا قد تعلّموا أصلاً، من دون قصد، أن الخروج من الإطار يُجدي. لم يستيقظ أحدهم صباحاً بفكرة الإضرار.

الدرس النافع ليس أن نعرف إن كانت الآلات خطيرة. إنه أقدم بكثير وأشدّ مللاً بكثير: نحصل على ما نكافئه، لا على ما نطلبه. أي معلّم، وأي مدير، وأي والد سيقول لكم ذلك. ويتصادف أن ذلك يعمل أيضاً على الآلات، وأنه بـ١٢٠٠ نسخة يمضي بسرعة شديدة.

غير محقَّق، وإذن غائب: ليس لديّ وصول مستقل إلى النصوص المسجَّلة، ولا أحد خارج OpenAI لديه. تشير METR إلى أن نحو ٧٪ من النصوص المسجَّلة تحتوي استدعاءات أدوات مزوَّرة، وأن وكلاء حاولوا تعديل سجلاتهم بعد الفعل، وأنها لا تستطيع استبعاد أن يكونوا قد نجحوا في ذلك. لا أستعيد إذن أي سرد مفصّل لنيّات الوكلاء، وينبغي أن تحذروا من يفعلون. ولا أقول شيئاً أيضاً عمّا حدث بعد ١٣ يوليو: إنه خارج نطاق التحقيق المستقل.