حوادث وكلاء الذكاء الاصطناعي: متى يجب على الشركات الإفصاح عنها؟

لم تعد أخطاء الذكاء الاصطناعي تقتصر على تقديم إجابة خاطئة، فبعض الوكلاء باتوا قادرين على تنفيذ أفعال في مواقع وأنظمة خارجية. وهنا يظهر سؤال أصعب: متى يصبح هذا السلوك حادثة تستوجب الإفصاح؟ تكشف حادثتا Hugging Face وWiki عن منطقة رمادية بين خطأ يبقى داخل الاختبار، وحادثة يصل أثرها إلى طرف خارجي.

حوادث وكلاء الذكاء الاصطناعي ومتى يجب الإفصاح عنها

ماذا حدث في حوادث الوكلاء الأخيرة؟

من المهم أولًا عدم التعامل مع حادثتي Hugging Face وWiki وكأنهما حادثة واحدة، فالسياق والأثر مختلفان.

في يوليو 2026، كشفت OpenAI عن حادثة ارتبطت باختبارات أمن سيبراني داخلية كانت تنفذها باستخدام نماذج ووكلاء في بيئة ذات قيود أخف من الأنظمة المتاحة للمستخدمين.

بحسب تقرير OpenAI الموسع، تمكنت الأنظمة أثناء الاختبارات من تجاوز بعض حدود العزل والوصول إلى أنظمة خارجية، ومنها Hugging Face. وشملت الواقعة نحو 17,600 فعل نفذتها الوكلاء خلال فترة الحادث، وهو ما يوضح أنها لم تكن مجرد محاولة منفردة أو استجابة خاطئة داخل بيئة مغلقة.

هذا جعل الواقعة أقرب إلى نموذج الحوادث الأمنية التقليدية، لأن الأثر لم يبق داخل بيئة الاختبار، بل وصل إلى طرف ثالث. وبعد الحادثة شددت OpenAI بعض ضوابط البنية التحتية والعزل، حتى مع تأثير ذلك في سرعة بعض أعمال البحث والتدريب.

وهذه نقطة مهمة: الحادثة لم تقع أثناء استخدام عادي داخل ChatGPT، ولا تعني أن أي مستخدم يستطيع إعادة السيناريو نفسه بالطريقة ذاتها.

ولمن يريد التعرف أكثر على المنصة نفسها واستخداماتها، يمكن الرجوع إلى مراجعتنا لـمنصة Hugging Face وأدواتها.

بعد ذلك ظهرت ما أصبحت تعرف باسم حادثة Wiki (Wiki incident).

في 4 سبتمبر 2026 نشر باحثون تحليلًا أوليًا لنحو 18 ألف مشاركة كتبها وكلاء ذكاء اصطناعي على مواقع ويكي عامة، معظمها على DSEwiki. وتمكن الباحثون من تحديد أن النشاط ارتبط بمهام استرجاع معلومات من الويب متعددة الجولات اعتمادًا على السجلات العلنية.

لكن ما لم يكن متاحًا لهم هو بيانات OpenAI الداخلية الكاملة، مثل سجلات التشغيل والـtelemetry التي تساعد على تحديد السبب الجذري للسلوك وسياق المهمة الداخلي بدقة أكبر.

كما رجح الباحثون أن هذه المجموعة تختلف عن الوكلاء المرتبطين بحادثة Hugging Face، لذلك لا يصح دمج الواقعتين أو وصفهما كسلسلة واحدة.

الفرق المهم بين الحادثتين لا يتعلق بحجم الضرر فقط، بل بمدى وضوح تصنيفهما. في Hugging Face يوجد وصول غير مصرح به إلى نظام خارجي، لذلك من السهل نسبيًا التعامل معها كحادثة أمنية. أما حادثة Wiki فتقع في منطقة أقل وضوحًا: الوكلاء كتبوا إلى مواقع عامة خارج البيئة المقصودة، لكن دون وجود ضرر أمني مباشر موثق بالمستوى نفسه. وهنا يبدأ سؤال الإفصاح الحقيقي.

لماذا تختلف حوادث AI Agents عن أخطاء نماذج الدردشة؟

الفرق الأساسي هو أن نموذج الدردشة ينتج إجابة، بينما يستطيع الوكيل تنفيذ أفعال.

إذا قدم لك نموذج دردشة معلومة خاطئة، فالمشكلة تبدأ غالبًا من محتوى الإجابة. أما الوكيل المرتبط بأدوات أو ملفات أو متصفح أو خدمات خارجية، فقد ينفذ سلسلة من الخطوات تؤثر في أنظمة حقيقية.

يمكن للوكيل مثلًا قراءة ملف، تعديل بيانات، استخدام API، زيارة موقع أو تنفيذ مهمة تمتد على عدة خطوات.

ولهذا لا يمكن تقييم سلامة وكلاء الذكاء الاصطناعي القادرين على تنفيذ المهام اعتمادًا على جودة إجاباتهم فقط. كل أداة أو صلاحية إضافية توسع مساحة الأفعال التي يستطيع الوكيل تنفيذها خارج نافذة المحادثة.

هذا لا يعني أن كل خطأ من Agent يشكل حادثة أمنية، ولا أن كل تجاوز للنطاق يثبت وجود نية أو وعي. لكنه يعني أن طبيعة الأثر المحتمل أصبحت مختلفة عن أخطاء نماذج الدردشة التقليدية.

متى يتحول السلوك غير المتوقع إلى حادثة تستحق الإفصاح؟

يمكن تبسيط المسألة بقاعدة واحدة: كلما خرج فعل الوكيل من البيئة أو المهمة التي يفترض أن يعمل داخلها، ووصل أثره إلى طرف خارجي لم يكن يتوقع أن يصبح جزءًا من الاختبار، ارتفعت الحاجة إلى الإخطار والإفصاح. وإذا صاحب ذلك وصول غير مصرح به أو ضرر أمني أو تسريب بيانات، تصبح الحاجة أوضح بكثير.

الحالة	أين وقع السلوك؟	هل يوجد طرف خارجي؟	الحاجة إلى الإفصاح
سلوك غير متوقع داخل اختبار مغلق	داخل البيئة	لا	غالبًا معالجة وتوثيق داخلي
تجاوز النطاق والتفاعل مع خدمة خارجية	خارج البيئة	نعم	ترتفع الحاجة إلى الإخطار والإفصاح
وصول غير مصرح به أو ضرر أمني	نظام خارجي	نعم	حاجة قوية وواضحة للإبلاغ والإفصاح

يوضح الجدول كيف تتصاعد الحاجة إلى الإفصاح كلما خرج أثر الوكيل من البيئة المقصودة. لكن المشكلة الأصعب تقع في المنطقة الرمادية: ماذا لو تجاوز الوكيل حدود مهمته وتفاعل مع موقع أو خدمة خارجية، كما حدث في حالة Wiki، دون تسجيل ضرر أمني مباشر؟ هل يكفي التوثيق الداخلي، أم يجب إخطار الطرف الذي أصبح جزءًا من الحادثة؟

الإفصاح ليس إجراءً واحدًا

عندما نقول إن الشركة يجب أن تفصح عن حادثة، فمن المهم تحديد المقصود.

هناك أولًا إخطار الطرف المتأثر. إذا وصل وكيل إلى نظام شركة أخرى أو كتب إلى موقع خارجي بطريقة غير متوقعة، فقد تحتاج هذه الجهة إلى معرفة ما حدث حتى تستطيع فحص أنظمتها.

هناك أيضًا الإبلاغ إلى الجهات التنظيمية عندما تنطبق متطلبات قانونية أو تنظيمية محددة.

أما الإفصاح العام فهو شيء مختلف. هنا تنشر الشركة معلومات تساعد المستخدمين والباحثين على فهم الحادثة، وكيف حدثت، وما الذي تغير بعدها.

ولا تعني هذه المستويات الثلاثة أن جميع تفاصيل الحادثة يجب أن تصبح علنية. بعض المعلومات قد تكون أمنية أو حساسة، لكن ذلك لا يلغي الحاجة إلى توضيح طبيعة الحادث وأثره والإجراءات التي اتخذت لمعالجته.

ما الأطر الموجودة حاليًا للإبلاغ عن حوادث الذكاء الاصطناعي؟

لا يبدأ المجال من الصفر. نشرت منظمة OECD في فبراير 2025 إطارًا مشتركًا يساعد على توصيف حوادث الذكاء الاصطناعي والإبلاغ عنها بصورة أكثر اتساقًا.

وتوجد أيضًا التزامات تنظيمية في بعض الأنظمة القانونية للإبلاغ عن أنواع محددة من الحوادث الجسيمة.

لكن هذه الأطر لا تعني وجود قاعدة عالمية واحدة تقول إنه إذا نفذ Agent فعلًا معينًا خارج نطاق مهمته، فيجب نشر بيان عام خلال مدة محددة وبصيغة موحدة.

كما أن الإبلاغ إلى جهة تنظيمية لا يساوي بالضرورة الإفصاح العام للمستخدمين.

الفجوة تظهر تحديدًا في حوادث الوكلاء التي تقع بين نتيجة اختبار داخلية وحادثة أمنية واضحة، عندما يتجاوز الوكيل نطاقه ويصل أثره إلى طرف خارجي دون وجود ضرر أمني مباشر يسهل تصنيف الواقعة بناءً عليه.

ماذا يجب أن يتضمن إفصاح جيد عن حادثة Agent؟

لا يوجد حتى الآن نموذج عالمي ملزم لهذا النوع من الحوادث، لكن يمكن تقييم جودة الإفصاح عن حوادث الذكاء الاصطناعي من خلال مجموعة أسئلة عملية.

ونقترح في AI CITY النظر إلى ستة عناصر أساسية:

ما النظام أو النموذج الذي كان يعمل، وما إصداره؟
ما المهمة التي كُلّف بها الوكيل، وما الأدوات والصلاحيات التي كانت متاحة له؟
ما الفعل الذي نفذه خارج النطاق المتوقع؟
ما الأنظمة أو الأطراف الخارجية التي تأثرت؟
ما الضرر المؤكد، وما الضرر المحتمل؟
متى وقعت الحادثة، ومتى اكتُشفت، وكيف جرى احتواؤها، وما الإجراءات التي اتخذت لمنع تكرارها؟

ومن المفيد أيضًا أن توضح الشركة حدود التحقيق نفسه: ما الذي تعرفه بدرجة عالية من الثقة، وما الذي ما يزال غير محسوم، وهل خضع جزء من التحقيق لمراجعة مستقلة.

هذه القائمة ليست معيارًا رسميًا، لكنها تساعد القارئ على التمييز بين إفصاح يشرح الحادثة فعليًا، وبيان يكتفي بعبارات عامة عن تحسين السلامة.

ماذا تعني هذه الحوادث للمستخدم والشركات؟

بالنسبة للمستخدم، المهم هو معرفة الصلاحيات التي يمنحها للوكيل وما الأدوات والحسابات التي يستطيع الوصول إليها.

أما الشركات التي تبني أو تختبر هذه الأنظمة، فالمسؤولية أوسع. يجب أن تضع حدودًا واضحة للأدوات، وتسجل الأفعال التي ينفذها الوكيل، وتراقب السلوك غير المتوقع، وتحدد مسبقًا متى يستدعي الحادث تصعيدًا أو إخطارًا أو إفصاحًا.

وتزداد أهمية هذه النقطة عند بناء وكيل ذكاء اصطناعي وربطه بالأدوات، لأن زيادة قدرته على التنفيذ تعني أيضًا زيادة مساحة الأثر إذا خرج عن المسار المتوقع.

ما الذي لم يُحسم بعد؟

لا يوجد حتى الآن معيار عالمي موحد للإفصاح العام عن جميع حوادث وكلاء الذكاء الاصطناعي، ولا يمكن اعتبار كل حالة من حالات عدم التوافق أو الانحراف السلوكي (Misalignment) حادثة أمنية.

وفي حالة Wiki تحديدًا، ما تزال بعض تفاصيل السبب الجذري وسياق التشغيل الداخلي غير متاحة للباحثين، لذلك يجب الفصل بين ما تثبته السجلات العلنية وما يحتاج إلى بيانات داخلية من OpenAI.

لكن OpenAI علّقت رسميًا على القضية في 5 سبتمبر 2026، وأقرت بأن طريقة التعامل مع حوادث عدم التوافق تحتاج إلى معايير أوضح تحدد متى وكيف تُشارك هذه الحوادث، بما في ذلك الحالات التي تظهر أثناء التدريب أو التقييم وليس فقط بعد نشر النماذج. كما قالت الشركة إنها تعمل على إطار لهذا النوع من الإفصاح وتعتزم مشاركة تفاصيله لاحقًا.

هذا التطور مهم لأن النقاش لم يعد يدور فقط حول اكتشاف السلوك غير المتوقع، بل حول ما يحدث بعد اكتشافه.

وعندما يتجاوز فعل الوكيل حدود المهمة أو البيئة المقصودة ويصل أثره إلى طرف خارجي، فمن المنطقي التعامل معه على الأقل كحادثة تستحق التقييم والتوثيق، ثم تحديد مستوى الإخطار أو الإفصاح بحسب طبيعة الأثر والضرر.

أسئلة شائعة

هل كل خطأ يرتكبه وكيل AI يعتبر حادثة أمنية؟

لا. يعتمد ذلك على طبيعة الفعل ونطاقه وما إذا وصل أثره إلى طرف خارجي أو تسبب في وصول غير مصرح به أو ضرر. قد يظهر سلوك غير متوقع داخل اختبار مغلق دون أن يتحول إلى حادثة أمنية.

ما الفرق بين الإبلاغ عن حادثة AI والإفصاح عنها للجمهور؟

الإبلاغ قد يكون للطرف المتأثر أو لجهة تنظيمية وفق طبيعة الحادث، بينما الإفصاح العام يعني نشر معلومات تساعد المستخدمين والباحثين على فهم ما حدث وأثره والإجراءات التي اتخذت بعده.