فيسبوك
واتساب
حذر ثلاثة موظفين سابقين في OpenAI من خطورة فقدان القدرة على مراقبة طريقة عمل نماذج الذكاء الاصطناعي المتقدمة، مطالبين الشركة بالحفاظ على أدوات تتيح للباحثين فهم كيفية تعامل النماذج مع المشكلات واتخاذها للقرارات، ووجه الموظفون الثلاثة، جاسمين وانج وتوميك كورباك وميكيتا باليسني، خطابًا إلى مجلس إدارة OpenAI ولجان السلامة بالشركة، بعد إنهاء عملهم، مؤكدين أن الصناعة لا تزال لا تعرف كيفية تطوير ونشر نماذج قوية بأمان إذا لم تتمكن من مراقبتها بشكل فعال.
ما هي Chain-of-Thought؟
يركز التحذير على ما يعرف باسم Chain-of-Thought، وهي آلية بحثية تُستخدم لفهم خطوات التفكير التي يعتمد عليها النموذج في الوصول إلى إجابة أو حل مشكلة.
ويرى الباحثون أن هذه الآلية ليست مؤشرًا كاملًا على سلوك النموذج أو نواياه، لكنها يمكن أن تكون أداة مفيدة للباحثين في مراقبة الأنظمة الأكثر تطورًا واكتشاف بعض أشكال السلوك غير المرغوب فيه، ويحذر الموظفون السابقون من أن تقليل القدرة على مراقبة هذه العمليات قد يجعل من الصعب على الباحثين اكتشاف المشكلات مبكرًا، خصوصًا مع تطور نماذج أكثر استقلالية وقدرة.
مطالب برقابة خارجية على أنظمة الذكاء الاصطناعي
دعا الخطاب أيضًا إلى تعاون أكبر بين OpenAI وجهات مستقلة متخصصة في تقييم سلامة الذكاء الاصطناعي، بهدف تقليل مخاطر وقوع حوادث خطيرة مع تطور قدرات النماذج.
وقالت OpenAI، في مذكرة نقلتها صحيفة Wall Street Journal، إنها تتفق بشكل كبير مع التوصيات المتعلقة بأهمية مراقبة النماذج، مؤكدة أن الاستعانة بجهات تقييم خارجية تمثل جزءًا مهمًا من منظومة السلامة، وأوضحت الشركة أن إنهاء عمل الموظفين لم يكن بسبب إثارة مخاوف تتعلق بالسلامة أو التعبير عن آرائهم.
مخاوف متزايدة بشأن سلامة وكلاء AI
تأتي هذه التحذيرات بالتزامن مع زيادة الاهتمام بمخاطر وكلاء الذكاء الاصطناعي القادرين على تنفيذ مهام أكثر استقلالية عبر الإنترنت، ويرى مؤيدو تعزيز الرقابة أن تطور قدرات هذه الأنظمة يجعل من الضروري امتلاك أدوات تسمح للباحثين باكتشاف السلوك غير المتوقع قبل أن تتحول الأنظمة إلى أدوات أكثر استقلالية يصعب التحكم فيها.
كما شارك كورباك وباليسني في تأليف بحث سابق حول استخدام مراقبة Chain-of-Thought لاكتشاف السلوك غير المرغوب فيه، وأشار البحث إلى أن الطريقة ليست مثالية وقد تكون قابلة للتجاوز، لكنها تستحق الحفاظ عليها ودراستها كإحدى أدوات مراقبة نماذج الذكاء الاصطناعي المتقدمة.
