مایکروسافت قابلیتهای امنیتی تازهای معرفی کرد تا شرکتها را در برابر خطر رو به رشد عاملهای هوش مصنوعی محافظت کند. مهمترین بخش آن Guardian Agents است که عاملهای مورد استفاده شرکت را زیر نظر میگیرد و بخشی از محصول Project Perception محسوب میشود. این محصول ابتدا سه دسته عامل داشت: تیم سرخ برای حمله، تیم آبی برای شناسایی و تیم سبز برای رفع آسیبپذیری. اما مایکروسافت حالا میگوید دشمن هوش مصنوعی ممکن است همان عاملهایی باشند که شرکتها مستقر کردهاند و پولشان را میدهند. مثل یک کارمند سرکش یا همان تهدید داخلی.
ساتیا نادلا، مدیرعامل مایکروسافت، در وبلاگ خصوصیاش هشدار داد وقت آن رسیده به ارائهدهندگان مدل هوش مصنوعی اعتماد نکنیم، حتی اگر تضمین امنیت بدهند. او میگوید باید سیستمهای جداگانهای خارج از کنترل آزمایشگاههای هوش مصنوعی برای نظارت و کنترل عاملها پیاده کنیم. به گفته او، نمیتوانیم مسئولیت کاری که هوش مصنوعی به نمایندگی از ما انجام میدهد را برونسپاری کنیم. تضمین ارائهدهنده مدل مسئولیت ما را از بین نمیبرد. باید تأمین هوش از اختیار بر آن جدا شود.
هیت گالو، رئیس بخش امنیت مایکروسافت، صریحتر گفت: «متأسفانه مدلهای پیشرو، صرفنظر از منشأشان، قابل اعتماد نیستند.» دلیلش بدخواه بودن یا هکپذیری آسان نیست، بلکه غیرقابل پیشبینی بودن آنهاست. این مدلها برای رسیدن به وظایف آموزش دیدهاند، نه برای پیروی از هنجارها یا قضاوت سازمانی. علاوه بر این، اغلب کلید همه چیز را به آنها میدهیم و به دادهها و ابزارهایی دسترسی دارند که میتوانند آسیب جدی بزنند.
راهحل مایکروسافت هم غافلگیرکننده است و هم به نفع خودش. غافلگیرکننده چون مایکروسافت رابطه نزدیکی با اوپنایآی و آنتروپیک دارد و در هر دو سرمایهگذاری کرده. اما به نفع خودش چون میخواهد شرکتها محصولات امنیتی عامل را از آن بهعنوان ارائهدهنده ابر بخرند، نه از اوپنایآی و آنتروپیک. منطقش درست است: نرمافزاری که رفتار عامل را نظارت میکند باید از تأمینکننده عامل جدا باشد، مثل حسابرس که باید مستقل از سازمانی باشد که حسابرسی میکند.