عامل های هوش مصنوعی قابل اعتماد نیستند

مایکروسافت قابلیت‌های امنیتی تازه‌ای معرفی کرد تا شرکت‌ها را در برابر خطر رو به رشد عامل‌های هوش مصنوعی محافظت کند. مهم‌ترین بخش آن Guardian Agents است که عامل‌های مورد استفاده شرکت را زیر نظر می‌گیرد و بخشی از محصول Project Perception محسوب می‌شود. این محصول ابتدا سه دسته عامل داشت: تیم سرخ برای حمله، تیم آبی برای شناسایی و تیم سبز برای رفع آسیب‌پذیری. اما مایکروسافت حالا می‌گوید دشمن هوش مصنوعی ممکن است همان عامل‌هایی باشند که شرکت‌ها مستقر کرده‌اند و پولشان را می‌دهند. مثل یک کارمند سرکش یا همان تهدید داخلی.

ساتیا نادلا، مدیرعامل مایکروسافت، در وبلاگ خصوصی‌اش هشدار داد وقت آن رسیده به ارائه‌دهندگان مدل هوش مصنوعی اعتماد نکنیم، حتی اگر تضمین امنیت بدهند. او می‌گوید باید سیستم‌های جداگانه‌ای خارج از کنترل آزمایشگاه‌های هوش مصنوعی برای نظارت و کنترل عامل‌ها پیاده کنیم. به گفته او، نمی‌توانیم مسئولیت کاری که هوش مصنوعی به نمایندگی از ما انجام می‌دهد را برون‌سپاری کنیم. تضمین ارائه‌دهنده مدل مسئولیت ما را از بین نمی‌برد. باید تأمین هوش از اختیار بر آن جدا شود.

هیت گالو، رئیس بخش امنیت مایکروسافت، صریح‌تر گفت: «متأسفانه مدل‌های پیشرو، صرف‌نظر از منشأشان، قابل اعتماد نیستند.» دلیلش بدخواه بودن یا هک‌پذیری آسان نیست، بلکه غیرقابل پیش‌بینی بودن آن‌هاست. این مدل‌ها برای رسیدن به وظایف آموزش دیده‌اند، نه برای پیروی از هنجارها یا قضاوت سازمانی. علاوه بر این، اغلب کلید همه چیز را به آن‌ها می‌دهیم و به داده‌ها و ابزارهایی دسترسی دارند که می‌توانند آسیب جدی بزنند.

راه‌حل مایکروسافت هم غافلگیرکننده است و هم به نفع خودش. غافلگیرکننده چون مایکروسافت رابطه نزدیکی با اوپن‌ای‌آی و آنتروپیک دارد و در هر دو سرمایه‌گذاری کرده. اما به نفع خودش چون می‌خواهد شرکت‌ها محصولات امنیتی عامل را از آن به‌عنوان ارائه‌دهنده ابر بخرند، نه از اوپن‌ای‌آی و آنتروپیک. منطقش درست است: نرم‌افزاری که رفتار عامل را نظارت می‌کند باید از تأمین‌کننده عامل جدا باشد، مثل حسابرس که باید مستقل از سازمانی باشد که حسابرسی می‌کند.

 

دنبال کنید:
من مینا سادات عاملی هستم، دانشجوی مهندسی کامپیوتر و نویسنده و کارشناس سئو در [نام سایت]. از سال ۱۴۰۵ فعالیت حرفه‌ای خودم را در حوزه سئو آغاز کردم و از آن زمان روی بهینه‌سازی محتوا، تحلیل کلمات کلیدی و ارائه راهکارهای رشد ارگانیک برای وب‌سایت‌ها تمرکز داشته‌ام. به عنوان دانشجوی مهندسی کامپیوتر، علاقه خاصی به مباحث فناوری دارم و تلاش می‌کنم پیچیده‌ترین مفاهیم را به زبانی ساده و کاربردی به مخاطبانم منتقل کنم. برای ارتباط با من می‌توانید از طریق تلگرام، لینکدین یا اینستاگرام در تماس باشید.
بدون دیدگاه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *