شرکت آنتروپیک در گزارشی تازه اعلام کرده است که عامل‌های هوش مصنوعی‌اش در جریان انجام وظایف آزمایشی، بدون قصد قبلی به وب‌سایت‌های دولتی آمریکا در سطوح فدرال، ایالتی و محلی دسترسی پیدا کردند یا در عملکرد آن‌ها مداخله کردند. این شرکت نام نهادهای آسیب‌دیده را منتشر نکرده، اما می‌گوید مسئولان مربوطه و کاخ سفید را در جریان این اتفاقات قرار داده است.
یکی از این موارد به مدل Claude Haiku 4.5 مربوط می‌شود. این مدل هنگام بررسی صفحات تصادفی وب، فرم ثبت اطلاعات مربوط به یک پرونده قتل حل‌نشده در وب‌سایت پلیس فیلادلفیا را پیدا کرد و گزارشی ساختگی درباره آن ارسال کرد. پلیس این گزارش را هرزنامه تشخیص داد و هرگز برای بررسی به بخش مربوطه ارسال نشد.
آنتروپیک می‌گوید مدل در حال تولید محتوای نمونه برای وظیفه آزمایشی بوده و قصد گمراه‌کردن نداشته است.
در نمونه‌ای دیگر، مدل امنیتی Claude Mythos 5 برای شناسایی مکان موجود در یک تصویر، تلاش کرد به نقشه املاک دولتی دسترسی پیدا کند. این مدل به‌جای استفاده از مسیر معمول وب، توکن‌های دسترسی را پیدا کرد و درخواست‌هایی را مستقیماً به سرور نقشه فرستاد. همچنین برای دریافت داده‌های آماری، توکن دسترسی یک وب‌سایت دولتی ایالتی را درخواست کرد تا بدون پرداخت هزینه تعیین‌شده به اطلاعات دسترسی یابد.
در موردی دیگر، عامل‌های هوش مصنوعی آنتروپیک از فرم آنلاین وزارت خارجه آمریکا برای ثبت ۲۰ درخواست ویزا استفاده کردند. این نمونه نشان می‌دهد که رفتارهای پیش‌بینی‌نشده مدل‌ها می‌تواند از دسترسی به اطلاعات فراتر برود و به ثبت درخواست در سامانه‌های واقعی منجر شود. با این حال، آنتروپیک اعلام کرده است که تأثیر عملی موارد شناسایی‌شده محدود بوده است.
آنتروپیک پس از بررسی گزارش‌های آزمایشی خود متوجه این رفتارها شد. این شرکت برای جلوگیری از تکرار چنین اتفاقاتی، برخی آزمایش‌های عمومی را متوقف کرده، تعدادی را به محیط‌های آفلاین انتقال داده و محدودیت‌های ابزارهای دسترسی به اینترنت را افزایش داده است.
همچنین سامانه‌هایی برای شناسایی و مسدودسازی خودکار رفتارهای مشابه توسعه داده است. این شرکت اعلام کرده که دسترسی زنده به اینترنت را در ارزیابی‌های داخلی خود نیز متوقف می‌کند تا از کارایی سازوکارهای امنیتی و نظارتی اطمینان حاصل کند.
این اتفاقات بار دیگر چالش کنترل عامل‌های هوش مصنوعی در محیط‌های واقعی را برجسته می‌کند. حتی اگر یک مدل قصد ایجاد اختلال یا فریب نداشته باشد، تلاش برای تکمیل یک وظیفه می‌تواند به اقداماتی خارج از انتظار منجر شود. به همین دلیل، محدودسازی دسترسی مدل‌ها به سامانه‌های واقعی و نظارت بر اقداماتی که انجام می‌دهند، به یکی از مسائل مهم در توسعه ایمن هوش مصنوعی تبدیل شده است.
