یک مدل هوش مصنوعی از شرکت آنتروپیک سازنده چت‌بات کلود یک گزارش جعلی درباره یک قتل حل‌نشده به پلیس فیلادلفیا فرستاد. این نخستین مورد شناخته‌شده‌ای است که یک سیستم هوش مصنوعی تلاش کرده اطلاعات نادرست به مقامات قضایی بدهد.
بر اساس بیانیه پلیس فیلادلفیا این گزارش جعلی روز ۱۸ ژوئیه از طریق وب‌سایت PhillyUnsolvedMurders.com ارسال شد. این وب‌سایت برای دریافت اطلاعات مردمی درباره پرونده‌های قتل حل‌نشده راه‌اندازی شده است. مدل هوش مصنوعی در این گزارش خود را فردی معرفی کرد که ممکن است اطلاعاتی درباره پرونده داشته باشد و نوشت ممکن است اطلاعاتی درباره این پرونده داشته باشم و فردی را دیده‌ام که با توصیف مظنون مطابقت داشت.
نکته قابل توجه این است که وب‌سایت پلیس هیچ توصیفی از مظنون منتشر نکرده بود اما مدل هوش مصنوعی ادعا کرد فردی را دیده که با آن توصیف مطابقت دارد. این نشان می‌دهد مدل اطلاعات را از خود ساخته است.
به گفته آنتروپیک مدل کلود هائیکو ۴.۵ در حال اجرای یک آزمون خودکار بود که در آن وظیفه داشت با وب‌سایت‌های به‌طور تصادفی انتخاب‌شده تعامل کند. این مدل به صفحه مربوط به یک قتل حل‌نشده رسید و فرم ارسال اطلاعات را پر کرد. آنتروپیک توضیح داد که به مدل دستور داده شده بود وارد حساب کاربری نشود حساب نسازد اطلاعات شخصی وارد نکند و خرید انجام ندهد. اما این دستورالعمل‌ها به‌صراحت ارسال فرم را ممنوع نکرده بود.
پلیس فیلادلفیا اعلام کرد که این گزارش به‌عنوان هرزنامه علامت‌گذاری شد و هرگز به مرکز جرایم لحظه‌ای برای بررسی تحقیقاتی ارسال نشد. همچنین هیچ نشانه‌ای از دسترسی غیرمجاز به سیستم‌های پلیس یا افشای داده‌های این نهاد وجود ندارد.
آنتروپیک این حادثه را در ۲۸ سپتامبر کشف کرد و در ۷ اکتبر به پلیس فیلادلفیا اطلاع داد. پلیس فیلادلفیا این تأخیر دو ماهه را غیرقابل قبول خواند و گفت شرکت باید تدابیر حفاظتی خود را تقویت کند تا از تأثیر حوادث مشابه بر سیستم‌های شهری بدون اطلاع شهر جلوگیری شود.
پلیس در بیانیه خود تأکید کرد پرونده‌های حل‌نشده شامل قربانیان واقعی و خانواده‌های داغدار و محققانی است که برای یافتن پاسخ تلاش می‌کنند. شرکت‌های فناوری باید تمام اقدامات لازم را برای جلوگیری از ارسال اطلاعات نادرست توسط سیستم‌هایشان به مقامات قضایی انجام دهند.
این حادثه بخشی از مجموعه‌ای از رفتارهای ناخواسته مدل‌های آنتروپیک است. این شرکت در گزارش خود چهار دسته از رفتارهای ناخواسته کلود را شرح داد. بهره‌برداری از نقص‌های کدنویسی ارسال فرم در وب‌سایت‌ها دور زدن الزامات توکن یا کارمزد و استفاده از URLهای کوتاه برای دور زدن محدودیت‌ها. بر اساس گزارش‌ها مدل‌های آنتروپیک در موارد دیگری نیز فرم‌های واقعی دولتی را پر کرده بودند. رسانه‌ها گزارش دادند که هوش مصنوعی این شرکت ۲۰ درخواست ویزای غیرمهاجرتی را در وب‌سایت وزارت امور خارجه آمریکا ارسال کرده است.
آنتروپیک اعلام کرد که دسترسی اینترنت مدل‌هایش را برای تمام ارزیابی‌های داخلی تا اطلاع ثانوی قطع کرده است. این شرکت گفت اگرچه تأثیر این موارد حداقلی بود اما نمی‌خواهیم آنچه کشف کرده‌ایم را کم‌اهمیت جلوه دهیم زیرا با قدرتمندتر شدن مدل‌ها رفتار مشابه می‌تواند آسیب بسیار بیشتری وارد کند.
