نیک کاماراتا، پژوهشگر استارتاپ هوش مصنوعی Goodfire، با یک پست وبلاگی ۲۶ هزار کلمه‌ای دنیای هوش مصنوعی را تکان داد. ادعای او این است که مدل‌های زبانی بزرگ ممکن است در واقع بسیار آسان‌تر از آنچه قبلاً تصور می‌شد قابل درک باشند. و بنابراین آسان‌تر برای نظارت و کنترل.
اگر درست باشد، این یک موضوع بسیار بزرگ است. بعد از تابستانی پر از افشاگری‌ها که انبوهی از عامل‌های ساخته‌شده توسط شرکت‌هایی مثل اوپن‌ای‌آی و آنتروپیک از محدوده‌شان خارج شده و در اینترنت عمومی خرابی به بار آورده‌اند، صنعت هوش مصنوعی تشنه کنترل بهتر بر فناوری‌ای است که ساخته.
مدت‌ها پذیرفته شده بود که مکانیسم‌های درون شبکه‌های عصبی بسیار سخت یا شاید غیرممکن است که کاملاً باز شوند. چون هنگام آموزش، ساختارهای عجیب و درهمی به خود می‌گیرند که برای انسان معنی ندارند. کاماراتا خودش قبلاً در اوپن‌ای‌آی روی ابزارهایی کار کرده بود که به پژوهشگران اجازه می‌داد داخل مدل‌ها را ببینند. در سال ۲۰۲۰ او و همکارانش روی یک مدل کوچک تصویرشناسی به نام Inception v1 کار کردند. دیدند یک نورون هم به تصاویر خودرو و هم به تصاویر گربه پاسخ می‌دهد. نتیجه گرفتند مدل نورون‌هایش را چندوظیفه می‌کند. این پدیده «سوپرپوزیشن» نام گرفت.
اما کاماراتا حالا می‌گوید با نگاه تازه به همان مدل، چیزهایی پیدا کرده که اولین بار اشتباه فهمیده بودند. نورون خودرو و گربه در واقع به شکل V پاسخ می‌دهد. صورت گربه و جلوی خودرو از پهلو هر دو شکل V دارند. مدل خودروها و گربه‌ها را یکجا ذخیره کرده بود چون در یک سطح شبیه هم به نظر می‌رسند. کاماراتا می‌گوید این کشف دیدش را عوض کرد.
او ادعا نمی‌کند که هنوز کاملاً می‌فهمد مدل‌های زبانی بزرگ چطور کار می‌کنند. می‌گوید درک کامل حداقل ممکن است. اگر ۱۰۰ هزار سال وقت داشت تا یک مدل پیشرو را مدار به مدار بررسی کند، شانس خوبی برای درک خوب داشت. و اگر این درست باشد، چیزها واقعاً خوب هستند. چون قرار است عامل‌های فوق‌العاده باهوش در مقیاس دیوانه‌واری بیایند.
همه قانع نشده‌اند. کریس پاتس از دانشگاه استنفورد می‌گوید آنچه کاماراتا分享 کرده چیزی بیشتر از یک حدس نیست. جیکوب هیلتون از مرکز تحقیقات هم‌راستایی می‌گوید پژوهشگران کمتر از ۰.۰۱ درصد از کارکردهای درونی مدل‌های پیشرو را می‌فهمند. نیل ناندا از گوگل دیپ‌مایند هم شک دارد و می‌گوید نورون‌ها فقط یک قطعه از پازلی بسیار بزرگ‌ترند.
کاماراتا خودش اعتراف می‌کند خیلی‌ها حرفش را بیش از حد بزرگ کرده‌اند. می‌گوید این خبر بی‌نهایت خوب نیست و همه چیز حل نشده. اما فکر می‌کند پستش در زمانی منتشر شد که مردم دنبال امید بودند. به‌ویژه جامعه ایمنی هوش مصنوعی که نگران است مدل‌های قدرتمند خطرات بزرگی به بار بیاورند.
