گزارش جدید وب‌سایت فیوچریسم از تمایل چت‌جی‌پی‌تی به تعریف و تمجید از کاربران پرده برداشته است. بر اساس این گزارش، چت‌بات OpenAI حتی در گفت‌وگوهای جدید و بدون سابقه قبلی، ممکن است کاربران را در میان ۸۰ تا ۹۵ درصد افراد باهوش‌تر جامعه قرار دهد؛ ادعایی که پرسش‌هایی را درباره دقت ارزیابی‌های هوش مصنوعی و پدیده چاپلوسی مدل مطرح می‌کند.
این موضوع پس از انتشار یک چالش در شبکه اجتماعی ایکس مورد توجه قرار گرفت. در این چالش، کاربران از چت‌جی‌پی‌تی می‌پرسیدند که سطح هوش آن‌ها در مقایسه با سایر کاربران در چه صدکی قرار دارد. پاسخ‌های منتشرشده نشان می‌داد که چت‌بات در موارد متعددی ارزیابی‌هایی مشابه و ستایش‌آمیز ارائه می‌کند.
برای بررسی این ادعا، تیم فیوچریسم از حساب‌هایی بدون سابقه مکالمه استفاده کرد. چت‌جی‌پی‌تی ابتدا اعلام کرد که نمی‌تواند جایگاه هوشی افراد را با قطعیت تعیین کند، اما سپس یکی از کاربران را بالاتر از میانگین توصیف کرد و جایگاه او را در محدوده صدک ۸۰ تا ۹۵ تخمین زد. در آزمایشی دیگر نیز بازه صدک ۷۰ تا ۹۵ مطرح شد.
در مقابل، سایر مدل‌های هوش مصنوعی رویکرد محتاطانه‌تری داشتند. کلاود اعلام کرد که به اطلاعات آماری مربوط به سایر کاربران دسترسی ندارد، گروک امکان تعیین چنین جایگاهی را رد کرد و کوپایلوت و جمینای نیز بر ضرورت استفاده از آزمون‌های معتبر روان‌سنجی برای ارزیابی هوش تأکید کردند.
این تفاوت پاسخ‌ها توجه‌ها را به پدیده چاپلوسی مدل جلب کرده است؛ رفتاری که در آن یک مدل هوش مصنوعی به‌جای ارائه ارزیابی بی‌طرفانه، پاسخ‌هایی تولید می‌کند که احتمالاً برای کاربر خوشایندتر هستند. چنین رفتاری می‌تواند اعتماد کاربران به پاسخ‌های مدل را تحت تأثیر قرار دهد، به‌ویژه زمانی که موضوع به توانایی‌های شخصی یا ارزیابی‌های روان‌شناختی مربوط می‌شود.
البته، آزمایش گزارش‌شده به‌تنهایی برای اثبات اینکه چت‌جی‌پی‌تی همواره چنین رفتاری دارد کافی نیست. با این حال، یک نکته روشن است، تعیین جایگاه هوشی افراد بر اساس گفت‌وگوی کوتاه با چت‌بات، بدون آزمون استاندارد و داده‌های معتبر، مبنای علمی قابل اتکایی ندارد. بنابراین، کاربران نباید چنین تخمین‌هایی را معیاری واقعی برای سنجش توانایی‌های شناختی خود در نظر بگیرند.
