پژوهشگران مؤسسه فناوری ماساچوست و شرکت Sakana AI چارچوب جدیدی به نام SIFT معرفی کرده‌اند که زمان و هزینه ارزیابی عامل‌های کدنویسی خود بهبود دهنده را به‌طور قابل‌توجهی کاهش می‌دهد.
این سیستم با استفاده از یک مدل زبانی مجزا به‌عنوان داور، تغییرات پیشنهادی در کدهای عامل را پیش از اجرای آزمایش‌های سنگین و گران‌قیمت بررسی و اولویت‌بندی می‌کند.
عامل‌های کدنویسی می‌توانند با تغییر پرامپت‌ها، ابزارها و کدهای زیرساختی خود، عملکردشان را ارتقا دهند، اما یافتن تغییرات واقعاً مفید فرایندی دشوار است.
در روش‌های معمول، آزمایش هر تغییر پیشنهادی روی بنچمارک‌های بزرگ می‌تواند هزاران ساعت پردازشی و هزاران دلار هزینه به همراه داشته باشد. بر اساس برآوردهای این پژوهش، در حالی که هزینه پیشنهاد یک اصلاحیه حدود ۱۲ سنت است، ارزیابی کامل یک عامل روی ۵۰ وظیفه بنچمارک Polyglot به حدود ۶ دلار بودجه و ۲.۶ ساعت پردازش CPU نیاز دارد.
چارچوب SIFT برای رفع این مشکل، مرحله ارزیابی را بهینه‌سازی کرده است. این چارچوب که بر پایه زیرساخت سیستم DGM ساخته شده، ابتدا نسخه اصلاح‌شده عامل را روی چهار وظیفه ساده کدنویسی آزمایش می‌کند تا نسخه‌های کاملاً خراب پیش از صرف هزینه بیشتر کنار گذاشته شوند. سپس یک مدل زبانی در نقش داور وارد عمل می‌شود و کد عامل جدید را به‌صورت دوتایی با حداکثر ۱۰ عامل برتر موجود در آرشیو مقایسه می‌کند. داور بدون دسترسی به نتایج بنچمارک و تنها با بررسی کد، مشخص می‌کند کدام نسخه شانس بیشتری برای موفقیت دارد.
هزینه هر مقایسه دوتایی برای سیستم حدود ۴.۴ سنت (حداکثر ۴۴ سنت برای هر گزینه) است. نتایج این داوری سپس با استفاده از مدل آماری Bradley-Terry به یک رتبهبندی کلی تبدیل می‌شود تا بهترین گزینه‌ها برای ارزیابی نهایی در یک صف اولویت قرار بگیرند.
یکی از مهم‌ترین ویژگی‌های SIFT اجرای ناهمگام فرایندهاست. در این ساختار، تولید اصلاحیه جدید، داوری و ارزیابی نهایی مانند یک خط لوله CI به‌صورت موازی انجام می‌شوند. این یعنی سیستم برای ارزیابی کامل یک گزینه متوقف نمی‌شود و شاخه‌های امیدوارکننده می‌توانند حتی پیش از پایان آزمایش‌های پرهزینه، به‌عنوان پایه اصلاحات بعدی انتخاب شوند.
برای جلوگیری از تمرکز بیش از حد روی یک مسیر، سیستم تعداد دفعات انتخاب یک عامل را نیز در نظر می‌گیرد تا شاخه‌های جایگزین هم فرصت رشد داشته باشند.
بر اساس نتایج منتشرشده، اجرای SIFT با استفاده از مدل o3-mini روی بنچمارک Polyglot توانست در کمتر از پنج ساعت زمان واقعی به دقت ۳۵.۱ درصد دست یابد.
این دستاورد تنها با صرف ۴۲ ساعت پردازشی CPU و حدود ۱۵۰ دلار اعتبار API به دست آمد. در شرایط مشابه، روش DGM به دقت ۳۰.۷ درصد رسید و نسخه بدون داور SIFT نیز تنها دقت ۲۹.۸ درصدی را ثبت کرد که نشان‌دهنده تأثیر کلیدی مدل داور در این چارچوب است.
داور زبانی در بنچمارک TerminalBench 2.1 نیز کارایی خود را در شناسایی سیگنال‌های گمراه‌کننده نشان داد. در این آزمایش، داور عاملی را انتخاب کرد که در جست‌وجوی اولیه ۱۸ وظیفه از ۵۰ وظیفه را حل کرده بود، اما با اجرای کامل بنچمارک میانگین دقت ۳۶.۷ درصد را ثبت کرد. در مقابل، بهترین عامل بر اساس امتیاز جست‌وجوی اولیه (با حل ۱۹ وظیفه)، در نهایت به دقت ۲۸.۱ درصد سقوط کرد.
داور توانسته بود با بررسی کدها متوجه شود عامل دوم ابزارهای پرخطری دارد و تأییدکننده‌های آن غیرفعال هستند. این برتری در ارزیابی زیرمجموعه ۶۰ وظیفه‌ای SWE-bench Verified نیز تکرار شد و عامل‌های منتخب داور به میانگین دقت ۵۰.۴ و ۵۳.۸ درصد رسیدند.
توسعه‌دهندگانی که از زیرساخت‌هایی مانند DGM استفاده می‌کنند، می‌توانند با اضافه‌کردن یک ارزیابی کوچک اولیه، داور دوتایی و خط لوله موازی، از رویکرد SIFT در پروژه‌های خود بهره ببرند.
پژوهشگران پیشنهاد می‌کنند برای کاهش بیشتر هزینه‌ها، می‌توان از یک ساختار چندمرحله‌ای استفاده کرد؛ به این صورت که مدل‌های ارزان‌تر بار اصلی مقایسه‌ها را به دوش بکشند و مدل‌های قدرتمندتر فقط برای رتبهبندی نهایی گزینه‌های برتر استفاده شوند. با این حال، تأکید شده است که اجرای بنچمارک‌های کامل برای اطمینان از اثربخشی تغییرات همچنان ضروری است و فرایند خودبهبوددهی عامل‌ها به نظارت دقیق برای جلوگیری از دور زدن معیارهای ارزیابی نیاز دارد.
