معیار جدید Arena برای ارزیابی واقعی ایجنت‌های کدنویسی

ارزیابی مدل‌های کدنویسی دیگر با بررسی چند اسکرین‌شات یا ظاهر HTML تمام نمی‌شود. تیم پژوهش Arena دو مجموعه داده متن‌باز تازه همراه با نتایج بنچمارک «تعامل به‌عنوان داور» منتشر کرده است که نشان می‌دهد دادن بازخورد زنده مرورگر به ایجنت‌ها، نرخ موفقیت ساخت اپلیکیشن را بیش از ۲۰ واحد درصد بالا می‌برد؛ آن هم درست در روزی که Claude Fable 5.2 جایگاه نخست خود را در لیدربورد هوش مصنوعی تثبیت کرده است.

تا همین اواخر، بسیاری از تست‌های ساخت وب‌اپ صرفاً خروجی کد یا تصویر رندر اولیه را نمره می‌دادند؛ روشی که دکمه‌های از کار افتاده، فرم‌های بی‌واکنش و خطاهای کنسول جاوااسکریپت را نادیده می‌گرفت.

داخل دیتاست‌های ArenaWebdevPreferences و Correctness چه خبر است

در نسخه تازه، Arena دو مرجع عمومی منتشر کرده است: دیتاست ArenaWebdevPreferences که ترجیحات واقعی کاربران حین کار با نسخه‌های زنده اپلیکیشن‌ها را ثبت می‌کند، و مجموعه ArenaWebdevCorrectness شامل ۱۸۹ اپلیکیشن وب واقعی و ۳۶۲ شرط عملکردی دقیق.

یافته‌های کلیدی این گزارش و داده‌های زنده رده‌بندی چنین است:

• جهش ۲۰.۱ درصدی با خودترمیمی: وقتی ایجنت‌های برنامه‌نویسی اجازه یافتند اپلیکیشن ساخته‌شده را در مرورگر کلیک و دیباگ کنند، نرخ موفقیت از ۵۵.۴٪ به ۷۵.۵٪ جهش یافت.
• برتری یادگیری تقویتی تعاملی: آموزش مدل پاداش روی داده‌های تعاملی در مدل Qwen-3.5-9B باعث رشد +50 Elo نسبت به مدل‌های پاداش سنتی شد.
• صدرنشینی قاطع Claude Fable 5.2: در جدول لیدربورد WebDev و رده‌بندی کلی، مدل anthropic/claude-fable-5.2 با ۳۰.۴۸ درصد سهم برد (رتبه ۱ کل) بالاتر از Claude Opus 5.5 و Gemini 4 Carbon قرار دارد.

تلاقی کیفیت مهندسی و قیمت توکن در روترها

وقتی چرخه ساخت نرم‌افزار شامل نوشتن کد، اجرای تست مرورگر و اصلاح خودکار خطاها می‌شود، مدل‌هایی برنده می‌شوند که علاوه بر هوش بالا، هزینه اجرای چندمرحله‌ای منطقی‌تری دارند.

در صفحه قیمت‌گذاری مدل‌های ویگاس، مدل anthropic/claude-fable-5.2 با نرخ ۱.۸ دلار ورودی و ۹ دلار خروجی به ازای هر میلیون توکن عرضه می‌شود؛ یعنی بیش از ۸ برابر ارزان‌تر از Opus 5.5، در حالی که هم در رده‌بندی کلی و هم در کدنویسی پیشتاز است.

تیم‌های فنی از همین هفته چه تغییری بدهند

اگر با ابزارهای دایرکتوری ابزارهای کدنویسی محصول می‌سازید، تست‌های خودکار مبتنی بر Playwright یا Chromium واقعی را جایگزین ارزیابی صرف متن پاسخ مدل کنید. ترکیب مدل اصلی Claude Fable 5.2 با مسیر جایگزین پرسرعتی مثل google/gemini-4-carbon روی یک اندپوینت واحد، پایداری سرویس و هزینه توکن را هم‌زمان بهینه می‌کند.