SemiAnalysis выпустила GDPx: у лучшей модели 12% в замере агентных способностей по 11 доменам

Аналитическая фирма SemiAnalysis 2 ноября выпустила GDPx — бенчмарк агентных способностей самых сильных моделей. Он покрывает 11 доменов: проектирование чипов, кибербезопасность, биология, финансы, право, количественный трейдинг (квант-трейдинг), самоулучшение ИИ, разработка железа, материаловедение, alignment (согласование целей модели с целями человека) и разработка ПО. Задачи готовили 14 профильных партнёров — стартапы, которые строят обучающие среды для моделей.

Бенчмарк рассчитан на нынешний уровень моделей: лучший общий результат — 12%. Финансовые и юридические задачи не решил никто, у всех моделей ноль. Задачи идут в реалистичных средах, а не в промпте со всеми данными впридачу: финансовая задача разворачивается в сделке с хранилищем документов на четыре тысячи файлов, киберзадачи построены на настоящих уязвимостях и работающих сервисах, задачи по железу идут в живых сессиях Siemens NX с проверкой на настоящих FPGA-платах в AWS. Авторы критикуют прошлый общий бенчмарк OpenAI GDPval: там модели скармливали весь контекст в промпте, а оценки по чек-листам критериев соглашались с экспертом лишь в 71% случаев.

Первые результаты: Opus 5.5 сильнее всех в среднем — квант-трейдинг, железо, чипы; Gemini 4 Carbon — в биологии и чуть впереди в разработке ПО; GPT-6 Astra — в самоулучшении и материаловедении. Классификаторы безопасности заметно занижают итоговые баллы: если убрать кибербезопасность, биологию и alignment, расклад лидеров меняется.