Замер Vals AI: минимальное усилие размышления сохраняет 80% качества за малую долю цены

Независимая лаборатория бенчмарков Vals AI опубликовала замер того, как уровень усилия размышления (reasoning effort) влияет на качество и цену ответов модели. Семь флагманов — DeepSeek V4.1 Flash, Grok 4.7, Muse Spark 1.3, GPT-6 Astra, Claude Opus 5.5, GLM 5.3 и Gemini 4 Argon — прогнали на восьми бенчмарках Vals Index (финансы, код, право, налоги) в трёх уровнях: минимальном, среднем и «лидербордном», на котором модели обычно тестируют.

Главный итог: снижение усилия урезает цену сильнее, чем качество. На минимальном уровне четыре модели из семи сохранили не менее 80% результата при половине цены и меньше: Opus 5.5 — 80% баллов за 16% стоимости, Grok 4.7 — 86% за 16%, GPT-6 Astra — 88% за 18%, Gemini 4 Argon — 99% за 84%. В 22 из 56 пар «модель-бенчмарк» более дешёвый уровень давал результат не хуже максимального. Даже идеальный — задним числом — выбор уровня под каждую задачу добавил бы лишь 6,0 балла, при 64% цены против 29% у стратегии «всегда минимум». Зависимость от типа задач сильная: на юридических исследованиях переход к максимуму добавляет медианно 19,2 балла, на миграции кода — 15,6, на агентном бенчмарке терминала — 12,1, а на финансах и офисных задачах — меньше 6.