Snowflake прогнала кодинг-агентов по бенчмарку из 65 своих смерженных PR: монорепо в 43 млн строк

Что произошло

27 октября инженеры Snowflake опубликовали SnowPR — бенчмарк кодинг-агентов, собранный из 65 реальных смерженных pull request'ов компании: 62 задачи из монорепо на 43 млн строк (Java и C++ в одном Bazel-графе) и три из Go-репозитория, 11 продуктовых направлений — от SQL-компилятора до движка исполнения. Проверка — скрытые тесты, которые приехали вместе с PR (147 Bazel-целей, 676 новых и 2 890 регрессионных кейсов), прогон через собственную сборку компании.

Задачи заметно тяжелее публичных: против среднего репозитория SWE-bench здесь в 21 раз больше файлов и в 39 раз больше строк; реальный фикс меняет в среднем 4 файла и 262 строки против 1,7 и 33. Чтобы набор не замылился, из 13 965 смерженных изменений за месяц правила отбора оставили 4 218, LLM-судья и агенты отсмотрели 384 кандидата, до задач дошли 84, и каждую проверил человек.

Результаты: с opus-5 все четыре харнесса (свой Cortex Code в двух режимах, Claude Code и Cursor) прошли 84,1–85,1% попыток — разницу на 65 задачах измерить нельзя, измерима цена: от $6,34 до $8,19 за попытку; режим REM, где операции агента завёрнуты в Python-функции одного REPL, оказался на 23% дешевле и решил максимум задач — 62 из 65 (пока только внутри компании). На дешёвой haiku-5.5 REM прошёл 70,8% попыток за $0,24 против 64,1% у Claude Code. Модель задаёт уровень: агенты на opus-5 опережают агенты на haiku-5.5 на 10–21 процентного пункта.

Почему это важно

Это измерение агентов на реальном рабочем коде вместо публичных датасетов, под которые модели всё чаще подтюнивают. Для этапа кода три практических вывода. Первый: на этом уровне зрелости харнесс меняет цену, а не успех — за качество отвечает выбор модели. Второй: сложность предсказуема по свойствам задачи — изменения через границу Java/C++ проходят в 55% попыток против 80% внутри одного языка, правки в трёх и более файлах — 70% против 89% для одного-двух, тесты с собственным FoundationDB — 75% против 83%. Третий, неожиданный: описание задачи — часть измерения, одни и те же скрытые тесты агенты прошли в 83% попыток с одним описанием PR и в 57% с другим.

Ограничения: бенчмарк вендора, который продаёт собственного агента Cortex Code (его результаты — лучшие по цене), и 65 задач различают разрыв только от ~12 пунктов; авторы сами планируют довести набор до 200 задач.

Что с этим делать

• Соберите мини-SnowPR из своих смерженных PR: у любой команды с историей PR и тестов есть материал, а метрика — прохождение собственных тестов, а не токены в секунду.
• Проверьте, как качество постановки задачи бьёт по результату ваших агентов: разброс 83% против 57% дешевле любого апгрейда модели.
• Сравнивайте агентов по цене попытки при равном качестве: на крупном парке агентов разница $6,34 и $8,19 за попытку даёт десятки процентов бюджета.