Замер Surge AI: глубокое размышление модели обошло все обвязки кодинг-агента
Этап AI SDLC: Код → ХарнессSurge AI — компания, которая готовит обучающие данные и оценки для моделей, — опубликовала сравнение популярных настроек кодинг-агента. На задачах собственного бенчмарка sudo L7 команда тестировала Opus 5.5 внутри Claude Code в четырёх конфигурациях: чистый агент без дополнений; плагин Superpowers с принудительной дисциплиной «сначала план и тесты» (свыше 311 тысяч звёзд на GitHub); плагин Compound Engineering с планировщиками и агентами-ревьюерами (25 тысяч звёзд); встроенные плагины /goal и /code-review. Отдельным прогоном шёл чистый агент с повышенным усилием размышления (thinking effort) — настройкой, которая заставляет модель дольше думать над ответом.
Результат: самый простой рычаг оказался самым сильным. Повышение усилия с medium до xhigh добавило 11,3 балла, тогда как самые эффективные дополнения обвязки — лишь 2–3 балла. Superpowers дал +2,4 балла за +10% цены, связка /goal и /code-review — +3,3 балла за цену в 1,8 раза выше. Compound Engineering стоил в 8 раз дороже чистого агента и не показал статистически значимого прироста.
Показателен пример из начала статьи: конфигурация с 37 навыками породила 17 агентов-проверщиков, и ни один не заметил, что письмо с кодом доступа на Zoom уходит участнику до оплаты — ключевой продуктовый дефект прошёл через всё ревью.
Что с этим делать
- Прежде чем строить сложный многоагентный воркфлоу, измерьте на своих задачах, что даёт просто более высокий уровень размышления в вашем агенте.
- Лёгкие дополнения вроде дисциплины «план — тесты — код» — дешёвый первый шаг: на замере Surge это +2,4 балла за +10% цены.
- Тяжёлую обвязку прогоняйте на своём репозитории до внедрения и оценивайте, сколько стоит каждый балл прироста, а не то, насколько настройка выглядит продвинутой.