QA Bench: на 1 396 подтверждённых багах лучший QA-агент нашёл каждый шестой
Этап AI SDLC: Тесты → Авто-ревьюMomentic 2 ноября опубликовала QA Bench — бенчмарк для QA-агентов: он меряет, сколько настоящих багов агент находит в работающем веб-приложении за фиксированное время и какая доля его отчётов — правда. Эталонный набор — 1 396 багов, подтверждённых людьми, в 20 продуктовых областях четырёх популярных открытых приложений: Gitea, Metabase, Twenty и Saleor (суммарно 192,6 тыс. звёзд на GitHub). Сравнили десять конфигураций: собственный агент Mo, Codex с моделями GPT-6.1 Sol и Terra, Claude Code с Opus 5.5 и Sonnet 5.5, плюс Devin. У Codex и у Claude Code каждую из двух моделей прогоняли с каждой из двух браузерных обвязок — вместе с Mo и Devin это и даёт десять конфигураций. Прогон — 30 или 60 минут на область, в среднем три попытки.
За 60 минут Mo в среднем находила 250 из 1 396 багов (полнота 17,9%); лучшая конфигурация Codex — 94 (6,8%), лучший Claude Code — 40 (2,8%), Devin — 27 (1,9%). По точности впереди Codex Sol с Playwright MCP: 89% против 85% у Mo. Один найденный баг обходится Mo в $2,88, Codex — в $0,56, Devin — в $3,89. За второй получас Mo находит на 63% больше багов, чем за первый, а цена одного найденного бага почти не меняется; у Codex прибавка лишь 5–7%. Выбор браузерной обвязки влияет не меньше модели: Playwright MCP дал на 19–43% больше находок, чем второй тип обвязки — «агент-браузер», где агент управляет браузером командами из своей оболочки.
Что с этим делать
- Прогоните кодинг-агента с Playwright MCP по одной области своего приложения, например по оформлению заказа, и сверьте находки с тем, что команда уже знает, — так оцените пользу без покупки инструмента.
- Заведите эталонный список известных багов своей области: без него нельзя отличить полезного агента от генератора шума, потому что сравнивать не с чем.
- Сравнивайте не только полноту, но и точность: агент, который рапортует обо всём подряд, заваливает ревью ложными находками, и цена проверки съедает пользу.