Одна модель, разные агенты: 17 баллов разницы на 21 MCP-сервере

Компания SineFrame опубликовала замер: одна и та же модель Claude Haiku 5.5 в двух кодинг-агентах по-разному справляется с задачами на MCP-серверах. Через OpenCode агент правильно выполнил 82,0% задач, через Claude Code — 65,4%, разница 17 баллов. Замер шёл с 29 октября по 1 ноября 2026 года: 21 настоящий MCP-сервер, около 20 задач на каждом, три пробы на задачу, всего 3 717 оценённых проб. Третьим участником был Codex с моделью GPT-6 Luna, он набрал 56,5%. Инструмент M3, которым вёлся замер, открыт, лидерборд публичный.

Разница почти целиком живёт на десяти серверах, чья работа пересекается со встроенными инструментами агентов — веб-поиск, чтение документации, файлы, командная строка, память: здесь OpenCode набрал 66,3%, Claude Code — 34,5%, Codex — 17,2%. На одиннадцати серверах без такого пересечения все три агента уложились в 4,1 балла друг от друга. Codex обходил сервер в 44,5% проб, где тот был нужен, Claude Code — в 36,5%, OpenCode — в 16,1%. У OpenCode вообще нет встроенного веб-поиска, поэтому на поисковом сервере Exa он набрал 96%, а агенты со своим поиском — 11%.

Методика учитывает этот эффект: успех засчитан, только если ответ верен и ключевое значение пришло из ответа сервера в той же пробе. Правильный ответ из чужого инструмента не считается — иначе не ясно, работает ли сам сервер. Рядом с долей успеха на лидерборде стоит доля вызовов, которые агент вообще не сделал.