Пять копий Qwen3.8-27B догнали Claude Fable 5 на LiveCodeBench Hard
Этап AI SDLC: Код → ХарнессВ открытом репозитории GVS5H опубликован метод zero-shot самооркестрации: пять свежих копий одной модели сами делят задачу и координируются через общие файлы с планом и заметками. Локальная Qwen3.8-27B выросла с 66,8% до 92,4% pass@1 на сложных задачах LiveCodeBench — уровень Claude Fable 5 (90,4%). Прирост дала организация работы, а не модель; не всем моделям метод помогает.
Что произошло
В открытом репозитории GVS5H («Gorilla vs. 5 Humans», около 1 000 звёзд на GitHub) описан метод «самооркестрации на основе общего журнала» (ledger-based zero-shot self-orchestration): без дообучения несколько свежих экземпляров одной и той же модели сами делят задачу на части и координируются через общую файловую систему — там лежат план, рабочие заметки и текущее решение.
Авторы прогнали метод на 100 последних сложных задачах LiveCodeBench на 11 открытых и закрытых моделях. На зафиксированных бэкендах прирост доходил до 25,6 процентного пункта, но он не универсален: часть моделей не изменилась или стала хуже. Два маршрута к уровню фронтира: оркестрированная Qwen3.8 Flash Next даёт 93,0% pass@1 против 90,4% у Claude Fable 5 при 9% её стоимости, а локально развёрнутая открытая Qwen3.8-27B вырастает с 66,8% до 92,4% pass@1 — то есть задача фронтального флагманского API закрывается на одной потребительской GPU. Код — под MIT, статья и данные прогонов — под CC BY 4.0.
Разбор транскриптов относит прирост к декомпозиции задач и постоянному контексту: план и заметки переживают отдельные ходы, вместо того чтобы держать всё в одном окне модели.
Почему это важно
Это прямое измерение того, сколько даёт обвязка (харнесс) отдельно от модели: те же модель и задачи, меняется только организация работы — плюс до 25,6 п.п. Для команды, которая переводит разработку на агентов, это значит, что «слабую» локальную или дешёвую API-модель можно вытянуть на уровень фронтира оркестрацией: план и заметки в файлах стоят дешевле, чем следующая ступень модели по прайсу. Ограничения названы честно: прирост не гарантирован для любой модели, метод требует бэкенда, где копии запускаются параллельно, а без дисциплины общего журнала координация разваливается. Для этапа кода это готовый шаблон: менеджер раздаёт подзадачи, общие файлы служат единственным каналом связи.
Что с этим делать
- Проверьте на своих задачах связку «локальная или дешёвая модель + самооркестрация»: репозиторий запускается через uv, достаточно API-ключа выбранной модели.
- Посчитайте стоимость: сравните токены пяти копий дешёвой модели и одной копии флагмана — по данным авторов разница до десяти раз.
- Перенесите паттерн в свой харнесс: план и заметки в файлах как канал координации работает и с одним агентом — это, по сути, context offloading.