Кейс: кодинг-агент на 16 ГБ VRAM — 125 ток/с на MoE 35B с MTP и лёгким харнессом

Что произошло

27 октября на Хабре вышла статья разработчика Евгения Игумнова о запуске кодинг-агента на потребительской видеокарте RTX 4070 Ti SUPER с 16 ГБ видеопамяти (по приведённой им статистике GaugeDB, такие карты — 27,21% рынка десктопных GPU). Плотная Qwen3.8-27B на этой карте даёт 10–20 токенов в секунду, а для комфортной работы агента автор считает нужными 100–150. Решение — MoE-модели Tiel-Coder-35B-A3B в GGUF: около 3 млрд активных параметров на токен, Multi-Token Prediction и агрессивная квантизация UD-Q2_K_XL. По авторским замерам — 125 ток/с; прирост от MoE он оценивает в 200–450%, от MTP — в 20%, оптимизированный шаблон диалога сокращает инференс на 59%.

Вторая часть — обвязка под маленький контекст (64К). Автор отказался от тяжёлых агентов: системный промпт Codex или Claude Code съедает, по его оценке, 10–14 тыс. токенов, поэтому он использует Pi, которому хватает 1,5 тыс. Крупные изменения он делит на две фазы с планом в plan.md и сбросом контекста между ними, а большие планы режет скиллом subtask4llm: до 10 подзадач, каждая в отдельном экземпляре агента, результаты стекаются в координирующий. Дисциплину качества задаёт AGENTS.md: файлы по 300–500 строк, обязательные юнит-тесты, прогон тестов перед сдачей, запрет коммитов без прямой просьбы. Цифры в статье — авторские, независимо они не проверялись; в обсуждении к публикации 91 комментарий.

Почему это важно

Кейс показывает, что кодинг-агент уже влезает на массовую 16-гигабайтную карту, если давить не только на модель, но и на обвязку: скорость решают малое число активных параметров (MoE), MTP и квантизация, а комфорт — лёгкий харнесс. Для этапа кода здесь два практических вывода. Первый: на локальной машине системный промпт агента — такой же расход контекста, как и задача, разница между 1,5 и 10–14 тыс. токенов системного промпта напрямую меняет, сколько работы помещается в сессию. Второй: паттерн «план в файле — сброс — реализация» и подзадачи в отдельных экземплярах с почти пустым контекстом — это тот же приём, который облачные методы самооркестрации используют против переполненного контекста, только тут он вызван жёстким окном в 64К.

Ограничения названы честно: модели малоизвестные, квантизация Q2 заметно теряет точность, поэтому автор компенсирует её жёсткими правилами в AGENTS.md и «бесплатными» итерациями с тестами; воспроизводимость цифр вне его стенда не подтверждена.

Что с этим делать

• Померьте у своего агента объём системного промпта и служебных инструкций — на маленьком контексте это главный съедаемый ресурс.
• Попробуйте двухфазный workflow: план в plan.md, сброс контекста, реализация по плану с фиксацией результатов в нём же.
• При выборе локальной модели для агента смотрите на MoE с малым числом активных параметров и поддержку MTP, а не только на общий размер.
• Закрепите дисциплину качества в AGENTS.md (лимиты размеров, обязательные тесты, запрет самостоятельных коммитов) — это компенсирует просадку точности квантизованных моделей.