Пять локальных моделей на DGX Spark: кто проходит тесты, а не кто быстрее генерирует
Этап AI SDLC: Код → ХарнессЗамер пяти локальных моделей на NVIDIA GB10 со 128 ГБ единой памяти: не токены в секунду, а прохождение скрытых тестов компиляторами. Qwen3.8-27B — 28/30 попыток за 57 секунд, gpt-oss-120b — 26/30 за 27 секунд, DeepSeek V4 Flash решает всё, но с разбросом до 27 минут. Вывод: по скорости генерации модели ранжируются наоборот, малые MoE проваливаются на Rust и Go.
Что произошло
27 октября разработчик Борис Иванов опубликовал замер пяти локальных моделей на машине с NVIDIA GB10 и 128 ГБ единой памяти (ASUS Ascent GX10). Вопрос не «сколько токенов в секунду», а «компилируется ли код и проходят ли тесты». Харнесс llm-compile-bench: шесть задач с фиксированной сигнатурой и скрытыми тестами, судьи — cargo, g++, pytest, go test и tsc; по шесть задач на пять прогонов, температура 0,2.
Результаты: Qwen3.8-27B (Q4_K_M, 18 ГБ) — 28 из 30 попыток с пройденными тестами, в среднем 57 секунд до успеха при 31 ток/с. gpt-oss-120b (MXFP4, 65 ГБ) — 26 из 30, но 27 секунд до успеха при 39 ток/с. DeepSeek V4 Flash (91 ГБ) решает то, что не решают остальные, но в среднем 169 секунд до успеха с разбросом от 55 секунд до 27 минут; при обрезке рассуждений становится в четыре раза быстрее — и перестаёт компилироваться. Малые MoE отстали: Qwen3.6-35B-A3B — 17 из 30, Nemotron 3.5 Lightning — 15 из 30.
Главный вывод автора: по пропускной способности модели ранжируются наоборот — два самых быстрых генератора (95 и 86 ток/с) проходят около половины попыток. Малые MoE проваливаются именно на Rust и Go: типы и конкурентность; Python и TypeScript проходят. Первый прогон показывал gpt-oss-120b победителем с 6/6, пять прогонов перевернули расклад: половина провалов первого прогона была виной самого стенда — не стояли тулчейны, токен-бюджет резал рассуждения.
Почему это важно
Для этапа кода это трезвая проверка локального стека перед покупкой железа и выбором модели: скоростные бенчмарки ведут к установке не той модели, а разница «успех за 27 секунд против 57» важнее разницы в токенах в секунду — особенно для агента, который ждёт ответ между ходами. Отдельно ценен разбор ошибок стенда: бенчмарк-харнесс требует того же недоверия, что и модели, и проверять его надо первым. Ограничения: шесть задач — маленькая выборка, одна машина, замеры авторские, независимой проверки нет.
Что с этим делать
- Выбирая локальную модель для кода, мерьте долю попыток с пройденными тестами и время до успеха, а не токены в секунду.
- Повторите метод на своих задачах: харнесс llm-compile-bench открыт, судьи — ваши компиляторы и тесты.
- Не режьте бюджет рассуждений у reasoning-моделей ради скорости: в замере DeepSeek после обрезки выдавал некомпилируемый код.