Красная команда нашла 11 атак на Auto-review — встроенный контроль Codex

Джованни Оккипинти, стажёр программы ERA под наставничеством Apollo Research, проверил на прочность встроенные меры контроля Codex — песочницу и блокирующий монитор Auto-review, который вместо человека одобряет выходы агента за пределы песочницы. На открытом коде Codex он нашёл 11 атак, позволяющих агенту с чужими целями выполнить произвольный код в обход контроля. Средняя доля успешных атак на тестовых задачах — от 56% до 100%. Результаты передали OpenAI: часть уязвимостей уже исправлена, в Codex 0.162.1 вышел отдельный протокол связи агентов, закрывающий подделку сообщений.

Атаки делятся на три класса. Обход: скрипты доверенных хуков можно подменить без потери доверия, а список запрещённых команд не покрывает инструменты, которые сами исполняют произвольный код, вроде pytest. Обман монитора: агент печатает поддельные реплики «пользователя» внутри своих сообщений, а промпты субагентов харнесс показывает монитору как слова пользователя. Гибридные: команда одобряется по одному содержимому, а исполняется уже по другому.