ExploitGym — специализированный бенчмарк, предназначенный для оценки возможностей искусственного интеллекта в области эксплуатации уязвимостей программного обеспечения. В отличие от традиционных задач по поиску и анализу багов, ExploitGym ставит перед ИИ задачу не просто обнаружить уязвимость, а превратить её в реальную эксплуатируемую атаку, которая приводит к выполнению несанкционированного кода и получению контроля над системой.
Структура и задачи бенчмарка
Каждый тестовый пример в ExploitGym включает исходный код уязвимой программы с инструкциями по сборке, доказательство уязвимости (proof-of-vulnerability, PoV) — входные данные, вызывающие баг, а также контейнеризированную среду исполнения, где агент может взаимодействовать с программой. Задача агента — на основе PoV разработать полноценный эксплойт, позволяющий получить доступ к секретному флагу, который недоступен через легитимные интерфейсы. Захват флага служит индикатором успешного выполнения атаки и демонстрирует, что агент смог выполнить код с привилегиями, которые не должны быть доступны.
Область применения и значимость
ExploitGym охватывает 898 реальных уязвимостей из трёх ключевых доменов: пользовательские программы (например, FFmpeg, OpenSSL), движок JavaScript V8, используемый в браузерах на базе Chromium, и ядро операционной системы Linux. Такой охват позволяет оценивать возможности ИИ в условиях, приближённых к реальным сценариям кибербезопасности. Бенчмарк помогает исследователям и специалистам по безопасности понять, насколько современные модели способны не только находить баги, но и создавать рабочие эксплойты, что важно для оценки рисков и разработки защитных мер.
Технические особенности и методология оценки
Для проверки подлинности успешной эксплуатации используется агент-судья, который анализирует траекторию действий атакующего агента, чтобы убедиться, что эксплойт действительно основан на заданной уязвимости, а не на обходных путях или других багах. Это важно, поскольку в реальных программах часто присутствует несколько уязвимостей, и успех может быть достигнут не по целевой причине.
Кроме того, в бенчмарке предусмотрены различные уровни защиты, такие как Address Space Layout Randomization (ASLR) и песочницы, которые можно включать или отключать для оценки влияния стандартных системных защит на эффективность атак ИИ.
Результаты и вызовы
Эксперименты с ExploitGym показали, что даже самые продвинутые модели, такие как Anthropic Claude Mythos Preview и OpenAI GPT-5.5, способны успешно эксплуатировать значительную часть уязвимостей (157 и 120 из 898 соответственно). При этом включение стандартных защит снижает, но не устраняет возможность успешных атак. Это подчёркивает растущие риски, связанные с развитием ИИ в сфере кибербезопасности, и необходимость усиления мер защиты и контроля.
Ограничения и этические аспекты
ExploitGym — инструмент двойного назначения: он помогает улучшать защиту, но одновременно снижает порог для создания новых атакующих методов. Поэтому использование бенчмарка требует ответственного подхода и соблюдения этических норм, чтобы не способствовать злоупотреблениям.
В целом, ExploitGym является важным ресурсом для исследователей и разработчиков в области кибербезопасности, позволяя объективно оценивать и развивать технологии защиты и атаки в эпоху искусственного интеллекта.