Как защитить код, сгенерированный ИИ, с помощью самообучающихся агентов ИИ. Исследование CrowdStrike

В сфере разработки ПО автономные агенты генерации кода меняют правила игры. Автоматизируя сложные задачи кодирования, эти агенты освобождают разработчиков, чтобы они могли сосредоточиться на высококачественном контенте. Они больше не привязаны к рутинным, трудоемким процессам, которые истощают их творческую энергию.

Согласно подходу «вибрационного кодирования» – концепции, популяризированной соучредителем OpenAI Андреем Карпаты, — большие языковые модели (LLM) выполняют большую часть кодирования. Для этого не нужен опыт программирования или технические знания – пользователи могут просто вводить подсказки о задаче, которую они пытаются выполнить, в текстовое поле, а инструмент ИИ выводит прототип приложения. Вайб-кодирование привлекает все больше людей, поскольку позволяет им реализовать свой творческий потенциал и направить свою страсть на создание инновационных приложений. Но что они получают в результате? Множество новых программных систем, но также и множество рисков.

Уязвимости уже давно вызывают беспокойство в индустрии кибербезопасности. Разрыв между обнаружением уязвимостей и их исправлением подвергает организации значительному риску эксплуатации. Учитывая большую скорость автономной разработки кода, этот разрыв может стать еще больше.

Поскольку отрасль переходит к автоматизированной генерации и проверке кода, защита кода, разработанного агентами ИИ, становится ключевым вызовом для безопасности. Хотя тестировщики ПО и инструменты, используемые людьми, могут проверить безопасность кода, масштаб и темпы динамической генерации кода создают значительное препятствие. Проблема похожа на попытку успеть за пулей, летящей на большой скорости — это сложная задача, которая требует интеллектуальных решений для автоматизации и усиления процессов безопасности.

В этом новом ландшафте, где автономная генерация кода является нормой, потребность в интеллектуальных решениях, которые масштабируются, является более насущной, чем когда-либо. Бизнесу нужны системы, которые могут не только автоматизировать процессы безопасности, но и предвидеть и адаптироваться к новым угрозам. Использование возможностей ИИ в начале жизненного цикла разработки программного обеспечения гарантирует, что безопасность является частью процесса на этапе перед выпуском продукта.

В автоматизированной отрасли «вибрационного кодирования» и генерации кода с использованием ИИ CrowdStrike инициировали комплексное тестирование передовой системы на основе ИИ, разработанной для обеспечения строгого соблюдения безопасных практик разработки ПО. Эта автономная система агентов использует новейшие возможности обнаружения угроз и уязвимостей в коде, обеспечивая тем самым усиленную защиту от широкого спектра угроз, включая несанкционированный доступ, встраивание бэкдоров, использование уязвимостей и другие злонамеренные действия.

Проверка концепции CrowdStrike состоит как минимум из трех агентских систем ИИ, каждая из которых построена на основе различных ролей безопасности, которые работают вместе, чтобы усилить знания и действия друг друга. Эти системы включают в себя:

1. Агент сканирования уязвимостей: способен обнаруживать уязвимости в коде и понимать, какое статическое тестирование безопасности приложений (SAST) лучше всего подходит для каждого приложения.
2. Агент Red Teaming: создает сценарии эксплуатации, используя внутренние знания и информацию из исторических баз данных злоумышленников. Этот агент учится на предыдущих итерациях, чтобы ассоциировать кортежи конкретных уязвимостей и кода эксплуатации с наилучшими результатами.
3. Агент исправлений: отвечает за создание модульных тестов безопасности и генерирование исправлений кода на основе данных от агента Vulnerability AI, комплексной обратной связи от модульных тестов и результатов эксплуатации, полученных от агента Red Teaming AI.

Получив репозиторий кода, агент Vulnerability AI отвечает за поиск уязвимостей в полученном исходном коде или в обновлениях приложения с помощью pull-запроса. Во время каждого нового сканирования агент выбирает один или несколько инструментов SAST, подходящих для целевого приложения, на основе информации, которую он получает из файлов README и предыдущих знаний о подобных случаях.

Затем агент Vulnerability AI инициирует комплексное сканирование исходного кода, используя кастомные правила для инструмента(ов) SAST, чтобы выявить потенциальные уязвимости в системе безопасности. Этот процесс облегчается благодаря сотрудничеству с агентами Patching AI и Red Teaming AI, которые помогают в создании модульных тестов безопасности и проверке уязвимостей путем эксплуатации.

После завершения процессов сканирования и проверки уязвимостей ИИ-агент Vulnerability уточняет свою базу знаний, оценивая достоверность обнаруженных уязвимостей и точность инструментов SAST для конкретных типов приложений. Такое углубленное понимание позволяет ИИ-агенту генерировать высокоэффективные патчи, которые устраняют обнаруженные уязвимости.

Обнаружение и устранение уязвимостей в предыдущих версиях кода требует значительных усилий вручную. Когда рассматривается любое предупреждение SAST, открывается база кода для проверки проблемы, вносится исправление, делается запрос на получение кода, а затем он объединяется. Благодаря этому подходу время, необходимое для этого процесса в нашей тестовой среде, сокращается примерно на 90%.

Сочетание LLM и инструментов SAST в циклическом процессе, где LLM интерпретирует файлы README, а SAST выводит результаты, позволяет постоянно совершенствовать возможности ИИ-агента в обнаружении и устранении угроз безопасности.

ИИ-агент Red Teaming от CrowdStrike стоит на страже невидимых уязвимостей системы безопасности. Благодаря «инстинктам», отточенным на прошлом опыте и обучению на системах с расширенным поиском (RAG), эта технология обнаруживает и проверяет уязвимости путем эксплуатации, а затем использует свой опыт, чтобы выявить новые слабые места, которые могли быть на виду. Результаты используются для улучшения и оптимизации подхода с использованием мульти-агентов с помощью процессов тонкой настройки.

LLM этого агента имеет контекстные данные от роли уязвимости, которые позволяют ему генерировать код эксплуатации и запускать приложение, считывая конфигурационные файлы (докер-файлы, make-файлы и т.д.). Затем он переходит к сбору критически важной разведывательной информации, включая конечную точку приложения, открытые порты и доступные веб-маршруты. Эти шаги способствуют достижению конечной цели — выполнению целевой эксплуатации на работающем коде, обеспечивая максимальный эффект.

Трио таких агентов с ИИ сотрудничают вместе, выполняя роль стеклянного тестового ящика, чтобы обеспечить экспертизу кибербезопасности на машинной скорости. Они выявляют все потенциальные уязвимости путем исчерпывающего сканирования и анализа, проводя тщательное тестирование с использованием лучших методов моделирования атак. Такой подход является перспективным, поскольку гарантирует, что ни одна из уязвимостей не останется без внимания, предотвращая их обнародование, что впоследствии потребует дорогостоящего и трудоемкого исправления вручную.

Важно быть на шаг впереди злоумышленников, имитируя реальные атаки на коропоративные системы до того, как они могут быть использованы. Исследования, которые проводят аналитики CrowdStrike, помогают выявлять уязвимости и слабые места в режиме реального времени.

Используя коллективную силу ИИ-агентов, компании могут рассчитывать на будущее, в котором прозрачность, гибкость и эффективность кибербезопасности могут выйти на новый уровень. Это поможет защитить самые ценные активы в условиях быстро меняющегося ландшафта угроз и сократить время и усилия, необходимые для обнаружения уязвимостей с помощью автоматизированных строгих тестов.

CrowdStrike стремится к новым исследованиям, лидерству в индустрии кибербезопасности и опережению киберзлоумышленников. Именно благодаря такому фокусу на инновациях, платформа CrowdStrike Falcon® на базе ИИ остается в авангарде защиты кибербезопасности — даже когда в игру вступают такие технологии как генерация кода с использованием ИИ.