ИИ против ИИ: ответ CrowdStrike

Сейчас мы наблюдаем переломный момент в кибербезопасности. Исторически сложилось так, что злоумышленники должны были вручную инициировать и подтверждать каждую фазу атаки, включая запуск разведывательных сканирований, выявление уязвимостей, создание эксплойтов, осуществление вторжений и запуск утечки данных. Это ограничение сдерживало скорость и масштаб атак. Но благодаря агентному ИИ, который теперь используется для осуществления враждебных действий, эти ограничения разрушены:

«Преступник, оператор, ставил задачи Claude Code работать в группах как автономные агенты-дирижеры для тестирования проникновения. Злоумышленник смог использовать ИИ для выполнения 80-90% тактических операций независимо друг от друга – физически такая скорость запросов была бы невозможна».

Эта впечатляющая цифра должна стать тревожным сигналом для всей индустрии. Это не постепенное улучшение – это экспоненциальная трансформация. Защитники, которые в эту новую эру ИИ полагаются на реагирование со скоростью человека, окажутся обогнанными и перехитренными.

Несмотря на революционный агентный механизм работы, который позволил достигнуть беспрецедентной скорости и масштаба в этой атаке, основные методы и инструменты киберпреступления оказались на удивление традиционными. Злоумышленник не разрабатывал экзотические эксплойты нулевого дня, а, на самом деле, наоборот:

«Операционная инфраструктура в основном полагалась на инструменты для тестирования на проникновение с открытым исходным кодом, а не на разработку специализированного вредоносного программного обеспечения. Основной технический инструментарий состоял из стандартных утилит безопасности, включая сетевые сканеры, фреймворки для эксплуатации баз данных, программы для взлома паролей и комплексы бинарного анализа».

Это одновременно и успокаивает, и настораживает. Успокаивает, потому что существующие стратегии и инструменты обнаружения и реагирования сохраняют свою значимость и ценность. Например, сетевые сканеры все равно будут генерировать узнаваемые паттерны трафика, даже если они запущены агентом. Методы TTP (тактики, техники и процедуры), которые команды SOC годами учились выявлять, не устарели в один момент. Однако традиционные оборонные технологии и стратегии будут актуальными в этой борьбе только в том случае, если они будут усилены машинной автоматизацией, способной сравниться со скоростью злоумышленника и противодействовать ей с помощью проверки уведомлений, сортировки, дирижирования и реагирования на основе ИИ.

Одним из наиболее важных аспектов этой атаки является то, как злоумышленники сначала начали сотрудничать с Claude. Они не использовали программную уязвимость и не обходили элементы управления аутентификацией, а вместо этого использовали ввод подсказок (prompt injection), чтобы обойти защитные механизмы модели:

«Ключом была ролевая игра: злоумышленники-операторы утверждали, что они являются сотрудниками легитимных кибербезопасных фирм, и убедили Claude, что его используют для защитного тестирования кибербезопасности».

Ввод подсказок, с помощью которого злоумышленники используют инструкции в запросах для вызова вредоносного или нежелательного поведения модели, является риском номер один в списке OWASP Top 10 Risks для LLM-приложений, поскольку он представляет собой потенциальный «парадный вход» в корпоративные системы ИИ, требующий решительной защиты.

CrowdStrike поддерживает самую полную в отрасли таксономию ввода подсказок благодаря приобретению Pangea, отслеживая более 150 различных техник. Предприятия, которые создают и развертывают собственные системы ИИ, также должны осознать, что эти системы могут быть подвержены манипуляциям и использованы в качестве оружия с помощью ввода подсказок.

Традиционные средства контроля безопасности, такие как файерволы, антивирусы и контроль доступа, не защищают от злоумышленников, которые могут успешно убедить систему ИИ вернуть информацию или выполнить действие вопреки ее первоначальному назначению и ограничениям.

Это требует новой группы средств контроля безопасности, специально разработанных для систем ИИ: для обнаружения ввода подсказок, проверки контекста, фильтрации выходных данных и мониторинга поведения взаимодействий с ИИ. Предприятия должны внедрять защитные барьеры, которые проверяют легитимность запросов, подтверждают, что действия ИИ согласуются с авторизованными сценариями использования, и выявляют манипуляции системы ИИ для выполнения несанкционированных действий.

Плоскость атаки расширилась до семантического уровня. Мы потратили десятилетия на защиту конечных точек, приложений, сетей, учетных данных и облачных сред – теперь пришло время защищать это.

Концепция агентного SOC не предусматривает замену аналитиков безопасности, а нацелена на усиление их возможностями автоматизации, которые соответствуют тем, что используют злоумышленники. Клиенты CrowdStrike уже применяют возможности на основе ИИ платформы CrowdStrike Falcon, чтобы стать более эффективными в защите. Аналитик безопасности CrowdStrike Charlotte AI действует как мультипликатор мощности защиты для команд SOC и предоставляет автономные возможности обнаружения угроз, расследования и реагирования. Последние работают с такой скоростью и масштабом, которые необходимы для противодействия злоумышленникам, использующим ИИ.

Например, CrowdStrike Charlotte Agentic SOAR дополнен возможностями принятия решений на основе ИИ и может автоматически выполнять сценарии реагирования сразу после обнаружения угроз. Когда агент ИИ пытается осуществить горизонтальное перемещение, CrowdStrike может автоматически изолировать зараженную конечную точку, прекратить зловредные процессы и сдержать угрозу до того, как автоматизированные действия злоумышленника переключаются на следующую цель.

Клиенты, использующие Charlotte AI и возможности платформы Falcon на основе ИИ, сообщают о значительном улучшении среднего времени обнаружения и реагирования, часто сокращая время расследования с часов до минут. Это, соответственно, позволяет автоматически реагировать на угрозы, которые ранее требовали бы ручного вмешательства аналитика.

Хотя защита на основе ИИ необходима для противодействия злоумышленникам, использующим ИИ, защитники также должны признать, что корпоративные системы ИИ сами по себе являются уязвимыми целями. Поскольку сотрудники используют инструменты ИИ для повышения производительности, а организации быстро развертывают собственное программное обеспечение и инфраструктуру ИИ, они создают новые плоскости атаки, которые требуют специализированных средств контроля безопасности, включая:

• Защита от ввода подсказок:

1. Внедряйте проверку и очистку входных данных для всех запросов, отправляемых в системы ИИ;
2. Разверните обнаружение ввода подсказок, которое идентифицирует попытки манипулировать поведением ИИ;
3. Устанавливайте четкие границы разрешенных действий для систем ИИ и внедряйте технические средства контроля, которые предотвращают несанкционированные действия, независимо от того, насколько убедительно их требуют.

• Проверка контекста и авторизация:

1. Убедитесь, что взаимодействие с ИИ происходит в рамках легитимных бизнес-контекстов;
2. Внедряйте элементы контроля аутентификации и авторизации, которые проверяют личность пользователей и обеспечивают соответствие их запросов их авторизованным ролям и обязанностям.

• Фильтрация и мониторинг входящих и исходящих данных:

1. Отслеживайте входящие и исходящие данные системы ИИ на предмет утечки конфиденциальной информации, вредоносного или другого вредного контента;
2. Внедряйте механизмы фильтрации, которые предотвращают генерацию системой ИИ опасных результатов, даже если это требовалось;
3. Регистрируйте все взаимодействия с ИИ для мониторинга безопасности и криминалистического анализа.

• Безопасный жизненный цикл разработки ИИ:

1. Интегрируйте безопасность в разработку системы ИИ с самого начала;
2. Проводите моделирование угроз для ИИ-приложений, выполняйте тестирование безопасности, включая тестирование на враждебные действия, внедряйте элементы управления в режиме реального времени и ведите учет всех систем ИИ, развернутых в вашей среде.

Платформа Falcon обеспечивает всестороннюю защиту для безопасного использования и развертывания корпоративного ИИ на основе ИИ-обнаружения и реагирования. Это переломный момент в кибербезопасности, и теперь девиз понятен: чтобы победить злоумышленников, использующих ИИ, компании должны использовать те же механизмы против самих атакующих. Команды безопасности, которые используют защиту на основе ИИ и упорно работают над обеспечением безопасности использования и развертывания ИИ в своих организациях, будут иметь все возможности, чтобы противостоять этому новому кибермиру.