За четыре года число поисковых запросов вокруг темы «ИИ как угроза» выросло примерно в 30 раз и к
ИИ как орудие злоумышленников
На фоне развития искусственного интеллекта все чаще звучат разговоры о том, что ИИ может превратиться в инструмент злоумышленников. Однако слово «может» здесь уже не вполне уместно: ИИ становится рабочим инструментом в offensive security и способен выполнять часть задач, которые раньше требовали значительного объема ручной работы. Показателен пример XBOW — автономной системы для поиска и эксплуатации уязвимостей. В 2025 году XBOW поднялась на первое место американского рейтинга HackerOne, а позднее заняла первое место и в глобальном рейтинге платформы. При этом речь шла не о лабораторном тесте: система работала в реальных bug bounty-программах и отправляла отчеты об обнаруженных уязвимостях. Сам HackerOne отмечал выход XBOW на первое место американского рейтинга как пример того, что ИИ-системы уже способны эффективно находить определенные классы уязвимостей. Это не означает, что ИИ полностью заменил исследователя: например, команда XBOW проверяла отчеты перед отправкой в соответствии с правилами HackerOne. Но сам кейс хорошо показывает изменение масштаба и скорости работы: значительную часть поиска, проверки гипотез и валидации находок уже можно автоматизировать.
Причина очевидна: ИИ хорошо справляется с интеллектуальной рутиной. Он может быстро обрабатывать большие объемы информации, находить закономерности, классифицировать данные и выполнять последовательности однотипных операций. И атака в этом смысле во многом похожа на другие сложные рабочие процессы. Значительная часть времени злоумышленника уходит на подготовку: сбор информации о цели, анализ инфраструктуры и технологий, поиск потенциально интересных объектов и проверку различных гипотез. Если часть этой работы передать ИИ, меняется сама экономика атаки: разведка, анализ и перебор вариантов становятся быстрее и дешевле, а один злоумышленник может выполнять объем работы, для которого раньше требовалось значительно больше времени.
Необходимо также понимать, что скорость внедрения новых технологий у злоумышленников зачастую выше, чем в крупных организациях. Пока компания оценивает риски, согласовывает бюджет, выбирает модели и выстраивает процессы безопасного использования ИИ, атакующему достаточно получить доступ к публичному сервису или модели. Возникает асимметрия: стоимость автоматизации отдельных этапов атаки быстро снижается, тогда как стоимость полноценной защиты компании — нет. Поэтому основная угроза ИИ сегодня заключается не столько в появлении автономного «ИИ-хакера», сколько в росте производительности обычного злоумышленника.
Проще атака — больше желающих
Еще одна проблема заключается в том, что ИИ постепенно снижает порог входа в отдельные этапы кибератак. Часть задач, для которых раньше требовались специальные знания, теперь можно выполнять с помощью языковых моделей: собирать и анализировать информацию о цели, быстрее разбираться в незнакомых технологиях, модифицировать скрипты, готовить фишинговые сообщения или анализировать найденный код. Это не превращает человека без технических знаний в профессионального хакера, но сокращает разрыв между отсутствием компетенций и возможностью выполнить отдельные элементы атаки.
Одновременно с этим появляются и новые классы атак на сами ИИ-приложения. Один из примеров — prompt injection (инъекция промптов), при которой злоумышленник через специально сформированные инструкции пытается изменить ожидаемое поведение системы. Например, если на корпоративном ресурсе работает интеллектуальный поиск или ИИ-агент, атакующий может попытаться заставить его проигнорировать исходные инструкции, обратиться к данным, которые не должны быть доступны пользователю, или выполнить нежелательное действие. Отдельно существуют jailbreak-техники, направленные на обход ограничений самой модели. Для экспериментов с такими атаками в ряде случаев действительно не требуется сложная инфраструктура: взаимодействие происходит через тот же интерфейс, которым пользуется обычный пользователь.
Одновременно ИИ выступает как инструмент автоматизации для самого злоумышленника. Если раньше для подготовки определенной атаки требовалось самостоятельно изучать множество технических вопросов, теперь часть этой работы можно переложить на языковую модель: быстрее разобраться в технологии, получить объяснение незнакомого кода, подготовить или адаптировать отдельные фрагменты скриптов, систематизировать результаты разведки. Ограничения публичных моделей снижают возможности их прямого использования во вредоносных целях, однако злоумышленники постоянно экспериментируют и с техниками обхода таких ограничений.
Для обхода ограничений могут использоваться изменение контекста запроса, ролевые сценарии, декомпозиция задачи на несколько внешне безобидных этапов и другие техники. Вместо прямого запроса пользователь может представить задачу как исследование, киберучение или анализ защищенности либо разбить ее на последовательность отдельных вопросов. Эффективность таких приемов зависит от конкретной модели и реализованных механизмов защиты, но для атакующего важен сам принцип: ИИ позволяет значительно быстрее проводить эксперименты и проверять множество вариантов.
Еще сильнее меняется скорость работы. Если раньше сбор и изучение контекста для определенной атаки могли занимать дни, то автоматизированная система способна существенно сократить этот этап. В результате отдельные стадии атаки становятся проще, дешевле и лучше масштабируются. Высвободившееся время злоумышленник может потратить на более сложные действия, которые пока хуже поддаются автоматизации.
Для бизнеса это неприятная тенденция, поскольку стоимость атаки снижается, но стоимость полноценной защиты от нее автоматически не уменьшается. Компании по-прежнему должны поддерживать инфраструктуру безопасности, контролировать доступы, анализировать события и защищать данные.
Shadow AI как источник риска внутри компании
Однако усиление внешнего атакующего — только одна сторона проблемы. ИИ одновременно меняет поверхность атаки внутри самой компании: сотрудники подключают публичные модели, генераторы кода, агентов и другие инструменты быстрее, чем служба безопасности успевает их обнаруживать и оценивать. Так возникает другая категория риска — Shadow AI (теневой ИИ).
Термин появился по аналогии с давно известным Shadow IT (теневые ИТ) — ситуацией, когда сотрудники самостоятельно используют для рабочих задач программное обеспечение и сервисы, которые компания официально не разрешила и не контролирует. Например, сотруднику нужен удобный инструмент для хранения файлов, совместной работы или обработки документов, и он самостоятельно регистрируется во внешнем сервисе. С точки зрения сотрудника он просто выбрал удобный инструмент, а с точки зрения службы безопасности внутри компании появился неконтролируемый канал обработки корпоративных данных.
С Shadow AI происходит похожая история. В компании может не быть понятных правил использования ИИ — какие сервисы разрешены, какие данные можно туда отправлять, какую информацию категорически запрещено загружать, какие инструменты допустимы для разработки и анализа. В результате сотрудники начинают самостоятельно выбирать открытые ИИ-сервисы и использовать их для рабочих задач.
Главные риски здесь связаны с утечками данных. Сотрудник может работать с корпоративного компьютера или ноутбука в публичном ИИ-сервисе и передавать туда информацию, которую нельзя выводить за пределы компании. Причем он сам часто даже не задумывается, что создает риски утечки. Для него это просто удобный способ решить рабочую задачу.
Допустим, сотрудник отдела продаж берет папку с документами по клиентам за прошлый год и загружает ее в ИИ с просьбой сформировать отчет, прогноз или маркетинговое предложение. На первый взгляд задача выглядит безобидной и даже полезной: сотрудник хочет быстрее проанализировать информацию, чтобы повысить продажи. Но вместе с запросом за пределы корпоративного контура уходит клиентская база: контактные данные, сведения о продажах, цены, скидки и другая коммерческая информация. В результате могут компрометироваться и персональные данные, и коммерческая тайна, и внутренняя информация о работе с клиентами.
Традиционные средства контроля утечек данных остаются необходимой частью защиты, но в случае с ИИ их возможностей может быть недостаточно. Компании важно понимать не только то, какие данные передаются за пределы корпоративного контура, но и в какой ИИ-сервис они уходят, разрешен ли этот сервис конкретному сотруднику, идет ли речь о загрузке файла, отправке промпта или обращении к модели через API. Поэтому классические механизмы защиты приходится дополнять обнаружением ИИ-сервисов и контролем специфичных для них сценариев использования.
У Shadow AI есть и техническая сторона. Внутри разработки могут появляться генераторы кода, различные модели, агенты и другие инструменты, которые сотрудники самостоятельно подключают к рабочим процессам. Проблема заключается в том, что качество и безопасность таких инструментов часто под вопросом. Один сотрудник может использовать модель для генерации кода, другой — подключить сторонний инструмент для автоматизации, третий — развернуть собственный сервис. При этом количество подобных решений может расти настолько быстро, что служба безопасности просто не успевает их обнаруживать и оценивать. А защищать то, что СБ не видит, технически невозможно. Если компания не знает, какими ИИ-инструментами пользуются сотрудники, она не может полноценно оценить риски, определить, какие данные через них проходят, и подобрать соответствующие средства защиты.
Поэтому сама по себе политика запрета не решает проблему. Более того, жесткий запрет может сделать ситуацию менее прозрачной. Если сотруднику официально запрещено пользоваться ИИ, но инструмент необходим ему для работы, он с высокой вероятностью начнет искать собственное решение. В итоге компания формально может считать, что никакого ИИ у нее нет, тогда как сотрудники будут его использовать с личных устройств.
Выход здесь — в создании контролируемой корпоративной среды для работы с ИИ. Если сотрудникам действительно нужны языковые модели, агенты или другие ИИ-инструменты, компания должна предоставить разрешенные способы их использования: определить перечень допустимых сервисов и моделей, правила работы с данными, механизмы доступа, журналирования и контроля. Это необязательно означает полный отказ от внешних ИИ-сервисов — важно, чтобы компания понимала, какие инструменты используются, какие данные в них передаются и на каких условиях они обрабатываются.
Такая среда должна быть не только безопасной, но и удобной. Иначе запрет снова будет проигрывать удобству публичных инструментов. Сотрудник выбирает не по критерию безопасности. Он ищет способ быстрее выполнить свою работу. И если корпоративная система оказывается слишком неудобной, поиск обходных путей практически неизбежен.
