Внедрение больших языковых моделей (LLM) в корпоративные системы становится все более распространенным — более 90% российских компаний заявляют об их использовании. При этом ИИ остается уязвимым, чем активно пользуются хакеры — около 70% организаций столкнулись с атаками через LLM. Эксперты «Информзащиты» указывают, что бизнес зачастую откладывает на потом проверку безопасности ИИ-инструментов, чем активно пользуются злоумышленники.

Более 40% атак через уязвимости ИИ — инъекция запросов (Prompt Injection). Это такой вид атак, при котором злоумышленник вставляет в свой запрос вредоносную команду. LLM зачастую не отделяет встроенные инструкции от запросов пользователей, рассматривая их как равнозначные команды, поэтому прибавление к промпту, например, фразы «игнорируй предыдущие инструкции» может привести к исполнению ИИ вредоносного запроса.

Специалисты «Информзащиты» указывают, что инъекция запросов особо опасна из-за низкого уровня проверки на безопасность (67% компаний не проверяют ее до внедрения) и подготовки корпоративных LLM-моделей к использованию, что оставляет окно для использования Prompt Injection. Другая опасность заключается в том, что злоумышленнику не нужно обладать специальными техническими навыками для реализации такой атаки, а можно вводить вредоносные запросы обычным языком. Это увеличивает количество потенциальных злоумышленников, которые могут использовать уязвимости ИИ.

Чаще всего злоумышленники используют инъекции запросов для организации фишинговых рассылок (48% инцидентов) и для эксфильтрации данных (40%). Среди целей для таких атак лидируют компании, активно использующие LLM-модели для взаимодействия с пользователями, например, через умный поиск на сайте или чат-боты: ритейл (37%), финансовые организации (25%), телеком-компании (17%).

На фоне стремительного роста использования ИИ бизнес не всегда успевает адаптировать процессы безопасности. В большинстве компаний модели запускаются без полноценной валидации и настройки, остаются подключёнными к внутренним базам или чувствительным источникам. Чуть больше 65% организаций не проводят предварительную проверку таких решений на устойчивость к атакам.

Эксперты «Информзащиты» рекомендуют принимать проактивные шаги для защиты от атак через ИИ. Прежде всего, необходимо проводить аудит безопасности, выявлять риски и предпринимать превентивные меры. Также компаниям необходим регулярный пентест, который установит уязвимости в том числе в ИИ-инструментах, а подключение услуги мониторинга и реагирования на инциденты (SOC) позволяет выявлять нетипичную активность, отслеживать попытки атак на LLM и своевременно принимать меры. Обязательным является процесс настройки LLM-моделей, ограничение их доступа к чувствительным базам данных, настройками форм запросов и валидация вводных данных.