Чтобы получить конкурентное преимущество, компании не будут ни избегать искусственного интеллекта, ни внедрять его без каких-либо ограничений. Вместо этого они будут внедрять базовые средства контроля безопасности, пишет на портале The New Stack Джош Лемос, директор по информационной безопасности (CISO) компании GitLab.

Недавний опрос высших руководителей компаний GitLab «The Economics of Software Innovation: $750B+ Opportunity at a Crossroads», показал, что 89% из них ожидают, что агентный ИИ станет окончательным стандартом разработки ПО в течение трех лет. В то же время такая траектория внедрения сталкивается с суровой реальностью: 85% респондентов признают, что ИИ создает беспрецедентные проблемы для безопасности.

CISO вынуждены искать баланс между двумя целями, которые часто кажутся противоречащими друг другу. Они не могут помешать внедрению ИИ для разработки ПО в своих организациях, но они должны минимизировать потенциальные риски безопасности, связанные с этой технологией. Поскольку 91% руководителей сообщают, что планируют увеличить расходы на ИИ при разработке ПО в течение следующих 18 месяцев, требование обеспечить безопасность будет продолжать расти.

Управление отстает от внедрения ИИ

Большинство руководителей служб безопасности хорошо осведомлены о главных рисках, связанных с ИИ, на которые ссылаются респонденты: угрозы кибербезопасности (52%), конфиденциальность и безопасность данных (51%) и поддержание управляемости (45%). Ландшафт и даже определения этих рисков меняются и тесно взаимосвязаны.

Создание модели управления для ИИ необходимо организациям для разработки своей стратегии безопасности с учетом возникающих рисков, связанных с ИИ. Однако сделать это непросто, поскольку ИИ охватывает многие области технологий и безопасности — от управления данными до идентификации и управления доступом. Тем не менее, почти половина опрошенных признались, что в их организациях не внедрены ни нормативно-правовое регулирование (47%), ни внутренняя политика (48%) в области ИИ.

Отставание в управлении ИИ связано с серьезными проблемами в отрасли, из-за которых руководителям сложно определить наиболее эффективные направления для вложения своего времени и усилий. Недетерминированный характер агентов приводит к их неожиданному поведению, что, как было доказано, нарушает существующие границы безопасности. Кроме того, сложность обеспечения безопасности возрастает с внедрением универсальных протоколов, таких как Model Context Protocol (MCP) и Agent2Agent, которые упрощают доступ к данным и повышают совместимость агентов для построения экосистем.

Но эти проблемы не могут помешать лидерам в области безопасности уделять приоритетное внимание управлению ИИ. Если вы ждете всеобъемлющих рекомендаций по использованию этой динамичной технологии, вы будете постоянно играть в догонялки. Любая организация, которая полностью избегает внедрения ИИ, все равно будет подвержена связанному с ИИ риску из-за поставщиков и теневого использования ИИ в своей среде.

Три способа начать внедрять управление ИИ

CISO могут начать планировать управление рисками безопасности агентов, внедрив наблюдаемость ИИ, способную отслеживать, проверять и определять поведение агентов в различных средах. Вот несколько областей, на которых следует сосредоточиться в первую очередь:

1. Соотнесение действий агентов с людьми-операторами. По мере распространения систем ИИ отслеживание и защита этих нечеловеческих идентификаторов становится не менее важным, чем управление доступом пользователей-людей. Одним из способов достижения этой цели является использование составных идентификаторов, которые связывают идентичность агента ИИ с личностью пользователя-человека, который им управляет. Таким образом, когда агент ИИ пытается получить доступ к ресурсу, вы можете проверить подлинность и авторизовать агента и четко назначить действия ответственному пользователю-человеку.

2. Отслеживание поведения агентов по всей организации. Командам по операциям, разработке и безопасности нужны способы отслеживания действий агентов ИИ в различных рабочих процессах и системах. Недостаточно знать, что агент делает в вашей кодовой базе. Вам также необходимо иметь возможность отслеживать его активность как в промежуточной, так и в производственной среде, а также в связанных базах данных и любых приложениях, к которым он имеет доступ.

3. Инвестиции в повышение квалификации команд. Культура безопасности в настоящее время требует грамотности в области ИИ. 43% респондентов признали наличие большого пробела в знаниях в области ИИ, который, вероятно, будет расти, если технические руководители не будут уделять приоритетное внимание повышению квалификации команд для понимания поведения моделей, инжиниринга подсказок и критической оценки входных и выходных данных модели.

Понимание того, где модели эффективны, а где их использование неоптимально, помогает командам избежать ненужных рисков безопасности и технических проблем. Например, модель, обученная работе с антипаттернами, будет хорошо выявлять эти паттерны, но не будет эффективна в борьбе с логическими ошибками, с которыми она никогда раньше не сталкивалась. Командам также следует понимать, что никакая модель не может заменить изобретательность человека. Если модель работает неоптимально в области, с которой инженер по безопасности или разработчик плохо знакомы, они не смогут выявить пробелы в безопасности, которые оставила модель.

CISO следует рассмотреть возможность выделения части бюджета на обучение и развитие на непрерывное техническое образование. Это будет способствовать повышению квалификации специалистов в области безопасности ИИ внутри компании, позволяя новоиспеченным лидерам в области ИИ обучать своих коллег и внедрять передовой опыт.

При правильном использовании ИИ повышает безопасность ПО

Организации, которые внедряют ИИ стратегически, добиваются значительно более высоких результатов в области безопасности, чем те, которые используют ситуативные внедрения. Результаты опроса подтверждают этот вывод: 45% респондентов-руководителей считают обеспечение безопасности главным потенциальным сценарием использования ИИ при разработке ПО.

Ценность ИИ для безопасности достигает своего пика, когда организации позиционируют его как дополнение к опыту людей, а не как замену. Такой подход позволяет ИИ способствовать демократизации знаний в области безопасности в командах разработчиков, обеспечивая автоматизацию рутинной работы, рекомендации по интеллектуальному кодированию и ценный контекст безопасности, встроенный непосредственно в рабочие процессы разработчиков. Организации, внедряющие эти возможности, сообщают об улучшении показателей безопасности, снижении рисков и укреплении сотрудничества между группами разработки и безопасности.

Если организации хотят получить конкурентное преимущество, они не будут полностью отказываться от ИИ и не будут внедрять его без должного рассмотрения. Вместо этого они будут применять базовые средства контроля безопасности с начала внедрения. Даже несовершенные первоначальные меры значительно облегчат командам безопасности адаптацию к изменениям в ландшафте рисков.

Если прогнозы руководителей, участвовавших в опросе, подтвердятся, то мы уже начинаем трехлетний обратный отсчет к агентному будущему ПО. Руководители, которые ориентируют свои команды на надлежащее использование ИИ, получат преимущества, которые не ограничиваются снижением рисков. Они будут быстрее создавать качественное и безопасное ПО.