Автономный искусственный интеллект вносит новые режимы сбоев в цифровые операции. Жоао Фрейтас, директор по ИИ компании PagerDuty, рассказывает на портале The New Stack о четырех способах внедрения защитных механизмов, мониторинга агентов и укрепления доверия.

ИИ все больше вплетается в ткань цифровых операций и управления инцидентами. С одной стороны, ИИ может быстрее обнаруживать, сортировать и устранять инциденты, улучшать координацию между командами, предотвращать повторные инциденты и способствовать перепроектированию процессов. В некоторых организациях ИИ уже выходит за рамки помощи командам и действует от их имени, поскольку агенты прокладывают путь для автономных цифровых операций.

С другой стороны, бóльшая автономность также влечет за собой больший риск. В отличие от традиционных программных систем, инструменты управления инцидентами и агенты на основе ИИ дают сбои, к которым традиционные команды ITOps и DevOps не привыкли — они менее предсказуемы и их сложнее обнаружить. У ИИ есть специфические режимы сбоев, включая галлюцинации, проблемы с обоснованностью, дрейф модели, нарушения защитных механизмов или неправильный выбор инструмента. Когда происходят подобные инциденты, часто не бывает масштабных сбоев, способных вызвать тревогу. Вместо этого ошибки распространяются по всем сервисам, приводя к серьезным проблемам, особенно в мультиагентных системах.

Хорошая новость заключается в том, что организации могут снизить эти риски, сосредоточившись на четырех ключевых областях.

1. Внедрение защитных механизмов

В разных организациях нет одинакового уровня зрелости в отношении интеграции ИИ. Некоторые находятся на этапе начального внедрения и экспериментирования, в то время как другие создают сверхсложные рабочие процессы с целыми сетями специализированных агентов. Чем больше автономии у агента, тем дальше может распространиться одно неверное решение, прежде чем кто-либо это заметит.

В условиях расширения использования ИИ в организациях необходимы защитные механизмы для обеспечения соблюдения политики и ограничения рисков. Это включает в себя внедрение средств контроля, гарантирующих, что агенты остановятся, сообщат о проблеме или передадут управление человеку, когда начнут отклоняться от запланированного поведения. Тогда команды ИТ-операций и инженеров смогут вмешаться до того, как небольшие проблемы превратятся в серьезные. Эти средства контроля должны сдерживать риски, не создавая ненужных препятствий для инженерных команд.

2. Использование агентов ИИ для мониторинга и реагирования

По мере того, как организации развертывают все большее число агентов, мониторинг их поведения становится слишком сложным для одних только людей. Это создает потребность в новом уровне контроля в виде агентов, предназначенных для мониторинга других систем ИИ. Оценивая сигналы, генерируемые системами ИИ, агенты мониторинга могут выявлять аномальное поведение и определять, когда проблему необходимо передать специалисту по реагированию. В агентных системах этим специалистом по реагированию может быть не человек-оператор, а другой агент ИИ, предназначенный для смягчения последствий инцидентов. Почти 70% инцидентов связаны с изменениями, поэтому когда ИИ вносит изменения со скоростью машины, организациям необходимо реагировать с той же скоростью.

Рассмотрим агент Site Reliability Engineering (SRE), предназначенный для расследования сразу после обнаружения системной аномалии. К тому времени, как дежурный инженер получит уведомление, агент SRE уже может проводить расследование, сортировку и диагностику. Подключение агента к коду, телеметрии, инфраструктуре и инструментам для совместной работы делает эти расследования более точными. В случае повторного инцидента агент также может запустить предварительно утвержденные рабочие процессы по устранению неполадок. Это открывает путь к управлению инцидентами с помощью ИИ и, в конечном итоге, к самовосстанавливающимся агентным системам.

3. Определение метрик

Чтобы понять, работают ли агенты так, как задумано, инженерным группам необходимы эффективные способы измерения производительности. Релевантность каждой метрики будет зависеть от агента ИИ и связанной с ним работы. Однако в целом важными метриками являются успешность выполнения задачи (выполнил ли агент то, что должен был сделать?), обоснованность (подтверждаются ли ответы агента предоставленной ему информацией или он галлюцинирует), задержка, выбор инструмента, частота тайм-аутов, частота ошибок, частота повторных попыток, эффективность шагов, стоимость, нарушения безопасности и этики, частота эскалации с привлечением человека и многие другие. Один из вариантов оценки производительности агентов ИИ — создание эталонного набора вариантов ожидаемого поведения (например, набора вопросов и ответов) и обеспечение того, чтобы агент работал так, как задумано, в случаях, охватываемых эталонным набором.

4. Внедрение постоянной оценки

Производительность агентов не является фиксированной. Поведение может меняться при обновлении модели, лежащей в основе агента, и может дрейфовать даже при сохранении работоспособности базовой инфраструктуры. Любое снижение производительности следует рассматривать как операционную проблему, и оповещения должны направляться в соответствующую команду до того, как проблема перерастет в эскалацию.

Оценка должна проводиться в два этапа: выявление проблем в режиме, близком к реальному времени, и анализ поведения агентов постфактум. Анализ инцидентов после их возникновения рассматривает не только то, что пошло не так, но и то, как агенты вели себя в ответ. Правильно ли они эскалировали проблему? Были ли выбраны правильные инструменты? Требовалось ли вмешательство человека, когда оно было необходимо? По мере того, как системы становятся все более автономными, оценка агентов должна стать постоянной дисциплиной.

Начните с малого

ИИ способен кардинально изменить процесс управления инцидентами, однако организации смогут воспользоваться этим потенциалом лишь тогда, когда научатся доверять своим ИИ-агентам. Формирование такого доверия стоит начать с задач с низким уровнем риска — например, с первичной сортировки и диагностики, — постепенно расширяя автоматизацию на другие этапы жизненного цикла инцидента.

Доверие также укрепляется благодаря внедрению надлежащих механизмов контроля, мониторинга и оценки. И хотя при разрешении сложных инцидентов участие человека останется необходимым, долгосрочная перспектива очевидна: инженеры и ИИ-агенты будут всё чаще работать сообща для устранения возникающих проблем.