Сфера мультиагентных систем искусственного интеллекта стремительно развивается, однако в большинстве компаний до сих пор нет четкого понимания того, кто отвечает за решения, принимаемые такими агентами совместно, пишет на портале InformationWeek Али Альхафаджи, генеральный директор компании Apply Digital, партнера по внедрению агентных решений для улучшения клиентского опыта.

По прогнозам Gartner, к 2028 г. в типичной глобальной корпорации из списка Fortune 500 будет задействовано более 150 тыс. ИИ-агентов — для сравнения, в 2025-м их число составило менее 15.

Согласно тому же отчету, лишь 13% из 360 опрошенных респондентов считают, что в их организациях выстроена надлежащая система управления. Большинство этих компаний еще не нашли ответ на фундаментальный вопрос: если несколько агентов работают сообща и создают результат, который приводит к возникновению проблемы, — кто несет за это ответственность?

На протяжении последних двух лет дискуссии об управлении корпоративным ИИ сводились к одному вопросу: кто отвечает за то, что выдает модель? И этот вопрос уже был непростым. Теперь же ситуация стала еще сложнее.

По мере того как организации переходят от внедрения отдельных ИИ-инструментов к координации целых систем, состоящих из множества агентов — каждый из которых анализирует информацию, принимает решения и действует на разных этапах рабочего процесса, — вопрос об ответственности становится все более запутанным. У большинства компаний нет на него четкого ответа. А отсутствие такого ответа — это не просто пробел в системе управления, это прямая юридическая ответственность.

В Калифорнии с 1 января вступил в силу закон, который прямо запрещает ответчикам ссылаться на автономный характер работы ИИ-агента в качестве аргумента для снятия с себя ответственности.

С этой проблемой сталкиваются не только те компании, которые действовали опрометчиво, а также те, кто подходил к внедрению взвешенно, опираясь на существующие стандарты — но не обновил их с учетом появления нового класса систем. Если ошибку допускает один агент, цепочка ответственности прослеживается легко. Если же к ошибке приводит совместная работа трех агентов, найти ответственного гораздо сложнее — а большинство корпоративных систем управления просто не были рассчитаны на решение подобных вопросов.

Что показывает опыт работы с командами, где 50% участников — ИИ-агенты

В моей компании работа с каждым новым клиентом начинается с формирования так называемых «матричных команд», в которых как минимум 50% участников — это ИИ-агенты, работающие бок о бок с людьми-специалистами. Такое проектное решение вынудило нас ответить на вопрос об ответственности на практике, а не в теории.

Прежде всего стало ясно: ответственность нельзя возложить на систему — она должна быть закреплена за конкретным человеком. Не за командой, не за системой управления и не за процессом проверки, а за вполне определенным сотрудником, который несет ответственность за любой результат работы системы до того, как он попадет к клиенту или заказчику — независимо от того, сколько агентов участвовало в его создании. Этот человек должен быть определен еще до начала развертывания. Если вы не можете назвать его имя — значит, вы еще не готовы к запуску.

Во-вторых, стало очевидно, что передача задач между агентами требует такой же тщательной проработки, как и передача задач между агентом и человеком. В мультиагентном рабочем процессе каждый агент принимает решения, которые ограничивают возможности следующего агента в цепочке. Если первый агент допустит ошибку, у второго может просто не оказаться информации, чтобы ее выявить. К тому моменту, когда результат попадет к человеку-проверяющему, ошибка может уже многократно усугубиться на предыдущих этапах.

Следует уделять особое внимание тому, что мы называем «корректной передачей» — моменту, когда компонент системы понимает, что нужно передать не просто задачу, а весь контекст целиком. Качественная запись о передаче задачи должна содержать ответы на как минимум четыре вопроса:

1. какую цель пытался достичь агент;

2. к каким данным он имел доступ;

3. с какой степенью уверенности он оценил полученный результат;

4. какие действия он предпринял.

В этом заключается разница между передачей, позволяющей человеку быстро принять решение, и передачей, которая требует полной реконструкции событий, прежде чем можно будет предпринять хоть какие-то действия.

Журнал аудита — это важный элемент архитектуры, а не второстепенное дополнение

Компонент управления, в который большинство организаций вкладывают недостаточно ресурсов, — это журнал аудита. Это не просто лог конечных результатов, а фиксация всей цепочки рассуждений. Если в мультиагентной системе что-то идет не так, необходимо проследить путь назад через каждый этап принятия решений. Лог результатов показывает, что произошло, а цепочка рассуждений позволяет понять, где именно произошел разрыв в системе ответственности.

Еще до начала развертывания следует определить, что именно должно фиксироваться на границе каждого агента: входные данные, сигналы об уровне уверенности, предпринятые действия и инициированные процессы передачи задач. Без такой структуры разбор инцидентов превращается в попытку угадать произошедшее — своего рода «криминалистику» на основе догадок.

Организации, которые пренебрегают этими шагами, не терпят краха одномоментно. Они деградируют постепенно: результаты их работы со временем теряют доверие, спустя месяцы обнаруживаются нарушения нормативных требований, а принятые решения невозможно проследить до конкретного ответственного лица.

Чтобы избежать такого сценария, ИТ-руководителям следует предпринять три шага:

1. Составить карту всех активных рабочих процессов, выполняемых автономными агентами, и для каждого результата определить конкретного ответственного сотрудника. Если в качестве ответственного указана команда или процесс, а не отдельный человек, назначьте конкретного сотрудника, прежде чем рабочий процесс будет запущен снова.

2. Проанализировать протоколы передачи задач на границах взаимодействия агентов. Если такие протоколы не зафиксированы письменно — составьте их прямо сейчас. Не дожидайтесь сбоя в рабочей среде, который выявит отсутствие регламента.

3. Провести аудит того, какие данные фиксируются в логах на границах взаимодействия агентов. Если логи содержат только конечные результаты, но не включают входные данные, показатели уверенности и этапы логических рассуждений — переработайте архитектуру логирования до начала масштабирования. Затраты на внедрение системы аудита после того, как произошел инцидент, значительно выше, чем расходы на ее создание на начальном этапе.