Подход «человек в курсе» (Human-on-the-Loop, HOTL) заменяет микроменеджмент в подходе «человек в контуре» (Human-in-the-Loop, HITL) структурированной автономией искусственного интеллекта. Стив Уилсон, директор Exabeam по искусственному интеллекту и продуктам, рассказывает на портале The New Stack о том, как безопасно масштабировать агентов ИИ с помощью структур управления.

За последние два года большая часть разговоров об ИИ была сосредоточена на рисках, и это правильно — джейлбрейки, утечки данных и непреднамеренные действия очень опасны. Но сегодня вопрос уже не в том, что «ИИ — это рискованно», а в том, как «как мы можем безопасно масштабировать ИИ».

Агенты ИИ становятся более зрелыми, а сценарии их использования расширяются. Рассуждения ИИ быстро совершенствуются. Агенты пишут код, сортируют оповещения, разрешают тикеты, составляют черновики отчетов — и они делать это на производстве, а не только в лабораториях. Сейчас насущный вопрос заключается не том, опасно ли эти агенты. Насущный вопрос заключается в том, создали ли вы правильную модель управления, позволяющую им работать безопасно и продуктивно.

Пришло время перейти от подхода «человек в контуре» к подходу «человек в курсе».

Эволюция: от инжиниринга подсказок к надзору за агентами ИИ

Эпоха «копирования-вставки» для ИИ осталась в прошлом. Сегодня правят агенты.

Давайте рассмотрим эволюцию действий ИИ за последние пару лет. Мы начали с ChatGPT. Он мог генерировать идеи, составлять черновики писем или писать фрагменты кода. Но всем циклом автоматизации управлял человек. Вы копировали, вставляли, запускали код и контролировали его выполнение. ИИ действовал реактивно. Вы были главным, потому что выполняли всю работу.

Затем появились такие инструменты, как Cursor, который предоставил ИИ больше возможностей в рабочих процессах кодирования. Ему было позволено напрямую читать и записывать файлы, выполнять команды и изменять вашу кодовую базу. Однако при типичном использовании он часто приостанавливался, обращаясь к разработчику-человеку за советом или разрешением, прежде чем предпринимать большинство действий. Даже если взаимодействие с человеком было таким же простым, как многократное нажатие клавиши Tab, человек все равно был вовлечен полностью и ежеминутно. На практике это был подход «человек в контуре»: ИИ работает, но управляет им человек.

Теперь мы наблюдаем появление другой модели, особенно в таких инструментах, как Claude Code, которые опираются на режимы работы, обеспечивающие большую автономность. Вы по-прежнему можете запускать Claude Code консервативно, но многие разработчики теперь позволяют ему работать более автономно. Вместо постоянной проверки он представляет план, получает одобрение один раз, а затем выполняет его в несколько этапов — написание, тестирование, отладка и итерация. Эти неконтролируемые этапы рабочего процесса, которые раньше длились секунды между получениями одобрения человеком, теперь часто могут длится десятки минут и более.

Вы все еще вовлечены. Вы мониторите. Но вы не занимаетесь микроменеджментом. Это уже подход «человек в курсе» — и он быстро становится единственным жизнеспособным путем к масштабированию.

И это касается не только программного обеспечения. В сфере обороны разворачиваются те же дебаты: военачальники размышляют о том, следует ли разрешить автономным беспилотникам совершать смертоносные действия без участия человека. Это не научная фантастика. Это архитектура систем национального масштаба.

Создание безопасной автономии: схема внедрения HOTL

HOTL — это не только о рабочих процессах разработчиков. Это о масштабировании автономии везде, где машины действуют от нашего имени.

Наиболее зрелые примеры сегодня — в сфере разработки ПО, но те же шаблоны проявляются во всех областях:

  • агенты продуктивности управляют календарями, документами и взаимодействиями;
  • боты службы поддержки клиентов решают проблемы и маршрутизируют тикеты;
  • автономные системы действуют в логистике, финансах и инфраструктуре.

И за пределами корпоративной тематики последствия еще более значительны. Вопрос о том, когда машина должна действовать независимо, а когда она должна подчиняться человеку, это не только вопрос кодирования. Это вопрос политики, безопасности и этики.

Как на самом деле выглядит безопасная автономия

«Человек на связи» не означает снятие ограничений безопасности. Это означает создание систем, которые не зависят от постоянного вмешательства, чтобы сохранять безопасность.

Если вы хотите, чтобы ваши агенты действовали продуктивно и ответственно, не приводя к выгоранию своих кураторов-людей, вам необходимы:

  • Инструменты с наименьшими привилегиями. Не предоставляйте своему агенту общие разрешения. Ограничьте то, к чему он может получить доступ и какие инструменты он может использовать. Меньшая поверхность доверия = меньший риск.
  • Наблюдаемость во время выполнения. Отслеживайте действия вашего агента в режиме реального времени. Это касается команд, редактирования файлов, использования инструментов и внешних вызовов. А не только журналов — телеметрии.
  • Триггерные вмешательства. Проектируйте с учетом эскалации. Агенты должны останавливаться, уведомлять или подключать людей в случае возникновения непредвиденных ситуаций или действий с высоким риском.
  • Верификационные конвейеры. Выходы агентов — особенно те, которые влияют на системы или пользователей — должен проходить через верификационные конвейеры, как и человеческий код в CI/CD.
  • Ведение журнала, который раскроет причины инцидента. Когда что-то пойдет не так, вы сможете увидеть, что произошло и почему. Отслеживание не является опциональным — оно является основополагающим.

Межфункциональное управление системами агентов ИИ

Если вы руководите усилиями по трансформации на основе ИИ — в качестве директора по ИИ, руководителя продукта или функционального лидера — этот сдвиг напрямую влияет на вас. Вы не можете полагаться только на свою инженерную команду, чтобы установить границы поведения агентов. Это вопрос межфункционального управления:

  • Правовые и нормативные аспекты должны учитываться в определении приемлемой автономии.
  • Продуктовым и UX-командам необходимо определить, где происходит передача управления между агентом и пользователем.
  • Безопасность должна быть спроектирована таким образом, чтобы обеспечивать мониторинг и сдерживание во время выполнения.
  • Без межфункционального управления агенты ИИ становятся помехой в повышении производительности или, что еще хуже, препятствием в обеспечении безопасности.

Переход на HOTL меняет вашу операционную модель. Игнорирование этого не позволит отложить изменения — это просто гарантирует, что ваша организация не будет готова, когда они наступят.

Вы не сможете это пересидеть

Наиболее эффективными агентами сегодня являются те, которые действуют в условиях структурированной автономии. Не зарегулированно. Не вседозволенно. Просто быстро, умело и под присмотром.

Это и есть HOTL. Это не компромисс. Это план.

Если вам по-прежнему требуется человеческое одобрение на каждом шагу, вы сами себя закупориваете. Если вы передаете полный контроль модели без надзора, вы сильно рискуете. Но если вы структурируете своих агентов с помощью ограждений, наблюдаемости и хорошо продуманных границ автономии, вы раскроете истинную ценность агентного ИИ — в масштабе.

Так что перестаньте ждать разрешения. Перепроектируйте свои системы. Определите свои границы. И оставьте человека в курсе дела вместо микроменеджмента.