Пилоты с ИИ-агентами сейчас есть почти у всех. Прод с агентами, которые реально трогают внешний мир, есть у немногих. Разница почти никогда в модели. Разница в том, где человек обязан сказать «да», прежде чем система сделает необратимое.
Если агент может сам писать клиентам, катить код в прод и тратить деньги, он уже не ассистент. Он оператор с правами. Без жёстких человеческих гейтов вы масштабируете не скорость, а риск.
Ниже — операционный паттерн, не продукт и не кейс конкретного бренда. Три гейта: отправка наружу (SEND), выкладка в прод (DEPLOY), деньги и лимиты (SPEND). Плюс что измерять до масштабирования и где обычно ломается.
1. Почему «агент без гейта» — операционный риск, а не фича
Демо любит показывать непрерывный цикл: агент прочитал задачу, сам решил, сам сделал. В проде тот же цикл бьёт по трём местам:
— наружу уходит сообщение, которое нельзя отозвать так же легко, как черновик;
— в прод уходит изменение, которое ломает чужой рабочий день;
— с карты или бюджета списывается сумма, которую потом разбирают юристы и финансы, а не инженеры.
Модель ошибается иначе, чем человек. Она уверена в слабом контексте. Она обобщает из похожего. Она пропускает редкий, но дорогой край. Поэтому «почти правильно» опаснее явной ошибки: явная ошибка ловится тестом, «почти» уходит в клиента.
Правило простое: всё, что необратимо снаружи системы, проходит через человека. Внутри можно автоматизировать смело. Снаружи — только через гейт.
2. Три обязательных человеческих гейта
SEND — отправка наружу
Сюда входит всё, что видит другой человек или внешняя система от вашего имени: письмо, сообщение в мессенджер, комментарий, заявка, ответ клиенту, публикация.
Минимум правил:
— черновик готовит агент;
— человек видит получателя, тему, полный текст и зачем это уходит;
— без явного «отправить» ничего не уходит;
— исключений «кроме срочных» быть не должно: срочность — лучший способ сломать гейт.
Что ломает SEND на практике: автоответы на неоднозначные письма, рассылки «по списку похожих», ответы в тред, где уже спорят люди. Если агент не отличает «информационный запрос» от «юридический / денежный / репутационный», SEND должен быть жёстче, а не мягче.
DEPLOY — выкладка в прод
Сюда входит всё, что меняет живую систему: сайт, конфиг, права доступа, прод-данные, включение новой автоматизации на реальном трафике.
Минимум правил:
— агент может собрать дифф, прогнать проверки, подготовить артефакт;
— человек смотрит, что именно меняется и как откатить;
— без явного «деплой» прод не трогают;
— «черновик/staging» не считается продом, даже если URL похож.
Что ломает DEPLOY: тихие правки «на один файл», правки в админке без диффа, включение флага для 100% аудитории без canary. Если нельзя показать откат одной фразой, это ещё не готово к человеческому «да».
SPEND — деньги и лимиты
Сюда входит всё, что двигает деньги или создаёт обязательство: реклама, подписки, облако, подрядчики, закупки, лимиты API с платным потолком.
Минимум правил:
— агент может оценить стоимость и собрать сравнение;
— человек задаёт потолок и период;
— без явного «тратить» деньги не уходят;
— снятие или смена лимита — тоже SPEND, не «настройка».
Что ломает SPEND: автопродления, «временные» апгрейды, агенты с сохранённой картой, кампании без дневного капа. Самый частый провал — не разовый платёж на тысячу, а тихий месячный вампир на десятки, который никто не отменял, потому что его «поставил агент».
Связка трёх гейтов
SEND без SPEND бессмысленен, если сообщение запускает платную цепочку. DEPLOY без SEND опасен, если выкладка включает автосообщения. SPEND без DEPLOY опасен, если деньги уходят в ещё не проверенный пайплайн. Гейты — не три галочки в разных местах. Это одна политика: необратимое снаружи = человек.
3. Что измерять до масштабирования
Пока нет цифр, гейты держат на страхе. Страх плохо масштабируется. Нужны простые счётчики:
— доля действий, остановленных человеком на SEND/DEPLOY/SPEND (если ноль — гейт декоративный или агент слишком трусливый);
— доля правок человека в черновике до отправки (если почти всё переписывается — агенту рано расширять права);
— число откатов DEPLOY за неделю и среднее время до отката;
— стоимость одного успешного шага и стоимость одной ошибки (включая время людей);
— число «почти правильных» инцидентов: ушло, потом чинили руками.
Масштабировать агента стоит только когда растёт доля чистых проходов через гейт при стабильной или падающей цене ошибки. Если скорость растёт, а цена ошибки тоже — вы ускоряете хаос.
4. Типичные провалы
Автоматизация бардака. Если процесс уже кривой, агент сделает кривое быстрее и чаще. Сначала упростить путь, потом отдавать агенту.
Подмена метрик. «Сделано задач» вместо «не сломали прод/не списали лишнее/не обидели клиента». Агент оптимизирует то, что вы считаете.
Нет аудита. Через неделю никто не скажет, кто нажал SEND и по какому черновику. Без лога гейт нельзя улучшить.
Исключения без срока. «Только сегодня без гейта» становится нормой. Любое исключение должно иметь дату конца и имя человека, который его взял на себя.
Смешение ролей. Один и тот же агент пишет клиенту, катит код и поднимает бюджет. Даже с гейтами лучше разделить контуры: меньше связок, проще остановить один контур.
Слишком широкий контекст. Агенту дали доступ «ко всему, вдруг пригодится». Пригодилось один раз. Утекло или сломалось навсегда. Контекст режется под задачу, не под страх упустить.
5. Как внедрять без театра
Неделя 1. Нарисовать карту: какие действия у вас уже необратимы снаружи. Повесить на каждое SEND, DEPLOY или SPEND. Где гейта нет — поставить ручной.
Неделя 2. Заставить агента готовить только черновики и диффы. Человек жмёт три кнопки. Логировать каждое решение.
Неделя 3. Смотреть правки человека и инциденты. Узкие классы задач, где правки редки, можно ускорять. Широкие и дорогие — оставлять жёсткими.
Неделя 4. Ввести лимиты SPEND и canary для DEPLOY. Не снимать гейт. Сужать круг задач, где «да» даётся быстрее, потому что риск измерен.
Цель не «человек всегда в цикле». Цель — человек всегда в цикле там, где цена ошибки не умещается в эксперимент.
6. Минимальный журнал гейта
Без журнала гейт нельзя улучшить и нельзя доказать аудиту. Минимум полей на каждое SEND / DEPLOY / SPEND:
— кто агент и какой контур (почта, прод, бюджет);
— что именно предлагалось (получатель/дифф/сумма и период);
— кто человек и когда сказал «да» или «нет»;
— что изменил человек в черновике до «да»;
— чем кончилось через
Журнал хранят там, где его реально читают: тикет, changelog, отдельная таблица. Скриншоты в личке не считаются. Если через неделю нельзя ответить «кто нажал и почему» — гейта по сути нет.
7. Короткий вывод
ИИ-агент в проде без человеческих гейтов — это ускоритель всего, включая ошибки. Три гейта закрывают три необратимости: слово наружу, изменение в живой системе, движение денег. Пока вы не считаете остановки, откаты и цену ошибки, масштабирование — вера, а не инженерия.
Автоматизируйте подготовку. Оставляйте человеку отправку, выкладку и траты. Тогда агент повышает темп, а не площадь поражения.
