Сейчас в каждой отраслевой дискуссии об искусственном интеллекте, кажется, повторяется одно и то же предупреждение: ИИ будет выполнять бóльшую часть рутинной работы, доходы от услуг сократятся, а бизнес-модели, основанные на численности персонала, должны измениться, чтобы оставаться конкурентоспособными, пишут в корпоративном блоге Шилпи Ханда, заместитель директора IDC по исследованиям (регион META), и Шари Лава, вице-президент группы IDC по ИИ, данным и автоматизации.
Это предупреждение не ошибочно. Но это лишь половина истории. Оно описывает только то, что ИИ может отнять у рынка по мере трансформации бизнеса. Почти никто не говорит о том, что ИИ создает одновременно: большой, устойчивый, пока невостребованный спрос на специфическую функцию проверки правильности выполнения работы ИИ.
Существует исследование
Авиационная отрасль продемонстрировала реальную значимость этой идеи. В 1987 г. самолет Northwest Airlines разбился при взлете из Детройта, погибли 154 из 155 человек на борту. Экипаж привык к автоматизированной системе, которая проверяла правильность настройки закрылков и предкрылков для взлета. В тот день автоматическая проверка была отключена из-за сработавшего выключателя. Экипаж, привыкший к тому, что машина обнаруживает эту ошибку, не стал проверять её вручную. Самолёт пытался взлететь без настройки и не смог. В тот день ничего необычного не произошло: просто ординарная, очень человеческая ошибка — нежелание провести проверку, которую автоматизация незаметно сделала ненужной.
Это закономерность. И она снова проявляется прямо сейчас во всех областях, где широко используются ИИ-помощники, и люди уже сталкиваются с этим. Молодые юристы перекладывают на ИИ юридические исследования и первые черновики — именно те упражнения, которые раньше формировали способность к юридическому суждению, — и фирмы открыто обеспокоены тем, что их новые сотрудники вообще не развивают способность оценивать результаты работы ИИ.
Несколько отраслевых исследований 2026 г. в области разработки ПО указывают на аналогичную проблему: младшие разработчики, не имеющие базовых знаний в области архитектуры и безопасности, не могут надёжно судить о качестве кода, написанного ИИ, и по умолчанию доверяют ИИ больше, чем своим собственным инстинктам, которые так и не развились. На отраслевых мероприятиях по безопасности об этом было сказано более прямо: начинающие инженеры, выросшие на программировании с использованием ИИ, все чаще испытывают недостаток базовых знаний в области сетей и протоколов, до такой степени, что командам трудно даже объяснить внутреннюю угрозу безопасности, не говоря уже о ее выявлении.
Итак, вопрос, который задают люди, но на который очень немногие дают ответ: да, рутинные, повторяющиеся задачи будут автоматизированы, эта часть истории верна и не вызывает сомнений, но у кого будут навыки проверки того, что сгенерировал ИИ? Кто сможет, взглянув на результат работы автономной системы, понять, правилен ли он, опираясь на реальный практический опыт? И когда что-то пойдет не так, когда ИИ нужно будет остановить, исправить или перезапустить посреди задачи, у кого еще останется мышечная память для этого? Все стремятся создать автоматизацию. А кто создаст возможности для ее проверки?
Версия этой проблемы, связанная с кибербезопасностью
Кибербезопасность — это наиболее острая версия этой проблемы на данный момент, потому что автоматизация в области кибербезопасности не просто на очереди, она уже здесь, работает без контроля, в производственной среде.
Каждая крупная платформа SOC переходит от «второго пилота» (ИИ отвечает на вопросы, человек действует) к «агентному ИИ» (ИИ действует, человек получает уведомление после этого). Автономные агенты сортировки теперь самостоятельно закрывают оповещения о низком риске и запускают действия по локализации с высокой, по их собственным оценкам, точностью, измеряемой, естественно, поставщиком, разработавшим систему, на основе собственных размеченных данных этого поставщика. В настоящее время нет независимой стороны, проверяющей эти данные. И среди специалистов явно существуют разногласия относительно того, насколько им можно доверять: сейчас часто можно услышать, как команды безопасности признаются, что они игнорируют рекомендации, сгенерированные ИИ, вместо того, чтобы действовать в соответствии с ними, потому что результат звучит уверенно, даже когда он иногда оказывается неверным. ИИ обучается на основе научных статей, поэтому в нем заложена предвзятость в сторону уверенности.
Та же картина наблюдается и в тестировании. Автономные ИИ-агенты тестирования теперь находят и сообщают о реальных уязвимостях быстрее, чем это могла бы сделать любая человеческая команда. Это настоящее достижение. Но это уже нарушило конвейер обнаружения уязвимостей: по крайней мере, одна крупная платформа по поиску ошибок приостановила давно действующую программу поощрений и сократила выплаты после того, как исследования с помощью ИИ увеличили объем заявок далеко за пределы того, что могли обрабатывать сопровождающие, а несколько Open Source-проектов приостановили свои программы вознаграждений из-за потока правдоподобно звучащих, низкокачественных отчетов, созданных ИИ. Ограничения в наступательной безопасности заметно сместились с поиска проблем на их проверку, но почти никто не продает услуги проверки.
Это, совершенно точно, пробел, и в сфере кибербезопасности для него пока нет названия. Итак, давайте дадим ему два.
AVaaS (AI Validation-as-a-Service): валидация ИИ как услуга. Название позаимствовано по аналогии с PTaaS (пентест как услуга) и MDR (управляемое обнаружение и реагирование), которые уже привычны для покупателей услуг в области безопасности, и применено к категории, у которой пока нет названия. Задача независимой стороны — сверить то, что на самом деле решил ваш ИИ, с тем, что, по его словам, он решил. Это означает, что автономные действия SOC будут сравниваться с эталонными данными, которые не создавались ИИ. Это означает, что результаты автономного пентеста будут проверяться так же, как старший тестировщик со скепсисом относится к отчёту младшего: не только на предмет того, попал ли он в цель, но и на предмет того, был ли путь к цели верным. Это не оценка и не использование большой языковой модели в качестве судьи под новым названием. AVaaS — это независимая и подотчётная проверка, проводимая человеком. Это именно то, что требуется регулятору, совету директоров или клиенту, и именно то, для чего никогда не предназначалась оценка.
AJQ (AI Judgment Quotient): оценка суждений ИИ. Индивидуальная версия той же идеи: способ обозначить конкретный навык, который можно развить, — умение понимать, когда стоит доверять выводам ИИ, а когда — оспаривать их, отдельно от умения правильно формулировать запросы к ИИ, которым сейчас все одержимы. Умение формулировать промпты позволяет получить более качественный и быстрый ответ, как если бы вы задали вопрос человеку. AJQ — это то, что позволяет понять, правильный ли получен ответ. Пока никто не нанимает людей с таким навыком. Но это ненадолго.
Попутный аспект комплаенса, который почти никто не учитывает
Есть также регуляторный аспект, и его стоит уточнить, поскольку обобщенная версия этого аргумента его преувеличивает. Большинство повседневных применений ИИ в сфере кибербезопасности, например, «второй пилот» SOC, занимающийся сортировкой фишинга, или агент пентестинга, сканирующий SaaS-приложение, автоматически не подпадают под правила высокого риска Закона ЕС об ИИ. Но одна категория в рамках этого закона напрямую относится к кибербезопасности. Это системы ИИ, используемые в качестве компонента безопасности при управлении и эксплуатации критической цифровой инфраструктуры: коммунальные предприятия, операционные технологии и системы управления промышленными процессами, где сбой системы безопасности или обнаружения аномалий может иметь физические последствия. По умолчанию это системы высокого риска, и закон требует реального, работающего человеческого контроля: человека, который может отслеживать, понимать, отключать и останавливать систему на практике, причем эта возможность должна быть продемонстрирована, а не предполагаться.
Регуляторы не будут удовлетворены политикой, которая гласит, что существует аварийный выключатель. Они будут спрашивать, пытался ли кто-нибудь его активировать под давлением и подтвердил ли он его работоспособность. Это конкретное, проверяемое утверждение, и его легко продать. Крайний срок просто перенесли на декабрь 2027 г. Эта более поздняя дата дает запас времени, чтобы стать очевидным, заслуживающим доверия и подтвержденным поставщиком в этой области, прежде чем каждая консалтинговая фирма в мире начнет демонстрировать тот же самый слайд.
Это реальная ниша. Оригинальная рыночная категория, без существующих игроков, созданная на основе трех вещей, которые, независимо друг от друга, проверяемо верны прямо сейчас: ИИ уже принимает неконтролируемые решения по безопасности в производственной среде; люди, которые исторически могли выявлять его ошибки, — это те же самые люди, чьи базовые навыки незаметно разрушаются из-за бездействия; и регулятор вот-вот начнет письменно спрашивать, проверял ли кто-нибудь это на самом деле. Итак, посмотрим, кто создаст этот рынок первым.
