Отслеживание производительности искусственного интеллекта имеет решающее значение. Однако традиционные ИТ-инструменты не справляются с этой задачей. CIO должны расширить свое видение и кругозор, считают опрошенные порталом InformationWeek эксперты.
Ни один уголок современного предприятия не остается незатронутым ИИ. Но по мере расширения сценариев использования и резкого роста внедрения появляются трещины в развертывании этой технологии. CIO все чаще сталкиваются с трудностями в отслеживании того, что делают системы ИИ, кто их использует и как они работают.
Во многих случаях CIO обнаруживают, что у них нет возможности отслеживать или измерять критически важные факторы, такие как дрейф модели, задержка, частота галюцинаций, снижение производительности, теневой ИИ и ухудшение результатов. Неудивительно, что по мере того, как системы ИИ принимают все более важные решения и обрабатывают критически важные действия, риски возрастают.
«CIO уверены, что знают, как ИИ развертывается в их организации, но обычно они не могут сказать, как он на самом деле работает», — отмечает Арнаб Чакраборти, директор по ответственному ИИ компании Accenture.
Согласно ИИ-индексу HAI 2026 Стэнфордского университета (на основе данных McKinsey), доля организаций, оценивших свою реакцию на инциденты, связанные с ИИ, как «отличную», снизилась с 28% в 2024 г. до 18% в
Вывод? В условиях быстро меняющегося пространства ИИ наблюдаемость имеет решающее значение. Однако ИИ требует принципиально иного подхода, чем традиционные ИТ-решения. «Для понимания повседневной производительности и управления рисками крайне важно мыслить шире традиционных ИТ-показателей», — считает Чакраборти.
Важность видимости производительности ИИ
Что отличает мониторинг ИИ от традиционного ИТ-мониторинга, так это непредсказуемость. Время безотказной работы, пропускная способность, коэффициенты использования и ошибки — показатели, которые лежат в основе ИТ — не отражают факторы и риски, характерные для ИИ. Это потому, что ИИ по своей природе является вероятностным. Одни и те же входные данные может давать совершенно разные выходные данные.
Эти проблемы могут принимать самые разные формы. CIO, как правило, знают предполагаемое назначение систем ИИ, но им не хватает понимания точности, задержки, пользовательского интерфейса, затрат и рисков. Им также приходится бороться с проблемами дрейфа моделей, поведения агентов и теневого ИИ. К сожалению, ни один поставщик не создал инструмент, обеспечивающий наблюдаемость на всех уровнях ИИ.
Проблема кроется в самом принципе работы ИИ. Это не единая модель с единственным результатом. ИИ обычно представляет собой набор компонентов: конвейеры данных, базовые модели, системы поиска, агенты и другие компоненты — все они взаимодействуют с людьми и рабочими процессами. Агентный ИИ вносит дополнительные риски. К ним относятся «каскадные ошибки, сбои интеграции, неясная ответственность и труднопредсказуемое поведение, возникающее при взаимодействии нескольких агентов в рамках рабочих процессов», — говорит Илана Голбин Блюменфельд, партнер по ответственному ИИ в PwC US.
Неправильно откалиброванная политика поиска может исказить результаты в десятке последующих приложений. Дрейф векторной базы данных может проявляться в виде галлюцинаций в чат-боте. По мере того, как предприятия объединяют агентов для выполнения более длительных задач, количество потенциальных проблем увеличивается быстрее, чем появляются инструменты, предназначенные для мониторинга среды. «Это не просто линейный эффект, это эффект накопления», — отмечает Чакраборти.
Часто эти проблемы остаются незамеченными в течение недель или месяцев — пока что-то внезапно не сломается. Это происходит потому, что уровень снижения производительности незаметен — до тех пор, пока он не проявится. «Если вы не вмешаетесь достаточно рано, через несколько дней вы можете внезапно оказаться в нежелательном положении», — говорит Грейс Тринидад, директор по исследованиям в области безопасности и доверия к ИИ в IDC.
По ее словам, существующие панели мониторинга и инструменты безопасности не могут решить эту проблему. Большинство из них полагаются на оценки риска и рейтинги уверенности, которые недостаточны и совершенно непрозрачны применительно к ИИ. Фактически, две организации могут запускать идентичные модели и получать совершенно разные представления об одном и том же факторе риска. «Нет стандартизации того, что входит в оценку риска», — говорит она.
Как развивается мониторинг ИИ
Нельзя управлять тем, чего не видишь. Microsoft обнаружила, что 73% организаций выявили несанкционированные инструменты ИИ в своих сетях, однако только 28% имеют комплексные возможности мониторинга или блокировки. Исследование McKinsey «2026 AI Trust Maturity Survey» показало, что средний показатель зрелости организаций составляет 2,3 из 4, при этом только около трети достигли уровня зрелости 3 или выше в области стратегии, управления и контроля за агентным ИИ.
«Одна из самых больших проблем для организаций заключается в том, что они по-прежнему отслеживают ИИ как традиционное ПО. Они видят, что инфраструктура ИИ работает, но не понимают, почему она выдает плохие или ненадежные результаты», — говорит Блюменфельд. Часто организации разрабатывают процессы предварительной оценки рисков и сбора информации, которые не учитывают фактическое использование системы ИИ и то, как риски внутри приложения могут меняться. «Ключевым моментом является выбор инструментов, которые могут интегрироваться в мультиоблачных, мультимодельных и агентных средах ИИ», — отмечает она.
Фактически, наблюдаемость ИИ быстро развивается в сторону полной видимости всего стека, а также более тонкого понимания поведения ИИ. В этом мире телеметрические данные отходят на второй план по сравнению с такими вещами, как семантическое сопоставление и интерпретация намерений, непрерывный мониторинг и аудит, представления и элементы управления, соответствующие ролям, и инструменты, которые более комплексно контролируют требования безопасности и регулирования. По словам Блюменфельд, эти инструменты должны охватывать управление, мониторинг инфраструктуры и видимость на уровне моделей.
Надежный процесс обнаружения является основополагающим, считает Тринидад. Важно каталогизировать модели, агентов, владельцев, версии, контексты развертывания и журналы — предпочтительно в реестре ИИ. Имея четкое представление о том, что должны делать системы, и понимание того, что нужно изменить, предприятие может начать внедрять мониторинг во всю систему. С помощью этой информации CIO могут выявлять отклонения данных и моделей, снижение производительности, галюцинации, теневой ИИ и риски безопасности до того, как они вызовут проблемы или нанесут ущерб репутации.
Многоуровневый мониторинг также требует автоматизированных механизмов защиты, отмечает Чакраборти. Это означает установление правильных пороговых значений для ключевых факторов, включая частоту галюцинаций, задержку, смещение, конфиденциальность, затраты, отклонения данных и моделей, соответствие нормативным требованиям и качество выходных данных. Также требуется правильное сочетание инструментов от гиперскейлеров и сторонних поставщиков для управления и измерения задач.
Благодаря интегрированной плоскости управления — единому архитектурному слою, который собирает и отображает все сигналы — менеджеры и руководители из разных отделов могут видеть то, что действительно важно для них. Например, директор по управлению рисками видит пороговые значения рисков и нарушения, финансовый директор отслеживает потребление и стремительный рост затрат на облачные сервисы, руководитель отдела кадров видит влияние на персонал, а инженеры держат руку на пульсе вопросов аудита и объяснимости. «Это формирует вашу ДНК, почти как нервную систему для вашего ИИ», — говорит Чакраборти.
Куда движется наблюдаемость ИИ
«CIO следует рассматривать наблюдаемость ИИ как основной принцип проектирования, а не как нечто добавляемое после развертывания», — считает Блюменфельд. Она также отмечает, что важно рассматривать наблюдаемость как межфункциональную инициативу, охватывающую ИТ, бизнес, управление рисками и соблюдение нормативных требований, а также внутренние аудиторские группы. «Отрасль выходит за рамки мониторинга отдельных моделей ИИ и переходит к мониторингу целых экосистем агентов, уровней оркестровки, конвейеров данных и автономных рабочих процессов», — говорит она.
Если организации правильно учитывают эти параметры, они могут масштабировать ИИ быстрее и безопаснее, контролировать затраты даже при росте рабочей нагрузки, создавать безупречный аудиторский след и повышать доверие клиентов. По прогнозам Gartner, инвестиции в мониторинг больших языковых моделей к 2028 г. составят 50% от общего числа внедрений генеративного ИИ, по сравнению с 15% сегодня.
Безусловно, наблюдаемость ИИ — это не дополнительный элемент, и он не следует стандартной формуле ИТ-инфраструктуры. Это фундаментальный элемент, который необходимо встроить в структуру ИИ. «Организации, которые с самого начала правильно подойдут к этому вопросу и инвестируют в развитие соответствующих возможностей, станут лидерами в эпоху ИИ», — считает Чакраборти.
