Измерение эффективности и производительности, достигаемое с помощью искусственного интеллекта, необходимо для достижения максимальной отдачи от инвестиций. Опрошенные порталом InformationWeek эксперты рассказывают о путях решения этой задачи.

Внедрение ИИ может помочь предприятиям работать более эффективно и продуктивно во многих внутренних и внешних областях. Однако чтобы получить максимальную отдачу от ИИ, CIO и другим ИТ-руководителям необходимо найти способ измерить текущие и будущие достижения.

Однако измерение вызванного ИИ повышения эффективности и производительности не является простым процессом, отмечает Мэтт Санчес, вице-президент по продуктам IBM watsonx Orchestrate. «Чтобы получить точное представление о влиянии ИИ на вашу организацию, необходимо учитывать множество факторов», — говорит он. По его мнению, ключ к оценке эффективности применения ИИ начинается с постановки четких, основанных на данных целей: «Каких результатов вы пытаетесь достичь? Определение правильных ключевых показателей эффективности (KPI), которые согласуются с вашей общей стратегией, — это отличное начало».

Обсуждение измерения эффективности ИИ немного напоминает дискуссию на тему «курица или яйцо», говорит Тим Гаус, руководитель направления «умного» производства Deloitte Consulting. «Необходимым условием для внедрения ИИ является доступ к качественным данным, но данные также необходимы, чтобы показать успешность внедрения», — отмечает он.

Поскольку число организаций, внедряющих ИИ, стремительно растет, исполнительные руководители и советы директоров теперь уделяют первостепенное внимание измеряемой окупаемости инвестиций. «Мы видим это на собственном опыте, работая с клиентами в производственной сфере, которые стремятся сделать производственные процессы более интеллектуальными и все более программно определяемыми», — говорит Гаус.

Сложности измерения эффективности ИИ

По словам Гауса, сложность измерения эффективности ИИ зависит от типа ИИ и того, как он в конечном итоге используется. Например, производители уже давно используют ИИ для предиктивного обслуживания и контроля качества. «Это может быть проще измерить, поскольку можно просто посмотреть на изменения в частоте поломок или дефектов продукции, — отмечает он. — Однако в более сложных сценариях использования ИИ — например, при использовании генеративного ИИ (GenAI) для обучения работников или сохранения знаний — бывает сложнее определить показатели воздействия и способы их получения».

Методы измерения эффективности ИИ-проектов

Для действующих ИИ-проектов измерение реальных результатов является ключевым моментом, считает Гаус. «Оно включает в себя изучение таких факторов, как фактическое сокращение затрат, увеличение доходов, непосредственно связанное с ИИ, и прогресс в таких KPI, как удовлетворенность клиентов или операционная производительность. Это позволяет организациям отслеживать как ожидаемые, так и фактические выгоды от инвестиций в ИИ с течением времени», — отмечает он.

По словам Гауса, чтобы эффективно оценить влияние ИИ на эффективность и производительность, важно увязать инициативы в области ИИ с более широкими бизнес-целями и оценивать их прогресс на разных этапах. «На ранних этапах компаниям следует сосредоточиться на оценке потенциальных выгод, таких как повышение эффективности, рост доходов или стратегические преимущества, например повышение лояльности клиентов или сокращение времени простоя оборудования. Эти прогнозы могут дать четкое понимание того, как ИИ согласуется с долгосрочными целями», — добавляет Гаус.

По словам Дэна Сперлинга, старшего вице-президента по управлению продуктами компании Teradata, измерение влияния технологии на эффективность и производительность часто требует времени, но оно всегда является одним из главных приоритетов для бизнес-лидеров при оценке любой новой технологии. «Предприятиям следует продолжать использовать проверенные системы измерения, а не создавать новые, — советует он. — Показатели должны быть установлены до начала любых инвестиций, чтобы максимизировать выгоду и смягчить предвзятость, такую как заблуждение о невозвратных затратах, предвзятость подтверждения, предвзятость привязки и т. п.».

Ключевые показатели ценности ИИ

По словам Гауса, показатели могут варьироваться в зависимости от отрасли и используемой технологии: «В таких отраслях, как промышленное производство, показатели ценности ИИ включают в себя повышение эффективности, производительности и сокращение расходов». При этом конкретные показатели зависят от типа применяемой технологии ИИ, например машинного обучения.

Помимо отслеживания показателей, важно обеспечить использование высококачественных данных, чтобы свести к минимуму предвзятость при принятии решений с помощью ИИ, отмечает Санчес. Конечная цель состоит в том, чтобы ИИ поддерживал человеческий персонал, позволяя пользователям сосредоточиться на стратегической и творческой работе и устраняя потенциальные «узкие места». «Важно также помнить, что ИИ — это не „раз и готово“. Это постоянный процесс, который требует регулярной оценки и корректировки по мере трансформации организации», — говорит он.

Сперлинг рекомендует начать с изучения трех ключевых показателей:

  • Производительность труда работника. Оценка ценности увеличения количества выполненных задач или сокращения усилий путем измерения влияния ИИ на повседневную деятельность, например, более быстрое решение проблем, более эффективное сотрудничество, сокращение технологических потерь или повышения качества продукции.
  • Способность к масштабированию. Внедрение инструментов самообслуживания на основе ИИ, обычно с поддержкой естественного языка, во всей организации за пределами ИТ-службы, чтобы обеспечить выполнение задач в режиме реального времени, без необходимости внешней поддержки или выделения дополнительных ресурсов.
  • Удобство для пользователей. Повышение эффективности организации за счет использования данных, измеряемое способностью нетехнических бизнес-пользователей использовать ИИ с помощью платформ no-code/low-code.

Согласование бизнеса и технологий

По словам Гауса, исследование компании Deloitte «Measuring Value from Digital Transformation Research» показало, что несогласованность действий бизнес- и технологических руководителей часто приводит к неточным оценкам рентабельности инвестиций. «Для решения этой проблемы обеим сторонам крайне важно согласовать ключевые приоритеты и показатели успеха», — отмечает он.

При этом важно смотреть не только на немедленную финансовую отдачу, но и включать показатели эффективности, основанные на инновациях, такие как терпимость к экспериментам и внедрение agile-методологий в работу команд. «Без такого более широкого взгляда до 20% инвестиций в цифровые технологии могут не принести полной отдачи, — предупреждает Гаус. — Решив эти вопросы согласования и отслеживая комплексный набор показателей, организации смогут получить максимальную отдачу от инициатив в области ИИ, способствуя долгосрочным инновациям».