Дэйв Канг, вице-президент и руководитель отдела анализа данных Capital One рассказывает на портале InformationWeek об опыте демократизации МО для нетехнических пользователей в масштабах этой холдинговой банковской компании.

До появления МО сложный и масштабный анализ массивов данных проводился статистиками. Сегодня организации все больше полагаются на MО для выполнения этой работы с большей точностью, скоростью и масштабом. По мере того как все больше компаний переходят на облачные технологии и начинают управлять большими данными, руководители предприятий задаются вопросом, как они могут расширить возможности науки о данных и MО для улучшения финансовых показателей.

Демократизации МО способствуют платформы для науки о данных и МО, которые могут предоставить эту технологию более широкому кругу пользователей, например, бизнес-аналитикам. По данным опроса Gartner «2022 Gartner CIO and Technology Executive survey», 48% респондентов уже внедрили или планируют внедрить ИИ/МО в ближайшие 12 месяцев. Им явно потребуются эти платформы, поскольку в большинстве организаций ощущается нехватка специалистов в области науки о данных и MО.

Мы демократизировали МО в Capital One путем создания внутренней платформы МО, которая предоставляет сотрудникам компании управляемый доступ к алгоритмам, компонентам и инфраструктуре для повторного использования. Это позволяет специалистам, не занимающимся наукой о данных и машинным обучением, использовать МО для принятия бизнес-решений и добиваться значительных результатов. В качестве примера можно привести систему защиты от мошенничества с кредитными картами, где для обнаружения аномалий и автоматического создания защитных мер мы используем размещенные на общей платформе собственные алгоритмы MО с открытым исходным кодом.

Основываясь на полученных нами знаниях, приведу несколько лучших практик для демократизации MО в масштабах организации: от модернизации вычислительной среды до стандартизации инструментов, процессов и платформ, а также использования автоматизации в производстве.

Модернизация вычислительной среды

Современная вычислительная среда использует мгновенное предоставляемые облаком инфраструктуру и вычислительные мощности, чтобы положительно повлиять на все этапы жизненного цикла разработки модели. Эта вычислительная мощность в масштабе позволяет обеспечить высокопроизводительную экосистему данных для поддержки принятия решений с возможностью:

  • проверять полноту и качество данных по мере их поступления в систему;
  • обеспечивать обнаружение и управляемый доступ к данным для анализа и разработки MО-моделей с целью получения значимых инсайтов;
  • масштабировать модели для параллельной обработки больших и сложных наборов данных.

Благодаря увеличению вычислительной мощности, обеспечиваемой облаком, анализ сложных и масштабных наборов данных проводится более эффективно, воспроизводится легче и становится демократичным для нетехнических специалистов.

Стандартизация инструментов, процессов и платформ

Стандартизация инструментов, процессов и платформ позволяет специалистам в области науки о данных и инженерам легче идентифицировать данные, получать к ним доступ и опираться на фундамент, созданный для развертывания моделей MО. Индивидуальные конвейеры моделей могут быть неэффективными и хрупкими, что препятствует масштабированию и делает MО недоступным для неспециалистов-практиков. Стандартизация включает в себя перевод команд на один и тот же стек, фокусирование на сотрудничестве, устранение изолированности и приоритет многократно используемых компонентов и фреймворков для всех усилий в области МО.

Разработка фундаментальных платформ может сделать МО-усилия адаптируемыми, хорошо управляемыми и масштабируемыми, что поможет практически во всех аспектах разработки, развертывания и поддержки моделей. Более того, общие платформы могут хранить информацию об обучении и выполнении моделей, такую как параметры и результаты, в повторяемом и доступном для поиска виде, чтобы модели было легче проверять и воспроизводить.

Усовершенствованный мониторинг и обучение моделей

Когда модели MО запущены в производство, автоматизация может помочь компаниям добиться непрерывного предоставления услуг по прогнозированию моделей. Автоматизация мониторинга и обучения MО-моделей может гарантировать работоспособность модели при ее запуске в производство и помочь командам принимать более точные решения о том, когда необходимо переобучить модель. Такая автоматизация дает инженерам уверенность в последовательной воспроизводимости и обслуживании.

Человеческий надзор за автоматизированным мониторингом и обучением моделей в организации очень важен. Управлять процессами, средствами контроля, мониторинга и технологической инфраструктурой для ответственного масштабирования MО может централизованный руководящий орган, обеспечивая при этом большую прозрачность усилий по разработке.

Автоматизация также улучшает работу разработчиков, позволяя технологам сосредоточиться на разработке функций и моделей вместо чрезмерно обременительного и ручного решения проблем.

По мере того как компании начинают масштабировать MО в масштабах предприятия, важно следовать лучшим практикам и поддерживать непрерывное обучение и тренинги. При ответственном подходе демократизация МО может предоставить широкому кругу нетехнических пользователей возможность проводить анализ и генерировать инсайты в масштабах предприятия. Это может обеспечить значимую бизнес-ценность для всей организации, как это произошло с нашей системой защиты от мошенничества с кредитными картами на основе MО.