Объединение ИТ-систем — вечная проблема, но сегодня наиболее актуальной темой является подход, применяемый CIO для обеспечения того, чтобы в процессе принятия решений использовались релевантные данные, считают опрошенные порталом ComputerWeekly эксперты.

Идея интеграции систем не нова. ИТ-отделы постоянно пытаются связать корпоративные приложения таким образом, чтобы лица, принимающие решения, имели под рукой необходимые им данные. В идеале вся эта информация должна быть собрана в единую приборную панель. Но поскольку корпоративные ИТ постоянно развиваются, каждое новое приложение предоставляет новый источник данных. Часто бывает так, что с момента развертывания приложения до момента, когда ИТ-отдел сможет полностью интегрировать его в приборную панель предприятия, проходит некоторое время.

Сегодняшние ИТ-системы являются экспоненциально более сложными. Существуют внутренние приложения, которые остаются постоянной головной болью для CIO. Далее следуют облачные развертывания, мультиоблака и ПО как услуга (SaaS), что означает, что корпоративные данные теперь находятся в двух совершенно отдельных сферах. Добавьте сюда подключение к бизнес-партнерам и сторонним источникам, и сразу станет ясно, что ИТ-отделу приходится вести нелегкую борьбу с сильной изолированностью корпоративных данных в гибридном мире.

Эти разрозненные источники данных необходимо интегрировать в системы поддержки принятия решений. Но, если выйти за рамки традиционной бизнес-аналитики, то интеграция данных также играет важную роль в продвинутой аналитике, искусственном интеллекте и машинном обучении.

«Существует нетривиальный вопрос управления данными в гибридном мире, — говорит ведущий аналитик Freeform Dynamics Тони Лок, — особенно там, где поставщики облачных решений предлагают передовые инструменты МО и анализа, которые могут работать с огромными объемами данных, поступающих из различных источников. Любой анализ, включающий информацию из различных источников данных, подразумевает наличие эффективного управления данными».

Помимо отсутствия достаточного управления данными, плохо интегрированные данные приводят к плохому обслуживанию клиентов. «В условиях цифровой экономики клиент ожидает, что вы будете знать и иметь готовое представление о каждой вашей транзакции и взаимодействии с организацией, — говорит ИТ-директор Tibco Рони Джонсон. — Если часть опыта клиента оказывается изолированной, то клиент страдает от плохого опыта и, скорее всего, перейдет к другому поставщику».

Разрушение таких «бункеров» данных требует изменений в бизнесе. «Построение сквозного управления данными требует организационных изменений, — говорит Николя Форгес, CTO консалтинговой компании Veltys. — Вам необходимо обучить как внутренний, так и внешний персонал для выполнения миссии компании по работе с данными».

Предприятия рискуют упустить общую картину с точки зрения выявления тенденций или определения индикаторов изменений, если у них отсутствует общеорганизационный подход к управлению данными и стратегия интеграции изолированных структур.

По опыту Джонсон, одной из причин плохой видимости данных является то, что бизнес-функции и корпоративные приложения часто децентрализованы. По ее словам, хотя внедрение SaaS повысило степень связанности, оно также позволило безмолвно разрастаться еще большему количеству информационных «бункеров».

«Чтобы получить максимальную отдачу от SaaS, организациям необходимы интегрированные данные, которые черпают информацию из всей организации, соединяясь с API внутри организации и ее партнерской сети, — говорит Джонсон. — Без стратегии интеграции данных организации не только не смогут максимально использовать возможности SaaS, но и создадут риск из-за не выявленных слабых мест в безопасности и конфиденциальности данных. Это приведет к снижению качества данных и, следовательно, доверия бизнеса к ним».

Технологическое наследие

Учитывая, что объем и использование данных постоянно меняются, ИТ-инфраструктура для поддержки доступа к данным, созданная всего несколько лет назад, уже не подходит для современных, требовательных к данным сценариев использования.

Forrester недавно определила три таких «оплота» стека интеграции данных, которые CIO должны начать выводить из эксплуатации. В отчете «The Forrester tech tide: Enterprise data integration, Q4 2021» аналитическая фирма рекомендует CIO рассмотреть возможность отказа от существующих инструментов интеграции корпоративной информации (EII), корпоративной сервисной шины (ESB) и традиционных/пакетных инструментов извлечения, преобразования и загрузки (ETL).

Хотя EII была ключевой технологией интеграции данных на протяжении десятилетий, исследование Forrester показало, что она не отвечает новым требованиям бизнеса к интеграции в реальном времени, полуструктурированным данным, интеграции облачных сервисов и поддержке возможностей самообслуживания. По данным Forrester, поставщики ПО EII сейчас переориентируют свои предложения на развивающиеся рынки виртуализации данных, ткани данных и сервисов данных.

Аналогичная история и с ESB. Forrester отмечает, что предприятия переходят от технологии ESB к новым предложениям, основанным на интегрированной платформе как услуге (iPaaS), ткани данных и виртуализации данных.

Что касается ETL, то доступ к унаследованным данным все еще является проблемой, с которой сталкиваются многие организации. Но пакетное перемещение этих данных с помощью ETL больше не соответствует требованиям бизнеса. Аналитики Forrester отмечают, что спрос на потоковую передачу данных в реальном времени, увеличение объема данных, поддержка гибридных и мультиоблачных платформ, а также новые источники данных значительно сдерживают рост этой технологии.

«Поскольку большинство новых аналитических развертываний использует публичное облако, новые инструменты облачного конвейера/потоковой обработки данных станут стандартным компонентом ETL», — прогнозирует Forrester.

Лидерство в интеграции данных

Рассматривая современный конвейер данных, Алекс Хаусли, генеральный директор и основатель MLOps-компании Seldon, говорит, что специалисты по анализу данных тратят большую часть своего времени на очистку данных. Работа инженера по данным заключается в привлечении данных из различных источников для создания живых потоков данных для обновления центрального озера данных, чтобы избежать ручного ETL.

Для достижения этой цели, по его словам, мы наблюдаем растущее внедрение Apache Kafka для потоковых данных. После того, как данные окажутся в центральном месте, их смогут использовать гражданские специалисты по данным в бизнес-подразделениях.

Джонсон считает, что интеграция данных должна стать частью повседневной деятельности, необходимой для управления корпоративными ИТ, а не разовым проектом: «Чтобы интеграция данных была успешной, она должна быть постоянной программой совершенствования бизнеса, которая носит итерационный характер. Такой подход должен быть основан на сбалансированных ожиданиях, долгосрочном выделении ресурсов, регулярном изменении приоритетов, гибком деловом партнерстве, постоянном обучении и совершенствовании. В таком случае интеграция данных будет иметь решающее значение для бизнеса и станет залогом успеха CIO и его программы преобразований».