Для ускорения работы в области интеграции данных компании оценивают и внедряют ряд инновационных технологий. О некоторых новых подходах, представленных в отчете «The Forrester tech tide: enterprise data integration, Q4 2021», на портале ComputerWeekly рассказывает главный аналитик и вице-президент Forrester Ноэль Юханна.
Интеграция данных играет все более важную роль в способности компаний завоевывать, обслуживать и удерживать своих клиентов. Предприятия все чаще сталкиваются с проблемами интеграции данных, в первую очередь из-за растущего объема данных, давления со стороны нормативных требований, потребности в информации в режиме реального времени, повышенной сложности данных и распределения данных в гибридных и мультиоблачных средах. Бизнес-пользователи хотят иметь быстрый доступ к надежной информации в реальном времени, которая поможет им принимать более эффективные бизнес-решения.
Современная стратегия интеграции данных имеет решающее значение для поддержки нового поколения требований к данным и аналитике, включая
Современные технологии интеграции данных фокусируются на продвинутой автоматизации, подключенной аналитике данных и интерактивных инструментах на основе персон, помогая организациям реализовывать различные сценарии и выполнять интеграционные требования.
Распределенные гибридные и мультиоблачные данные создают новые проблемы интеграции. Данные находятся повсюду, поэтому их централизация в озерах данных или хабах данных для поддержки бизнес-инсайтов уже нецелесообразна, особенно в условиях бурного роста объема данных на периферии. Forrester ожидает, что в ближайшие годы будут активно внедряться системы интеграции данных, поскольку организации ищут поддержку инсайтов в мультиоблачных, гибридных облачных и периферийных средах.
Движущей силой следующего уровня решений по интеграции данных является ИИ. Новые и инновационные функции ИИ помогают предприятиям автоматизировать функции интеграции данных, включая ввод, классификацию, обработку, защиту и преобразование данных. Хотя возможности ИИ в интеграции данных еще только формируются, уже сегодня лидеры в области архитектуры и доставки технологий могут использовать их в следующих областях: обнаружение связанных данных, классификация и категоризация конфиденциальных данных, выявление дубликатов и оркестровка изолированных данных.
Интеграция данных в реальном времени становится критически важной для поддержки современных требований. В условиях ускорения темпов ведения бизнеса крайне ценными являются инсайты в реальном времени, что требует от предприятий сосредоточиться на платформах, способных быстро предоставлять аналитические данные. Организации часто называют поддержку данных в реальном и близком к реальному времени в качестве основного требования к интеграции данных, в первую очередь для поддержки современных инициатив по работе с клиентами.
Спрос бизнеса смещается в сторону решений по интеграции данных, ориентированных на конкретные сценарии использования. Эта новая и развивающаяся категория обеспечивает оптимизированную и комплексную сквозную интеграцию данных, автоматизируя процессы ввода, интеграции, защиты и преобразования для новых и развивающихся бизнес-сценариев, таких как «Customer 360» и аналитика Интернета вещей (IoT).
В рамках карты будущего технологий в экосистеме интеграции данных, Forrester относит к категории экспериментальных четыре технологии: данные как услуга, сетка данных, граф знаний и ускоритель запросов. Считается, что пока они имеют низкий уровень зрелости и невысокую бизнес-ценность. Большинству предприятий следует ограничить свое знакомство с этими технологиями некоторыми экспериментами, ожидая, пока бизнес-ценность этих новых категорий повысится, прежде чем инвестировать в них.
Данные как услуга
Технология «данные как услуга» (DaaS) — также известная как «данные как продукт» (DaaP) — предоставляют общий уровень доступа к данным через программные интерфейсы приложений (API), SQL, ODBC/JDBC и другие протоколы, используя платформы данных, такие как виртуализация данных, сетка, «интеграционная платформа как услуга» (iPaaS) и др. Они являются частью нового поколения передовых технологий интеграции данных, которые сосредоточены на общем уровне доступа к данным для ускорения различных сценариев использования.
DaaS/DaaP предоставляет уровень доступа к данным для поддержки запросов, отчетности, а также интегрированных и заказных приложений. Технология предлагает несколько преимуществ для бизнеса, включая поддержку общего представления данных о бизнесе и клиентах с использованием стандартных отраслевых протоколов.
Forrester ожидает, что в ближайшие годы DaaS/DaaP будет продолжать расти, поскольку спрос на надежные данные в режиме реального времени растет во многих приложениях. Скорее всего, мы увидим дальнейшие инновации в области обновления, интеграции и возможностей самообслуживания в реальном времени.
Сетка данных
Data mesh дает возможность оптимизировать смешанные рабочие нагрузки путем согласования вычислительных механизмов и потоков данных с нужными сценариями использования. Она взаимодействует с событийно-ориентированной архитектурой, обеспечивая поддержку периферийных сценариев использования.
Сетка данных — это архитектура, обеспечивающая коммуникационную плоскость для приложений, машин и людей. Она согласовывает данные, запросы и модели с решениями, чтобы все стороны — люди и машины — были синхронизированы и говорили на одном языке.
Это позволяет разработчикам, инженерам по данным и архитекторам стать более продуктивными и ускорить реализацию различных сценариев использования в бизнесе.
Технология сетки данных все еще находится в зачаточном состоянии. Она использует сервисную сетку для данных, модель публикации/подписки (pub/sub) для периферии, а также встроенные и локальные хранилища и коммутацию для поддержки нативной облачной архитектуры. Скорее всего, в долгосрочной перспективе мы увидим, как data mesh превратится в платформу.
Граф знаний
Граф знаний использует графовые движки для поддержки сложных соединений и интеграции данных. Он помогает создавать рекомендательные механизмы, очищать данные, выполнять предиктивную аналитику и быстро соединять данные. Благодаря этой технологии разработчики, инженеры и архитекторы данных могут быстрее работать с беспорядочными, несвязанными данными для ускорения разработки приложений и получения новых бизнес-инсайтов.
Knowledge graph применяет графовую модель данных для хранения, обработки и интеграции связанных данных, создавая базу знаний для ответов на сложные вопросы и современных инсайтов.
Как технология интеграции данных, графы знаний все еще развиваются в плане поддержки автоматизации, встроенного ИИ/МО и возможностей самообслуживания.
Ускоритель запросов
Рынок ускорителей запросов набирает обороты, они помогают разработчикам и инженерам по данным быстро оптимизировать запросы и перемещать вычисления ближе к данным, тем самым минимизируя перемещение данных. Эта технология полезна, когда данные хранятся в озерах данных, объектных хранилищах или сложных хранилищах данных, где настройка запросов зачастую не является простой задачей.
В отличие от систем виртуализации данных, ускорители запросов ускоряют запросы благодаря улучшенному оптимизатору запросов, перемещению вычислений ближе к данным и получению только избранных данных из таких источников, как распределенные базы данных, хранилища данных, озера данных, объектные хранилища и файлы.
Ускоритель запросов помогает предприятиям ускорить аналитику и поиск данных с помощью упрощенных запросов, которые могут выполнять бизнес-аналитики, бизнес-пользователи и ИТ-подразделения.
Forrester ожидает, что в ближайшие годы технология получит дальнейшее развитие: в продукты ускорителей запросов будут встроены усовершенствованные ИИ/МО и интеллектуальный анализ данных, повысится производительность запросов и улучшиться масштабирование с меньшими вычислительными ресурсами и более автоматизированной интеграцией распределенных данных.
