Концепция сетки данных (data mesh) появилась в качестве возможной выгодной альтернативной архитектуры данных. Джастин Боргман, генеральный директор Starburst Data, разъясняет на портале Information Age эту новую концепцию и архитектурные изменения, которые она может привнести в большие данные.
Данные лежат в основе всего, что мы делаем, и эта тенденция не замедляется, особенно в условиях пандемии, ускоряющей цифровую трансформацию и обновляющей представления компаний о своих данных. По данным McKinsey, цифровизация компаний по всему миру за несколько месяцев совершила семилетний рывок, поскольку предприятия быстро перевели свою деятельность в онлайн, а миллионы людей были вынуждены работать удаленно. Такой резкий рост цифровых активов и процессов означает, что данных накапливается больше, чем когда-либо прежде, и аналитика данных играет ключевую роль в формировании бизнеса.
Ценность данных в современном мире
Разнообразие источников данных, доступных сегодня, позволяет организациям выявлять тенденции и делать прогнозы относительно своего бизнеса с помощью анализа данных, что раньше считалось невозможным. Именно такие организации, ориентированные на данные, добиваются успеха в современном цифровом мире. Объем рынка аналитики данных достигнет к 2023 г. 103 млрд. долл., поскольку организации требуют более ценных и действенных выводов из своих данных. Однако, хотя организации стремятся найти правильные инструменты и решения для своих проблем с данными, существуют также человеческие сложности, связанные с управлением данными, которые создают препятствия для успеха.
На арену выходит «сетка данных»
Сетка данных — это принципиально новый подход к преодолению этих барьеров. Как многие команды разработчиков ПО перешли от монолитных приложений к микросервисным архитектурам, так и сетка данных во многом является версией микросервисов для платформы данных, за исключением того, что она в равной степени направлена как на устранение человеческих, так и технических узких мест. По замыслу Жамака Дехгани, главного консультанта по технологиям компании ThoughtWorks, сетка данных признает, что данные естественным образом децентрализованы в организации и что, вопреки всем прежним представлениям о хранилищах данных, эта децентрализация на самом деле является благом!
Вместо того, чтобы иметь централизованную монолитную платформу для всех ваших данных, data mesh рассматривает каждую группу специалистов, управляющих определенным набором данных, как «домен», который отвечает за производство «продуктов данных», которые затем потребляются любым сотрудником организации в режиме самообслуживания. В основе этой философии лежит распределенная архитектура, в которой каждый домен имеет своих владельцев продуктов данных, что в конечном итоге позволяет компании достичь большей скорости и масштаба аналитической деятельности.
Будущее управления данными
Data mesh — это новый путь к управлению данными. Поскольку объемы данных будут расти на 19,2% в год, организациям любого размера крайне важно пересмотреть свою стратегию построения архитектуры данных, способной выдержать испытание временем. Сетка данных предлагает компаниям демократизировать доступ к данным и управление ими, рассматривая данные как продукт, курируемый и управляемый самими предметными специалистами. Если вы обеспокоены масштабируемостью модели хранилища данных, подход на основе сетки данных заслуживает вашего серьезного рассмотрения.
