Временные ряды повсюду, они поступают потоком с промышленных датчиков, встраиваемых устройств и программных систем в больших масштабах и с такой скоростью, на которые традиционные архитектуры данных никогда не были рассчитаны, пишет на портале BigDATAwire Эван Каплан, генеральный директор InfluxData.

В критические моменты ценность этих данных заключается не в том, в каком количестве вы их храните, а в том, насколько быстро вы можете на них отреагировать. Миллисекундная задержка в определении падения давления на нефтеперерабатывающем заводе или изменений показателей жизнедеятельности пациента в отделении интенсивной терапии может означать разницу между стабильностью и кризисом.

Однако большинство баз данных по своей природе пассивны, они созданы для сбора, индексации и обработки запросов постфактум.

Эта модель изменится. Следующее поколение баз данных — это не только более быстрые запросы или более дешевое хранилище. Речь идет об интеллектуальных функциях, встроенных непосредственно в уровень базы данных. Интеллектуальных функциях, которые обнаруживают аномалии по мере поступления данных, прогнозируют дальнейшие действия и могут инициировать действия в режиме реального времени, не дожидаясь вмешательства со стороны контролирующих каналов или внешних систем. Этот сдвиг меняет представление о базе данных в мире, где всё большее влияние оказывает искусственный интеллект и где системы должны становиться всё более интеллектуальными и работать в режиме реального времени.

За рамками хранения: расцвет интеллектуальных систем

Временные ряды — один из самых ценных активов для современных организаций, предоставляющий высокоточное представление о мире в движении. Они непрерывно генерируются устройствами, инфраструктурой и приложениями. Но управление ими сложно по своей природе: данные быстро поступают, быстро накапливаются и со временем теряют ценность. Их истинная ценность заключается в том, что вы делаете с ними в момент их создания.

Будь то смещение роботизированной руки, всплеск телеметрических данных с самолёта или внезапное изменение задержки в биржевой торговле — все это сигналы, требующие немедленного действия. Традиционные архитектуры данных (построенные на пакетных конвейерах и разрозненных инструментах) с трудом справляются с такой срочностью.

В таких отраслях, как аэрокосмическая промышленность, транспорт, обрабатывающая промышленность и энергетика, цена задержки слишком высока. Нужна не просто более быстрая база данных, а платформа, которая обрабатывает данные временных рядов как сигнал к действию, а не просто как объект для хранения.

Платформа, которая действует, а не просто хранит

В основе этой эволюции лежит простая архитектурная идея базы данных как активного интеллектуального механизма. Вместо того, чтобы просто регистрировать и предоставлять исторические данные, интеллектуальная база данных интерпретирует входящие сигналы, преобразует их в режиме реального времени и запускает значимые действия непосредственно на уровне базы данных. С точки зрения разработчика она по-прежнему выглядит как база данных, но внутри это нечто большее: программируемая, управляемая событиями система, предназначенная для обработки высокоскоростных потоков данных с высокой точностью в режиме реального времени.

Представьте себе наземную станцию ​​спутниковой связи, где база данных не просто собирает входящую телеметрию, но и обнаруживает аномалии в уровне сигнала и перенаправляет обработку еще до потери связи. Или систему технического обслуживания самолетов, которая выявляет ранние признаки износа деталей в полете и автоматически планирует диагностику после посадки. Это уже не гипотеза. Это направление развития современных технологий обработки данных.

Обработка как основная функция

Встроенные механизмы обработки открывают такие возможности, как обнаружение аномалий, прогнозирование, понижение частоты дискретизации и оповещение в режиме реального времени. Эти механизмы позволяют выполнять вычисления в режиме реального времени непосредственно в базе данных. Вместо того, чтобы перемещать данные во внешние системы для анализа или автоматизации, разработчики могут закладывать выполнение логики непосредственно в базе данных.

От обнаружения аномалий и прогнозирования до понижения частоты дискретизации и оповещения, все эти операции могут выполняться автоматически, по мере поступления данных:

  • Обнаружение аномалий: выявление выбросов в потоковых данных по мере их появления.
  • Прогнозирование: использования исторических тенденций для прогнозирования будущего поведения системы.
  • Понижение частоты дискретизации: снижение точности для экономии места и повышения производительности там, где высокое разрешение не требуется.
  • Оповещения: определение условий и запуск последующих действий при достижении критических пороговых значений.

Для этих возможностей не требуются дополнительные сервисы, внешняя оркестровка или специальные конвейеры. Они работают внутри базы данных со скоростью самих данных.

Стратегический сдвиг в сторону повышения эффективности

Такой встроенный интеллект оказывает глубокое влияние на разработку ПО. Вместо того, чтобы связывать воедино разрозненные сервисы для обработки телеметрических данных и действий на их основе, разработчики теперь могут определять логику непосредственно в базе данных. Это быстрее, проще и отказоустойчивее, особенно на периферии, где пропускная способность ограничена, а решения необходимо принимать локально. (В аэрокосмической отрасли, например, бортовой интеллект критически важен. Автономная система, способная отслеживать собственные показатели, корректировать поведение в полете и автоматически запускать последующие действия, не просто удобна, она критически важна для выполнения миссии.)

Программируемость, расширяемость и событийная управляемость баз данных позволяют командам развивать стек, автоматизируя процессы, применяя модели и создавая системы реального времени, которые обучаются и адаптируются без внешнего вмешательства.

Переход к проактивным системам

Этот сдвиг также бросает вызов тому, как организации думают о своей стратегии работы с данными. Речь больше не идет только о реагировании на события; речь идет об их предвосхищении. Благодаря возможности анализировать потоковые данные и сравнивать их с историческими базовыми показателями в режиме реального времени, системы могут выявлять ранние признаки сбоя, дрейфа или нестабильности и действовать до того, как проблемы усугубятся.

В авиации это может означать обнаружение на ранней стадии усталости датчиков, которая в противном случае могла бы быть пропущена. В производстве это может предотвратить незапланированные простои. В энергетике это может обеспечить более адаптивное управление сетями. Это не те сценарии использования баз данных, которые были пять лет назад. Но они быстро становятся требованиями для интеллектуальной инфраструктуры будущего.

Действуйте до того, как это произойдет

Мы вступаем в новую главу в развитии систем данных. База данных больше не является пассивным хранилищем — она становится активным интеллектуальным центром.

Активный интеллект не просто обеспечивает более быструю реакцию; он открывает возможности для проактивных стратегий. Постоянно анализируя потоковые данные и сравнивая их с историческими тенденциями, системы могут предвидеть проблемы до их эскалации. Например, постепенные изменения в работе датчиков могут сигнализировать о ранних стадиях сбоя, давая командам время для вмешательства. Эта способность предсказывать сбои и отказы до их возникновения действительно может стать решающим фактором в определенных сценариях.

Что дальше

По мере роста спроса на системы реального времени на базе ИИ растут и ожидания, касающиеся данных. Разработчикам нужно больше, чем просто хранилище и запросы, им нужны инструменты, которые умеют думать. Внедрение интеллекта в уровень базы данных представляет собой переход к активной инфраструктуре: системам, которые отслеживают, анализируют и реагируют на периферии, в облаке и в распределенных средах.

База данных — это уже не место, где хранятся данные. Это место, где начинаются решения.