В наше время предприятиям уже недостаточно просто понимать текущую ситуацию на рынке. Нужно уметь заглянуть в будущее и, задав вопрос “что, если…”, узнать вероятные риски и благоприятные возможности. Однако реализовать эту идею на практике не просто. Для этого надо научиться оперативно анализировать огромные объемы информации, которые постоянно поступают на предприятие. Проблему усложняет не только объем данных, но и то, что они записаны в разных форматах, являются неструктурированными и хранятся в различных источниках.

Компания Sybase предлагает единую платформу для аналитической обработки огромных разрозненных массивов данных — аналитическую СУБД Sybase IQ, в которой реализованы новаторские технологии для преодоления ограничений традиционных баз данных. При этом Sybase IQ является универсальной СУБД, предназначенной для анализа любых типов данных — структурированных, частично структурированных, неструктурированных — с помощью самых разных алгоритмов и аналитических систем.

Главными преимуществами Sybase IQ являются механизм поколоночного (column-based) хранения таблиц, масштабируемая grid-архитектура, а также высокая производительность при небольшом потреблении аппаратных ресурсов. В версии Sybase IQ 15.3 реализована технология массово-параллельной обработки PlexQ с разделением всех ресурсов, которая обеспечивает обслуживание в реальном времени тысяч пользователей, поддержку множества смешанных нагрузок и анализ больших массивов данных.

Динамически распределяя рабочую нагрузку между узлами кластера, PlexQ позволяет решать сложные аналитические задачи с ускорением от 10 до 100 крат по сравнению с традиционными хранилищами данных, а кластеризация с разделением всех ресурсов в сочетании с поколоночным хранением и механизмом логических серверов обеспечивает высокое быстродействие для всех видов запросов и типов нагрузок применительно к любым наборам данных.

В недавно выпущенной версии Sybase IQ 15.4 возможности продукта расширены за счет встроенного интерфейса прикладного программирования (API) для применения модели распределённых вычислений MapReduce, гибкого механизма интеграции с технологией Hadoop и поддержки языка PMML (Predictive Model Markup Language). В состав пакета включены расширенные библиотеки алгоритмов статистической обработки и углубленного анализа данных (data mining), в полной мере использующие возможности распределенной обработки запросов в кластерной конфигурации PlexQ. Новые API позволяют разработчикам приложений быстро и безопасно реализовывать свои собственные (proprietary) алгоритмы, которые исполняются внутри базы данных, обеспечивая прирост быстродействия в десятки раз по сравнению с традиционными подходами. Кроме того, значительно усовершенствованы алгоритмы сжатия текста и интерфейсы массовой загрузки данных.

Основные новые возможности Sybase IQ 15.4

Прикладные сервисы. Встроенный API MapReduce представляет собой систему для распределения аналитической обработки больших наборов данных по кластеру PlexQ. Библиотеки функций этого интерфейса можно писать на языке C++ и обращаться к ним из SQL.

Табличные параметризованные пользовательские функции (UDF) — это встроенный API, позволяющий разработчикам создавать и развертывать библиотеки функций на C++, которые могут исполняться параллельно на кластере PlexQ и в самом сервере базы данных Sybase IQ. С помощью этого интерфейса программисты могут реализовывать свои собственные алгоритмы и выполнять их внутри Sybase IQ, повышая скорость обработки.

Эмулятор для моделирования внутрибазовой аналитической обработки облегчает разработку и тестирование UDF, предназначенных для выполнения внутри Sybase IQ.

Библиотеки функций внутрибазовой аналитической обработки.  Интеграция с технологией Hadoop и средства объединения (federation) позволяют интегрировать результаты анализа, выполняемого в Hadoop, с запросами для Sybase IQ, что дает возможность находить нужную информацию в больших массивах структурированных и неструктурированных данных, а затем интегрировать ее в Sybase IQ для совместного анализа с транзакционными данными и результатами, полученными из других источников.

Поддержку языка PMML обеспечивает сертифицированный подключаемый модуль компании Zementis, который позволяет автоматизировать выполнение аналитических моделей, описанных на этом языке с помощью таких инструментов, как SAS, SPSS Clementine и других популярных средств прогнозного моделирования.

Появилась возможность обращения посредством SQL-запросов к базам IQ из сервера Sybase IQ с помощью R — статистического инструмента с открытым кодом (поддерживается только интерфейс RJDBC).

Расширен функционал библиотеки аналитических и статистических алгоритмов DB Lytix компании Fuzzy Logix. Теперь библиотека может использовать API MapReduce в некоторых алгоритмах углубленного анализа данных для массово-параллельной обработки.

Управление данными.  Ускорена массовая загрузка данных в Sybase IQ с использованием интерфейсов ODBC и JDBC. При этом значительно увеличивается масштабируемость и быстродействие приложений.

Улучшенное сжатие данных типа VARCHAR, VARBINARY, CHAR и BINARY позволяет более эффективно и экономично развертывать быстродействующие приложения текстового анализа.

Генератор эталонной архитектуры PowerDesigner 16.1 дает возможность быстро создавать хранилища или витрины данных на базе Sybase IQ.

Улучшен ряд аспектов администрирования в инструменте управления базой данных Sybase Control Center (SCC). Упрощено управление часто используемыми функциями SCC и развертывание встроенной, внешней и текстовой внутрибазовой аналитики. Введено также новое окно исполнения команд SQL, облегчающее тестирование SQL-программ для вычислений ad hoc.

Заключение

СУБД Sybase IQ 15.4 преобразует большие массивы данных в практически ценную информацию, ориентированную на все категории сотрудников. При этом возможности, которые дает аналитическая обработка крупных информационных массивов, становятся доступны всем категориям пользователей и для всех бизнес-процессов в масштабе организации.

НА ПРАВАХ РЕКЛАМЫ