НовостиСобытияКонференцииФорумыIT@Work
Идеи и практики автоматизации:

Блог

Hadoop на стероидах

Сергей Бобровский
01.08.2013 10:27:52

У систем распределённой обработки наподобие Hadoop есть один существенный недостаток: их сложно состыковать с аналитическими приложениями реального времени. То есть сперва в Hadoop загружаем Большие данные (миллиарды записей, терабайты информации), потом они как-то в фоне обрабатываются, в отложенном режиме, и только после этого становятся доступными для систем запросов. Такой подход позволяет делать сам фоновый процесс дешёвым, однако теряется столь важное для принятия решений качество, как скорость. Но даже если перегонять данные напрямую из хранилища Hadoop в базу аналитического движка, это потребует немалого времени на операции копирования диск-диск.

Достаточно очевидное, хотя пока мало где реализованное из-за высокой технической сложности, да и определённой дороговизны железа, решение -- это помещение всех данных в ОЗУ. Одна из таковых систем -- это Kognitio, которая использует под аналитику теребайты оперативки, и даже саму Hadoop может целиком держать в памяти. И за счет очень гибкой архитектуры Hadoop удается реализовать быстрый доступ к данным как через SQL, так и через NoSQL-запросы (на самом деле внутри Kognitio -- это Massively Parallel Processing РСУБД). Ускорение в итоге получается от 10 до 1000 раз! Масштабируется линейно -- скорость обработки пяти терабайтов на ста узлах равна скорости обработки 50 Тб на 1000 узлов.

Доступ к движку аналитики, как видим, возможен практически из любых BI и OLAP-систем, а также из Экселя smile:)



Имеется бесплатная версия: http://www.kognitio.com/free-to-use/
Она ограничена 128 Гб ОЗУ, что впрочем с лихвой покрывает потребности в аналитике любой российской организации СМБ.

Комментариев: 0

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии