НовостиСобытияКонференцииФорумыIT@Work
Идеи и практики автоматизации:

Блог

Big Data-as-a-Service

Сергей Бобровский
11.12.2012 11:46:29

Продолжаем следить за "пузырем" Big Data -- пузырь ли это или что-то более реалистичное?

Amazon анонсировал облачное петабайтное хранилище Redshift, по стартовой цене тысяча долларов за петабайт в год. Предоставляется сервис SQL-запросов, непрерывно мониторится стабильность системы.

В Amazon AWS Marketplace добавлены новые категории для софта: Windows smile:) и Big Data. Биллинг при этом выполняется автоматически.

Очень показателен на Marketplace раздел популярных продуктов: Wordpress, MongoDb и Ruby.

Intel Open Source Technology Center опубликовал GraphBuilder -- опенсорсное Java-приложение для анализа взаимосвязей в больших данных включая те, которые люди-эксперты обычно выявляют с большим трудом. Строит и визуализирует графы, при этом автоматически понижая сложность взаимосвязей. В этом интеловском центре, кстати, можно найти немало и других крайне полезных открытых продуктов.

Напомню, что по данным Gartner, Большие данные породят 4,4 млн рабочих мест к 2015-му. По данным IDC, ежесекундно в мире создается 58 Тб, и к 2020-му будет накоплено уже 35 зеттабайтов, преимущественно всякой фигниsmile:) Этой фигни нагенерировано в основном за два последних года -- 90%, причем к 2015-му уже 90% из нее будет неструктурированной (почта, звук, видео).

К следующему году IDC даже термин особый придумала -- Big Data-as-a-Service (BDaaS), и объявила его ведущим трендом. Немудрено -- 40% среднего и 34% малого бизнеса США используют BI-технологии и жаждут их масштабирования на Большие объемы.

Hewlett-Packard, кстати, в прошлом году вложила 11,5 млрд долл в компании Autonomy и Vertica, специализирующиеся на технологиях Больших данных.

Национальный научный фонд США стал раздавать гранты по тематике Big Data: например $1,5 млн на социальную сеть для ученых DataBridge, которая позволит обмениваться объемными сырыми данными экспериментов, и $1,3 млн для Iowa State University, Stanford и Virginia Tech, которые разработают софт для анализа и обработки оцифрованных ДНК.

eBay, накопившая 50+ петабайтов данных, для упрощения их визуализации заключила соглашение с Tableau, обладающей соответствующими технологиями.

Cloudera получила в декабре очередные 65 млн долл на свой Hadoop-дистрибутив, в числе инвесторов вновь цэрэушная In-Q-Tel. Рыночная стоимость Cloudera достигла уже 700 млн долл.

Стремительно набравшая популярность свободная NoSQL MongoDb теперь борется за место под солнцем и в мире Больших данных. Ее уже хостят Amazon EC2 и Microsoft Windows Azure, а теперь SoftLayer представила облачный MongoDB-as-a-service (дедик-сервер MongoDB и API к нему).

Комментариев: 1

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии

11.12.2012 21:14:06

Опять же тут нужно бы сначала разобраться, что понимается под Big Data.

Тут, как я виду, есть два разных направления:

1. использование услуг по хранению информации (упрощенно говоря - хостинг средств хранения данных). Предложение Амазона - кажется, из этой области

2. Методы и технологии обрабjтки данных из множества разнородных источников инфомации (неопределенного объема, в общем случае - безлимитных), причем преимущественно неструктурированной.

Собственно, 2) - это и есть Big Data. И пока видно, что основной круг задач тут - BI.

Я лично считаю, что тема BI как таковая сильно преувеличена. Искусственно раздувается - и поставщиками и "мировыми аналитиками"...

Об этом много спекуляций и мало реальных дел. Наверное, таким как eBay такие технологии нужны, но таких как eBay в мире все же не так много.