[spoiler]Amazon анонсировал облачное петабайтное хранилище Redshift, по стартовой цене тысяча долларов за петабайт в год. Предоставляется сервис SQL-запросов, непрерывно мониторится стабильность системы.
В Amazon AWS Marketplace добавлены новые категории для софта: Windows и Big Data. Биллинг при этом выполняется автоматически.
Очень показателен на Marketplace раздел популярных продуктов: Wordpress, MongoDb и Ruby.
Intel Open Source Technology Center опубликовал GraphBuilder -- опенсорсное Java-приложение для анализа взаимосвязей в больших данных включая те, которые люди-эксперты обычно выявляют с большим трудом. Строит и визуализирует графы, при этом автоматически понижая сложность взаимосвязей. В этом интеловском центре, кстати, можно найти немало и других крайне полезных открытых продуктов.
Напомню, что по данным Gartner, Большие данные породят 4,4 млн рабочих мест к 2015-му. По данным IDC, ежесекундно в мире создается 58 Тб, и к 2020-му будет накоплено уже 35 зеттабайтов, преимущественно всякой фигни:) Этой фигни нагенерировано в основном за два последних года -- 90%, причем к 2015-му уже 90% из нее будет неструктурированной (почта, звук, видео).
К следующему году IDC даже термин особый придумала -- Big Data-as-a-Service (BDaaS), и объявила его ведущим трендом. Немудрено -- 40% среднего и 34% малого бизнеса США используют BI-технологии и жаждут их масштабирования на Большие объемы.
Hewlett-Packard, кстати, в прошлом году вложила 11,5 млрд долл в компании Autonomy и Vertica, специализирующиеся на технологиях Больших данных.
Национальный научный фонд США стал раздавать гранты по тематике Big Data: например $1,5 млн на социальную сеть для ученых DataBridge, которая позволит обмениваться объемными сырыми данными экспериментов, и $1,3 млн для Iowa State University, Stanford и Virginia Tech, которые разработают софт для анализа и обработки оцифрованных ДНК.
eBay, накопившая 50+ петабайтов данных, для упрощения их визуализации заключила соглашение с Tableau, обладающей соответствующими технологиями.
Cloudera получила в декабре очередные 65 млн долл на свой Hadoop-дистрибутив, в числе инвесторов вновь цэрэушная In-Q-Tel. Рыночная стоимость Cloudera достигла уже 700 млн долл.
Стремительно набравшая популярность свободная NoSQL MongoDb теперь борется за место под солнцем и в мире Больших данных. Ее уже хостят Amazon EC2 и Microsoft Windows Azure, а теперь SoftLayer представила облачный MongoDB-as-a-service (дедик-сервер MongoDB и API к нему).
Тут, как я виду, есть два разных направления:
1. использование услуг по хранению информации (упрощенно говоря - хостинг средств хранения данных). Предложение Амазона - кажется, из этой области
2. Методы и технологии обрабjтки данных из множества разнородных источников инфомации (неопределенного объема, в общем случае - безлимитных), причем преимущественно неструктурированной.
Собственно, 2) - это и есть Big Data. И пока видно, что основной круг задач тут - BI.
Я лично считаю, что тема BI как таковая сильно преувеличена. Искусственно раздувается - и поставщиками и "мировыми аналитиками"...
Об этом много спекуляций и мало реальных дел. Наверное, таким как eBay такие технологии нужны, но таких как eBay в мире все же не так много.