НовостиОбзорыСобытияIT@WorkРеклама
Идеи и практики автоматизации:

Блог

Рождественские сказки про Большие данные

University College London, 4-й в мире и 2-й в Европе среди лучших университетов по рейтингу QS World University Rankings, с помощью технологий Big Data фирмы DDN, инвестировавшей в инженерные исследования 150 млн. долл., развернул хранилище на 100 Пб. Подозрение, что подобные объёмы в околонаучных сферах сегодня уже не что-то исключительное: например, одна нефтяная вышка Shell генерирует петабайт сырых данных мониторинга, а таковых вышек у Шелла тысячи.
[spoiler]
DDN упомянута в контексте серии рождественских твитов ее CTO Jean-Luc Chatelain -- он когда-то работал вице-президентом HP. Его твиты посвящены конечно же прогнозам по Big Data на 2014-й.



1) Большинство компаний продолжат тонуть в Больших данных.
Да, Big Data -- это те объёмы, которые были в вашей организации 10 лет назад, увеличенные на 3-4 порядка. На мой взгляд, главная проблема Big Data сегодня в том, что пользователи не понимают, что хорошего они от них получат.  

2) Некоторые компании захотят развернуть проекты Big Data, однако пока что они не сумели как следует разобраться и со своими Малыми данными.

3) Продолжится шумиха вокруг «программно-определяемого всего» без понимания, когда реально имеет смысл тесная связь hardware и software.
Ну да, оборудование было, есть и будет всегда :)

4) Пропагандисты СПО продолжат жить в счастливом неведении бизнес-детальки, называемой TCO.
И холивары в отношении «бесплатного софта» также вечны.

5) Впрочем, корпоративные хранилища данных с экономической т.зр. пока будут тоже далеко не лучшим вариантом.
Chatelain видимо намекает, что только технологии его фирмы единственно правильные :) Но проблема действительно существует: хранилища концептуально ограничены негибкими моделями данных и концепцией ETL (почему Hadoop -- киллер ETL, как-нибудь изучим поподробнее).

6) Вселенная Big Data всё ещё остаётся чёрной дырой, в которую упали и пока там остаются безопасность и конфиденциальность.
Чем больше данных, тем больше проблем...

А вот какое мнение в отношении Больших данных высказали наши читатели (опрос "Как Ваша организация справляется с хранением Больших данных?").
Около 60% ничего не делают в этой связи («объёмы данных растут медленно»), и примерно поровну поделились остальные 40%: «регулярно докупаем жёсткие диски» и «начинаем использовать облачные хостинги для хранения второстепенных данных». Большую часть данных в облако пока не переместил никто из респондентов. А у кого-то проблем хранения данных вообще нет: «мы их решили 40 лет назад и действуем в соответствии с ними».

Следующий, очень важный вопрос: как изменился ваш ИТ-бюджет на 2014 год? Всё так же проедаете старые ресурсы? Пришёл кризис, все проекты заморожены, и надо искать другую работу? Жизнь налаживается, бюджет солидно укрупнился, и будете закупать всяческие интересные ИТ-штучки?
Пожалуйста потратьте семь секунд ради других людей!
Кликните тут http://www.pcweek.ru/idea/ и слева будет голосовалка.
Спасибо!
Сергей Тарасов
Сергей, как раз в тему написал - вчера подискутировали о "бигдата", их отличии от VLDB, а также о неразумных с точки зрения кибернетики подходах "накопить данные, а там посмотрим, что с ними делать"
http://arbinada.livejournal.com/553992.html
Сергей Бобровский
В развитие темы))
http://www.pcweek.ru/idea/blog/idea/6159.php
Сергей Тарасов
Ссылка выше на ЖЖ больше не будет работать, вот новая, здесь выжимка
http://arbinada.com/main/node/1351