НовостиОбзорыСобытияIT@WorkРеклама
Идеи и практики автоматизации:

Блог

  • Архив

    «   Июль 2020   »
    Пн Вт Ср Чт Пт Сб Вс
        1 2 3 4 5
    6 7 8 9 10 11 12
    13 14 15 16 17 18 19
    20 21 22 23 24 25 26
    27 28 29 30 31    

50 лет легендарной System/360

Литры спирта, выписывавшиеся на протирку контактов, и появление гиганта НИЦЭВТ -- всем этим мы обязаны ЕС ЭВМ, клону IBM System/360. В апреле Голубой гигант отпраздновал юбилей анонсом новых продуктов для идеологических наследников мэйнфреймов -- серверов System z. Главный из продуктов -- это zDoop, дистрибутив Hadoop под проекты Больших данных, разработанный совместно с фирмой Veristorm для использования в Linux-окружении System z. Важная его фишка -- экономичный перенос критически важной для пользователя информации на разные платформы без снижения уровня защищенности.

Читать подробнее...

Зачем британским ученым Большие данные?

И как Cloudera собрала миллиард долларов за неделю.


Читать подробнее...

Рынок Big Data увеличился в полтора раза

Несмотря на завистливые причитания скептиков, рынок Больших данных демонстрирует впечатляющие темпы роста. В 2013-м он составил 18,6 млрд. долл., и в сравнении с 2012 г. прибавил аж 58%. И эти уверенные темпы сохранятся в далёком обозримом будущем -- к 2017-му его объём превысит $50 млрд.


Читать подробнее...

Фото:

IDOL и HaaS открывают новые ниши Big Data

Новый облачный сервис Altiscale Data Cloud («industry’s first true Hadoop Cloud») вроде бы заслуживает упоминаний в clouds-теме, однако его специфика, во-первых, в ориентации на компании, которые ничего не понимают в облачной тематике, но желают обрабатывать неструктурированные данные, а во-вторых, этот сервис позиционируется как Hadoop-as-a-Service -- это фактически первый публичный HaaS. Разработал его Raymie Stata, бывший главный архитектор Yahoo, недавно привлекший 12 млн. инвестиций. Отличительная особенность Altiscale Data Cloud -- предоставление SLA корпоративного уровня (чем, например, не может похвастаться Амазон), и патентованная «авто-эластичность», своеобразный механизм нуль-администрирования. Глобальный же рынок Hadoop-систем составит к 2017 г. почти 14 млрд. долл., заявляет MarketsandMarkets.

Читать подробнее...

Отец Hadoop запугивает ИТ-вендоров

Doug Cutting, создатель Hadoop, сегодня директорствует в Apache  Software Foundation, а «по совместительству» он главный архитектор компании Cloudera, которая выпускает коммерческие дистрибутвы Hadoop.


Читать подробнее...

Hadoop как ETL-killer(2)

Главный недостаток ETL в нынешних условиях быстрого роста объемов корпоративных данных -- это, как ни парадоксально, растущая востребованность соответствующих технологий (первая часть тут). Некоторые ИТ-отделы превратились едва ли не полностью в ETL-заложников: все рабочие процессы подчинены изъятию данных из внешних источников, их очистке-верификации, и загрузке «внутрь» организации. В результате ETL превращается в одно из самых узких горлышек в системе, требуя вдобавок больших ресурсов (программных, аппаратных, людских) на своё существование -- но при этом сама по себе ETL никакой ценности для компании не несёт, так как просто перемещает-преобразует данные, пока ещё не востребованные в рабочих процессах и задачах принятия решений.


Читать подробнее...

Фото:

Hadoop как ETL-killer

ETL-процессинг -- одна из ключевых концепций хранилищ данных, подразумевающая сбор, обработку и загрузку (Extract, Transform, Load) информации из различных источников. Зародившись практически одновременно с СУБД как узкоспециализированная технология, она постепенно доросла до масштабных интеграционных задач. Коммерческие ETL-продукты выпускают IBM, Microsoft, Oracle, SAP, SAS... Есть и мощные СПО, например, Pentaho.


Читать подробнее...

SQL-движок Hadoop и NoSQL MongoDb для триллионов документов

Новости мира Больших данных.


Читать подробнее...

Как заработать на бесплатном Hadoop и ином СПО

Получить доход «с помощью» Hadoop -- ведущей свободной платформы обработки Больших данных, на которой базируется множество систем бизнес-аналитики, сегодня пытаются многие.
Портал Wikibon опубликовал подробное исследование темы:
http://wikibon.org/wiki/v/Hadoop_Pure-Play_Business_Models_Explained


Читать подробнее...

В 2014-м Большие данные и BI станут оружием

Пришла пора прогнозов на 2014 г. Вот что говорят по поводу Big Data топ-менеджеры Alpine (кластерная аналитика под Hadoop), MapR, Pentaho, Xplenty (Hadoop as a Service) и др.


Читать подробнее...

Жизнь после Hadoop

Платформа Hadoop сегодня находится в активном развитии. В силу исторических причин ей не хватало ряда важных корпоративных возможностей, которые сегодня интенсивно дорабатываются рынком: поддержка жизненного цикла, интеграция, безопасность, мониторинг производительности, стыковка с реляционными системами. Об этом рассказывалось тут http://www.pcweek.ru/idea/blog/idea/5964.php


Читать подробнее...

Фото:

Интегрируем Hadoop с ИТ-инфраструктурой, не забывая про SQL


Читать подробнее...

Защищаем Hadoop как следует

Одним из сильно уязвимых мест Hadoop остаётся безопасность, потому как исходно эта платформа проектировалась под эксплуатацию в доверенном окружении, а доступ к системе имеет лишь ограниченный набор элитных специалистов.


Читать подробнее...

Отменная корпоративная аналитика за одну минуту

В кулуарах корпоративной тусовки, организованной консалтинговой фирмой Ovum для своих клиентов под теплым австралийским солнышком, обсуждения платформы Hadoop сводились в основном к двум моментам: во-первых, это единичные успешные проекты, которые были реализованы очень грамотными собственными сотрудниками, имеющими, например, опыт программирования BI-приложений на такой пока экзотике, как язык R, и при этом хорошо понимающие принципы построения не менее экзотических систем наподобие http://mesos.apache.org/ -- менеджера для динамического управления изолированными ресурсами через распределённые фреймворки(!), от Hadoop до Spark (к последней системе мы еще вернемся). А во-вторых, подавляющее большинство клиентов либо ждут комфортных и дружелюбных коммерческих оболочек для Hadoop, либо продолжают поверхностно ковырять свои авгиевы конюшни корпоративных данных унылым SQL-ем.


Читать подробнее...

Четыре экспертные оценки рынка облаков и бизнес-аналитики под Hadoop

Согласно исследования IDC, уже 32% компаний внедрили системы обработки данных на основе Hadoop. 31% сделает это в ближайший год, и 36% намерены выполнить установку Hadoop в чуть более длительный срок. При этом 39% используют NoSQL HBase, Cassandra и MongoDB, а 36% предпочитают Greenplum и Vertica.

По оценкам Gartner, рынок систем облачной безопасности составляет сегодня 2.1 млрд. долл. и вырастет к 2015 г. до 3,1 млрд. долл.

Попыталась оценить этот рынок и Infonetics Research: в ближайшие пять лет он увеличится на 45%, и к 2017-му составит 9,2 млрд. долл. Правда, охват Infonetics обширнее: она например учитывает потенциальные проблемы с BYOD и т. п.

Как полагают Markets&Markets, рынок BD/BI на основе Hadoop к 2017 г. достигнет 13,9 млрд. долл., и вырастет на 55% по отношению к 2012 г. Выделены четыре ключевые ниши Hadoop: мониторинг производительности, управление-администрирование, прикладное ПО и всяческие системные расширения. Интересно, что значительная часть потребителей этого рынка будет эксплуатировать Hadoop-as-a-Service.
По мнению этой же фирмы, в 2017-м мировое здравоохранение вложит в облака всех видов 5,4 млрд. долл., а экономия от этого составит 11 млрд. долл.

Big Data + BI = 200 млрд. долл.

Эту оптимистичную оценку озвучил Dave Laverty (Vice President, Big Data & Analytics at IBM) на главном BD/BI-событии последних дней -- ежегодном форуме IBM Information on Demand, прошедшим под лозунгом «Think Big. Deliver Big. Win Big». Корпорация рассчитывает оттяпать от этого рынка не менее 10%. С помощью чего?


Читать подробнее...

Вавилонская башня Hadoop высится и крепнет

Пока ИТ-киты ведут обсуждение стратегических аспектов эксплуатации Hadoop (см. вчерашний пост), основной разработчик этой платформы Hortonworks накачивает её технические мускулы. Крайне важным (и последовавшим сразу следом за анонсом Hortonworks + Microsoft = Windows Azure HDInsight) смотрится соглашение Hortonworks с Revolution Analytics -- единственной фирмой, разрабатывающей коммерческий релиз свободного языка программирования R, развивающегося весьма активно. Она только-только выпустила Revolution R Enterprise 7 : «the only Big Data Big Analytics platform powered by R». Это реально стала первая подобная платформа, поддерживающая Cloudera CDH3/CDH4 и Hortonworks Hadoop, а также хранилища Teradata. В поставку включена богатая библиотека Parallel External Memory Algorithms для задач анализа данных, статистики, визуализации, симуляции, машинного обучения, прогнозирования и т. д.
Не хочу рекламировать :) но если бы у меня стояла задача построения хорошей аналитической платформы под Big Data, я б выбрал именно RRE7. С учётом того, что под такой проект обязательно нужны умные и сильные (и дорогие) программисты. Но и эффективность продукта (за счёт создания нативного параллельного кода и прямого доступа к Hadoop) получилась бы отличной.

Zenoss представила обновление своего инструмента Service Impact для анализа физической, виртуальной и облачной составляющих ИТ-инфраструктуры. Обещает, что с ним достигается 300% улучшения обработки событий за счёт анализа узких мест производительности в масштабных и сложных ИТ-архитектурах. Continuuity выпустила сервер приложений Continuuity Reactor 2.0, существенно упрощающий разработку и сопровождение приложений под Hadoop. А Jaspersoft обновил до 5.5 свой одноименный встраиваемый в программы инструмент бизнес-аналитики, расширенный, в частности, поддержкой AWS Elastic MapReduce.

MapR выпустила обновление своего дистрибутива Hadoop, который дополнен новыми фишками в сфере аутентификации и авторизации, причём все операции, связанные с защищённостью, нативны (а не через прослойки или подключаемые модули). В тему также отмечу активную деятельность Cloudera по интеграции своего коммерческого каркаса Hadoop (на днях представлена бета Cloudera Hadoop Enterprise 5) со свободной платформой Apache Accumulo, оригинально разработанной в Агентстве национальной безопасности США.

Лидеры Gartner, Rackspace и SAP о будущем Больших данных

Нью-йоркская конференция BigDataNYC 2013 по Большим данным запомнилась прежде всего Hadoop-ориентированными заявлениями лидеров классических ИТ-бизнесов.


Читать подробнее...

Куда пойдёт Hadoop?

Главным стратегическим событием прошедшей недели стал выход Hadoop 2.0 (заметка о нем тут).


Читать подробнее...

Традиционные данные справляются лишь с богатыми 50-летними женщинами

Многолетне используемые РСУБД доказали свою эффективность в неисчислимом множестве корпоративных решений, однако дотянуться до уровня Больших данных им вряд ли удастся.


Читать подробнее...

Следующий ИТ-миллиардер придёт с рынка Больших данных

Это мнение со-основателя фирмы DataStax, активно продвигающей апачевские Cassandra, Hadoop и Solr на корпоративный рынок, прозвучало на сентябрьской конференции Splunk 2013. Не надо забывать, напомнил Matt Pfiel, что действующие онлайновые системы, обслуживающие миллионы пользователей, должны выдавать ответ спустя секунды, а не минуты или часы. Для реализации этого пока приходится использовать очень сложные и дорогие инфраструктуры, и тот, кто предоставит для этого простую и эффективную платформу, окажется в шоколаде.

Может быть, это будет некто, уже хорошо известный? Например, MongoDb, разработчик одноименной популярной NoSQL СУБД, которая на днях получила очередной инвестиционный транш в размере 150 млн. долл. (очень показательно -- от солидных компаний, Intel Capital, Salesforce.com и др.). Теперь этот стартап стал самым дорогим в Нью-Йорке (всего в него инвестирован 231 млн. долл.), и в его планах активное расширение: фирма готова нанять 300 специалистов.

А может, им внезапно станет пока совершенно безвестная фирма -- наподобие ScaleOut Software, которая заявила, что её грид-платформа-в-памяти, позиционирующаяся как средство бизнес-аналитики в реальном времени, позволяет ускорить производительность MapReduce  в 20 раз, а стоимость сохраняется на уровне типовых Hadoop-кластеров. Продукт hServer V2 хоть и не конкурирует напрямую с Cloudera и Hortonworks, но тем не менее использует отдельные Hadoop-модули для разгона Java-приложений под MapReduce.

Чем копать Большие данные?

Изучаем инструментарий программиста для Big Data.


Читать подробнее...

Кто контролирует рынок Hadoop?

И, фактически, тесно связанный с ним рынок Big Data?


Читать подробнее...

Нехватка NoSQL-спецов на рынке усиливается

Indeed.com опубликовал темпы спроса на специалистов по NoSQL-СУБД и Hadoop:



Читать подробнее...

Фото:

Куда валить с MySQL+PHP?

И почему стали востребованы ошибочные данные.


Читать подробнее...

Фото:

Как прикрутить Hadoop к Excel-ю

С помощью технологий, базирующихся на Hadoop, стало возможным формировать весьма сложные многомерные выборки данных на дешевом общедоступном железе, то есть бэкенд для бизнес-аналитики готов и массово доступен. А вот универсальные клиенты к этому не готовы.


Читать подробнее...

Забываем Linux и Windows, знакомимся с YARN

Ключевые тренды развития Big Data и BI в текущем десятилетии.


Читать подробнее...

Когда же сгинут электронные таблицы?

И как связать Hadoop и технологии Microsoft.


Читать подробнее...

Страницы: 1 | 2 | След.