НовостиСобытияКонференцииФорумыIT@Work
Идеи и практики автоматизации:

Блог

Забываем Linux и Windows, знакомимся с YARN

Сергей Бобровский
13.08.2013 10:57:38

Ключевые тренды развития Big Data и BI в текущем десятилетии.

Финальные штрихи к портрету Hadoop 2.0, в завершении обзорной серии наиболее ярких событий на летнем саммите Hadoop. Наверное, самое принципиальное -- это грядущая связка Hadoop 2.0 + YARN.

YARN можно назвать ОС для поддержки распределенных Hadoop-приложений, которая избавляет мир от гнета MapReduce в обмен на свободное подключение любых внешних фреймворков Big Data. Напомню, что MapReduce фактически ответственна за все манипуляции с данными в файловой системе HDFS. И вот наконец после трёх лет интенсивного труда выходит менеджер ресурсов YARN (Yet Another Resource Manager) Apache Hadoop NextGen MapReduce, доступный уже в виде альфы 2.0.5 и обеспечивающий одновременное функционирование самых разных механизмов. Например, теперь можно будет не заботиться о подборе подходящих движков SQL-запросов к Hadoop, поддержка SQL и многого другого будет входить в дистрибутив.
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

Интересный тренд, выделяемый практически всеми участниками саммита -- это акцент на open source. Все они настаивали, что ИТ-будущее корпораций за открытым софтом. Возможно, потому, что современные жизненные циклы многих технологий сокращаются буквально до месяцев, и во многих случаях проще иметь доступ к исходникам, нежели ждать очередного патча закрытой системы.

Показательная оценка: к 2015-му половина всех данных в мире будет хоститься на Hadoop!

Комментариев: 0

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии