[spoiler]Финальные штрихи к портрету Hadoop 2.0, в завершении обзорной серии наиболее ярких событий на летнем саммите Hadoop. Наверное, самое принципиальное -- это грядущая связка Hadoop 2.0 + YARN.
YARN можно назвать ОС для поддержки распределенных Hadoop-приложений, которая избавляет мир от гнета MapReduce в обмен на свободное подключение любых внешних фреймворков Big Data. Напомню, что MapReduce фактически ответственна за все манипуляции с данными в файловой системе HDFS. И вот наконец после трёх лет интенсивного труда выходит менеджер ресурсов YARN (Yet Another Resource Manager) Apache Hadoop NextGen MapReduce, доступный уже в виде альфы 2.0.5 и обеспечивающий одновременное функционирование самых разных механизмов. Например, теперь можно будет не заботиться о подборе подходящих движков SQL-запросов к Hadoop, поддержка SQL и многого другого будет входить в дистрибутив.
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
Интересный тренд, выделяемый практически всеми участниками саммита -- это акцент на open source. Все они настаивали, что ИТ-будущее корпораций за открытым софтом. Возможно, потому, что современные жизненные циклы многих технологий сокращаются буквально до месяцев, и во многих случаях проще иметь доступ к исходникам, нежели ждать очередного патча закрытой системы.
Показательная оценка: к 2015-му половина всех данных в мире будет хоститься на Hadoop!
