НовостиСобытияКонференцииФорумыIT@Work
Идеи и практики автоматизации:

Блог

Hadoop as a Service

Сергей Бобровский
30.07.2013 11:41:52

Облака приходят в облака.

Вот и дошла «облачная» очередь и до системы распределённой обработки Hadoop. Технология, которая предназначена для поддержки облачных вычислений, теперь сама предоставляется как облачный сервис.

Решение Genie, разработанное в Netflix (фактически PaaS для Hadoop) абстрагирует аппаратно-программно-технические нюансы реализации конкретного дистрибутива Hadoop, и предоставляет стандартизованный RESTful API для управления Hadoop, СУБД Hive и фреймворком Pig -- без инсталляции Hadoop-клиента! С помощью Genie в Netflix ежесуточно обрабатываются сотни терабайтов, сотни аналитических запросов и тысячи ETL-операций. Иных опенсорсных и общедоступных систем подобной мощности сегодня нет и пока не предвидится.


Слайды:
http://www.slideshare.net/krishflix/genie-hadoop-platform-as-a-service-at-netflix

Скачать: https://github.com/Netflix/genie

Из других крайне полезных «тяжелых» опенсорсных продуктов Netflix необходимо отметить:
Karyon -- облачный стек, включающий готовые паттерны для построения облачных платформ и SOA;
Eureka -- балансировщик многоуровневых облачных систем;
Ribbon -- клиент для Eureka и ей подобных;
Netflix Internal Web Service Framework -- REST API для коммуникаций и (де)сериализации.

Комментариев: 0

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии