[spoiler]В декабре 2013 г. James Hamilton, вице-президент Амазона (ранее он трудился над проектированием архитектуры ЦОДов Микрософта) наконец приоткрыл завесу.
Подробности можно вычитать тут: http://wikibon.org/wiki/v/Hyper-specialization_is_the_secret_sauce_to_Amazon_Web_Services
Основные моменты создания системы, линейно масштабирующейся на обработку петабайтных объемов данных, таковы.
Фейсбук стандартизовал свою инфраструктуру, сведя все серверные вариации к пяти типовым универсальным моделям, спроектированным из соображений максимальной эффективности. Подход Амазона противоположный: они используют множество сверхспециализированных компонент с прицелом на узкий круг задач каждая. Типовая серверная стойка Амазона весит более тонны -- существенно больше, чем у Фейсбука. Для хранения данных используется распределенная аппаратная архитектура, объединяющая и обычные жесткие диски, и флеш. В итоге хранилище AWS S3 содержит триллионы файлов, которым каждую секунду обращаются 1,5 млн. раз, а NoSQL-движок DynamoDB откликается на запрос к данным в среднем всего 3 мс! Все это собрано с помощью тщательно настраиваемых маршрутизаторов -- в условный белый ящик, который позволяет, например, мгновенно устранять возникающие проблемы администрирования.
При таком специализированном подходе, конечно, накладные расходы возрастают, однако они с лихвой компенсируются выгодами, получаемыми от высокой производительности. Так, два специально выделенных инженера заняты исключительно высчитыванием оптимального соотношения между ценой серверных блоков питания и их техническими характеристиками, стремясь выгадать каждый ватт и цент. В итоге такой подход в крупных проектах показывает уникальную эффективность -- эксперты отмечают, что на волне интереса к ЦОДам сегодня надо обязательно рассматривать инфраструктурные модели не только открыто-стандартизованного Фейсбука, но и закрыто-узкоспециализированного Амазона.
Amazon, кстати, регулярно и повсеместно внедряет свой «короткий цикл инноваций»:
-- инновациируем
-- получаем фидбек от пользователей;
-- смотрим, как понизить цены сервиса и улучшить производительность;
-- анализируем доход и реинвестируем из него в инновацию далее.
