НовостиСобытияКонференцииФорумыIT@Work
Облака/ИТ-сервисы:

Блог

Как улучшить ваше облако в 20 раз

Сергей Бобровский
18.03.2013 10:38:42

Автоматически решить множество проблем с облачными сервисами: выявить неэффективно использующиеся виртуальные машины, определить сбойные приложения, оптимизировать конкретные службы под высокую нагрузку, призвана помочь система DBSeer, создаваемая учеными из Массачусетского технологического института. Особо востребована она будет создателями систем, где ведется интенсивная работа с БД, и сложно заранее определить, какие нужны будут требования к виртуальным ресурсам. Практика же показывает, что во многих случаях облачные ресурсы под конкретную задачу можно сократить в десятки раз!

DBSeer, которая будет представлена в виде свободного продукта в июне 2013-го на ежегодной встрече Special Interest Group on Management of Data (SIGMOD) при Association for Computing Machinery, использует алгоритмы машинного обучения, определяя оптимальную облачную конфигурацию под конкретный проект. В перспективе с помощью DBSeer можно будет решать подобные задачи и не только для облачной сферы.
DBSeer сможет точно предсказывать растущую нагрузку (уже ведутся активные эксперименты с системой на базе MySQL), и запрашивать у облака дополнительные ресурсы. Понятно, что облачный провайдер должен обеспечивать хорошую эластичность своих сервисов, не более единичных минут -- по этому критерию, кстати, сегодня в первую очередь и имеет смысл выбирать подходящий облачный хостинг. DBSeer показывает 80% точность в предсказании роста нагрузки на процессор, и 99% точности в увеличении нагрузки на диск (обращения к БД).
Подробно об исследовании тут (pdf).

А ученые из Калифорнийского университета в Сан-Диего совместно с Гуглем предложили свою методику, которая позволяет организовать работу облачного ЦОДа на 15-20% эффективнее. Для этого на протяжении трех месяцев постоянно анализировался трафик гуглевского поисковика и почты и работа серверной части, после чего американские ученые пришли к фантастическому по своей глубине выводу: оказывается, конкретное приложение работает лучше, когда используемые им данные расположены на том же физическом сервере, где оно запущено, а не где-то удаленно. Однако упорству исследователей мешал приличный объем случайного шума и помех, но они, как истинные экспериментаторы, не сдавались, и настойчиво продолжали свой труд, привлекая все более точные механизмы статистического анализа. И вот, о чудо, наконец удалось создать компьютерную модель явления и воссоздать изучаемые процессы на отдельном сервере. Однако и тут ученых поджидала очередная засада: внезапно выяснилось, что не только физическое местонахождение данных играет свою роль, но и конкуренция других приложений за эти ресурсы, и, что уж совсем невозможно было понять без длительных исследований -- даже режим кэширования влияет на быстродействие! Более того, когда приложение работает в одном процессорном ядре, а нужные ему данные "находятся" в другом, это тоже, оказывается, замедляет скорость работы. "It’s an issue of distance between execution and data", подвели ученые итог своего эпического исследования и ничтоже сумняшеся порекомендовали активнее применять в облачных ЦОДах память с неоднородным доступом NUMA (о потенциале которой говорится уже лет 15).

Кто не верит, вот подробное исследование:
http://clarity-lab.org/wp-content/uploads/2013/01/tang-hpca2013.pdf

Комментариев: 0

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии