Эффективный ЦОД в российских условиях

На фоне замедления в России роста ИТ-отрасли в целом направление строительства и расширения ЦОДов, а также предоставляемых ими услуг находится на подъеме. Так, согласно данным IDC, при снижении темпов роста объема совокупного российского рынка ИТ с 14% в 2011 г. до 4% в 2012 г. рынок ЦОДов растет примерно на 30% в год, и, по прогнозам, к 2015 г. его объем превысит 900 млн. долл. По мере приближения этого рынка к стадии зрелости все бóльшую значимость здесь приобретают вопросы обеспечения эффективности ЦОДов, которая закладывается на этапе их проектирования и поддерживается в процессе эксплуатации, т. е. охватывает весь их жизненный цикл.

Вместе с тем условия, в которых функционируют ЦОДы, претерпевают в настоящее время существенные изменения. На жизненный цикл ЦОДов влияют радикальные изменения в ИТ: распространение облачных архитектур, технологии виртуализации, ориентация на большие данные, сервисные подходы к потреблению ИТ, мобильность. Стремясь к стандартизации в походах к проектированию, типизации услуг ЦОДов и учету лучших международных практик в процессе эксплуатации этих центров, специалисты вынуждены также учитывать особенности требований, предъявляемых пользователями ЦОДов в зависимости от характера их бизнеса.

В нашем тематическом обзоре мы рассмотрим критерии эффективности ЦОДов, подходы к повышению их эффективности, возникающие при этом проблемы и возможные пути их решения с учетом особенностей российских реалий.

Критерии оценки эффективности ЦОДа

ЦОДы трансформировались в основу корпоративной ИТ-инфраструктуры, которая существует и развивается как один из важнейших инструментов ведения современного бизнеса. Исходя из этого и следует подходить к определению эффективности ЦОДов. И поэтому, хотя ЦОД является сложным техническим объектом, при обращении к аспектам его эффективности, как подчеркивает Илья Царев, главный инженер проектов департамента интеграции подразделения IT Business компании Schneider Electric, не стоит сосредоточиваться на отдельных технологиях или показателях и не учитывать при этом многогранность решаемых с помощью ЦОДов задач.

Главным критерий эффективности работы ЦОДа, полагает Евгений Ким, директор департамента комплексных решений компании IBS Platformix, является их прибыльность для бизнеса, которая оценивается по-разному для корпоративных и коммерческих ЦОДов, что связано с различием стоящих перед ними бизнес-задач. Корпоративные ЦОДы обслуживают собственные потребности владельца, а коммерческие нацелены на предоставление универсальных услуг клиентам — аренду площадей под серверные мощности, аренду серверного оборудования со всей необходимой инфраструктурой, сопутствующие услуги…

Коммерческие ЦОДы прежде всего должны быть рентабельными, более конкурентоспособными по сравнению с корпоративными и одновременно привлекательными для инвестиций. Для корпоративных ЦОДов эти показатели, по мнению Евгения Кима, не столь важны — в зависимости от бизнес-задач для них важнее доступность, общая отказоустойчивость и быстрое восстановления после сбоев.

В отношении ЦОДов сегодня все еще трудно оперировать такими интегральными бизнес-характеристиками, как возврат инвестиций или совокупная стоимость владения. Наши эксперты, ссылаясь на необходимость увязывать критерии эффективности ЦОДа с эффективностью бизнеса его пользователей, тем не менее при оценке эффективности ЦОДов чаще всего используют технические характеристики.

Евгений Ким называет такие характеристики формальными. В их числе он выделяет такие показатели, как используемые для оценки эффективности энергопотребления ЦОДов коэффициенты Power Usage Effectiveness (PUE) и Data Center Intrastructure Effiency (DCIE), а также недавно введенный в обиход Data Centre Fixed to Variable Energy Ratio (DC FVER), который позволяет оценивать энергоэффективность ЦОДов интегрально.

Илья Царев эффективным считает такой ЦОД, инженерная и ИТ-инфраструктура которого используются с максимальной отдачей при нацеленности владельца на снижение эксплуатационных расходов. Для оценки эффективности ЦОДа он рекомендует наряду с показателями энергоэффективности применять такие критерии, как время вынужденных простоев на сервисное обслуживание и устранение аварий, процент загрузки инженерных систем, процент заполнения действующих машинных залов и стоечного пространства, процент работающего ИТ-оборудования относительно простаивающего.

Эффективный ЦОД, по мнению Андрея Маркина, директора по продажам в московском представительстве Powercom, -- это управляемая в онлайновом режиме сбалансированная система, нацеленная на выполнение бизнес-задач владельца, предусматривающая возможность минимизации энергопотребления, резервирование важнейших узлов, среди которых можно выделить системы электропитания — блоки питания серверов, источники бесперебойного питания, системы хранения и обработки данных, а также системы охлаждения и удаления тепла, выделяемого оборудованием в процессе работы.

По определению Александра Шурыгина, технического специалиста компании Fujitsu Technology Solutions, современный эффективный ЦОД прежде всего должен обеспечивать быструю адаптацию реализуемых с его помощью услуг к требованиям клиентов: переход к новым ИТ-инфраструкутрам на базе виртуализации, реализацию подхода “платим только за потребленные ресурсы”, возможность гибко формировать индивидуальные наборы ИТ-услуг с учетом особенностей конкретных заказчиков. Для повышения эффективности ЦОДов (или, как говорит г-н Шурыгин, для решения возлагаемых на них задач меньшими средствами) он предлагает использовать модульные blade-системы и технологии виртуализации, современные системы мониторинга и управления, эффективные системы кондиционирования и охлаждения.

По мнению Сергея Амелькина, менеджера по продукту направления “Качественное электропитание” электротехнического сектора компании Eaton в России, критерием эффективности ЦОДа можно считать время, которое он может находиться в онлайновом режиме, и затрачиваемые на это энергоресурсы. Чем дольше ЦОД доступен для своих пользователей и чем меньше он при этом потребляет электроэнергии, тем он эффективнее. В своей оценке г-н Амелькин исходит из того, что сегодня всё больше пользователей стремятся получать необходимую деловую информацию в режиме реального времени, и даже кратковременное отсутствие такой возможности может привести к крупным убыткам.

Как подчеркивает Алексей Волков, менеджер по работе с системными интеграторами московского представительства компании Tripp Lite, параметры, характеризующие эффективность использования электроэнергии, выделение углерода и расходование воды, дают возможность применять для повышения эффективности ЦОДов соответствующие инструменрты. Однако, используя эти инструменты, владельцы ЦОДов должны тем не менее стремиться как к конечной цели к повышению экономической эффективности своих бизнесов.

Эффективность ЦОДа, его инженерная и ИТ-инфраструктуры

Андрей Маркин полагает, что нельзя рассматривать инженерную и ИТ-инфраструктуру ЦОДа раздельно — ЦОД представляет собой сбалансированную систему, в которой эффективными должны быть и тот и другой компоненты.

За консолидированную оценку инженерной и ИТ-инфраструктуры в стремлении повышать эффективность ЦОДов ратует и Сергей Амелькин, связывающий с объединением систем управления и мониторинга ИТ- и инженерных компонентов ЦОДа перспективы в этом направлении. При этом критерии эффективности инженерной и ИТ-инфраструктуры он рекомендует учитывать как на этапе проектирования, так и на этапе эксплуатации ЦОДа. Упущения на одном из этих этапов могут свети на нет все усилия, приложенные на другом.

В то же время Алексей Волков напоминает, что ИТ-системы, ради функционирования которых и сооружаются ЦОДы, потребляют менее половины от подводимой к ним энергомощности. Большая их часть расходуется на поддержку непрерывного электропитания и климат-контроль (прежде всего, на охлаждение). Поэтому технологическое развитие инженерной инфраструктуры он считает приоритетной задачей при построении ЦОДов как в настоящее время, так и в ближайшей перспективе.

Илья Царев, со своей стороны, полагает, что эффективность ЦОДа определяется в первую очередь эффективностью использования его ИТ-ресурсов: даже самый энергоэффективный ЦОД с идеально управляемой инженерной инфраструктурой будет бесполезно “греть воздух”, если его ИТ-система работает вхолостую.

По сути аналогичную позицию в оценках эффективности ЦОДов занимает и Евгений Ким, предлагающий исходить при этом из интересов заказчиков, которые в конечном итоге обращаются к помощи ЦОДов за ИТ-услугами.

Александр Шурыгин связывает эффективность ЦОДов в основном с возможностью оперативного развертывания нового ИТ-оборудования, которая определяется главным образом эффективностью его инженерной инфраструктуры. Возможности оптимизации ИТ-инфраструктуры ЦОДа он видит во внедрении методов виртуализации, в использовании современных средств развертывания ИТ-средств и управления ими. В перспективе, как он полагает, при создании ЦОДов нового поколения, идеи развития их инженерной и ИТ-инфраструктуры в процессе жизненного цикла будут закладываться на этапе проектирования. Прежде всего активно будет использоваться модульная схема построения ЦОДов, позволяющая по принципу Capacity on demand (ресурсы по требованию) добавлять по мере роста нагрузки на ЦОД модули систем электропитания, охлаждения, сетевого оборудования, а также вычислительные модули.

Повышение эффективности ЦОДа на этапах его проектирования и эксплуатации

На этапе проектирования, как подчеркивает Илья Царев, залогом эффективности ЦОДа являются: прогнозирование объема и типа будущей ИТ-нагрузки и закладывание в проект возможности масштабирования, адекватного будущим задачам; возможности поэтапного развертывания; продуманная с позиции эксплуатационных требований топология систем ЦОДа; сбалансированный выбор в пользу апробированных энергосберегающих технологий и отказ от непроверенных и неоправданно дорогих.

Для повышения эффективности на этапе эксплуатации г-н Царев рекомендует наладить контроль и учет ресурсов ЦОДа (свободного стоечного пространства, потребляемой электроэнергии, загрузки лучей питания), контроль состояния инженерных систем, своевременный вывод с площадки простаивающего и устаревшего ИТ-оборудования, внедрение энергоэффективных решений (как постоянного процесса оптимизации эксплуатационных расходов).

Правильное проектирование, включающее помимо прочего взвешенный выбор места расположения, является, считает Алексей Волков, обязательным условием, обеспечивающим общую эффективность ЦОДа. В этом процессе он советует руководствоваться общемировой практикой, которая обращает внимание на тщательный учет тепла и холода как при их генерации, так и при утилизации.

Что касается эксплуатации ЦОДов, то, по его мнению, несложные, но своевременные регламентные работы по обслуживанию систем позволяют добиться максимальной эффективности и отсрочить этап модернизации ЦОДа. Дополнительные шаги к более высокой эффективности и надежности функционирования он связывает с сокращением эксплуатационных расходов за счет улучшения управления активами, а также с другими мерами, направленными на снижение энергозатрат и уменьшение вредного воздействия на окружающую среду.

Эффективность ЦОДов, по мнению Александра Шурыгина, прежде всего определяется современными технологиями, такими как планирование жизненного цикла ЦОДа, модульность и другими, закладываемыми при его проектировании. К основным способам сокращения издержек в стадии эксплуатации он относит переход к виртуализированной ИТ-инфраструкутре, оптимизацию тепловыделения и энергопотребления, повышение требований к уровню обслуживания, управление рисками и контроль издержек.

Эффективность ЦОДа и характер возложенных на него бизнес-задач

Как подчеркивает Алексей Волков, характер бизнеса компании-владельца ЦОДа, количество потребителей и их расположение, играют в проектировании и эксплуатации ЦОДа важнейшую роль и определяют необходимую мощность ЦОДа, пропускную способность каналов связи, требования к безопасности и скорости обработки данных, резервированию оборудования и других аналогичных показателей. Вместе с тем нужно иметь в виду, что показатели эффективности ЦОДа, необходимого, например, оператору связи или крупной финансовой организации, будут существенно отличаться от требований владельца онлайн-портала.

Согласно наблюдениям Евгения Кима, у заказчиков корпоративных ЦОДов критериев оценки их эффективности гораздо больше, чем у заказчиков коммерческих. От корпоративного ЦОДа в первую очередь требуются показатели качества сервисов, и ключевым из них он считает сокращение затрат на бизнес-процессы, эффективность которых планируется увеличить за счет запуска ЦОДа. Для оценки эффективности он рекомендует использовать также такие показатели, как увеличение скорости обслуживания запросов клиентов, уменьшение времени простоя бизнес-процессов и, как следствие, минимизация убытков от остановки бизнес-процессов, сокращение операционных расходов, экономия от консолидации инфраструктуры и т. п.

То, что жизненно важно для корпоративного ЦОДа, отмечает Илья Царев, может быть некритично для ЦОДа коммерческого. Например, для коммерческого ЦОДа энергоэффективность крайне важна, так как напрямую влияет на прибыльность бизнеса владельца. В корпоративном же ЦОДе энергоэффективностью владелец может поступиться в пользу повышения надежности, минимизации капитальных затрат, унификации используемого в компании инженерного оборудования или иных показателей.

По наблюдениям Сергея Амелькина, энергосберегающие технологии активно внедряются там, где нагрузка менее критична, где ниже требования к доступности и надежности ИТ-сервисов, потому что бытует мнение, что технологии повышения энергоэффективности являются компромиссом между эффективностью и надежностью. Опровергая это мнение, он сообщает, что при среднем показателе PUE для ЦОДов равном 1,83 ЦОД компании Facebook в Принвелле (США) (а требования к надежности ЦОДов этой компании могут оценить многие пользователи ее сервисов) имеет PUE 1,06-1,08.

Андрей Маркин полагает, что эффективность в большей степени определяется не бизнес-задачами, на которые ориентирован ЦОД, а тем, насколько интенсивно используются его вычислительные мощности. При этом он обращает внимание на то, что современные ИТ-сервисы — SaaS, PaaS, IaaS — позволяют использовать вычислительные средства с высокой интенсивностью.

Как отмечает Евгений Ким, сбор данных о состоянии всех систем ЦОДа ведется его владельцами или провайдерами услуг ЦОДа. Применяемые при этом системы мониторинга позволяют также и клиентам получать в онлайновом режиме данные о состоянии параметров оказываемых им услуг. К основным параметрам коммерческого ЦОДа г-н Ким относит:

•  классификацию ЦОДа по TIER;
• среднее электропотребление на стойко-место (и или на квадратный метр);
• возможность предоставления требуемого электропотребления на стойко-место;
• возможности отведения выделенного тепла от стойко-места;
• организацию режима безопасности;
• организацию дежурных смен по инженерным системам;
• коннективность ЦОДа.

Сергей Амелькин подтверждает, что современные производители оборудования для ЦОДов предоставляют провайдерам возможность передавать такую информацию клиентам. Подобные программно-аппаратные решения обеспечивают наблюдение за распределением электроэнергии в ЦОДе, контроль и управление системами, содержащими монтируемые в стойки блоки распределения электроэнергии и ИБП, через сеть IP с помощью стандартного веб-браузера и позволяют обозревать как систему в целом, так и детализированно, вплоть до отдельных устройств и розеток.

Эффективность российских ЦОДов: состояние и тенденции

Ныне действующие ЦОДы, согласно наблюдениям Евгения Кима, в большинстве своем построены по классической схеме и, безусловно, требуют оптимизации. Их зачастую “вписывали” в ранее построенные здания, что часто накладывало ограничения на выбор решений для ЦОДов и сужало возможности модернизации без остановки функционирования ЦОДа.

Расходы на электроэнергию составляют существенную часть затрат на эксплуатацию ЦОДа — до 60%. Почти половина стоимости приходится на электроэнергию, расходуемую на охлаждение. В связи с этим г-н Ким определяет ключевые направления “зеленых” технологий применительно к российским ЦОДам следующим образом:

• использование систем свободного охлаждения;
• эффективное управление инженерной инфраструктурой;
• применение решений по утилизации тепла.

Илья Царев обращает внимание на то, что российским проектировщикам ЦОДов следует активнее пользоваться такими природными особенностями нашей страны, как прохладный климат и сравнительная доступность водных ресурсов, благодаря чему есть широкие возможности использовать свободное охлаждение (фрикулинг) и энергоэффективные схемы охлаждения с незамкнутым водным циклом (водоохлаждаемые чиллеры, мокрые градирни и т. п. особенно выгодны при размещении ЦОДов на промышленных площадках, где используются большие объемы подготовленной воды).

Фрикулинг — главный способ энергосбережения в ЦОДе за счет низких температур наружного воздуха, что особенно актуально в большинстве регионов России. Среди решений по свободному охлаждению наиболее обоснованным с экономической точки зрения является применение чиллеров с функцией фрикулинга и систем с косвенным свободным охлаждением.

Чиллеры с функцией свободного охлаждения оснащаются дополнительным теплообменником для работы в режиме фрикулинга. В летний период используется только холодильный контур, и компрессоры работают в стандартном режиме. При понижении температуры наружного воздуха часть жидкости подается на встроенный дополнительный теплообменник с воздушным охлаждением, и чиллер переходит в смешанный режим работы — с частичным фрикулингом. В зимний период вся жидкость поступает в дополнительный теплообменник, и холодильная машина работает в режиме полного фрикулинга, а компрессоры при этом не включаются.

Отмечая большой разброс качества эксплуатируемых в России ЦОДов, Андрей Маркин указывает на то, что для российских пользователей услуг ЦОДов важнее всего надежность и стоимость услуг, а показатели эффективности являются скорее дополнительной гарантией того, что те сервисы, в которых они заинтересованы, будут предоставлены в лучшем виде и им не грозят внезапные сбои, а также того, что стоимость услуг не будет расти из-за увеличения расходов на электроэнергию и исправления ошибок, допущенных при проектировании.

В силу сравнительно невысокой стоимости электроэнергии и определенных особенностей менталитета “зеленые” технологии в среде российских пользователей ЦОДов, по мнению г-на Маркина, пока не популярны и внедряются только тогда, когда собственник особенно внимательно считает деньги и находит заметную выгоду в применении энергосберегающих технологий. Вместе с тем во все большем числе проектируемых в России ЦОДов эти технологии рассматриваются как основные инструменты повышения эффективности, так как эти новые объекты рассчитываются на долгий срок эксплуатации.

Среди причин непопулярности в нашей стране “зеленых” технологий Сергей Амелькин называет отсутствие продуманных государственных программ, способствующих их внедрению. Опыт показывает, что самое действенное стимулирование — это государственное регулирование. Поэтому закон № 261-ФЗ “Об энергосбережении и о повышении энергетической эффективности и о внесении изменений в отдельные законодательные акты Российской Федерации” он расценивает как большой шаг вперед в данном направлении, одновременно отмечая, что впереди ещё много работы.

Илья Царев согласен с тем, что российским пользователям ЦОДов нужна в первую очередь бесперебойность работы ИТ-систем за меньшие деньги, а какие у ЦОДа PUE, Tier и насколько в нем загружен машинный зал, им малоинтересно. В некоторых российских ЦОДах, по его наблюдениям, до сих пор не выполнено такое относительно малобюджетное и эффективное мероприятие, как простейшее разграничение воздушных потоков в машзале (организация “горячих” и “холодных” коридоров, установка заглушек на пустующих местах в серверных шкафах, расчистка кабельных “джунглей” под фальшполом, используемым для охлаждения). Он также отмечает, что такая, казалось бы, привлекательная технология, как утилизация тепла ЦОДов, сталкивается с трудностями использования и из-за необходимости применения дорогостоящих технологий для утилизации тепла ЦОДов, и из-за отсутствия заинтересованных в этом тепле потребителей.

Сергей Амелькин, используя для оценки эффективности ЦОДов коэффициент PUE и ссылаясь на данные исследований российского рынка ЦОДов за 2012 г., проведенных компанией РБК, отмечает, что большинство ЦОДов в нашей стране имеют PUE, равное трем и выше. Это означает, что менее трети потребляемой российскими ЦОДами электрической мощности идет на питание непосредственно ИТ-нагрузки, а все остальное приходится на оборудование для охлаждения и прочие системы. Очевидно, что необходимость совершенствования энергопотребления есть.

По мнению г-на Амелькина, грамотное проектирование и оптимизация работы ЦОДа является приемлемым способом снижения стоимости высокоэффективных ЦОДов в стране. И важную роль он отводит в этом все той же виртуализации, которая позволяет рационально распределять нагрузку на ИТ-мощности и использовать ресурсы максимально полно.

Каждый владелец ЦОДа выбирает свой вариант: либо экономит на проектных затратах, а потом мириться с высокими эксплуатационными расходами, либо тратит больше средств на проектирование, но затем экономит при эксплуатации. Выбор зависит от конкретной ситуации. Однако сэкономить на одном из этапов и выложиться на другом без того, чтобы не проиграть, в итоге чрезвычайно трудно.

Поскольку большинство российских ЦОДов, как отмечает Александр Шурыгин, создавалось в докризисный период, в скором времени они без повышения эффективности инженерной инфраструктуры не смогут выполнять современные требования пользователей. Для повышения эффективности и снижения издержек он рекомендует владельцам таких ЦОДов прежде всего заняться оптимизацией использования занимаемого ими пространства, а также усовершенствованием систем энергопотребления и охлаждения. В числе таковых мер г-н Шурыгин называет создание выделенных коридоров охлаждения, улучшение герметизации помещений, ввод в эксплуатацию резервных блоков системы охлаждения и повышение качества профилактического обслуживания инженерного оборудования.

Для клиентов услуг аренды вычислительных мощностей ЦОДа, согласно наблюдениям г-на Шурыгина, становится актуальной возможность гибкого подбора уровней обслуживания с учетом специфики востребованных приложений, а также возможность индивидуальных условий оплаты по принципу “платим только за потребленные ресурсы”. Это следует учитывать провайдерам ЦОД-услуг. Индивидуально также могут прорабатываться запросы возможностей мониторинга и контроля состояния оборудования и приложений и схемы обеспечения отказоустойчивости на стороне пользователей.

К разряду наиболее важных для российских ЦОДов проблем г-н Шурыгин относит обеспечение функционирования ЦОДа при отключении основного электропитания, а также поиска дополнительных энергомощностей для покрытия растущих потребностей.

Характеризуя эффективность “зеленых” технологий, Алексей Волков отмечает, что за счет их применения можно сэкономить до половины всей вырабатываемой в мире электроэнергии. На помощь должны придти технологии по использованию возобновляемых источников энергии, использующих энергию природных явлений. Однако на практике такие решения все еще не являются экономически более выгодными по сравнению с традиционными источниками электроэнергии, да и реализовать их физически можно не всегда. Разумным в целях повышения эффективности, по мнению г-на Волкова, является использование избыточного тепла, вырабатываемого ЦОДом. Все большее количество ЦОДов направляет его из своих помещений в находящиеся неподалеку дома, офисы, оранжереи, бассейны. Однако такие возможности должны закладываться на этапе проектирования и разработки ЦОДа.

Пока стоимость электроэнергии в стране оценивается как невысокая, а внедрение энергосберегающих технологий не дает существенных выгод, задачи по снижению энергопотребления в ЦОДахне будут относиться к числу приоритетных . Поворот к “зеленым” технологиям произойдет, когда мощности российских ЦОДов существенно возрастут, а тарифы на электроэнергию приблизятся к уровню тарифов в развитых странах.