В середине декабря компания АРС открыла в своем московском представительстве демонстрационный центр, где ее заказчики и партнеры могут познакомиться с новыми подходами к построению инженерной основы центра обработки данных (ЦОД). Демоцентр представляет собой типовую серверную комнату средних размеров, в которой собран десяток разнообразных стоек (открытые, закрытые, серверные, сетевые, широкие, узкие, с перфорированной и стеклянной дверью) с питающим оборудованием и различные аксессуары. Предусмотрено несколько вариантов организации электропитания — посетители демоцентра могут поработать с модульными ИБП мощностью 40, 16 и 6 кВ·А, а также с обычными ИБП разной топологии.
Научно-исследовательский центр в Колдинге
Научно-исследовательский центр в Колдинге
В центре можно посмотреть, как организована кабельная система распределения питания внутри и снаружи шкафов и как реализованы средства защиты. Для тестирования телекоммуникационного оборудования установлены подсистемы постоянного тока, рассчитанные на выходное напряжение 48 В и нагрузку разной мощности.

Одной из самых сложных задач в организации серверных комнат и ЦОД является создание системы кондиционирования и вентиляции. Собственно, в демоцентре моделируется процесс охлаждения оборудования и распределения воздушного потока в шкафах и коридорах. Здесь можно узнать, как работают вытяжные двери для шкафов и прецизионный кондиционер с внешним модулем на основе гликолевого охлаждения мощностью 40 кВт.

В этой связи нельзя не отметить, что представление об APC как производителе ИБП разных категорий и масштабов нуждается в существенной корректировке. Компания расширила сферу своей деятельности, распространив ее на построение интегрированной инженерной инфраструктуры центров обработки данных, которая помимо подсистем обеспечения бесперебойного питания включает системы вентиляции и кондиционирования, безопасности и управления. Платформа InfraStruXure для построения подобных решений была анонсирована еще в 2002 г. С тех пор она развивается, впитывая в себя новые разработки, способствующие построению физической инфраструктуры ответственных сетей (Network-Critical Physical Infrastructure — NCPI).

Развитию InfraStruXure много внимания уделяется в научно-исследовательском центре компании, расположенном в датском городе Колдинге. Здесь ведется поиск инженерных решений, обеспечивающих бесперебойную работу ЦОД будущего.

Как считают эксперты, в вычислительных центрах (ВЦ) следующего поколения средняя плотность выделения энергии вырастет с нынешних 500 Вт/м2 до 1 кВт/м2. В связи с этим в качестве стратегических направлений в разработке инженерной инфраструктуры APC выделяет повышение надежности и гибкости обеспечивающих систем при одновременном снижении стоимости совокупного владения всей инфраструктурой.

Пути повышения надежности инфраструктурных решений инженеры APC видят прежде всего в снижении влияния человеческого фактора при их эксплуатации и в уменьшении времени восстановления после аварии. Гибкость же выражается в возможности масштабирования и реконфигурирования, а также в упрощении развертывания.

Одним из основных направлений работ в Колдинге является создание решений по отводу тепла, выделяющегося при работе оборудования. Максимальная мощность, которую можно “запихнуть” в стойку, составляет 15 кВт для блейд-серверов и 11 кВт для серверов 1U, хотя в реальности столько оборудования никто не размещает: средняя мощность сейчас составляет 1,5—2 кВт на стойку, но этот показатель растет и будет расти в ближайшее время, несмотря на усилия производителей микропроцессоров.

Помимо того что охлаждение “вычислительно плотных” систем само по себе представляет нетривиальную проблему, не надо забывать о том, что ее решение должно быть оптимальным — ведь система охлаждения сама является потребителем электроэнергии. По данным APC, на этот процесс расходуется до 38% электроэнергии, потребляемой ВЦ (для сравнения: полезная нагрузка забирает 44% электроэнергии, освещение — 3%, а оставшиеся 15% съедает сама система обеспечения электропитанием). И здесь возможности экономии значительны. Помимо давно известных рекомендаций по организации “холодных” и “теплых” коридоров, исключающих перемешивание нагретого и холодного воздушных потоков, и внесения кондиционеров в ряд со стойками вычислительного оборудования возможно точное аэродинамическое моделирование движения потоков воздуха в помещении ЦОД. При расчете можно подобрать такую конфигурацию стоек и оборудования системы охлаждения, которая обеспечит надежную работу аппаратуры и сведет к минимуму затраты на владение ею.
Центры данных несут потери

Любопытные данные относительно стоимости владения инфраструктурой выяснились в ходе проведенного APC исследования у одного из ее клиентов, в распоряжении которого находится 40 центров обработки данных, потребляющих от 40 до 3000 кВт электроэнергии. Оценивался перерасход на содержание избыточных ресурсов, заложенных при проектировании ЦОД, за 10 лет их эксплуатации. Оказалось, что реальная средняя загрузка центров составляет 38% от возможной, а суммарные потери на каждую стойку оборудования за десятилетие достигли 11 тыс. долл. (подробная структура потерь приведена на диаграмме). Безусловно, при проектировании ВЦ практически невозможно спрогнозировать его развитие на десять лет вперед, и здесь есть только один выход — постепенно наращивать его мощность по мере роста потребностей в вычислениях, оставляя лишь необходимый тактический резерв на сиюминутные всплески.

Структура потерь при эксплуатации ВЦ
Структура потерь при эксплуатации ВЦ

Еще одним направлением расширения платформы InfraStruXure является добавление к ней средств IP-мониторинга состояния среды и видеонаблюдения. В связи с этим показательна сделка с компанией NetBotz, которую АРС приобрела в середине декабря за 31 млн. долл. Пакет NetBotz дополнит архитектуру InfraStruXure средствами управления защитой коммутационных узлов, серверных комнат и крупных центров обработки данных. Кроме новых возможностей программного управления у InfraStruXure появится платформа диагностики и мониторинга с функциями видеонаблюдения и внешними датчиками состояния среды, позволяющая своевременно фиксировать и устранять неполадки, предотвращая тем самым простои оборудования. Типичное решение NetBotz состоит из базовой станции с интегрированными датчиками состояния среды, цветной видеокамеры и дополнительных модульных датчиков. Всего может быть проконтролировано до 400 параметров. Отдельно предлагается ПО для централизованного управления на крупных объектах, которое интегрируется, с одной стороны, с системами инженерного обеспечения здания, а с другой -- с системами управления ИТ-инфраструктурой (IBM Tivoli, HP OpenView и т. п.).

Теперь с этими решениями можно познакомиться и в московском демоцентре. Там отслеживаются параметры состояния окружающей среды — температура, влажность, протечки воды, задымление, посторонние движения, вибрация. Вскоре планируется внедрить системы контроля доступа, видео- и аудионаблюдения, а также установить герметичный шкаф с внутренним теплообменом и модульную систему бесперебойного питания Symmetra MW мощностью 1 МВт. Не исключено, что здесь же появится еще одна перспективная новинка корпорации – водородный генератор. По мнению специалистов APC, со временем такие генераторы заменят широко распространенные ныне дизельные.
Водородный модуль-генератор мощностью 10 кВт
Водородный модуль-генератор мощностью 10 кВт

Один модуль водородного генератора имеет высоту примерно 7U и весит 125 кг. При этом он способен питать нагрузку мощностью до 10 кВт на протяжении 1000 ч. В 19-дюймовом шкафу высотой 42U можно разместить до трех модулей. Горючим для генератора служит обезвоженный газообразный водород, хранилище которого располагается снаружи здания ВЦ, а к установке он подводится по трубопроводу. Одного стандартного (по западным меркам) баллона сжатого водорода (эквивалентного 10 м3 газа при нормальных условиях) достаточно, чтобы питать 10-киловаттный модуль в течение 79 мин. Продуктами горения являются вода и выделяемое тепло, которые должны отводиться от генератора. Еще один побочный эффект работы установки -- высокий шум: при полной нагрузке его уровень может достигать 75 дБ, но не надо забывать, что в помещении вычислительного центра примерно такого же уровня шум создают кондиционеры. Время старта установки из дежурного состояния не превосходит 20 с, поэтому аккумуляторные батареи не исключаются из общего решения, хотя продолжительность их работы, а следовательно, и их количество могут быть сокращены.

Один из главных вопросов, который связан с этим решением, — безопасность. Утечка из магистрали водорода, подаваемого в систему под давлением 6 бар, может привести к образованию взрывчатой смеси с воздухом. Если на открытом воздухе вероятность такого события мала, то в закрытых помещениях она увеличивается. На этот случай разработчики предусмотрели расширение системы мониторинга датчиками газообразного водорода, а кроме того, не стоит забывать и о вентиляции, которая имеется в помещении ВЦ, — она затруднит достижение критичной концентрации водорода. Так или иначе, но поставки новых элементов, расширяющих InfraStruXure, уже начались.

Первый проект, который APC собирается провести на новой площадке, — совместное с РБК исследование “Технологии обеспечения бизнес-процессов на основе инженерной инфраструктуры центра обработки данных”, посвященное подходам, применяемым российскими фирмами из различных отраслей экономики для обеспечения стабильности бизнеса. Цель работы — систематизация данных, которая позволит сделать выводы, как именно российские компании различных отраслей и масштабов деятельности решают задачи использования информационных технологий, когда перебои в работе энергетических систем могут приводить и приводят к серьезным финансовым последствиям.

Помимо опроса посетителей демоцентра исследование предполагает анкетирование широкого круга специалистов — ИТ-директоров, финансовых и генеральных директоров организаций и предприятий. В нем примут участие представители разных отраслей — банковские и страховые компании, промышленные предприятия, телекоммуникационные организации и т. д. Таким образом, планируется, что в течение нескольких месяцев будет опрошено порядка 200 респондентов. При этом ответы предполагается структурировать по множеству параметров, в том числе по отраслям, специфике оборудования, предпочтениям и ожиданиям. Результаты исследования должны появиться в конце марта — начале апреля.

Версия для печати