Постоянно возникающие технологические новинки являются катализаторами, вынуждающими владельцев дата-центров пересматривать комплектацию оборудования и софта, поскольку те более не справляются с возрастающими нагрузками. Портал ComputerWeekly рассказывает о новых инфраструктурах ЦОДов, которые придут на смену традиционным.
Массовый рост облачных сервисов и такие технологии, как Интернет вещей (IoT), оказывают сильное давление на ЦОДы, поскольку являются причинами генерации огромных объемов данных. Соответственно, дата-центрам требуется все больше мощностей для их хранения и обработки. Как несложно догадаться, дата-центры — это крайне сложные инфраструктуры, размер, конструкция, архитектура и местоположение которых зависит от различных факторов. В последние годы к ним прибавился еще один — новые технологии, под влиянием которых инфраструктура дата-центров начала ускоренными темпами меняться, чтобы лучше соответствовать задачам новых рабочих нагрузок.
Одним из примеров современной инфраструктуры ЦОДов является гиперконвергентная инфраструктура (HCI), которая состоит из узлов (нодов), каждый из которых может хранить данные и осуществлять их обработку. Ноды разработаны таким образом, чтобы выступать в качестве отдельных встраиваемых блоков. HCI возникла в ответ на нужды ИТ-персонала, который увяз в проблемах с настройкой и обслуживанием виртуальных машин (ВМ) внутри традиционной серверной архитектуры и массивов хранения SAN. Учитывая, что HCI объединяет эти мощности в единый стек, пользователи больше не нуждаются в отдельно выделенном оборудовании для хранения.
Теперь эта функция возлагается на программный слой, который создает общий пул хранения для всех узлов кластера. Однако главное преимущество HCI заключается в возможностях управления: они предусматривают автоматическую настройку приобретаемых в облаке платформенных ресурсов (например, ВМ) и выведение их из эксплуатации. HCI может применяться в качестве платформы для развертывания частных облачных служб, ей не требуется ручное управление логическими разделами или томами и многое другое.
Однако у HCI есть свои недостатки. Дело в том, что узлам обычно выделяется фиксированный объем хранилища и устанавливается потолок вычислительных мощностей, и если требуется нарастить производительность системы путем добавления большего количества узлов, это может привести к переизбытку некоторых ресурсов. Поскольку узлы обычно имеют фиксированный объем вычислительных мощностей и хранилища, масштабирование может привести к недоиспользованию некоторых ресурсов. Другим недостатком HCI является так называемый vendor lock-in — привязка пользователя и его инфраструктуры к одному поставщику. Тем не менее, сегмент HCI представляет собой растущую часть рынка серверов, о чем за последние несколько лет свидетельствуют продажи лидирующих поставщиков: Nutanix, Dell EMC, HPE и NetApp.
От гиперконвергентного до компонуемого оборудования
Еще одной перспективной инфраструктурой для ЦОДов является компонуемая инфраструктура, которая позволяет собрать требуемое системное оборудование для конкретной рабочей нагрузки из пула доступных ресурсов на этапе выполнения работ. Компонуемая инфраструктура разработана с целью детализирования ресурсов, таких как процессоры, память и хранилище для комбинирования оборудования по шаблону, что позволяет выделять конкретным приложениям ровно столько ресурсов, сколько им требуется. В 2015 г. HPE выпустила композитную инфраструктуру — платформу Synergy. В настоящее время к ней присоединились такие поставщики, как DriveScale и Dell EMC (платформ PowerEdge MX).
Компонуемая инфраструктура не лишена недостатков. Главный из них состоит в том, что ее основная память подключается к современным x86-процессорам напрямую, и это не позволяет выделять ее как отдельный ресурс.
Таким образом, пока что имеющиеся на рынке компонуемые системы лишь прокладывают путь к полностью компонуемой инфраструктуре. В будущем системы нового поколения теоретически смогут «видеть» процессоры и память, соединенные через некую сверхбыструю структуру межсоединений, которая позволит сгруппировать несколько процессоров вместе с таким количеством памяти, которое требуется приложению для создания программно-определяемого сервера.
Эксперименты с межсоединениями
Финансируемый ЕС проект dReDBox, который является частью исследовательской программы Horizon 2020, больше других приблизился к созданию системы с отвязанной от процессоров памятью. В экспериментальной системе применяется выделенная в отдельную подсистему память и block-as-a-unit, который образно называют «кирпичом». Помимо процессора он содержит FPGA или графические ускорители, обеспечивающие адресацию памяти при помощи переключающей матрицы. Память получает от FPGA адреса и обеспечивает обмен данными в пакетном режиме.
Другой пример — экспериментальная платформа Machine, разработанная HPE. Она состоит из вычислительных узлов, содержащих процессоры и память, которые подключены друг к другу не напрямую, а через чип коммутатора, который в свою очередь подсоединен к другим узлам через фабрику памяти (memory fabric). Она предназначена для Gen-Z — высокоскоростного межсоединения с использованием кремниевой фотоники, который разрабатывает Gen-Z Consortium, который насчитывает около 50 активных участников. Потенциально Gen-Z может заменить шину PCI Express в тех случаях, когда необходимо концентрироваться на работе с данными и носителями. В этом суть необходимости создания нового интерфейса — задержки при обращении к памяти в многоядерном окружении начали достигать критических для работы приложений значений. Переход на новый протокол и новые межсоединения обещает снизить латентность обращения к памяти.
Впрочем, один из крупнейших игроков на рынке вычислительных систем — Intel — отказался войти в Gen-Z Consortium, что ставит под сомнение перспективу использования Gen-Z на корпоративных серверах.
Между тем, существующие технологии межсоединений эволюционируют быстрее, что видно на примере высокопроизводительных вычислений (HPC) — в самых мощных системах для внутренних соединений применяется одна из двух технологий: InfiniBand или Ethernet. Например, Omni-Path, высокопроизводительная коммуникационная архитектура Intel, является производной от InfiniBand, в то время как архитектура Slingshot от Cray (предназначена для суперкомпьютеров экcафлопсного уровня) обеспечивает скоростью передачи до 200 Гбит/с на порт и обладает совместимостью с Ethernet, дополненной адаптивными функциями маршрутизации для предотвращения перегрузки сети. Как правило, InfiniBand не встречается в корпоративных средах — в отличие от Ethernet, наиболее распространенного протокола соединений в дата-центрах, который чаще используют и для других целей, например, в СХД.
Скорости будущего
Ethernet уже достиг точки, когда
Очевидно, что при таких скоростях затраты на обслуживание сетевого интерфейса вырастут, не говоря уже о том, что возросшая сложность программно-определяемых сетей (SDN) вызовет проблемы с их управлением. Чтобы решить эти проблемы, Microsoft и другие операторы гипермасштабируемых сетей в течение нескольких лет устанавливали на свои контроллеры сетевого интерфейса (NIC) аппаратные ускорители. Как правило, это программируемые микросхемы FPGA, которые позволяют разгрузить часть нагрузки хост-сервера. Со временем этот подход привел к появлению полностью программируемого SmartNIC, а некоторые поставщики, к примеру, Mellanox, даже предлагают продукты со встроенными системами на чипе. Последние берут на себя часть задач хост-системы, включая функции безопасности, а также протоколы наложения, такие как VXLAN, используемые для работы с виртуальными сетями. По большей части такое оборудование применяется гиперскейлерами, однако предприятия начинают присматриваться к нему все чаще.
Эволюция хранилищ данных
Область хранения данных — еще одна сфера, которая начала изменяться в ответ на неуклонный рост объема генерируемых и хранимых данных. Не меньшее влияние на нее оказывает потребность в более быстрых СХД, которые могут справляются с возросшими рабочими нагрузками, обеспечивая максимально быстрый отклик и высокую пропускную способность. Частично этот вопрос решается за счет флэш-памяти и гибридных массивов, в которых «горячим» данным отводится место во флэш-памяти, а «холодным» — на жестких дисках. Не так давно по причине удешевления флэш-памяти на рынке появились системы класса All-Flash.
В настоящее время основное внимание уделяется NVMe — новому протоколу хранения, предназначенному для ускоренного считывания накопленных слоев унаследованного стека хранения при помощи SSD. В твердотельных накопителях NVMe применяется высокоскоростная шина PCIe, а не традиционные интерфейсы типа SAS. Интерес к NVMe настолько высок, что, как считает аналитик Freeform Dynamics Тони Лок, он станет стандартом для использования на всех платформах хранения.
Поставщики СХД E8 и Excelero активно лоббируют принятие протокола NVMe over Fabrics (NVMe-oF) для внешних хранилищ. Спецификация NVMe-oF призвана перенести преимущества NVMe в сети, чтобы ускорить перенос данных между хост-компьютерами и подключаемыми СХД и обеспечить совместимость с Ethernet, Fibre Channel или InfiniBand.
NVMe может оказаться революционным протоколом по нескольким причинам, одна из которых заключается в том, что хранилище может быть расположено практически в любом месте, даже в удаленном дата-центре, без значительного снижения производительности. NVMe можно обозначить как еще один шаг на пути к дезагрегированию ресурсов для компонуемой инфраструктуры, например, при одновременном обеспечении доступа к облачному хранилищу по одному и тому же протоколу. На данный момент работа комплексных систем NVMe ограничивается обслуживанием интенсивных рабочих нагрузок с многопоточным параллельным доступом к хранилищу, связанных с аналитикой, системами транзакций с ультракоротким временем ожидания ответа и виртуализированными платформами.
Между тем, растущий объем данных заставляет некоторые организации искать способы сокращения затрат на гигабайт. Одним из способов для этого является отказ от целевых массивов хранения и выбор программно-определяемого хранилища — кластеров серверов, заполненных жесткими дисками наподобие кластера Red Hat Gluster Storage. Еще одним вариантом сэкономить, который становится все более распространенным, является выгрузка данных, к которым не требуется регулярный доступ из основного хранилища организации в облачное. Многие предприятия уже давно применяют облако для таких целей, как аварийное восстановление и резервное копирование. Этой тенденции способствует еще и то, что поставщики СХД выпускают версии корпоративных СХД, которые удобно разворачивать в публичном облаке.
Организации, которые рассматривают вариант размещения данных в облаке, должны с осторожностью относиться к взимаемым провайдерами публичных облаков сборам за доступ к данным. Желательно также внедрить надлежащее управление жизненным циклом данных для их миграции из основного хранилища на менее дорогие носители.
Еще одним способом хранения являются легко масштабируемые системы хранения объектов, которые предназначены для больших объемов данных. Разработчики нескольких систем HPC внедрили для немедленной обработки данных СХД с быстрым флэш-слоем, тогда как хранилища объектов работают в качестве бэкэнда. Такой способ хранения относительно недорогой, и в будущем им наверняка вооружится большинство предприятий. Объектные хранилища уже широко используются в облаке, сервис Amazon S3 — один из примеров.
Память для хранения данных
Другая новая технология, которая в будущем может оказать существенное влияние на компоновку ЦОДов, — высокоскоростные устройства хранения информации (storage class memory, SCM). Под этой аббревиатурой скрывается ряд технологий, которые поддерживают адресацию в байтах, например, DRAM, однако являются энергонезависимыми, что может кардинально изменить привычную схему работы СХД. Многие из этих технологий, такие как MRAM, довольно дороги в производстве и пока что не получили широкого применения, однако модули этого типа памяти применяются для обслуживания энергонезависимых кэшей в массивах хранения. Наиболее жизнеспособной технологией SCM можно назвать Intel Optane, которая теперь доступна в формате DIMM, что позволяет подключать ее через стандартный интерфейс подключения серверной памяти в серверах на базе новейших процессоров Xeon.
По словам старшего аналитика 451 Research Тима Стаммерса, несмотря на то, что продажи Optane SSD оставляют желать лучшего, это никак не отменяет перспектив DIMM в качестве относительно недорогого энергонезависимого дополнения к DRAM. «Oracle продемонстрировала свою in-memory БД TimeTen, работающую в режиме Application Direct, говоря об устойчивости Optane NVDIMM как о чрезвычайно важном элементе, который привлечет внимание поставщиков и приведет к большим изменениям в архитектуре БД», — сказал он.
ЦОДы будущего — какие они?
В будущем классический вид ЦОДов не изменится — там по-прежнему будут стоять стойки, которые, как и раньше, будут комплектоваться процессорами, графическими процессорами, DRAM и СХД на базе флэш-памяти или жестких дисков. Самые большие изменения в инфраструктуре ЦОДов коснутся способов их соединения.
