Проект Open Compute Project (OCP) — это некоммерческая организация, основанная в 2011 году компаниями-учредителями, которая постаралась воспроизвести в аппаратной области подход, используемый в среде разработки открытого ПО. Буквально своей задачей проект поставил выход из ограничений проприетарной ИТ-инфраструктуры, увеличив эффективность, доступность и гибкость в построение инфраструктуры ЦОДа.

OCP против 19 дюймов: когда ЦОДам нужен новый стандарт

Одно из наиболее заметных отличий OCP от привычной серверной инфраструктуры — отказ от классической 19-дюймовой архитектуры в пользу форм-фактора большего размера во всех трех измерениях. Вместе с ним меняется и подход к питанию: вместо множества отдельных блоков и кабелей питания используется централизованная шина (v2 и далее). На первый взгляд разница кажется несущественной. Стойка стала шире, питание организовано иначе — и что с того?

Какие отличия несет стандарт OCP

OCP — это не только новый форм-фактор, это еще и новая концепция построения корпусов серверов — максимально просто и удобно, а также концепция обслуживания — только с одной стороны (с передней). Теперь персоналу в ЦОДе не нужно переходить из холодного коридора в горячий, и наоборот, все обслуживание из комфортного «холодного» коридора, который может уже быть и не таким холодным, а в горячий коридор перенесено обслуживание модулей охлаждение в режиме hotswap без работ с корпусом сервера.

Итак, на практике новый стандарт позволяет иначе проектировать всю систему: размещать больше компонентов, эффективнее отводить тепло, эффективнее организовывать обслуживание оборудования, а отсутствие привязки к вендору позволяет расширить выбор и снизить стоимость решения. При первом же проекте построения нового ЦОДа в соответствии со стандартом OCP одна из компаний учредителей проекта OCP заявила, что ее первоначальное развертывание серверной и стоечной инфраструктуры OCP было на 38% более энергоэффективным в строительстве и на 24% дешевле в эксплуатации, чем предыдущие объекты компании.

Именно поэтому OCP прежде всего заинтересовал гиперскейлеров. Для компаний, которые строят инфраструктуру с тысячами и десятками тысяч серверов, стойка перестаёт быть просто шкафом, в который устанавливают оборудование. Единицей проектирования фактически становится сама стойка со всеми серверами, питанием и коммутацией внутри.

По прогнозам Omdia, к 2030 году доля оборудования в OCP-формате может достигнуть 70%. Но это вовсе не означает, что через несколько лет привычные 19-дюймовые стойки исчезнут. У двух подходов слишком разные области применения.

Однако, учитывая все плюсы использования инфраструктуры стандарта OCP: снижение ТСО, очень высокая энергоэффективность, позволяющая достичь P.U.E. 1,05 и ниже, упрощенное обслуживание, отсутствие привязки к вендору и унификация всех компонентов, высокая плотность размещения, поддержка жидкостного охлаждения в самом стандарте, OCP представляется очень перспективным стандартом.

Основные технические преимущества стандарта OCP

В классическом 19-дюймовом форм-факторе при создании высокоплотной системы возможно масштабироваться только в высоту — количеством юнитов. Нужно разместить больше компонентов, обеспечить питание, оставить достаточно места для охлаждения — и всё это внутри довольно жёстких габаритов. С учетом уровня энергопотребления современных компонентов, в первую очередь GPU-ускорителей и центральных процессоров, это приводит к решениям от 3U до 8U. Если раньше можно было разместить четырехпроцессорный сервер в форм-факторе 2U, то сейчас уже двухпроцессорные серверы с двумя GPU-ускорителями шагают в 3/4U.

OCP в свою очередь позволяет свободнее размещать компоненты и увеличивать площадь сечения воздушного потока почти на 20%. Это особенно важно, когда в сервер 2U необходимо установить несколько ускорителей или разместить большую систему хранения данных.

Второе важное преимущество — модульность. В обычной стойке может находиться множество двухюнитовых серверов, в каждом из которых установлены собственные блоки питания, что автоматически равняется и куче проводов, а также многопортовых PDU. В OCP питание централизуется в полках, а оборудование подключается непосредственно к общей шине питания — это действительно удобно. Да и MGMT, менеджмент-сеть управления серверами с протоколами IPMI/RedFish, тоже можно подключать по принципу plug&play благодаря низким скоростям передачи данных в этой сети.

Есть и выигрыш в энергоэффективности при превышении нагрузки 10 кВт на стойку благодаря общим блокам питания и общей шине питания постоянного тока. Та же логика работает с охлаждением. OCP изначально создавался для плотной инфраструктуры и предусматривает более эффективную организацию воздушных потоков и работу при более высокой температуре окружающего воздуха. Наконец, открытые спецификации теоретически снижают зависимость заказчика от одного производителя. Если разные вендоры выпускают совместимые компоненты в одном стандарте, отдельный сервер или модуль становится легче заменить аналогом. Ключевое слово здесь — «теоретически».

Почему 19 дюймов в ходу

На бумаге возможность использовать оборудование разных производителей выглядит одним из главных достоинств OCP. На практике всё упирается в то, насколько развита экосистема вокруг конкретного типа оборудования. Хороший пример — сетевые коммутаторы. Можно собрать стойку из нескольких десятков серверов в OCP-формате, но затем обнаружить, что подходящих коммутаторов в том же исполнении нужного класса на рынке значительно меньше, чем серверного оборудования. Это не проблема, но внутри стойки в стиле LEGO придётся немного пофантазировать с их размещением и коммутацией.

Есть и менее техническая причина — инертность отрасли. Инфраструктура дата-центров вообще меняется довольно медленно. Если существующий подход работает, инженер вполне закономерно задаётся вопросом: зачем его менять?

Именно поэтому массовый переход обычно начинается не с инициативы отдельных инженеров, а с управленческого решения: компания на уровне инфраструктурной стратегии определяет, что новые системы будут строиться именно так.

Есть и более фундаментальный вопрос — надёжность. В традиционном сервере можно установить два блока питания и подключить их к двум независимым вводам. Отказ одного блока или одного ввода не останавливает сервер. В OCP питание централизовано на уровне стойки. Для гиперскейлера это не обязательно проблема: его отказоустойчивость строится выше — на уровне нескольких стоек, кластеров и даже географически распределённых площадок. Если одна стойка выйдет из строя, нагрузку примут другие.

Но для небольшого корпоративного ЦОДа логика может быть другой. Когда критична работа конкретного сервера, а инфраструктура строится по требованиям Tier III или Tier IV, централизованное питание необходимо особенно тщательно учитывать при проектировании схемы резервирования.

Кому подходит OCP

Если среднее потребление стойки составляет около 5-10 кВт, переход на инфраструктуру, рассчитанную на значительно более высокую плотность, практически не даёт преимуществ. Большая часть возможностей новой стойки просто останется невостребованной.

Именно поэтому OCP пока трудно назвать универсальным решением для колокейшна и обычной корпоративной инфраструктуры. Если клиент приносит собственное оборудование 19″ с небольшой плотностью и хочет установить его в привычную стойку, у оператора ЦОДа нет причин перестраивать инфраструктуру под OCP.

Совсем другая ситуация возникает, когда на один AI-сервер приходится уже 6-10 кВт, а сам сервер занимает шесть-восемь юнитов, и вот вы уже строите стойки на 12, 15, 20 и более кВт.

Допустим, к классической стойке подведено 5 кВт мощности. Формально свободного места внутри неё ещё много, но установить даже один современный высокопроизводительный сервер уже невозможно: ограничением становится не физическое пространство, а электричество и охлаждение. В этот момент высокая плотность перестаёт быть красивой характеристикой из спецификации и превращается в практическую необходимость. Высокое потребление также повышает требования к изоляции, разъёмам и безопасности обслуживания. Поэтому рост мощности стойки — это не просто возможность установить больше ускорителей. Он меняет практически всю архитектуру системы.

Как OCP уже используется в классической архитектуре

Наверняка не многие задумываются, увидев в спецификации сервера слот для сетевой карты стандарта OCP. Для многих это уже привычный слот современного классического сервера 19″, использующийся уже много лет большинством производителей. А почему этот элемент, пришедший из стандарта OCP, стал таким популярным? Все очень просто — карта в таком форм-факторе занимает меньше места в сервере и позволяет увеличить количество слотов расширения. Менее популярный стандарт слота — RunBMC, представляющий из себя физически 260-пиновый разъем SODIMM (DDR4) и использующийся для подключения контроллера BMC (контроллера мониторинга и управления сервером). Применение данного типа разъема позволяет (в теории) использовать контроллеры управления от различных производителей.

Также в классические серверы входит стандарт OAM (OCP Accelerator Module) — это открытый стандарт форм-фактора мезонинных плат для вычислительных ускорителей (GPU, NPU, TPU). В отличие от проприетарных разъемов, как например SXM от Nvidia, разъем OAM позволяет выбирать между ускорителями AMD, Intel, Huawei.

Но это все отдельные элементы из мира OCP, проникшие в мир классической инфраструктуры 19«.

Как OCP используют в России

Когда речь идёт об OCP на российском рынке, то можно с ходу назвать как минимум пару отечественных производителей оборудования стандарта OCP. Ранее их было минимум три (на слуху), но в реальности их больше. Необходимо учитывать одну характерную особенность. Компания может взять открытые спецификации, создать по ним собственную стойку или сервер, адаптировать решение под свои задачи и вообще не стремиться получить официальный статус OCP Compatible.

С практической точки зрения внутри собственного ЦОДа это не всегда проблема. Оборудование работает, нужные преимущества получены, формальное участие в международной экосистеме организации может быть не нужно.

Проблема появляется при выходе на глобальный рынок. Если крупный зарубежный заказчик требует именно оборудование OCP Compatible, соответствия конструкции спецификации уже недостаточно. Нужен официальный статус совместимости и участие в соответствующей экосистеме. Для российских компаний сегодня это серьёзный барьер.

Ещё одна российская особенность — география строительства ЦОДов. Если новую площадку можно вынести в регион, где доступно значительно больше земли, необходимость любой ценой уплотнять машзал снижается.

Резюмируя, можно сформулировать так: интерес к строительству ЦОД по стандартам OCP в России есть, и некоторые компании, имеющие собственные ЦОДы на десятки тысяч серверов, уже используют OCP. Также есть и отечественные производители серверов и СХД стандарта OCP, но рынок оборудования OCP все еще небольшой.

Перспективы OCP

Главным драйвером OCP в ближайшие годы, вероятнее всего, станет искусственный интеллект. Причина здесь не в моде на ИИ, а в физике оборудования. Современные вычислительные системы с большим числом GPU требуют всё больше мощности и выделяют всё больше тепла. Старую инфраструктуру нельзя бесконечно масштабировать простым добавлением новых серверов. В этом случае очень перспективным становится 4-я версия стандарта OCP — ORV4, как раз разработанная для GPU-серверов. Данный стандарт предлагает переход на шину питания 800 В, что даст колоссальную экономию на объеме меди в системе питания оборудования (до 80%) и сокращение потерь электроэнергии до пяти раз при использовании стоек до 1 МВт.

Второй возможный драйвер — стандартизация. Чем больше мощности требуют новые системы и чем быстрее приходится вводить вычислительные мощности в эксплуатацию, тем дороже становится проектировать каждую площадку практически заново. Унификация стоек, питания и серверных модулей позволяет сократить сроки разработки и ввода инфраструктуры. Но даже при наличии экономических аргументов останется человеческий фактор. Инфраструктура дата-центров слишком консервативна, чтобы новый формат массово внедрялся сам собой. Там, где переход действительно оправдан, понадобится решение на уровне компании.

OCP в этом смысле не является заменой 19-дюймовому стандарту вообще. Это инструмент для определённого класса задач. Если компания эксплуатирует стойки по 5-10 кВт и не испытывает проблем с пространством, переход ради самого перехода ей практически ничего не даст. Классический формат ещё долго будет доминировать в обычной корпоративной инфраструктуре.

Но там, где начинается высокая плотность — ИИ-кластеры, инфраструктура гиперскейлеров, другие энергоёмкие вычисления — преимущества OCP становятся всё труднее игнорировать. Поэтому вопрос сегодня стоит не в том, вытеснит ли OCP привычные 19-дюймовые стойки. Гораздо полезнее спросить: в какой момент это случится? Для всё большего числа высокоплотных проектов это «новое завтра» уже наступает.

Сергей Пономарёв, руководитель конструкторского отдела компании “Е-Флопс”