Впервые мнение о том, что кризис мировой экономики наконец в явном виде докатился до индустрии высокопроизводительных вычислений (HPC), автор данного материала услышал в начале июля при обсуждении с экспертами итогов завершившейся в немецком Лейпциге суперкомпьютерной выставки-форума ISC’2013. Эту позицию косвенно подтверждали наблюдения, которые можно было сделать как при осмотре экспозиции, так и при анализе последней редакции рейтинга мощнейших вычислителей планеты Top 500.

Локальная российская экономика, как мы знаем, не всегда отражает мировые тенденции в полной мере, однако вышедшая на днях новая редакция рейтинга мощнейших компьютеров СНГ Top 50 заставляет задуматься о том, что в данном случае наша страна идет по пути стагнации даже “с опережением графика”.

Попробуем рассмотреть, в чем же заключается на суперкомпьютерном рынке кризис и как отрасль ему противостоит.

Общий тренд

Настойчивое апеллирование во вступлении к рейтингам и выставкам отнюдь не случайно. Технологии, разумеется, совершенствуются непрерывно, однако рынок в каком-то смысле живет дискретно — от одной авторитетной выставки-форума, где объявляется новый Top 500, до другой. Таковых выставок в мире всего две. Первая, самая масштабная, проходит в ноябре в США, вторая — в июне в Германии. Технологические компании часть своих разработок представляют в течение всего года, но важнейшие анонсы проходят раз в шесть месяцев — именно здесь.

В этом году немецкий форум впервые за много лет покинул западногерманский Гамбург и переместился в восточногерманский Лейпциг. По иронии судьбы причиной переезда, запланированного еще пару-тройку лет назад, стала назревавшая невозможность уместить на старой площадке всех желающих, которых год от года становилось всё больше. Однако в реальности невооруженным глазом было видно, что ISC’2013 приняла заметно меньше экспонентов, чем обычно.

Как отмечает директор технологического сектора высокопроизводительных вычислений Intel в регионе EMEA Андрей Семин, на выставке отсутствовали традиционные стенды многих крупных игроков рынка, таких как AMD, SGI, Microsoft. Не приехала ни одна американская лаборатория (Лос-Аламос, Окридж и пр.). На форуме не состоялось несколько важных заранее запланированных сессий и докладов. Все это г-н Семин склонен связывать с общемировым сокращением инвестиций в HPC, что особенно заметно по уменьшению числа больших проектов в США (для этой страны всегда были характерны очень серьезные вложения). На рынке сейчас уже склонны сомневаться в том, что преодоление психологически важного рубежа производительности суперкомпьютера в 1 экзафлопс произойдет в 2018—2019 гг., как это предсказывалось раньше в соответствии с законом Мура и динамикой развития отрасли.

Явным исключением на общем фоне выступает Китай (в котором, отметим, кризис чувствуется не столь сильно). По убеждению г-на Семина, новая система Поднебесной “Млечный путь 2” (Tianhe-2), расположившаяся на первом месте в Top 500 (пиковая и реальная производительность — 54,9 и 33,9 Пфлопс соответственно), — это не только инженерное, но и финансовое чудо. Затраченная на ее создание сумма не разглашается, однако компьютеры из первых строчек рейтинга всегда стоят выше 100 млн. долл. (Бывает, что намного.)

По словам г-на Семина, в Intel распространено мнение о том, что в момент кризиса самое правильное — это инвестировать. За периодами рецессий обязательно следуют взлеты (большие системы будут нужны всегда), однако в момент стагнации всё становится дешевле, даже люди. Так что китайцы сейчас поступают очень дальновидно, но в этом их, похоже, мало кто поддерживает. И Россия, к сожалению, не исключение.

Дела российские

В конце сентября увидела свет новая редакция нашего локального рейтинга Top 50, по результатам которой уже второй раз за последние полтора года график прироста суммарной производительности компьютеров вошел практически в горизонтальную фазу.

На деле это означает что среди пятидесяти мощнейших вычислителей СНГ (а по сути России) почти нет новичков — за весь 2013-й (который, смеем заметить, на исходе) список пополнился всего двумя кластерами, причем не отечественного производства (Hewlett-Packard). В рамках рейтинга прошлого года новых установок и модернизаций было более полутора десятков (треть списка). Надежда на то, что сейчас мы наблюдаем временное затишье перед шквалом объявлений об инсталляциях, весьма призрачна, и очередная редакция Top 500, которую объявят в конце ноября, наверняка это подтвердит. Ситуацию можно было бы прояснить уже сейчас, опросив основных поставщиков HPC-решений, но сделать это весьма проблематично. Зарубежные компании идут на контакт тяжело (формальные ответы не в счет), один из двух основных отечественных игроков — группа РСК — новостями в будущем времени (до завершения проектов) не делится принципиально, а второму игроку — “Т-Платформам” — сейчас вообще не до контактов. Компания в начале марта угодила в список организаций и лиц, действующих вопреки национальной безопасности и внешнеполитическим интересам США. Данный список как средство ограничения отношений страны с сомнительными партнерами составляет Бюро промышленности и безопасности, подведомственное Министерству торговли США. Попадание в него, например, автоматически делает невозможными какие-либо взаимоотношения компании с Intel — со всеми вытекающими из этого печальными последствиями. Юристы из “Т-Платформ” в конце августа подготовили и отправили в США все необходимые документы для опротестования решения бюро, но сколько времени уйдет на ожидание ответа и каким он будет, в компании загадывать не берутся.

Разумеется, проблемы “Т-Платформ” к экономическому кризису никакого отношения не имеют, но отечественному рынку от этого не легче. Остается лишь надеяться, что у компании хватает ресурсов заниматься технологическими разработками на перспективу.

В продолжение темы R&D стоит отметить, что в России проблемы рынка HPC сейчас явно связаны с кризисом спроса, а не предложения. По части технологий как таковых у нас дела обстоят вроде бы весьма неплохо. По вышеупомянутым причинам мы не увидели в Лейпциге стенда “Т-Платформ”, но зато там впервые свой законченный продукт представила отечественная компания TTG Laboratory, основанная в 2010 г. в так называемом научном паркинге МГУ им. М. В. Ломоносова. Молодой коллектив занимается динамической оптимизацией приложений для гибридных систем (с использованием графических процессоров — GPU). Ее разработка Apptimizer для архитектуры Nvidia Kepler призвана обеспечить 20%-ное повышение скорости работы приложений. Как можно было заключить со слов генерального директора компании Максима Кривова, переносом приложений на GPU и их оптимизацией в мире занимаются многие компании, но никто этого не делает в полной мере автоматически.

У TTG Laboratory пока только одно соглашение о внедрении их продукта, да и то с собственной родительской структурой — Московским университетом (на кластере “Ломоносов”). А вот что касается отечественной компании РСК, то ее представленные в Лейпциге разработки (даже самые последние) уже “честно” используются реальными заказчиками, причем по уровню исполнения они в некоторых аспектах являются передним краем развития технологий. Но об этом чуть ниже.

Конкуренция гибридных решений

Одно из главных впечатлений, оставшихся у Андрея Семина от немецкой выставки, заключается в том, что подавляющее большинство прозвучавших на ней докладов тем или иным образом касались энергоэффективности. И выход данной проблемы на передний план он также во многом связывает с кризисным урезанием бюджетов. Заказчики хотят получать большую плотность вычислений за меньшие деньги. Одним из популярных способов повышения производительности суперкомпьютеров при умеренном росте их энергопотребления сегодня является использование так называемых гибридных конфигураций. До недавнего времени самым значимым игроком на этом рынке была компания Nvidia, чьи решения сочетают в себе стандартные процессоры классической архитектуры x86 и графические ускорители. В конце прошлого года в конкурентную борьбу наконец вступила Intel со своими сопроцессорами Xeon Phi. И здесь как раз стоит в продолжение начатой выше темы отметить, что из семи первых инсталляций с использованием новинок Intel пять были расположены на территории США, а две оставшиеся — в России, и их разработкой и установкой занималась компания РСК. (Это действительно большое достижение.) Для одного из заказчиков — Межведомственного суперкомпьютерного центра (МСЦ) РАН — ею даже была создана первая очередь (на 523,8 пиковых терафлопс) системы, которая в перспективе может быть расширена до 10 Пфлопс. В РСК уверяют, что в любой момент готовы такой кластер развернуть; дело за заказчиком. Однако здесь мы опять же возвращаемся к теме кризиса спроса. Несмотря на различные заявления руководства МСЦ (вплоть до демонстрации неоднократно пересматриваемого ступенчатого графика наращивания мощности), по прошествии года никаких реальных подвижек здесь не видно.

Что же касается конкуренции на рынке гибридных решений, то на основании июньской редакции Top 500 можно заметить, что за предшествовавшие ей полгода количество систем с графическими ускорителями сократилось с 47 до 39, но при этом число суперкомпьютеров с сопроцессорами выросло не столь значительно — с 7 до 11.

В Nvidia количественный спад комментируют спокойно. Директор по вычислительным решениям Tesla Сумит Гупта указывает на то, что рейтинг покинуло четырнадцать систем на базе технологий предыдущего поколения (Fermi), но зато в списке уже присутствует восемь более мощных вычислителей на базе новейших GPU Kepler. Что характерно, в результате этих пертурбаций общая пиковая производительность GPU-кластеров осталась на прежнем уровне — 54,4 Пфлопс.

Как можно было понять со слов г-на Гупты, он допускает, что количество суперкомпьютеров на Intel Xeon Phi станет увеличиваться, однако рассчитывает на то, что бизнес Nvidia также будет прогрессировать за счет общего нарастающего интереса пользователей к гетерогенности (гибридности). Сумит Гупта ссылается на данные IDC, согласно которым сейчас 78,4% пользователей HPC планируют включить ускорители/сопроцессоры в свои вычислительные центры при следующей покупке оборудования; всего два года назад таковых было 29%. Так или иначе, в Nvidia в ближайшие несколько месяцев ожидают появления на рынке множества новых систем на базе Kepler.

Оптимизм г-на Гупты в отношении перспектив гибридности не разделяют — вы не поверите — в Intel. По мнению г-на Семина, пользователи уже почувствовали то, о чем компания предупреждала еще в 2006—2007 гг.: гибридность — это сложно (в первую очередь с точки зрения адекватной адаптации приложений). Андрей Семин утверждает, что в Intel гетерогенность воспринимают как явление временное; в будущем суперкомпьютинг станет развиваться явно не в этом направлении. По его наблюдениям, многие разработчики коммерческого ПО сейчас не спешат программировать ни под ускорители, ни под сопроцессоры. И их можно понять: разработка пакета — это четыре-пять лет инвестиций. Рынок ждет гомогенных разработок следующего поколения, и как можно было понять со слов г-на Семина, именно их он со временем и получит, причем в весьма краткосрочной перспективе.

Жидкостное охлаждение

Отвод тепла от суперкомпьютера за счет циркулирующей жидкости вместо воздуха также является очень весомым вкладом в борьбу за “антикризисную” энергоэффективность, и на выставке в Лейпциге он окончательно из разряда экзотики перешел в категорию мейнстрима. (Пока, впрочем, на уровне идей и прототипов; реальных установок не много.)

Преимущества жидкого хладагента перед газообразным, наверное, объяснять не нужно. По обнародованным в июне данным РСК, с 2009 г. ее заказчики уже суммарно сэкономили за счет жидкостного охлаждения 8,5 млн. кВт•ч. (Пересчитать эту величину на деньги, к сожалению, невозможно; тарифы — вещь гибкая.)

Так или иначе, на ISC’2013 жидкостное охлаждение было повсюду, хотя и в очень разных по своей сути проектах. Как поясняет Андрей Семин, проще всего вычислительную стойку погрузить в трансформаторное (не проводящее электричество) масло. Базовые решения может делать практически любой, но до внедрения дело обычно не доходит, чему есть ряд объяснений. Во-первых, у масляных конфигураций очень низкая вычислительная плотность на единицу площади машинного зала. Нельзя сделать столб масла высотой в два метра — стойку невозможно будет обслуживать (придется нырять). Соответственно реальные системы могут быть либо вертикально невысокими, либо и вовсе горизонтальными. Во-вторых, снимать-вынимать платы из масла очень тяжело. В-третьих, например, Intel не дает гарантии на свои платы в случае их погружения. (Некоторые другие поставщики дают, но лишь на определенные марки.) Андрей Семин поясняет, что в компании пока не изучили до конца данный вопрос, но уже пришли к выводу, что оптические кабели в масле использовать не стоит — часть из них разъедается, часть становится хрупкими. Можно использовать медь, но и она теряет свои свойства через полгода-год эксплуатации.

Второй подход к жидкостному охлаждению связан с обработанной водой и исторически пришел из геймерской индустрии. В нем хладагент подводится к горячим компонентам при помощи, условно, радиаторных трубочек и накладок, в просторечье именуемых бобышками. Такая технология в каком-то смысле является половинчатой, потому что бобышки все тепло отвести не могут и примерно 10% компонентов приходится обдувать воздухом, а это означает дублирование системы охлаждения и потери в энергоэффективности. С инженерной точки зрения у такого подхода в общем-то небольшие производственные издержки, однако бобышки подразумевают много ручной пайки — соединение трубочек тяжело механизировать. В больших проектах это означает весьма длительные сроки исполнения контрактов. К тому же чем больше соединений присутствует в системе, тем ниже ее надежность — при транспортировке на площадку заказчика могут возникать микротрещины, которые впоследствии дадут течи.

Третий подход заключается в полном отводе тепла при помощи охлаждающей пластины, которая целиком закрывает сервер. (Именно его использует РСК.) Проблемным фактором здесь можно считать значительный вес. (За исключением вертикальных масляных решений, такие системы самые тяжелые из-за большого содержания металла; не в каждом машинном зале выдержит пол.) В борьбе с ним сейчас используются две основные методики. Наиболее ярким приверженцем первой из них выступает компания Eurotech, избавляющаяся от излишков метала путем сложной дополнительной механической обработки плат, которая удорожает производство. Вторую методику применяет РСК, полностью отказавшись от понятия шасси в серверной стойке. Дело в том, что именно шасси составляют львиную долю массы, в то время как в данном случае никакой необходимости в них нет — структурную стойкость стойке придает сама охлаждающая плата.

Сложность для производителя в полностью жидкостном охлаждении составляет и непростая точка входа на рынок. Грубо говоря, данная технология представляет собой единственную систему отвода тепла, для создания которой используется суперкомпьютинг (сложнейшее моделирование, термодинамический расчет и пр.), плюс требуются очень узкоспециализированные эксперты. Но при этом полностью жидкостное охлаждение позволяет создавать самые вычислительно плотные и энергоэффективные решения. Так, в Лейпциге РСК объявила о том, что производительность ее суперкомпьютерной архитектуры “Торнадо” с высокоэффективным жидкостным охлаждением достигла уровня более 200 Тфлопс на стандартную стойку (42 юнита, 80х80 см в основании, высота 2 м), что, по заверению компании, стало абсолютным мировым рекордом для архитектуры х86.

Стоит отметить, что у подхода РСК есть и еще одна крайне важная особенность: в отличие от той же вышеупомянутой компании Eurotech, ее решение создано для стандартных массово доступных на рынке плат. Как подтверждает г-н Семин, в мире ни один другой поставщик полностью жидкостного охлаждения такого сегодня предложить не может.

В ожидании нового Top 500

В завершение данного материала стоит упомянуть еще один условно кризисный аспект отрасли HPC, который к экономике, правда, вряд ли имеет какое-то отношение. Дело в том, что текущая редакция Top 500, похоже, станет последней версией рейтинга в его нынешнем виде. Кураторы Top 500 сделали заявление о том, что стандартный тест Linpack, на основании которого до сих пор проводилась оценка “реальной” производительности суперкомпьютеров, нуждается в замене. Весьма любопытно, что модернизацией теста решили заняться только сейчас, хотя всевозможной критике он подвергается достаточно давно. В первую очередь за то, что показатели Linpack истинную работоспособность кластера зачастую не отражают, но при этом производители вычислителей специально оптимизируют их (а то и создают изначально) под прохождение теста — в общем, занимаются профанацией.

Как можно было понять из распространенных в СМИ комментариев администрации Top 500, в будущем ранжирование систем станет осуществляться на основании некого нового теста “высокопроизводительных сопряженных градиентов” (High Performance Conjugate Gradient). Каким именно образом это повлияет на расстановку сил на рынке, узнаем совсем скоро — в ноябре. К тому же как минимум в ближайшей редакции рейтинга данные по Linpack также будут присутствовать; можно сравнить показатели. Но в любом случае отрасль явно ожидает определенная встряска, которая, будем надеяться, поможет приблизить ее выход из кризиса.