Компания «Т-Платформы» завершает тестирование и пуско-наладку суперкомпьютера производительностью 2,57 петафлопc для Московского государственного университета им. М.В. Ломоносова. Система заняла 22 место в 44-й редакции мирового суперкомпьютерного рейтинга Тор500 с реальной производительностью 1,84 петафлопс. Результаты нового рейтинга объявлены в рамках выставки-конференции SC’14 в Новом Орлеане.

Количество задач в постоянно растущей очереди к установленным в МГУ суперкомпьютерам «Чебышев» и «Ломоносов» исчисляется сотнями. Однако мощности новой мультипетафлопсной системы планируется использовать, во многом, для наиболее крупных и ресурсоемких расчетов, способных использовать сотни процессоров одновременно.

«Суперкомпьютерный центр МГУ видит свою задачу в освоении передовых отечественных технологий и поддержании вычислительных мощностей центра на конкурентоспособном мировом уровне, — отметил заместитель директора Научно-исследовательского вычислительного центра МГУ В. В. Воеводин. — Введение в строй новой системы в первую очередь позволит приступить к созданию и обработке более комплексных компьютерных моделей, чем было возможно до сих пор, а также значительно разгрузит „Ломоносов“ и снизит время ожидания задач в очереди».

В основе нового суперкомпьютера МГУ — уникальные российские аппаратные разработки. Вычислительная часть системы построена на базе суперкомпьютерных платформ A-Class, которые позволяют размещать до 535 терафлопс процессорной мощности в одной стойке, по плотности вычислений далеко превосходя иностранные аналоги. A-Class — суперкомпьютер «уровня стойки», где все элементы тесно интегрированы внутри специально разработанного вычислительного шкафа, который охлаждается «горячей водой». 192 таких стойки можно объединить в суперкомпьютер пиковой производительностью более 100 петафлопс.

В новом суперкомпьютере МГУ всего 5 вычислительных стоек с 1280-ю узлами на базе 14-ядерных процессоров Intel Xeon E5-2697 v3 и ускорителей NVIDIA Tesla K40, с общим объемом оперативной памяти более 80 Тб. В системе две независимые управляющие сети стандарта Ethernet и две сети FDR InfiniBand. Одна из них используется для MPI-трафика и имеет современную топологию Flattened Butterfly, которая не только лучше масштабируется на системах большого размера, но и позволяет снизить количество используемых сетевых коммутаторов, сокращая стоимость сетевой инфраструктуры до 40% по сравнению с традиционными топологиями. Вторая сеть InfninBand используется для доступа к данным и имеет стандартную топологию Fat Tree с более высокой пропускной способностью. Двухуровневая система хранения включает хранилище расчетных данных объемом 400 Тб на базе параллельной файловой системы Lustre и отдельные серверы доступа для более производительной работы с файлами для загрузки и результатами расчетов.

Каждая стойка суперкомпьютера потребляет около 130кВт и охлаждается водой с температурой 45°С, которая подводится в радиаторы, тесно прилегающие к вычислительным платам. Контур водяного охлаждения построен с применением бескапельных разъёмов, а все гидравлические и электрические компоненты разнесены в пространстве и защищены. Помимо более высокой плотности вычислений на стойку и снижения уровня шума в машинном зале, «горячая вода» позволяет сократить количество потребляемого всем суперкомпьютерным комплексом электричества, а также круглый год применять режим так называемого «свободного охлаждения». Это снижает стоимость инженерной инфраструктуры центра, т.к. вместо дорогостоящих и энергоемких холодильных машин суперкомпьютер может охлаждаться обычным воздухом снаружи.

Суперкомпьютер устанавливается в здании Ломоносовского корпуса МГУ рядом с Фундаментальной библиотекой, где уже построена инженерная инфраструктура, рассчитанная на отвод 12 МВт тепла, при этом плотность энергетической мощности на единицу площади — более 12 кВт/м2 — превышает среднюю по отрасли почти в 3 раза. Эта инфраструктура позволит увеличить производительность нового суперкомпьютера МГУ до десятков петафлопс.

Доступа к новому суперкомпьютеру уже ожидают масштабные исследовательские проекты в области медицины (например, моделирование молекулярных процессов в живой клетке), инженерных расчетов (среди них — сложнейшие проблемы вихревой аэродинамики и анализа процессов горения), а также астрофизики, материаловедения, энергетики и многих других областей. «Мы рады, что наши технологии помогают ученым решать проблемы, для которых традиционных научных методов недостаточно, — отметил Всеволод Опанасенко, генеральный директор компании „Т-Платформы“. — Мы разрабатываем высокотехнологичные, надежные и конкурентоспособные отечественные решения, чтобы российская наука могла использовать новейшие методы численного анализа и ни в чем не отставать от мировой».