Проект оснащения вычислительного центра Томского государственного университета (ТГУ) суперкомпьютером “СКИФ Cyberia”, о старте которого мы сообщили в ноябре прошлого года в PC Week/RE, № 42/2006, с. 1, завершен. По данным производителя суперкомпьютера — компании “Т-Платформы”, пиковая производительность “СКИФ Cyberia” (в нём 283 вычислительных узла, cодержащих, в общей сложности, 566 двухъядерных процессоров Intel Xeon серии 5150) достигает 12 триллионов операций в секунду (Тфлопс), а результат исследования производительности системы в стандартном тесте Linpack показал 8,945 Тфлопс. Таким образом, “СКИФ Cyberia” стал самым мощным вычислительным комплексом на территории Восточной Европы и попал в сотню мощнейших компьютеров мира по рейтингу Top500.


Проект осуществлялся в тесном сотрудничестве с Институтом программных систем РАН (ИПС РАН), а также с корпорациями Intel и Microsoft.

Генеральный директор компании “Т-Платформы” Всеволод Опанасенко сообщил, что “СКИФ Cyberia” может функционировать как под управлением ОС SUSE Linux Enterprise Server 9, так и под управлением ОС Microsoft Windows Computer Cluster Server 2003. Предполагается, что привычная многим пользователям среда разработки этой ОС и лёгкость её интеграции с существующими в компаниях инфраструктурой и приложениями значительно облегчат и ускорят процесс создания приложений для высокопроизводительных вычислений.

“СКИФ Cyberia” построен с учётом опыта, накопленного “Т-Платформами” в процессе реализации российско-белорусского проекта СКИФ, осуществлённого в 2000—2004 гг. и завершившегося строительством 288-узлового кластера “СКИФ К-1000” (см. PC Week/RE, № 44/2004, , с. 1). По словам г-на Опанасенко, при сопоставимом количестве вычислительных узлов и энергопотреблении “СКИФ Cyberia”, в котором используются более мощные процессоры и различные архитектурные ухищрения почти в пять раз превосходит своего предшественника по производительности.

Заведующий кафедрой механики твердого деформируемого тела ТГУ Владимир Скрипняк сообщил, что доступ к ресурсам нового суперкомпьютера будет обеспечен не только сотрудникам ТГУ, но и широкому кругу пользователей из Краснодара, Бийска, Новосибирска, Москвы и других городов. Это возможно благодаря тому, что для связи с внешним миром ТГУ имеет очень развитую телекоммуникационную структуру, включающую среди прочего каналы связи с использованием спутника “Ямал-200”. Предполагается, что суперкомпьютерный ресурс ТГУ станет ключевым элементом вычислительной инфраструктуры Томской области и других регионов Сибири.

Среди задач, которые могут быть решены с помощью нового суперкомпьютера, исполнительный директор программы СКИФ от РФ, директор ИПС РАН, член-корреспондент РАН Сергей Абрамов назвал комплексный экологический мониторинг атмосферы и гидросферы, контроль за разливом рек, распространением пожаров и эпидемий, рациональное использование лесных и минеральных ресурсов, новые конкурентоспособные методы разведки нефтегазовых месторождений, восстановление загрязненных почв, проектирование ракетно-космической техники и безопасного шахтного оборудования, создание новых видов ракетного топлива и сверхтвердых покрытий с помощью нанотехнологий.

По словам г-на Абрамова, финансирование работ по созданию “СКИФ Cyberia” производилось из средств, выделенных ТГУ как одному из 17 победителей конкурса образовательных учреждений высшего профессионального образования. При этом инвестиции в данный проект составили чуть более 50 млн. рублей (около 0,6% от общей суммы, предусмотренной федеральным бюджетом для реализации инновационных образовательных программ в 2006—2007 годах).

Технические подробности проекта “СКИФ Cyberia”

Вычислительные узлы суперкомпьютера базируются на системных платах, специально модифицированных по заказу специалистов “Т-Платформ” и изготовленных на Тайване. В частности, для достижения наилучшей производительности в вычислительных задачах стандартный серверный набор микросхем в них заменили на чипсет Intel 5000x, обычно используемый для строительства графических станций. В дополнение к этому разработчики применили технологии системной сети QLogic InfiniPath и системы хранения данных T-Platforms ReadyStorage ActiveScale Cluster.

Система хранения данных “СКИФ Cyberia” представляет собой NAS с параллельной файловой системой. Она разработана американской фирмой Panasas специально для кластерных систем и обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. Данное решение хорошо масштабируется: при подключении новых модулей хранения возрастает не только объем хранилища, но и пропускная способность всей системы. Мониторинг кластера и управление системой обеспечивает сервисная сеть СКИФ ServNet разработки ИПС РАН.

Суммарная мощность, потребляемая суперкомпьютером, сейчас cоставляет 120 кВт, но система бесперебойного электропитания “СКИФ Cyberia” имеет мощность 160 кВт и обеспечивает напряжение с заданными характеристиками на всех компонентах вычислительной системы, а также защиту от сбоев в подаче электричества. Она способна поддерживать работу суперкомпьютера в течение 10 минут после отключения внешнего электропитания, что вкупе со специальным ПО позволяет гарантировать сохранность пользовательских данных в аварийной ситуации. Резерв нужен потому, что ТГУ оставляет за собой возможность расширить вычислительные мощности суперкомпьютера.

Для надёжности работы оборудования, установленного в небольшом по площади помещении вычислительного центра ТГУ, инженеры “Т-Платформ” спроектировали смешанную воздушно-водяную систему охлаждения с уровнем резервирования N+1 на всех уровнях. Блоки кондиционеров, расположенных в ряду монтажных шкафов, обеспечивают забор горячего воздуха непосредственно из вычислительных узлов. Затем воздух охлаждается водой в теплообменниках и уже холодным подается с передней стороны вычислительных стоек. Для охлаждения нагретой воды используется фреон в холодильных установках, конденсаторы которых находятся на крыше вычислительного центра.

Таблица

Основные технические характеристики “СКИФ К-1000” и “СКИФ Cyberia”
Параметр“СКИФ К-1000”“СКИФ Cyberia”
Пиковая производительность, Тфлопс 2,53412,000
Производительность на тесте Linpack, Тфлопс2,0328,945
Тип используемых процессоров 2,2 ГГц одноядерный AMD Opteron 2,66 ГГц двухъядерный Intel Xeon 5150
Число двухпроцессорных вычислительных узлов 288283
Конструктив узла 1U 1U
Конструктив компьютера 8 стоек, 36 узлов в стойке 8 стоек, 36 узлов в стойке
Оперативная память вычислительных узлов, Гб 1152 (288х8х0,5)1128 (282х4х1)
Дисковая память вычислительных узлов, Гб23 040 (288х80)22 560 (282х80)
Тип системной сети Infiniband Qlogic InfiniPath
Тип управляющей (вспомогательной) сети Gigabit Ethernet Gigabit Ethernet
Тип сервисной сети СКИФ-ServNet СКИФ-ServNet
Суммарная длина кабельных соединений Свыше 2 км Свыше 2 км
Потребляемая мощность вычислительной установки, кВт 8990
Максимально допустимая температура окружающей среды, °С.3035
Операционные системы, под управлением которых может работать вычислительная установка Linux-SKIF SUSE Linux Enterprise Server 9 и Microsoft Windows Computer Cluster Server 2003

Версия для печати