НовостиСобытияКонференцииФорумыIT@Work
Государство и ИТ:

Блог

Graph500. Новый суперкомпьютерный рейтинг со старыми проблемами

Денис Воейков
03.07.2011 17:07:37

Высказанные соображения во многом были скорректированы. Читайте комментарии.

В конце рабочей недели компания Т-Платформы распространила сообщение для СМИ под заголовком «Суперкомпьютер «Ломоносов» устанавливает мировой рекорд по масштабируемости и производительности в тесте Graph500».

Цитата:
«Инициаторами Graph500 выступили ведущие эксперты ряда национальных исследовательских центров, действующих под эгидой лаборатории Sandia (США). Рейтинг составляется на основе тестирования высокопроизводительных вычислительных комплексов. Данное мероприятие призвано определить суперкомпьютеры, наиболее эффективно обрабатывающие большие массивы разреженных данных, представленных в виде графа или базы данных.»

Честно говоря, я мало что из этого понял, но возникло полное ощущение, что речь идет о какой-то серьезной альтернативе крайне не любимого мною (по ряду причин) рейтинга Top 500.

Реальность оказалось несколько иной во всех смыслах.

Во-первых, Graph500 без году неделя. Свежая редакция является второй по счету (первая вышла полгода назад), и в ней пока фигурируют всего 28 машин.

Во-вторых, если взглянуть на лист, то нетрудно заметить, что «Ломоносов» занимает в нем отнюдь не первую, а всего лишь третью строчку.

Упомянутый в пресс-релизе показатель производительности у него действительно превосходит всех конкурентов, но очевидно, что приоритетным в Graph500 является отнюдь не он.

Однако, это все детали.

Наиболее существенно, что новый рейтинг унаследовал главную родовую травму Top 500 — несоблюдение собственных правил.

У Graph500 пока достаточно сумбурный сайт, четкого описания правил я не нашел. Однако, судя по тому, что заявки на включение в следующий рейтинг принимаются не позднее чем за месяц до его презентации, аналогичная ситуация должна была происходить и с рейтингом текущим.

Июньский Graph500 был объявлен на выставке в Гамбурге, прошедшей в начале 20-х чисел месяца.

Объявление об открытии второй очереди (модернизации) «Ломоносова» произошло там же. (Равно как и анонс последнего Top 500, также принимающего заявки заранее.)

Соответственно наш самый мощный кластер в четком соответствии с правилами рейтингов не должен был попасть ни в Top 500, ни в Graph500.

Впрочем, к Т-Платформам особых претензий нет.

Когда-то мне удалось выяснить, что кураторам Top 500 по большому счету на свои правила плевать. (То есть речь идет не о происках компаний-фальсификаторов, а о каких-то скрытых интересах организаторов топ-листа, поощряющих липу.)

Видимо новый Graph500 — контора того же свойства.

Комментариев: 7

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии

Антон
04.07.2011 18:51:17

Непосредственно как автор обоих оптимизаций(top500 и graph500) хочу сказать вам, что вы очень сильно заблуждаетесь. Жаль что вы не уточнили и не разобрались в деталях прежде чем написать заметку. Чуть изложу подробнее, а пока могу заметить, что все заявки были поданы строго в срок. А результат для граф500 был получен еще в марте и он не использовал ГПУ узлы, если посмотреть внимательно там указано, что использовались только 4096 узлов.

04.07.2011 19:19:35

Антон,
относительно узлов вы по всей видимости правы. Только вот должен ли я их был пересчитывать после такой фразы из пресс-релиза вашей компании, приведенной от имени Всеволода Опанасенко:
"Разработанный нашей компанией суперкомпьютер «Ломоносов» уже доказал свою эффективность в ряде научных проектов, реализуемых учеными Московского государственного университета им. М.В. Ломоносова. А после недавней модернизации он прекрасно показал себя в ходе последнего теста Graph500. "?

Ладно. Допустим с этим моментом разобрались.

Но с Топ500-то что? На Линпаке тоже ГПУ-узлы не использовались?

Антон
04.07.2011 21:33:53

Добрался до нормального компьютера, постараюсь описать подробнее.

Про Топ500. Естественно использовались все узлы Ломоносова – как x86 так и GPU. В этом и была основная сложность, так как нет доступного варианта линпак для таких конфигураций. Поэтому пришлось значительно модифицировать линпак и оптимизировать. Заявка подавалась в срок, точно не помню, кажется 14го мая, время давило smile:( В частности поэтому и был получен такой результат – 49.5 процентов, если бы была еще неделька другая, я думаю можно было бы поднять до 52-53%, но поскольку сроки подачи в Топ500 никто не отменял, пришлось отправить тот результат, что был на тот момент. Объявление было приурочено к конференции и топ500, но линпака это никак не касается, можно было запускать и без официального объявления smile:)

Про Граф500. Этот бенчмарк как пишут сами же авторы никак не призван заменить Топ500. А скорее в дополнение к нему. Не секрет, что линпак является односторонним тестом и лишь небольшая часть задач на него похожа. Есть же ряд задач которые на него совсем не похожи, вот чтобы оценивать производительность на этом классе (Data-Intensive) и был придуман этот тест. Можно привести такое сравнение – суперкомпьютер как автомобиль, пиковая производительность это паспортная мощность мотора в лошадиных силах, линпак и топ500 это стрит-рейсинг – кто быстрее проедет 500 метров по прямой, обычно коррелирует с мощностью мотора итп, а вот Граф500 это езда по центру города по узким переулкам, тут от лошадиных сил мало что зависит, скорее важна маневренность.

Далее про производительность, действительно по правилам первым идет размер графа, а потом только проивзодительность, в отличие от линпака где размер матрицы совсем не важен, а важна производительность ( то есть некоторые едут 500 метров, а некоторые 100 километров, в зачет идет лишь средняя скорость). Но если посмотреть, то первые два места обработали всего лишь в два раза больший граф (скейл 38), чем я смог(37). В частности срок подачи был такой же – 15 мая, поэтому и не хватило времени, чтобы добить граф размера 38. С другой стороны размер не так принципиально влияет на производительность, поэтому авторы и думают, чтобы отменить влияние размера графа. В частности те кто были на конференции и зашли на оглашение списка слышали дискуссию об этом и видели специальное упоминание, которого удостоился Ломоносов: http://pueblo.ru/isc11/300_3944.jpg.

Вот надеюсь я прояснил некоторые детали. Если будут вопросы буду рад ответить. В любом случае искреннее спасибо, что по меньшей мере написали об этом. Вот другой известный сайт видимо не любит нас, ничего не написал совсем smile:(

05.07.2011 00:54:35

Антон, спасибо за подробный ответ. Его фрагменты обязательно будут использованы в моем редакционном материале. (Здесь все же блог -- персональные мнения авторов еженедельника.)
Если это возможно, сбросьте контактный телефон на denidis@pcweek.ru
У меня есть несколько уточняющих вопросов сугубо технического характера (я не все понял из вашего текста).
Завтра внесу исправления в текст этого поста -- дам обязательные указания читать комментарии.

YurySerdyuk
06.07.2011 15:11:44

> нет доступного варианта линпак для таких конфигураций

Доступен вот такой вариант
https://github.com/avidday/hpl-cuda

а также в некоторых московских суперкомпьютерных центрах имеется вариант

This is a CUDA-enabled version of HPL optimized for Tesla 20-series GPUs

version 0.8
Authors: Massimiliano Fatica and Everett Phillips

который, видимо, можно получить непосредствено от Nvidia.

Sergei Belousov
20.07.2011 18:07:42

Добрый день! А вы не могли бы подсказать контакты когото, кто работал с

"This is a CUDA-enabled version of HPL optimized for Tesla 20-series GPUs

version 0.8
Authors: Massimiliano Fatica and Everett Phillips" ?

Заранее спасибо

YurySerdyuk
21.07.2011 19:33:49

Напишите мне по адресу,
указанному на сайте www.mcsharp.net

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии