НовостиСобытияКонференцииФорумыIT@Work
Идеи и практики автоматизации:

Блог

Железо и софт для Большого адронного коллайдера

Сергей Бобровский
07.08.2012 10:32:52

Объем данных, генерируемых БАКом, составляет около петабайта в секунду. Обрабатывать их в реальном времени немыслимо, поэтому сырые данные предварительно фильтруются, и откровенно негодная информация отбрасывается.

Об ИТ-архитектуре БАКа в интервью австралийской iTnews рассказал David Foster, CIO ЦЕРНа.

На втором этапе данные поступают в grid-сеть из нескольких тысяч компьютеров, где выполняется предварительное моделирование события, дабы более точно оценить его ценность. Интенсивность этого потока составляет порядка гигабайта в секунду, информация анализируется на серверах Церновского ЦОДа Tier Zero, а записывается, а также дополнительно обрабатывается в 11-ти ЦОДах Tier One. Наконец, финальная симуляция выполняется в 150-ти ЦОДах Tier Two. В итоге результаты поступают научному сообществу очень быстро, почти в реальном времени, и аналитические статьи выходят уже спустя всего несколько дней по завершении эксперимента.

David Foster отметил разницу между grid-сетью БАКа и облачными технологиями. Grid в его понимании -- это замкнутая сетевая система, сформированная конкретным коммьюнити под конкретную задачу. Но с технической точки зрения отличия между grids и clouds небольшие, в плане различия ключевую роль играет бизнес-модель их использования, взаимоотношения с провайдерами сервисов, формы владения итд. Пока же применение коммерческих облачных технологий для подобных научных экспериментов слишком накладно -- из-за огромных объемов данных, жестких требований к сетям и вычислительным ресурсам.

Софт для управления подобной масштабной grid-сетью разрабатывается на деньги Евросоюза, причем большинство систем распространяется под свободными лицензиями. Первоначально это был проект European DataGrid, в середине 2000-х появились мощные middleware-технологии Enabling Grids for E-sciencE I, II и III, а в настоящее время действуют два проекта: European Grid Infrastructure и European Middleware Initiative -- платформа для построения высокопроизводительных распределенных систем.
Ее финальная версия Monte Bianco выйдет в следующем году. Она базируется на 56 пакетах и дистрибутиве Scientific Linux 6.
Для хранения данных задействована виртуальная файловая система dCache (используется кстати российским grid-консорциумом РДИГ), собственно middleware для гридов gLite, и технология защищенного доступа ко всевозможным grid-ресурсам UNICORE.

Комментариев: 0

Только зарегистрированные и авторизованные пользователи могут добавлять комментарии