GRID -2018 — Международная конференция в Лаборатории информационных технологий ОИЯИ «Распределенные вычисления и грид-технологии в науке и образовании»


https://www.youtube.com/jinrtv

В Лаборатории информационных технологий ОИЯИ  прошла 8-я Международная конференция «Распределенные вычисления и  грид-технологии в науке и образовании». Более двухсот специалистов из разных стран мира обсуждали актуальные вопросы использования IT-технологий. Участники конференции представили новые результаты в этой области,   Объединенный институт ядерных исследований участвует  в самых современных проектах, связанных с развитием компьютинга, с такими технологиями, как BigData (аналитика больших данных), поэтому конференция в Дубне пользуется неизменной популярностью. Она объединяет специалистов из ОИЯИ, ЦЕРНа,  Германии, Франции, США,  Италии, из стран-участниц ОИЯИ – таких как Беларусь, Грузия, Молдова. Большая делегация приезжала из Китая.

Гиулан Хуанг, участница конференции (Научно-исследовательский институт физики высоких энергий Академии Наук КНР, Пекин): «Я занимаюсь подготовкой компьютерного обеспечения для эксперимента. Мой доклад  — о новых решениях для  выполнения этой задачи.  Наш компьютерный центр уже не в состоянии справиться с огромной нагрузкой при  хранении экспериментальных данных, поэтому нам нужно искать новые решения для улучшения нашей работы. В моем докладе я говорила о способах решения таких вопросов, о разработках новых технологий, а также о том, как мы обеспечиваем анализ данных для заинтересованных  ученых. Мы сотрудничаем с Объединенным институтом ядерных исследований  в сетевом моделировании. У нас тесные связи с коллегами из ОИЯИ и мы надеемся, что будем продолжать наше сотрудничество и дальше».

В рамках  конференции была организована Школа  «Научные вычисления, анализ больших данных и технологии машинного обучения для мега-сайенс проектов». Таким образом, студенты, аспиранты и молодые ученые привлекаются к решениям IТ-задач, существующих в проектах класса мега-сайенс в области физики высоких энергий.  Более 40  студентов познакомились с высокопроизводительными вычислительными системами.

Владимир Кореньков, директор Лаборатории информационных технологий ОИЯИ: «Последние 2-3 года  очень активно развиваются такие направления как машинное обучение,  аналитика больших данных, интеграция GRID, GRID-cloud, HPC — для создания крупных инфраструктур как для поддержания пмега-роектов, так и для цифровой экономики. Все эти темы широко представлены на нашей конференции.  У нас 12 спонсоров конференции, с которыми мы активно работаем. Это компании IBS Platformix, Intel, NVIDIA, Ниагара Компьютерс, и многие другие».

Специалисты корпорации  Intel и группы компаний РСК (это ведущий  российский разработчик инновационных решений  для высокопроизводительных вычислений и центров обработки данных) участвовали в реализации проекта по созданию суперкомпьютера в ОИЯИ. Суперкомпьютер «Говорун» был запущен в Лаборатории информационных технологий в марте 2018 года с производительностью   1 Пфлопс.

Самые последние достижения компьютерной техники, процессорной техники воплощены в суперкомпьютере —   это системы, базирующиеся  на  процессорах нового поколения,  самые быстрые твердотельные диски. Все эти  решения связывают  серверы в единую быструю сеть и делают их суперкомпьютером, где генерируется  огромный объем данных.

Владимир Кореньков, директор Лаборатории информационных технологий ОИЯИ: «Мы прошли большой путь для работы с пользователями для того, чтобы суперкомпьютер «Говорун» эффективно использовался, сделали очень хорошее средство мониторинга за всей нашей инфраструктурой. И уже появилось много пользователей, это в первую очередь Лаборатория теоретической физики им. Н. Н. Боголюбова ОИЯИ и те, кто занимается компьютингом  для NICA. У нас появляются пользователи из других стран, поэтому он набирает обороты».

О мониторинге и оптимизации распределенных вычислительных систем говорилось на конференции.

Иван Кашунин, инженер-программист Лаборатории информационных технологий ОИЯИ: «Что касается суперкомпьютера «Говорун», то сейчас нами развернут дополнительный сервер, который будет обеспечивать  мониторинг «железной» части суперкомпьютера. Собираются данные — какие параметры нужно отслеживать, какое оборудование – эти все вопросы сейчас активно обсуждаются. Я думаю, в течение этого года большая часть оборудования будет отслеживаться  и мониториться в полном объеме».  Я буду рассказывать про систему мониторинга центрального информационно-вычислительного комплекса, об оценке производительности  кластерного подхода применимо к системе мониторинга. Дело в том, что с течением времени  в нашем вычислительном комплексе набралось большое количество оборудования. Когда его стало очень много, потребовалось отслеживать все его характеристики, все параметры, чтобы не произошел сбой или какой-то отказ.  В этом деле хорошо помогают системы  мониторинга, они позволяют делать оценку состояния всего оборудования и своевременно реагировать на отказ. Сначала нами был выбрана система мониторинга базирующаяся на Nagios. Но так как количество оборудования увеличивается со временем, соответственно производительности этой системы мониторинга  не хватало. Оборудования  было много, и нагрузка на центральный процессор возрастала.  Мной была выдвинута идея, чтобы применять для мониторинга не единственный сервер, а несколько серверов, чтобы можно было снизить нагрузку на центральный сервер. Применение данного подхода я буду освещать в своем докладе. Я надеюсь, что мой опыт будет полезным другим участникам конференции».

На базе Центрального информационно-вычислительного комплекса ОИЯИ были созданы грид-центры уровней Tier-1   и Tier-2 для эксперимента CMS на Большом адроном коллайдере (LHC).  Грид-центры используются как часть глобальной системы хранения и обработки экспериментальных данных и данных моделирования событий, поступающих из ЦЕРНа.

Иван Кашунин, инженер-программист Лаборатории информационных технологий ОИЯИ: «Тир-2 и Тир-1 в ОИЯИ достаточно сильно развиваются — постоянно приобретается новое оборудование. Используются как дисковые серверы, так и серверы хранения данных».

Геннадий Ососков, главный научный сотрудник Лаборатории информационных технологий ОИЯИ: «Эта конференция очень важна для того, чтобы организовать людей, занимающихся компьютингом, а это одна из главных возможностей правильно обрабатывать данные физического эксперимента и обмениваться с другими центрами всеми новыми идеями с помощью компьютерных сетей. Меня здесь привлекают не только вопросы обработки, хотя в последнее время они стали  особенно активными и интересными благодаря  появлению так называемых  глубоких нейронных сетей, которые мы имеем  для того, чтобы находить треки элементарных частиц.   На этой конференции у меня в соавторстве получилось 4 доклада плюс лекции на Школе для молодых ученых. Как раз по поводу нейронных сетей – глубоких нейронных сетей».

Владимир Кореньков, директор Лаборатории информационных технологий ОИЯИ: Грид-технология – это одна из технологий распределенных вычислений – не параллельных. Получается, что  для физики высоких энергий грид-технология — наиболее эффективное средство, потому что суперкомпьютеры в физике высоких энергий  раньше привлекались очень редко. Но сейчас появилась тенденция, когда  и суперкомпьютерные технологии  тоже стали активно использоваться  — в том числе в физике высоких энергий. Гибрид (эта интеграция GRID,  clout и суперкомпьютинга), дает очень большие результаты для того, чтобы  использовать уже объединенную глобальную инфраструктуру для мега-проектов,  таких как LHC, NICA, ПИК и многие другие проекты, которые в мире развиваются. Наша конференция  дает дополнительный импульс для развития  наших связей, привлекая наших потенциальных партнеров для работы в ОИЯИ, и в первую очередь творческую молодежь, студентов, которые теперь рвутся к  нам на практику».

На конференции рассматривались новые технологии распределенных вычислительных систем, их применение в науке, производстве, образовании, устанавливались контакты для будущего плодотворного сотрудничества специалистов разных стран мира в области грид-технологий.

Научно-информационный отдел ОИЯИ, 2018

Редактор портала: Инна ОРЛОВА
Видео: Евгений ГОРЯЧКИН

http://www.jinr.ru

http://www1.jinr.ru/News/Jinrnews_rus.html