UA-Grid: Украинская национальная

грид-программа

Загородний А.Г.1, Свистунов С.Я.1, Белоус Л.Ф.2, Головинский А.Л.3

1 Институт теоретической физики им. Н.Н. Боголюбова НАН Украины

2 Физико-технический институт низких температур им. Б.И. Веркина НАН Украины

3 Институт кибернетики им. В.М. Глушкова НАН Украины

Содержание:

Немного истории

Этап 1 — 2009-2010 гг.

Этап 2 — 2011-2013 гг.

Направления развития NGI_UA Немного истории с 2002 года Первый в Украине грид-кластер, который был включен в европейскую грид-инфраструктуру, был создан в Харьковском физико-техническом институте НАН Украины в рамках совместных проектов с Объединенным институтом ядерных исследований (г.

Дубна, Россия) и Европейским центром ядерных исследований (ЦЕРН) (г. Женева, Швейцария) в 2002 году. Являясь грид-центром уровня Tier-2, по терминологии виртуального сообщества WLCG (Worldwide LHC Computing Grid), ННЦ ХФТИ обслуживает по настоящее время один из основных экспериментов (СMS) Большого Адронного Коллайдера (БАК).

Немного истории Декабрь 2006 года В 2005 году, по инициативе Института теоретической физики им. Н.Н.

Боголюбова НАН Украины (ИТФ) и Информационно-вычислительного центра Киевского национального университета имени Тараса Шевченко (КНУ), вычислительные кластеры институтов были подключены к гридинфраструктуре AliEn-GRID, используемой для обработки данных эксперимента ALICE в ЦЕРНе.

В конце 2006 года удалось построить первый экспериментальный грид-сегмент в составе кластера ИТФ и КГУ под управлением промежуточного программного обеспечения ARC проекта NorduGrid. Поэтому именно с декабря 2006 года начинается развитие грид в Украине.

Немного истории 25 апреля 2006 года Впровадження грід-технологій і створення кластерів в НАН України Координационный Совет Программы, председатель Совета – А.П. Шпак, зам. председателя – А.Г. Загородний Немного истории Апрель 2007 года Немного истории Апрель 2010 года Немного истории 2006-2008 гг.

Финансирование (по годам) Впровадження грід-технологій і створення кластерів в НАН України Млн. грн.

Млн. грн.

hardware software Финансирование в 2009 году было 1,5 млн. грн. и не выполнено Немного истории 2006-2008 гг.

• Государственная программа "Развитие информационных и телекоммуникационных технологий в образовании и науке на период 2006-2010 годы", МОН, EUGridPMA - создание Сертификационного центра открытых ключей в Украине, создание кластера в Киевском политехническом университете (КПИ), его подключение к грид-сегменту НАН Украины и начало подготовки пользователей грид в КПИ.

• Для построения грид–инфраструктуры Украины было использовано промежуточное программное обеспечение (middleware) ARC (Advanced Resource Connector), разработанное в проекте NorduGrid. Такой выбор был обусловлен сравнительной простотой ARC в инсталляции и использовании, возможностью инсталлировать все пакеты ARC на одном сервере, а главное - отсутствием необходимости выполнения строгих требований проекта EGEE по регистрации и эксплуатации, которые предъявлялись к промежуточному программному обеспечению gLite, ориентированному на обслуживание экспериментов на БАК.

• На этом мы завершим историческую справку. К началу 2009 года в Украине был создан грид-сегмент Академии наук, который реально использовался в научных исследованиях.

“Державна цільова науково-технічна програма впровадження і застосування грід-технологій на 2009—2013 роки” Координационный Комитет Программы, руководитель – А.Г. Загородний Целью Программы является создание национального грид и широкое внедрение грид-технологий в научную и социально-экономическую сферу.

Основными исполнителями программы были определены Национальная академия наук Украины, Министерство образования и науки Украины и Министерство здравоохранения Украины. Институт теоретической физики им.

Н.Н. Боголюбова НАН Украины является головной организацией по выполнению программы, а директор института, Віце-президент НАН Украины академик НАН Украины А.Г. Загородний назначен руководителем программы UA-Grid.

• Этап 1 — 2009-2010 гг.

До 2011 года продолжалось развитие инфраструктуры Украинского национального грид, в основном за счет увеличения количества устанавливаемых грид-кластеров и так называемых грид-платформ доступа (грид-кластер с минимальными ресурсами, подключенный к грид-инфраструктуре для учебных целей). Именно на первом этапе была создана и в достаточной степени оттестирована основная гридинфраструктура, созданы ресурсные центры, сформировались тематические виртуальные организации, были разработаны грид-сервисы, упрощающие работу ученых со своими прикладными пакетами.

• Этап 2 — 2011-2013 гг.

Интеграции грид-инфраструктуры Украины на техническом уровне в европейскую грид-инфраструктуру EGI и дальнейшее развитие в ее составе.

Этап 1 — 2009-2010 гг.

Грид-нфраструктура Украинского Грида Основными составляющими грид-инфраструктуры Украины являются:

• Базовый координационный грид-центр национального уровня (BCC);

• региональные координационные грид-центры (ROD);

• ресурсные центры национального уровня (ИК им. В.М. Глушкова и НТУУ КПИ);

• центр удостоверения цифровых сертификатов с региональными филиалами;

• центр регистрации запросов на цифровые сертификаты;

• центр сертификации грид-сайтов;

• центр регистрации виртуальных организаций и учета членов виртуальных организаций;

• центр мониторинга грид-инфраструктуры;

• центры виртуальных организаций;

• узлы национального грида (ресурсные центры).

• MolDynGrid – молекулярная биология;

• Medgrid – медицинская грид-система для популяционных исследований в области кардиологии;

– реконструкция сетей генной регуляции;

• SysBio • MatModEn – математическое моделированию в задачах энергетики • CompuChemGridUA — квантовая химия;

• Мultiscale - решение широкого спектра научно-прикладных задач;

• GEOPARD – Вычисление трехмерных сейсмических полноволновых моделей в грид-среде;

• VIRGO.UA - космология и астрофизика;

• CMS, ALICE - физика высоких энергий — коллаборация Церн;

• Gaussian — квантовая химия ;

• WeNMR — создание мировой инфраструктуры для ЯМР-спектроскопии и структурной биологии;

Этап 1 — 2009-2010 гг. грид-кластером Этап 1 — 2009-2010 гг. грид-кластером Этап 1 — 2009-2010 гг. грид-кластером Этап 1 — 2009-2010 гг. грид-кластером Этап 1 — 2009-2010 гг.

Структура международной учебно-исследовательской грид-инфраструктуры "gLite/EMI/UMD t-infrastructure" https://gridedu.jinr.ru/gLiteEduInfrastructure Состав участников:

• Россия (RU-JINR, RU-JINR-MPI, RU-JINR2, RU-Protvino-IHEP) • Узбекистан (UZ-IMIT) • Казахстан (KZ-ENU) • Болгария (BG-SU) • Украина (UA-BITP, UA-KPI, UA-ILTPE) Этап 1 — 2009-2010 гг.

Mониторинге t-infrastructure (VO EDU) [belous@ds6 ~]$ date; lcg-infosites --is vps109.jinr.ru --vo edu all Сбт Янв 19 19:05:52 EET # CPU Free Total Jobs Running Waiting ComputingElement ----------------------------------------------------------------------------------------ce-edu.hpcc.kpi.ua:2119/jobmanager-lcgpbs-edu 11 11 0 0 0 ce-emi.bitp.kiev.ua:8443/cream-pbs-edu 4 4 0 0 44 vm04.azgrid.org:8443/cream-pbs-edu Avail Space(kB) Used Space(kB) Type SE ----------------------------------------------------------------------------------------SRM se.ilt.kharkov.ua 99033837 6690553 SRM vm03.azgrid.org 20021946 1452889 SRM vps106.jinr.ru -------------------------------------------------------------------------https://wms-edu.hpcc.kpi.ua:7443/glite_wms_wmproxy_server https://wms.ilt.kharkov.ua:7443/glite_wms_wmproxy_server Этап 1 — 2009-2010 гг. Информационная поддержка Этап 2 — 2011-2013 гг.

Создание NGI_UA Этап 2 — 2011-2013 гг. Создание NGI_UA • Представление BCC в качестве провайдера грид-услуг на Украине позволило начать переговоры с руководством проекта EGI.eu об интеграции грид инфраструктуры Украины на техническом уровне в европейскую гридинфраструктуру EGI. Согласованный «Меморандум о взаимопонимании» между EGI.eu и BCC, который определил процедуру и последовательность действий по развертыванию сервисов EGI.eu в Украине, был подписан в конце ноября 2011 года.

• В середине июля 2012 г. украинская грид-инициатива Украины (NGI_UA) завершила процесс сертификации основных грид-сервисов и стала полноправным членом команды EGI на техническом уровне.

Информационные сервисы по управлению грид-инфраструктурой Украины:

• Операционный портал (Operations Portal);

• Мониторинг (Service Availability Monitoring Framework);

• Портал Учета (Accounting Portal);

• Служба поддержки пользователей (Helpdesk);

• База данных конфигурации (GOCDB);

• Центральные грид-сервисы EGI.

Этап 2 — 2011-2013 гг.

В настоящее время в состав NGI_UA в состоянии «сертифицировано»

(промышленная эксплуатация) входят грид-сайты:

•Кharkov-KIPT-LCG2 - Национальный научный центр «Харьковский физикотехнический институт» (ННЦ ХФТИ) (gLite-EMI);

•UA-BITP - Институт теоретической физики им.Н.Н. Боголюбова НАН Украины (gLite-EMI);

•UA-IMBG - Институт молекулярной биологии и генетики НАН Украины;

•UA-ISMA - Институт сцинтилляционных материалов НАН Украины (gLite-EMI);

•UA-KNU - Киевский национальный университет им. Тараса Шевченко (gLite-EMI);

•UA-MHI - Морской Гидро-физический институт НАН Украины;

•UA-BITP-ARC - Институт теоретической физики им. Н.Н. Боголюбова НАН Украины;

•UA-ICYB-ARC - Институт кибернетики им. В.М. Глушкова НАН Украины;

•UA-ILTPE-ARC - Физико-технический институт низких температур им. Б.И.

Веркина НАН Украины;

•UA-PIMEE – Институт проблем моделирования в энергетике им. Г.Е. Пухова НАН Украины;

•UA-NSCMBR – Национальный научный центр медико-биотехнических проблем НАН Украины.

Этап 2 — 2011-2013 гг.

Этап 2 — 2011-2013 гг. Размещение грид-кластеров Этап 2 — 2011-2013 гг. Топология сети UARNET Этап 2 — 2011-2013 гг. Февраль 2013 года На текущий момент гридинфраструктура Украины объединяет вычислительные ресурсы кластеров с общим количеством ядер более и доступным дисковым пространством 250TB.

Этап 2 — 2011-2013 гг.

Реальное финансирование по годам in millions € of Science Education and Science Этап 2 — 2011-2013 гг.

1. Поддержка функционирования центральных сервисов NGI_UA, выполнение всех требований EGI по обновлению промежуточного программного обеспечения (уже летом 2013 года будет выполняться переход на новую версию EMI-3), расширение числа грид-сайтов, входящих в состав NGI_UA.

2. Внедрение в практику использования в NGI_UA так называемых SLА («Соглашение об уровне предоставления сервиса») 3. Налаживание международных связей с целью участия в совместных международных проектах.

4. Разработка удобных и простых в изучении средств использования HPC-технологий для широкого привлечения ученых-непрофессионалов в области программирования и использования операционных сред.

Этап 2 — 2011-2013 гг.

Международное сотрудничество Создание инфраструктуры PL-Grid не только расширило количество вычислительных ресурсов, предоставляемых в польском научном сообществе – более 230 Тфлопс вычислительной мощности и более 3600 ТБ дискового пространства – но и реально привлекло большое количество пользователей к эффективному использованию этих ресурсов путем предоставления инновационных услуг сети и удобных инструментов, а также обеспечивая постоянную техническую поддержку.

The QosCosGrid (QCG) middleware is an integrated system offering advanced job and resource management capabilities to deliver to end-users supercomputer-like performance and structure.

Благодарю за внимание!

Белоус Леонид Федорович Рук. cектора грид-технологий ФТИНТ НАН Украины [email protected] http://www.ilt.kharkov.ua Физико-технический институт низких температур им. Б.И. Веркина НАН Украины (ФТИНТ)