[ Институт вычислительной математики и математической геофизики СО РАН
Винс Дмитрий Владимирович
ИММИТАЦИОННОЕ МОДЕЛИРОВАНИЕ СИСТЕМЫ
УПРАВЛЕНИЯ ПОТОКОМ ЗАДАНИЙ ДЛЯ
СИБИРСКОГО СУПЕРКОМПЬЮТЕРНОГО ЦЕНТРА
КОЛЛЕКТИВНОГО ПОЛЬЗОВАНИЯ
Специальность: 05.13.11 – «Математическое и программное обеспечение
вычислительных машин, комплексов и компьютерных сетей»
Научный руководитель – доктор технических наук профессор Глинский Борис Михайлович доктор технических наук профессор Родионов Алексей Сергеевич
ОБЪЕКТ И ПРЕДМЕТ
ИССЛЕДОВАНИЙ
Вычислительный центр коллективного пользования Поток пользовательских заданий (фиксированные, Планировщик заданий (1) адаптирующиеся) Существуют следующие режимы Очередь Очередь обработки потока параллельных заданий (2) заданий (2) задач ВЦ КП :Монозадачный режим Мультизадачные режимы Обслуживание потока задач (разделение по подсистемам) – (1).
Обработка набора задач (формирование расписания решения задач) – (2).
Кластерные ВС ИВМиМГ 27.09.12 Постановка задачи (1) Обслуживание потока задач на ВС – принципиально отличается от обработки задач набора: задачи поступают в случайные моменты времени, их параметры случайны. В общем случае в потоке присутствуют задачи различных рангов (т.е. с различным числом параллельных ветвей в их программах), где – количество элементарных машин некоторой ВС, используемых для обслуживания потока задач (в частности, это может быть общим числом ЭМ в системе). Для решения задач каждого ранга в пределах ВС выделяются одна или несколько подсистем, число связанных машин в каждой из которых равно соответствующему рангу. Если из-за физических ограничений это осуществить невозможно, то с помощью механизма мультипрограммирования операционной системы производится выделение таких подсистем в виртуальном смысле.
Необходимо распределить поступающие задачи по подсистемам вычислительного центра.
ИВМиМГ Метод решения Анализ параметров задачи Анализ задач, поступавших от данного пользователя ранее.
Выбор наиболее подходящей кластерной ВС (очереди в кластерной ВС) для решения данной задачи. Выбор происходит на основе:
Априорные сведения о характеристиках кластеров, входящих в состав ВЦ КП, а также их очередей задач. (CPU, RAM, ROM, связанность);
Сведения о состоянии очередей задач ВЦ КП (насколько заняты);
Знания о том, в какой из очередей подобные задания данного пользователя решались эффективнее (скорость, наличие отказов и т.п.);
Отправка задания в выбранную очередь.
ИВМиМГ Постановка задачи (2) Имеется кластерная вычислительная система, состоящая из N элементарных машин и набор K из M решаемых задач.
Каждая задача описывается вектором параметров < rk, tak, zk >, где rk – среднее количество запрашиваемых ЭМ (для случая с адаптивными «живыми» задачами), tak – ожидаемое время выполнения задачи (максимальное время нахождения в системе), а zk – среднее количество элементарных операций, которое необходимо выполнить на каждом ЭМ.
Каждая элементарная машина описывается вектором параметров < ti, pi >, pi – производительность узла, а ti - время выполнения одной элементарной операции на данной машине.
Необходимо для каждой задачи k определить время tsk начала ее решения и выделить множество номеров ЭМ Jk.
Расписание R должно обеспечивать минимум суммарного времени решения T(R) и суммарный штраф S(R) за задержку решения Постановка задачи (2) Найти расписание R, такое, что:
при ограничениях:
где - область допустимых расписаний R, (t ) - множество номеров задач, решаемых в момент времени t.
Метод решения Формирование подходящего решения Оптимизация ЭМ решения по T(R) и S(R) решений используется алгоритм упаковки BFDH Формирование итогового последовательный алгоритм перебора заданий с Оптимизация решения.
Генетический алгоритм Формирование базовых решений Формирование новых (эволюция популяций) окончания Выбор лучшей особи (расписания) Мультиагентная модель МКВС Выбран агентно-ориентированный подход, т.к.:
Эффективен для систем, содержащих большое количество активных объектов с отчетливо выраженным индивидуальным поведением;
индивидуальном уровне. Глобальное поведение рассматривается как результат совокупной деятельности агентов;
Возможность разработки модели даже в отсутствие априорной информации о глобальных зависимостях;
Возможность замены моделей отдельных компонентов на реальные.
Агент – это сущность, живущая в среде обитания, обладающая сенсорами для восприятия среды и исполнительными механизмами для воздействия на среду обитания.
В качестве системы моделирования выбрана Среда моделирования AGNES (Agent Network Simulator), разработанная в ИВМиМГ СО РАН. Эта среда моделирования функционирует на платформе разработки МАС JADE. AGNES использует все ее возможности, и расширяет ее до отказоустойчивой, децентрализованной системы моделирования.
Мультиагентная модель МКВС.
Агенты модели.
Контроллер области ВУ мультикластера Мультиагентная модель МКВС.
Контроллер области. Виды областей ВУ Агент контроллер работающей области занимается загрузкой выделенных ему вычислительных узлов параллельной задачей на момент начала ее решения. Также этот агент занимается выявлением порции вычислительной нагрузки (ветви параллельной программы) на определенном ВУ из его области, которую необходимо передать другим узлам, чтобы избежать дисбаланса, и определить целевой узел, на который следует перенести эту нагрузку.
Целевой узел отыскивается из числа ВУ, находящихся в данной работающей области. Если же таковых нет, то агент контроллер взаимодействуя с агентами контроллерами соседних рабочих областей, области свободных ВУ и резерва, узнает адрес вычислительного узла, способного принять дополнительную нагрузку. Если и тут происходит неудача, то с этой целью он обращается к агенту концентратору ВС.
Виды областей:
Область резерва ВУ содержит в себе вычислительные узлы, отправленные в «холодный» или «горячий» резерв, а так же узлы, выведенные из эксплуатации для проведения профилактики или ремонта. Логические связи в данной области не строятся. Агент контроллер осуществляет своевременный перевод ВУ в соответствующий тип резерва;
- Область свободных ВУ содержит в себе все вычислительные узлы кластера, которые в данный момент времени не заняты решением пользовательской задачи или не находятся в резерве. Логические линии связи между ними полностью повторяют физические линии. Агент контроллер в таком случае просто отслеживает физические характеристики всех ВУ (температура, исправность линии связи) и ведет их - Область работающих ВУ содержит в себе вычислительные узлы, занятые в данный момент времени решением одной и той же пользовательской задачи. Логическая связь между ВУ организована по типу «каждый с каждым». Агент контроллер в данном случае наблюдает не только физические характеристики узлов, но и ход исполнения параллельной программы (необходимо увеличение или уменьшение количества узлов, перераспределение ветвей параллельной программы между узлами и Мультиагентная модель МКВС.
Агент вычислительного узла Свод правил, по которым оценивается корректность работы ВУ и необхимость задействования/освобождени я доп. ресурсов.
Контроль исполнения База знаний •Время блокировки при •Узел закончил счет дополнительная нить Контроль физических Физический уровень параметров ВУ:
•CPU Usage •CPU Temp •RAM Usage •LAN Capacity Сибирский суперкомпьютерный центр коллективного пользования СО РАН Кластер НКС-160 состоит из 84 вычислительных модулей hp Integrity rx1620 (два процессора Intel Itanium 2 (1,6 HHz), 4 Гб оперативной памяти). Суммарный объем оперативной памяти 320 Гб. Суммарный объем дисковой памяти 2640 Гб. Вычислительные модули связаны между собой с помощью 24-портового коммутатора InfiniBand, который предназначен для обмена данными между параллельными процессами. Пиковая производительность кластера сегодня составляет более 1 ТФлоп/с.
X5670 (2.93GHz); 96 ГБ оперативной памяти; три карты NVIDIA Tesla M2090. Каждая карта содержит GPU с 512 ядрами и 6 ГБ оперативной памяти. Суммарно гибридный кластер содержит 80 процессоров ( ядер) CPU и 120 процессоров (61440 ядер) GPU.
СИСТЕМЫ ХРАНЕНИЯ
Linpak – 38 TFlops.24 Гбайта оператвной памяти; 192 (1152 ядра) процессора Intel Xeon X5670 (2.93 GHz). Пиковая Системное производительность - 10,36 TFlops.
- 32 двойных блейд-сервера HP BL2х220 G5, имеющие в своем составе: 64 вычислительных модуля;
16 оперативной памяти Гбайт; 128 (512 ядер) производительность - 6,1 TFlops.
Сибирский суперкомпьютерный центр коллективного пользования СО РАН Статистика за 2011 год Решено задач Задач по времени Сред. время зад. 07:04:
«