ДЕКОМПОЗИЦИЯ РАСЧЕТНЫХ СЕТОК ДЛЯ РЕШЕНИЯ ЗАДАЧ МЕХАНИКИ СПЛОШНЫХ СРЕД НА ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

Главная >> Авторефераты диссертаций - все темы

[ СКАЧАТЬ ОРИГИНАЛ ДОКУМЕНТА .pdf ]

На правах рукописи

Головченко Евдокия Николаевна

ДЕКОМПОЗИЦИЯ РАСЧЕТНЫХ СЕТОК ДЛЯ

РЕШЕНИЯ ЗАДАЧ МЕХАНИКИ СПЛОШНЫХ

СРЕД НА ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ

ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ

05.13.18 – Математическое моделирование, численные методы

и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Москва – 2014

Работа выполнена в Институте прикладной математики имени М.В.Келдыша Российской академии наук.

Научный руководитель: доктор физико-математических наук, профессор Якобовский Михаил Владимирович

Официальные оппоненты: Петров Игорь Борисович доктор физико-математических наук, профессор, член-корреспондент РАН, МФТИ, зав. кафедрой информатики Валько Виктор Васильевич доктор технических наук, ФБУН Центральный научноисследовательский институт Министерства обороны РФ», ведущий научный сотрудник

Ведущая организация: Институт системного программирования РАН

Защита диссертации состоится «_» 2014 г. в час. мин. на заседании диссертационного совета Д 002.024.03 при Институте прикладной математики имени М.В.Келдыша РАН по адресу: 125047, г. Москва, Миусская пл., д. 4.

С диссертацией можно ознакомиться в библиотеке ИПМ имени М.В.Келдыша РАН.

Автореферат разослан «_» 2014 г.

Учёный секретарь диссертационного совета Д 002.024. доктор физико-математических наук Змитренко Н.В.

Общая характеристика работы

Актуальность.

Задача рациональной декомпозиции расчетных сеток возникает при численном моделировании на высокопроизводительных вычислительных системах проблем механики сплошных сред, импульсной энергетики, электродинамики и многих других. При распараллеливании подобных вычислительных приложений используется метод геометрического параллелизма, при котором сетка, аппроксимирующая расчетную область, распределяется между процессорами по геометрическому признаку. В ходе расчета каждый процессор обрабатывает свою часть сетки. Эффективность работы многопроцессорной вычислительной системы определяется тем, насколько равномерно распределена сетка по процессорам и насколько минимизированы затраты на передачу данных между процессорами. Объем передаваемых между процессорами данных зависит от числа связей между распределенными по процессорам доменами (частями сеток). Задача декомпозиции возникает в различных параллельных приложениях, в том числе и в тех, в которых сеток нет, например, в задачах молекулярной динамики, где на домены разбивается моделируемая область с взаимодействующими между собой частицами.

Декомпозиция регулярных сеток намного проще декомпозиции нерегулярных сеток, однако, нерегулярные сетки, в частности треугольные и тетраэдральные, лучше аппроксимируют области сложной геометрической формы. Под областями сложной геометрической формы подразумеваются, например, области с внутренними полостями, декомпозиция которых приводит к возникновению несвязных доменов.

В данной работе сделан акцент на статической декомпозиции сеток. Статическая декомпозиция сетки проводится один раз перед началом расчета задачи.

В отличие от нее, динамическая декомпозиция выполняется периодически в ходе расчета для балансировки загрузки и используется в задачах, вычислительная структура которых меняется в процессе счета.

Задача сбалансированного разбиения сетки на домены сводится к более общей задаче разбиения графа на домены. В этом случае выполняется разбиение графа, аппроксимирующего вычислительные и коммуникационные нагрузки сетки. Существует несколько моделей декомпозиции графов, отличающиеся видом графа и критериями сбалансированного разбиения. В случае разбиения сеток хорошо себя зарекомендовал наиболее распространенный подход, использующий стандартную модель графа. В нем сетка аппроксимируется неориентированным графом G = (V, E ), где V – множество вершин, E – множество ребер. И вершины, и ребра, имеют вес. Оптимальным считается разбиение на домены, при котором выровнен суммарный вес вершин в доменах и минимизирован суммарный вес разрезанных ребер (разрезанное ребро – ребро, соединяющее вершины из разных доменов). В данной модели суммарный вес вершин в доменах отвечает за равномерность распределения вычислительной нагрузки по процессорам, которые будут обрабатывать эти домены, а суммарный вес разрезанных ребер – за коммуникационную нагрузку между процессорами. Как известно, поставленная задача декомпозиции графа является NP-полной, поэтому для ее решения используются различные эвристические методы. К геометрическим методам относятся алгоритмы рекурсивных координатной и инерциальной бисекций и декомпозиция с использованием кривой Гильберта. К методам разбиения графов относятся алгоритм спектральной бисекции, алгоритм Kernighan-Lin (KL) и Fiduccia-Mattheyses (FM), иерархические алгоритмы, диффузионные и генетические алгоритмы, используемые в рамках иерархического подхода, алгоритмы, оптимизирующие характеристические отношения доменов, жадные алгоритмы (greedy methods), или алгоритмы наращивания доменов, и инкрементный алгоритм декомпозиции графов. Эти алгоритмы, за исключением инкрементного, реализованы в следующих последовательных пакетах декомпозиции графов: METIS, JOSTLE, SCOTCH, CHACO и PARTY. К параллельным пакетам относятся PARMETIS (параллельная версия пакета METIS), JOSTLE, PT-SCOTCH (параллельная версия пакета SCOTCH) и ZOLTAN.

Число процессоров, на котором будет считаться вычислительная задача, как правило, заранее неизвестно. Поэтому имеет смысл предварительно однократно разбить сетку на большое число микродоменов, а потом формировать из них домены. Количество микродоменов на несколько порядков меньше числа вершин, поэтому многократное разбиение микродоменов на домены быстрее многократного разбиения всей сетки.

Широко известны методы декомпозиции областей, используемые для решения линейных и нелинейных систем уравнений, возникающих при дискретизации дифференциальных уравнений с частными производными, например, метод Шварца1. В нем геометрическая область разбивается на множество микродоменов, что позволяет организовать эффективные параллельные вычисления.

Еще одной областью использования разбиения сеток на микродомены является хранение больших сеток. Разбиение сеток на микродомены позволяет увеличить коэффициент компрессии сеточных данных.

Областью данного исследования являются нерегулярные сетки, содержащие 10 и более вершин. В настоящее время такие сетки невозможно разместить в памяти одного процессора (на гексаэдральную сетку, состоящую из 1.2·108 ячеек, требуется порядка 200 ГБ), поэтому для декомпозиции нужен параллельный алгоритм. Методы разбиения графов параллельных пакетов PARMETIS, JOSTLE, PT-SCOTCH и ZOLTAN основываются на иерархических алгоритмах, состоящих из следующих частей: поэтапное огрубление графа, декомпозиция самого маленького из полученных графов и отображение разбиения на предыдущие графы с периодическим локальным уточнением границ доменов. Недостатком таких алгоритмов является образование доменов, границы которых состоят из неоптимальных наборов сегментов. В частности, домены могут оказаться несвязными. Такое ухудшение качества доменов для некоторых задач является критичным. На доменах с длинными границами или сложной конфигурацией алгоритмы решения систем линейных уравнений сходятся за большее Barry Smith, Petter Bjorstad, William Gropp. Domain decomposition: parallel multilevel methods for elliptic partial differential equations // Cambridge University Press. 1996. 225 pp.

число итераций. Связность микродоменов важна при хранении больших сеток, поскольку на связных микродоменах коэффициент сжатия информации о сеточных данных, как правило, будет больше. В алгоритме композиции подобластей2 у несвязных подобластей длиннее приграничные полосы, в которых требуется повторное вычисление значений, а на узких приграничных полосах возникают проблемы с применимостью метода. Несвязные домены с оторванными ячейками являются неприемлемыми, например, для распараллеливания методики ТИМ-2D решения задач механики сплошной среды3 на нерегулярных многоугольных сетках произвольной структуры.

Другим недостатком указанных пакетов является получение сильно несбалансированных разбиений. В частности, в разбиениях, получаемых пакетом PARMETIS, числа вершин в доменах могут отличаться в два раза. А на вычислительных системах петафлопсного и ожидаемого экзафлопсного уровня дисбаланс даже в несколько процентов приведет к существенным потерям вычислительных мощностей и дополнительным энергозатратам.

К тому же разбиения больших сеток на большое число микродоменов не всегда удается получить методами существующих пакетов разбиения графов, что, в совокупности с указанным ранее, обуславливает актуальность разработки новых математических моделей, алгоритмов и программ декомпозиции больших нерегулярных сеток.

Цели работы.

• Определение критериев и разработка модели декомпозиции расчетных сеток, учитывающих особенности вычислительных алгоритмов моделирования физических процессов в пространственных областях сложной геометрической формы.

• Разработка алгоритмов, позволяющих разбивать нерегулярные сетки, содержащие 109 и более вершин, на большое количество микродоменов при выполнении критериев сбалансированности получаемых разбиений, связности формируемых микродоменов и минимизации суммарного веса разрезанных ребер.

• Разработка программного комплекса декомпозиции больших сеток.

• Проведение вычислительных экспериментов по сравнению эффективности параллельного счета задач газовой динамики при распределении сеток по ядрам в соответствии с разбиениями, полученными разработанными алгоритмами и алгоритмами из известных пакетов.

А. И. Илюшин, А. А. Колмаков, И. С. Меньшов. Построение параллельной вычислительной модели путем композиции вычислительных объектов // Математическое моделирование. 2011. T. 23. № 7. 97А. А. Воропинов. Декомпозиция данных для распараллеливания методики ТИМ-2D и критерии оценки ее качества // Вестник ЮУрГУ. Серия «Математическое моделирование и программирование:», вып. 4. 2009. №37(170). 40-50.

Научная новизна.

• Определена модель декомпозиции, учитывающая особенности вычислительных алгоритмов моделирования физических процессов в пространственных областях сложной геометрической формы.

• Разработаны параллельные алгоритмы декомпозиции больших сеток, получающие разбиения, удовлетворяющие критериям сбалансированности, связности формируемых микродоменов и минимизации суммарного веса разрезанных ребер.

Теоретическая и практическая значимость.

В диссертационной работе были разработаны два алгоритма: параллельный алгоритм геометрической декомпозиции сеточных данных и параллельный инкрементный алгоритм декомпозиции графов, на основе которых был создан комплекс программ GRIDSPIDERPAR декомпозиции больших сеток. Разработанные алгоритмы поддерживают два основных этапа декомпозиции больших сеток: предварительную декомпозицию сетки по процессорам и параллельную декомпозицию сетки высокого качества.

Параллельный алгоритм геометрической декомпозиции сеточных данных основан на методе рекурсивной координатной бисекции. На каждом этапе рекурсивной координатной бисекции окаймляющий сетку параллелепипед разбивается на две части. Выбирается координатная ось, вдоль которой параллелепипед имеет наибольшую протяженность. Параллелепипед разрезается перпендикулярно выбранной оси. Достоинством данного метода является то, что при разбиении на равные домены числа вершин в получаемых доменах отличаются не больше, чем на единицу. Другими достоинствами являются экономичное использование памяти и относительная быстрота работы. Подобный алгоритм реализован в пакете ZOLTAN. Отличие рекурсивной координатной бисекции созданного алгоритма от аналогичного алгоритма в пакете ZOLTAN состоит в том, что в нем секущая плоскость (медиана) при необходимости разрезается по нескольким координатам, что позволяет обрабатывать ситуации наличия на одной плоскости множества узлов с одинаковым значением координаты. В пакете ZOLTAN вершины из медианы распределяются по областям произвольным образом, что увеличивает число разрезанных ребер.

Параллельный инкрементный алгоритм декомпозиции графов комплекса программ GRIDSPIDERPAR основан на последовательном инкрементном алгоритме декомпозиции графов (ИПМ им. М.В.Келдыша РАН). Достоинством инкрементного алгоритма является формирование преимущественно связных доменов. Инкрементный алгоритм не основывается на иерархическом подходе.

Наиболее близкими к нему являются алгоритмы пузырькового роста и диффузионные. Однако алгоритм пузырькового роста, в отличие от инкрементного алгоритма, не гарантирует получение сбалансированного разбиения. А существенным отличием инкрементного алгоритма от диффузионных алгоритмов является то, что в инкрементном алгоритме в случае получения разбиения низкого качества происходит освобождение части вершин из плохих доменов, после чего повторяется этап роста доменов. Другим отличием инкрементного алгоритма от известных алгоритмов является новый критерий оценки качества доменов, в соответствии с которым проверяется связность оболочек доменов. Параллельный инкрементный алгоритм комплекса программ GRIDSPIDERPAR является расширенной параллельной версией последовательного инкрементного алгоритма декомпозиции графов. Следует отметить следующие отличия. В параллельный алгоритм декомпозиции графов добавлена возможность выделения групп плохих доменов и отдельная работа с ними. Ещё одним отличием является то, что в параллельном инкрементном алгоритме рост доменов происходит не просто поиском в ширину, но с учетом минимизации суммарного веса разрезанных ребер. Изменен критерий оценки качества доменов. Учитывается не только связность оболочек, но также количество плохих доменов и суммарный вес разрезанных ребер. Предложенные решения позволили ускорить нахождение разбиений высокого качества.

Комплекс программ GRIDSPIDERPAR декомпозиции больших сеток представляет интерес для применения в использующих расчетные сетки параллельных приложениях вычислительных механики сплошных сред, импульсной энергетики, электродинамики и др.

Апробация работы.

Основные результаты диссертационной работы докладывались на следующих конференциях:

• 8-ая Международная Конференция «Высокопроизводительные параллельные вычисления на кластерных системах (HPC-2008)», 17 – 21 ноября 2008, Казань.

• Международная конференция «Современные проблемы вычислительной математики и математической физики», 16 – 18 июня 2009, Москва, ВМК МГУ имени М.В. Ломоносова.

• Международная суперкомпьютерная конференция "Научный сервис в сети ИНТЕРНЕТ: суперкомпьютерные центры и задачи", 20 – 25 сентября 2010, Новороссийск.

• XI Всероссийская конференция «Высокопроизводительные параллельные вычисления на кластерных системах», 1 – 3 ноября 2011, Нижний • Международная суперкомпьютерная конференция "Научный сервис в сети ИНТЕРНЕТ: поиск новых решений", 17 – 22 сентября 2012, Новороссийск.

• International Conference on Parallel Computing - ParCo2013, 10 – 13 сентября 2013, Мюнхен, Германия.

• Международная суперкомпьютерная конференция "Научный сервис в сети Интернет: все грани параллелизма", 23 – 28 сентября 2013, Новороссийск.

Публикации.

Основные результаты диссертации опубликованы в одиннадцати работах, первые четыре из которых в изданиях, рекомендованных ВАК [1-11].

Структура и объем диссертации.

Диссертация состоит из введения, трех глав, заключения и списка литературы. Полный объем диссертации составляет 165 страниц, включая 53 иллюстрации и 8 таблиц. Список литературы содержит 107 наименований.

В первой главе рассмотрены различные критерии декомпозиции графов, из которых отобраны существенные для достижения целей диссертационной работы, учитывающие особенности вычислительных алгоритмов моделирования физических процессов в пространственных областях сложной геометрической формы:

• Критерий сбалансированности получаемых разбиений.

• Критерий минимизации суммарного веса разрезанных ребер.

• Критерий связности формируемых микродоменов.

Определена поставка задачи: разработать алгоритмы, обеспечивающие разбиение нерегулярных сеток, содержащих 109 и более вершин, на большое количество микродоменов при выполнении критериев сбалансированности получаемых разбиений, связности формируемых микродоменов и минимизации суммарного веса разрезанных ребер.

Следует отметить, что одновременное удовлетворение указанным критериям является невыполнимой задачей, поэтому во всех эвристических алгоритмах выбирается некоторый баланс, или предпочтение, между выигрышами по одним критериям и проигрышами по другим.

При выборе критериев декомпозиции учтены особенности алгоритмов моделирования физических задач, рассмотренных в диссертационной работе.

Кроме критериев сбалансированности получаемых разбиений и минимизации суммарного веса разрезанных ребер, которые влияют на равномерность распределения вычислительной нагрузки по процессорам и на коммуникационную нагрузку между процессорами, учитывается также критерий связности формируемых микродоменов. Несвязные домены обладают большим числом соседей и длинными границами, что ведет к большему количеству обменов между процессорами, обрабатывающими данные домены, и к большим объемам передаваемых данных.

Представлены следующие физические задачи и результаты их моделирования:

Моделирование газоплазменных потоков в диверторе токамака ITER. Токамак – тороидальная установка для магнитного удержания плазмы с целью достижения условий, необходимых для протекания управляемого термоядерного синтеза. Дивертор является одним из ключевых компонентов токамака ITER (Рис. 1). Он расположен вдоль нижней части вакуумной камеры и служит для приема потоков примесей и излучений из плазмы.

Рис. 1. Дивертор токамака ITER: общий вид (слева) и кассета (справа) Расчетная область аппроксимировалась тетраэдральной сеткой, содержащей порядка 2.8·106 ячеек (Рис. 2).

Описана математическая модель, в соответствии с которой решалась полная система уравнений радиационной магнитной газовой динамики с табличными уравнениями состояния:

Здесь и далее: - плотность среды, - вектор скорости среды, r удельная внутренняя энергия, Р - давление, q - вектор плотности потока энерuu гии, H - вектор напряженности магнитного поля.

Задача считалась с учетом радиационного и кондуктивного теплопереноса:

Тензор теплопроводности, учитывающий анизотропию среды, зависит от термодинамического состояния вещества (, T), а также от величины и направления магнитного поля, что обусловлено эффектом замагниченности. QRad - изменения энергии вследствие лучистого теплообмена.

Уравнение переноса лучистой энергии в диффузионном приближении заменяется двумя уравнениями: точным уравнением неразрывности для лучистой энергии и приближенным уравнением, связывающим поток и плотность лучистой энергии. Это второе уравнение получается в предположении угловой изотропии поля лучистой энергии. Система уравнений имеет вид Здесь P означает осреднение коэффициента поглощения по Планку, а R – по Росселанду. Граничное условие на выходе для нормального потока: Wn = – c U/2.

Учитывалось влияние турбулентной вязкости на скорость потока:

Здесь µ — коэффициент динамической вязкости (сдвиговая вязкость), µt — дополнительная “турбулентная вязкость”.

На Рис. 2 представлены результаты моделирования газоплазменных течений в диверторе токамака ITER на суперкомпьютере Helios на 256 ядрах.

Рис. 2. Результаты моделирования газоплазменных течений в диверторе токамака ITER:

фрагмент расчетной области (слева), поперечное сечение тетраэдральной сетки со сгущением в районе купола дивертора (посередине) и полностью установившееся течение газа и поле температур в диверторе (справа) Моделирование распространения ударной волны от приземного источника энергии взрывного типа. Для моделирования приземного взрыва была выбрана кубическая область, которая аппроксимировалась гексаэдральными сетками, содержащими порядка 6.1·107 и 1.2·108 ячеек со сгущением в области взрыва.

Описана математическая модель, в соответствии с которой решалась полная система уравнений газовой динамики в однотемпературном приближении с табличными уравнениями состояния:

Задача считалась с учетом диссипативных процессов:

Турбулентные потоки не учитывались.

Начальную стадию взрыва в рамках газодинамической модели описать невозможно, поэтому в качестве начальных данных использованы справочные данные по взрывам.

Расчет процесса формирования и распространения ударной волны от приземного взрыва производился на суперкомпьютере «Ломоносов» на 4096 и 10080 ядрах. На Рис. 3 представлены результаты моделирования.

Рис. 3. Апроксимация изоповерхностей давления на расчетную сетку P[1011 Па] в момент времени t=1000 мс с шагом dP=691 Па (слева) и dP=518 Па (справа) Моделирование распространения ударной волны от взрыва химического взрывчатого вещества в протяженном сооружении с нетривиальной геометрией. Для рассмотрения процесса обтекания воздушной ударной волной препятствий в трубу был помещен объект сложной формы, который рассматривался как твердое тело (Рис. 4). Расчетная область аппроксимировалась тетраэдральной сеткой, содержащей порядка 2.6·107 ячеек со сгущением вблизи области взрыва, в районе инженерной секции и вокруг объекта.

Рис. 4. Геометрия расчетной области Описана математическая модель, в соответствии с которой решалась полная система уравнений газовой динамики в однотемпературном приближении с табличными уравнениями состояния:

В расчете учитывалась турбулентная вязкость:

Радиационный теплоперенос не учитывался.

Расчет процесса формирования и распространения ударной волны в протяженном сооружении производился на суперкомпьютере «Ломоносов» на ядрах. На Рис. 5 представлены результаты моделирования.

Рис. 5. Распространение ударной волны (вверху) и потоки газа в ударной трубе на поле температуры (внизу) Приведены краткие сведения о пакете MARPLE3D, с помощью которого проводилось тестирование разбиений на физических задачах. Параллельный программный комплекс MARPLE3D создан в ИПМ им. М.В.Келдыша РАН, и его предметной областью являются задачи двухтемпературной радиационной магнитной гидродинамики. Тестирование выполнялось совместно с Дорофеевой Е.Ю. (ИПМ им. М.В.Келдыша РАН). Автор диссертации занималась разработкой алгоритмов и программ выполнения рационального разбиения графов расчетных сеток, а также оценкой качества разбиений, Дорофеева Е.Ю. – постановкой физических задач и проведением вычислительных экспериментов.

Эффективность параллельного счета физических задач оценивалась совместно.

Во второй главе рассмотрены различные модели декомпозиции графов, определена модель декомпозиции, учитывающая особенности вычислительных алгоритмов моделирования физических процессов в пространственных областях сложной геометрической формы.

Модель декомпозиции:

Пусть G = (V, E ) – неориентированный граф, где V = {vi} – множество вершин, E = eij – множество ребер. И вершины, и ребра, имеют целочисленные веса vi и eij, соответственно. Декомпозиция является отображением множества вершин V на заданное число p доменов S j таким, что каждая вершина vi принадлежит некоторому домену S j, и пересечение любых двух доменов пусто: S k I S m =, U S j = V. Суммарный вес вершин в домене S j равен сумме веj сов вершин, принадлежащих этому домену: S j = vi, vi S j. Суммарный вес разрезанных ребер между доменами равен сумме весов ребер, соединяющих вершины из разных доменов: Ec = eij, vi S k, v j S m, k < m. Каждый домен V V, E E. Домен является связным, если его граф состоит из одной компоненты связности, то есть между любой парой вершин этого графа существует как минимум один путь. Требуется найти такое разбиение множества вершин V на заданное число p связных доменов S j, при котором выровнен суммарный вес вершин в доменах ( S j V p ) и минимизирован суммарный вес разрезанных ребер ( min Ec ).

В данной модели суммарный вес вершин в доменах отвечает за равномерность распределения сетки по процессорам, которые будут обрабатывать эти домены, а суммарный вес разрезанных ребер – за коммуникационную нагрузку между процессорами. Связность критична для задач, упомянутых ранее.

В следующей части второй главы подробно рассмотрены различные алгоритмы геометрической декомпозиции сеток и декомпозиции графов. Описаны разработанные параллельный алгоритм геометрической декомпозиции сеточных данных и параллельный инкрементный алгоритм декомпозиции графов.

Рис. 6. Разбиение сетки на семь доменов параллельным алгоритмом геометрической декомпозиции: первые два этапа разбиения (слева и в середине) и результат (справа) Секущая плоскость (медиана) разрезается также по остальным координатам, что позволяет обрабатывать ситуации наличия нескольких узлов с одинаковым значением координаты (Рис. 7). В результате медиана проводится точно, и при разбиении на равные домены числа вершин в доменах отличаются не больше, чем на единицу. На Рис. 7 часть секущей плоскости между красным и желтым доменами принадлежит красному домену, а другая – желтому.

Рис. 7. Разрезание секущей плоскости Рис. 8. Геометрическое распределение вершин по Вначале рекурсивной бисекцией производится распределение вершин по процессорам. Используется распределенная сортировка. Далее рекурсивная бисекция выполняется на каждом из процессоров локально для получения разбиения вершин на домены.

Параллельный инкрементный алгоритм декомпозиции графов основан на последовательном инкрементном алгоритме декомпозиции графов4. Достоинством инкрементного алгоритма является формирование связных доменов. Параллельный инкрементный алгоритм предполагает выполнение следующих этапов:

М. В. Якобовский. Инкрементный алгоритм декомпозиции графов. Вестник Нижегородского университета им. Н.И.Лобачевского. Серия «Математическое моделирование и оптимальное управление», Вып. 1(28). Нижний Новгород: Издательство ННГУ, 2005, с. 243-250.

• Геометрическое распределение вершин по процессорам с помощью разработанного параллельного алгоритма геометрической декомпозиции сеточных данных.

• Перераспределение малых блоков вершин (Рис. 8).

• Локальное разбиение вершин на каждом из процессоров на домены последовательным инкрементным алгоритмом декомпозиции графов.

• Перераспределение плохих групп доменов. Сбор каждой группы плохих доменов на одном процессоре.

• Локальное повторное разбиение плохих групп доменов инкрементным алгоритмом декомпозиции графов (Рис. 9).

Рис. 9. Локальное разбиение (слева), сбор плохих групп доменов и их повторное разбиение (справа) При выполнении локального разбиения вначале выбираются инициализирующие вершины для доменов. Далее разбиение производится посредством итерационного процесса, на каждом шаге которого выполняются следующие действия:

• Инкрементный рост доменов и диффузное перераспределение вершин между доменами (Рис. 10, 11).

Рис. 10. Инкрементный рост доменов • Локальное уточнение доменов алгоритмом KL/FM (Рис. 11). На рисунке справа видно, что желтый домен состоит из двух частей.

Рис. 11. Диффузное перераспределение вершин между доменами (слева) и локальное уточнение (справа) • Проверка качества доменов. Если качество доменов соответствует заданному, разбиение считается найденным, и происходит выход из цикла, иначе - переход к следующему этапу.

• Освобождение части вершин плохих доменов и переход к первому этапу. Плохими доменами считаются домены, качество которых не соответствует заданному, и соседи таких доменов. В плохих доменах часть вершин освобождается, то есть вновь считается нераспределенной (Рис. 12). Освобождается часть внешних оболочек, а затем все компоненты связности, кроме той, которая содержит наибольшее число вершин.

Рис. 12. Освобождение части вершин плохих доменов (слева) и результирующее разбиение (справа) В результирующем разбиении на Рис. 12 видно, что теперь желтый домен является связным.

Качество доменов проверяется следующим образом. Все вершины, расположенные на геометрической границе графа (вершины, аппроксимирующие границу моделируемой области) и на границах между доменами, считаются принадлежащими первой оболочке своего домена. В каждом домене вершинами второй оболочки считаются соседи вершин из первой оболочки данного домена, которые так же принадлежат этому домену и не попали в первую оболочку. Остальные оболочки вычисляются аналогично. На рисунке 13 представлены оболочки домена при условии, что вся сетка принадлежит одному домену. Проверяется связность оболочек каждого домена и вычисляется номер несвязной оболочки с наименьшим номером (номер первой несвязной оболочки) в каждом домене. Хорошими считаются те домены, номер первой несвязной оболочки в которых не меньше заданного порогового значения.

Рис. 13. Оболочки домена В третьей главе представлены следующие результаты.

На основе разработанных алгоритмов был создан комплекс программ GRIDSPIDERPAR декомпозиции больших сеток (до 109 вершин) на большое число микродоменов.

Вычисления производились на кластерах МВС-100К (228 TFlop/s), "Ломоносов" (1700 TFlops) и Helios (1524 TFlop/s).

Выполнено сравнение разбиений небольшой треугольной сетки, состоящей из 7.6·104 вершин, 2.3·105 ребер, полученных параллельным и последовательным инкрементными алгоритмами декомпозиции графов. Сетка разбивалась на доменов на одном процессоре. Параллельному инкрементному алгоритму при выполнении на одном процессоре потребовалось в два раза меньше итераций и в сто раз меньшее время для нахождения разбиения. Но число разрезанных ребер в разбиении, полученном параллельным инкрементным алгоритмом, немного больше, чем в разбиении, полученном последовательным методом ( против 3762).

Проведены тесты по оценке масштабируемости (сильное масштабирование) параллельного инкрементного алгоритма декомпозиции графов и параллельного алгоритма геометрической декомпозиции сеточных данных созданного комплекса программ GRIDSPIDERPAR. Оценивался рост ускорения получения разбиений гексаэдральной сетки, содержащей 14.7·106 ячеек, на 1024 домена с увеличением числа процессоров (до 1024 для инкрементного алгоритма и до 512 для геометрического алгоритма). Результаты представлены на Рис. 14.

Рис. 14. Сильное масштабирование параллельного инкрементного алгоритма (слева) и параллельного алгоритма геометрической декомпозиции (справа) В параллельном инкрементном алгоритме для каждого общего числа процессоров N число процессоров Ng, на которых запускалась геометрическая предекомпозиция вершин по процессорам, варьировалось в пределах от 4 до N. Для каждого N были найдены минимальное и максимальное времена работы алгоритма при изменении Ng. Ускорение speedup_max на левой диаграмме является отношением максимального времени, полученного на наименьшем N, к минимальному времени, полученному на текущем N. Ускорение speedup_min является отношением минимального времени, полученного на наименьшем N, к максимальному времени, полученному на текущем N.

Были получены практически линейные графики увеличения ускорений обоих алгоритмов. Большая разница между speedup_max и speedup_min на левой диаграмме объясняется изменением времени геометрической предекомпозиции при увеличении числа процессоров Ng с четырех до 512. Поэтому при больших N геометрическую предекомпозицию выгоднее выполнять на числе процессоров Ng = N / 2.

Проведены вычислительные эксперименты по сравнению разбиений на микродомены четырех тетраэдральных сеток (108 2.7·108 вершин, 7· 1.6·109 тетраэдров, 8·108 1.9·109 ребер), полученных методами PartKway (на графиках обозначен PK) и PartGeomKway (на графиках PGK) пакета PARMETIS, методами GeomDecomp (параллельный алгоритм геометрической декомпозиции, на графиках G) и IncrDecomp (параллельный инкрементный алгоритм, на графиках I) разработанного комплекса программ GRIDSPIDERPAR, иерархическим диффузионным алгоритмом пакета PT-SCOTCH и методами RCB, RIB и HSFC пакета ZOLTAN (Рис. 15, 16).

Рис. 15. Процентное отношение макс. модуля отклонения от ср. арифметического числа вершин в микродомене в разбиениях тетраэдральных сеток на 25600 микродоменов Рис. 16. Число несвязных микродоменов в разбиениях тетраэдральных сеток на 25600 микродоменов Результаты показали, что наиболее качественные разбиения получены методами GeomDecomp (параллельный алгоритм геометрической декомпозиции) и IncrDecomp (параллельный инкрементный алгоритм) созданного комплекса программ GRIDSPIDERPAR, RCB пакета ZOLTAN и пакетом PT-SCOTCH. Качество разбиений проверялось по дисбалансу числа вершин в микродоменах, числу несвязных микродоменов и числу разрезанных ребер.

Проведены вычислительные эксперименты по сравнению различных разбиений графов микродоменов на домены, а также разбиений сразу на домены (Рис. 17).

Рис. 17. Процентное отношение максимального модуля отклонения от среднего арифметического числа вершин в домене в разбиениях тетраэдральных сеток на 512 доменов (слева приведены разбиения сразу на домены, справа - разбиения графов микродоменов, методы разбиения на микродомены и разбиения графов на домены объединены знаком '+') Результаты показали, что дисбаланс числа вершин в доменах, сформированных из микродоменов, не зависит от дисбаланса числа вершин в микродоменах. Лучшие разбиения графов микродоменов на домены получены пакетом METIS. Наиболее качественные разбиения на домены получены методами GeomDecomp (параллельный алгоритм геометрической декомпозиции) созданного комплекса программ GRIDSPIDERPAR, RCB пакета ZOLTAN и пакетом PT-SCOTCH.

На описанных выше физических задачах проведено тестирование разбиений, полученных методами созданного комплекса программ GRIDSPIDERPAR, пакета PARMETIS, пакета ZOLTAN и пакета PT-SCOTCH. Сравнивалась эффективность параллельного счета физических задач пакетом MARPLE3D при распределении сеток по ядрам в соответствии с различными разбиениями.

Для всех расчетных сеток были построены дуальные графы, учитывающие связи между ячейками через ребро. Число вершин в графах 2.8·106 1.2·108, число ребер 2.3·107 1.0·109. Далее в тексте приводятся краткие обозначения для физических задач и соответствующих им графов: divertor – моделирование газоплазменных потоков в диверторе токамака, tube – моделирование распространения ударной волны от взрыва химического взрывчатого вещества в протяженном сооружении (ударная труба) с нетривиальной геометрией, boom и boomL – моделирование распространения ударной волны от приземного взрыва (boomL – сетка c 1.2·108 вершинами).

На Рис. 18 - 20 приведены результаты разбиений графов на домены различными методами.

Рис. 18. Процентное отношение макс. модуля отклонения от ср. арифметического числа вершин в домене в разбиениях графа boom на 4096 доменов Рис. 19. Число разрезанных ребер в разбиениях графа tube на 4096 доменов Рис. 20. Число разрезанных ребер в разбиениях графа boomL на 10080 доменов В соответствии с разбиениями дуальных графов были получены разбиения вершин сеток. Для расчета каждой физической задачи на всех разбиениях выделялось одинаковое машинное время. Были получены числа шагов по времени и модельные времена, до которых досчитали задачи. Распределения разбиений по числу шагов по времени и модельным временам оказались аналогичными, поэтому ниже приводятся только распределения по числу шагов по времени.

Распределения представлены на Рис. 21, 22.

Рис. 21. Число шагов по времени для divertor Рис. 22. Число шагов по времени для tube Результаты показали, что на разбиениях, полученных методами декомпозиции графов, числа шагов по времени, до которых досчитали задачи, больше, чем на разбиениях, полученных геометрическими методами, не учитывающими связи между вершинами. На разбиениях, полученных алгоритмами созданного комплекса программ GRIDSPIDERPAR, параллельный счет рассмотренных физических задач идет быстрее, чем на разбиениях, полученных другими пакетами с выигрышем либо инкрементного, либо геометрического алгоритмов.

В заключении сформулированы основные результаты диссертационной работы.

1. Разработана модель декомпозиции графов, учитывающая особенности вычислительных алгоритмов моделирования физических процессов в пространственных областях сложной геометрической формы. Разработаны параллельные алгоритмы, поддерживающие два основных этапа декомпозиции больших сеток: предварительную декомпозицию сетки по процессорам и параллельную декомпозицию сетки высокого качества.

2. На основе разработанных алгоритмов создан комплекс программ GRIDSPIDERPAR параллельной декомпозиции больших сеток на большое число микродоменов. Проведены вычислительные эксперименты по сравнению разбиений на микродомены и домены четырех тетраэдральных сеток (порядка 108 вершин, 109 тетраэдров), полученных методами созданного комплекса программ GRIDSPIDERPAR, пакета PARMETIS, пакета ZOLTAN и пакетом PTSCOTCH, показавшие преимущества алгоритмов декомпозиции созданного комплекса программ GRIDSPIDERPAR в качестве получаемых разбиений.

3. Поставлен ряд вычислительных экспериментов со следующими задачами газовой динамики: моделирование газоплазменных потоков в диверторе токамака, моделирование ударной волны в протяженном сооружении и моделирование приземного взрыва. На их основе проведено тестирование различных разбиений расчетных сеток (106 108 ячеек), подтвердившее сокращение времени счета на разбиениях, полученных алгоритмами созданного комплекса программ

GRIDSPIDERPAR.

1. Головченко Е.Н. Комплекс программ параллельной декомпозиции сеток // Вычислительные методы и программирование. 2010. T. 11. 360-365.

2. Е.Н. Головченко. Параллельный пакет декомпозиции больших сеток // Математическое моделирование. 2011. Т. 23. № 10. 3-18.

3. Бухановский А. В., Марьин С. В., Князьков К. В., Сиднев А. А., Жабин С.

Н., Баглий А. П., Штейнберг Р. Б., Шамакина А. В., Воеводин В. В., Головченко Е. Н., Фалалеев Р. Т., Духанов А. В., Тарасов А. А., Шамардин Л. В., Моисеенко А. И. Результаты реализации проекта «Мобильность молодых ученых» в году: развитие функциональных элементов технологии iPSE и расширение состава прикладных сервисов // Известия высших учебных заведений. Приборостроение. 2011. Т. 54. №10. 80 - 86.

4. Е.Н. Головченко. Разбиение больших сеток // Вестник Нижегородского университета им. Н.И. Лобачевского. Серия «Информационные технологии».

Нижний Новгород: Издательство ННГУ. 2012. № 5(2). С. 309-315.

5. Е.Н.Головченко, Е.Ю.Дорофеева, В.А.Гасилов, М.В.Якобовский. Вычислительный эксперимент по оценке качества алгоритмов параллельной декомпозиции больших сеток // Препринты ИПМ им. М.В.Келдыша. 2013. №7. 32 c.

6. Е.Н. Головченко. Геометрическая декомпозиция сеточных данных // Труды 8-ой Международной Конференции «Высокопроизводительные параллельные вычисления на кластерных системах (HPC-2008)», Казань, Изд. КГТУ.

2008. 139.

7. Головченко Е.Н., Нестеров И.А., Петров Д.В., Якобовский М.В. Параллельные алгоритмы обработки результатов вычислительных экспериментов // Современные проблемы вычислительной математики и математической физики: Международная конференция, Москва, МГУ имени М.В. Ломоносова, 16- июня 2009 г.: Тезисы докладов. - М.: Издательский отдел факультета ВМК МГУ имени М.В. Ломоносова; МАКС Пресс. 2009. 316.

8. Е.Н. Головченко. Комплекс программ параллельной декомпозиции сеток // Труды Международной суперкомпьютерной конференции "Научный сервис в сети ИНТЕРНЕТ: суперкомпьютерные центры и задачи", Изд-во МГУ. 2010.

568-573.

9. Е.Н. Головченко. Разбиение больших сеток на микро-домены и формирование доменов // Материалы XI Всероссийской конференции «Высокопроизводительные параллельные вычисления на кластерных системах». Нижний Новгород. Издательство Нижегородского госуниверситета. 2011. 87-92.

10. Е.Н. Головченко. Разбиение больших сеток // Труды Международной суперкомпьютерной конференции "Научный сервис в сети ИНТЕРНЕТ: поиск новых решений", Изд-во МГУ. 2012. 412-420.

11. Е.Н. Головченко, Е.Ю. Дорофеева, В.А. Гасилов, М.В. Якобовский. Вычислительный эксперимент с алгоритмами параллельной декомпозиции больших сеток // Труды Международной суперкомпьютерной конференции "Научный сервис в сети Интернет: все грани параллелизма" (23-28 сентября 2013г., г.

Новороссийск). – М.: Изд-во МГУ. 2013. 82-85.

Главная >> Авторефераты диссертаций - все темы

[ СКАЧАТЬ ОРИГИНАЛ ДОКУМЕНТА .pdf ]

Похожие работы:

«ХАН ЧЖИ ХЕН ОСТРОЖСКАЯ БИБЛИЯ 1581 г.: НАПРАВЛЕНИЯ КНИЖНОЙ СПРАВЫ НОВОЗАВЕТНЫХ КНИГ Специальность 10.02.01 – русский язык Автор ефер ат диссертации на соискание ученой степени кандидата филологических наук Москва 2010 2 Работа выполнена на кафедре русского языка филологического факультета ФГОУ ВПО Московский государственный университет имени М.В. Ломоносова. Научный руководитель : кандидат филологических наук доцент Кузьминова Елена Александровна Официальные оппоненты :...»

«ТКАЧ Татьяна Григорьевна ЛИНГВОДИДАКТИЧЕСКИЕ ОСНОВЫ ОБУЧЕНИЯ РУССКОЙ ФОНЕТИКЕ БУДУЩИХ ФИЛОЛОГОВ-РУСИСТОВ В ВЫСШЕЙ ШКОЛЕ ИРАНА Специальность: 13.00.02 – теория и методика обучения и воспитания (русский язык как иностранный, уровень профессионального образования) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата педагогических наук Москва 2010 Работа выполнена на кафедре теории и практики поликультурного и полилингвального образования факультета повышения...»

«УДК 616-0.53.5.: 616.342-002.616.366 ХАРИТОНОВА ОЛЬГА ЮРЬЕВНА ОСОБЕННОСТИ ТЕЧЕНИЯ ХРОНИЧЕСКОГО ГАСТРОДУОДЕНИТА С СОПУТСТВУЮЩЕЙ ПАТОЛОГИЕЙ ЖЕЛЧНОГО ПУЗЫРЯ У ДЕТЕЙ И ВОПРОСЫ ТЕРАПИИ 14.00.09 – Педиатрия Автореферат диссертации на соискание ученой степени кандидата медицинских наук Нижний Новгород – 2006 2 Работа выполнена в ФГУ Нижегородский научно-исследовательский институт детской гастроэнтерологии Федерального Агентства по здравоохранению и социальному развитию Научный...»

«Клепалова Юлия Игоревна ОСОБЕННОСТИ РЕГУЛИРОВАНИЯ ТРУДА РАБОТНИКОВ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА Специальность 12.00.05 - трудовое право; право социального обеспечения Автореферат диссертации на соискание ученой степени кандидата юридических наук Екатеринбург – 2007 2 Работа выполнена на кафедре трудового права Уральской государственной юридической академии. Научный руководитель : доктор юридических наук, доцент Саликова Наталья Михайловна Официальные оппоненты : доктор...»

«Костычев Андрей Александрович Биоабсорбция тяжелых металлов и мышьяка агарикоидными и гастероидными базидиомицетами Специальность 03.00.24. – Микология Автореферат диссертации на соискание ученой степени кандидата биологических наук Москва – 2009 Диссертационная работа выполнена на кафедре биологии и экологии ФГОУ ВПО Пензенская ГСХА и в Региональном Центре государственного экологического контроля и мониторинга по Пензенской области ФГУ ГосНИИЭНП, г. Пенза Научный...»

«ЗАХАРОВ АЛЕКСЕЙ ЛЕОНИДОВИЧ МЕЖОТРАСЛЕВЫЕ ПРИНЦИПЫ ПРАВА Специальность 12.00.01 - теория и история права и государства; история правовых учений АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата юридических наук Казань 2003 Диссертация выполнена в Институте права Государственного образовательного учреждения высшего профессионального образования Самарская государственная экономическая академия Научный руководитель : доктор юридических наук, профессор Ведяхин...»

«Балымова Инна Владимировна САМОДЕТЕРМИНАЦИЯ СТАНОВЛЕНИЯ СУБЪЕКТА НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ В ВУЗОВСКОМ ОБУЧЕНИИ Специальность 19.00.01 – общая психология, психология личности, история психологии АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата психологических наук Казань – 2008 Работа выполнена на кафедре психологии личности факультета психологии государственного образовательного учреждения высшего профессионального образования Казанский...»

«Почивалова Анна Владимировна Историческая концепция М. П. Погодина Специальность 07.00.09. – историография, источниковедение и методы исторического исследования Автореферат диссертации на соискание ученой степени кандидата исторических наук Казань 2010 1 Работа выполнена на кафедре новой и новейшей истории Пензенского государственного педагогического университета им. В. Г. Белинского Научный руководитель : доктор исторических наук, профессор Смоленский Николай Иванович...»

«КОВАЛЕВА Гульмира Кажгалиевна БИОЛОГИЧЕСКИЕ ОСОБЕННОСТИ И БИОХИМИЧЕСКИЙ СОСТАВ КСИЛОТРОФНЫХ БАЗИДИОМИЦЕТОВ FOMITOPSIS OFFICINALIS (VILL.: FR.) BOND. ET SING., GANODERMA APPLANATUM (PERS.) PAT. И TRAMETES VERSICOLOR (L.:FR.) PILAT Специальность 03.00.24 – микология Автореферат диссертации на соискание ученой степени кандидата биологических наук Москва 2009 Работа выполнена в ГОУ ВПО Сибирский государственный технологический университет на кафедре химической технологии...»

«ХНЫКИНА Анна Георгиевна ОБОСНОВАНИЕ ЭЛЕКТРОТЕХНОЛОГИЧЕСКИХ ПАРАМЕТРОВ И РЕЖИМОВ НИЗКОВОЛЬТНОГО АКТИВАТОРА ДЛЯ ПРЕДПОСЕВНОЙ ОБРАБОТКИ СЕМЯН ЛУКА Специальность: 05.20.02 – Электротехнологии и электрооборудование в сельском хозяйстве Автореферат диссертации на соискание ученой степени кандидата технических наук Краснодар - 2014 2 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Ставропольский...»

«ЗАСЛАВСКИЙ АЛЕКСЕЙ АНДРЕЕВИЧ МЕТОДИКА ДИФФЕРЕНЦИРОВАННОГО ОБУЧЕНИЯ ИНФОРМАТИКЕ В СИСТЕМЕ СРЕДНЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ, ОСНОВАННАЯ НА ИСПОЛЬЗОВАНИИ ТЕЛЕКОММУНИКАЦИОННОЙ БАЗЫ УЧЕБНЫХ МАТЕРИАЛОВ 13.00.02 - теория и методика обучения и воспитания (информатика) Автореферат диссертации на соискание ученой степени кандидата педагогических наук Москва – 2014 Работа выполнена на кафедре информатизации образования Государственно бюджетного образовательного учреждени...»

«Павленко Людмила Витальевна ОПТИМИЗАЦИЯ ИНОЯЗЫЧНОЙ ПОДГОТОВКИ СТУДЕНТОВ-ЮРИСТОВ 13.00.08 Теория и методика профессионального образования АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата педагогических наук Томск – 2010 Работа выполнена на кафедре педагога-исследователя Института теории образования ГОУ ВПО Томский государственный педагогический университет Научный руководитель : доктор педагогических наук, профессор Соколова Ирина Юрьевна Официальные оппоненты :...»

«ДАНИЛОВ Александр Викторович СТРУКТУРНО-ФУНКЦИОНАЛЬНЫЕ ОСОБЕННОСТИ МОЗЖЕЧКА КРЫС ПРИ ДЕЙСТВИИ АЛКОГОЛЯ И ФИЗИЧЕСКОЙ НАГРУЗКИ 03.00.13 – Физиология Автореферат диссертации на соискание ученой степени кандидата биологических наук Челябинск – 2009 Работа выполнена в ФГОУ ВПО Башкирский государственный педагогический университет им. М. Акмуллы Научный руководитель : доктор медицинских наук, профессор Лобанов Сергей Александрович Официальные оппоненты : доктор медицинских наук,...»

«Костина Татьяна Владимировна Мир университетского профессора Казани. 1804-1863. Специальность 07.00.02 – Отечественная история АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата исторических наук Казань, 2007 2 Работа выполнена на кафедре Отечественной истории до XX века Казанского государственного университета им. В.И. Ульянова-Ленина Научный руководитель : доктор исторических наук Вишленкова Елена Анатольевна Официальные...»

«ПАВЛОВА ИРИНА ИВАНОВНА НАКОПЛЕНИЕ И РАСПРЕДЕЛЕНИЕ МИКРОБНОЙ БИОМАССЫ В АЛЛЮВИАЛЬНЫХ ПОЧВАХ ДЕЛЬТЫ Р. СЕЛЕНГИ 03.02.13 – почвоведение АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата биологических наук Улан-Удэ 2010 Работа выполнена в лаборатории биохимии почв Института общей и экспериментальной биологии СО РАН Научный руководитель : кандидат биологических наук, доцент Макушкин Эдуард Очирович Официальные оппоненты : доктор биологических наук, профессор Абашеева...»

«Силкин Иван Иванович ВОЗРАСТНЫЕ И СЕЗОННЫЕ СТРУКТУРНО-ФУНКЦИОНАЛЬНЫЕ ПЕРЕСТРОЙКИ НЕКОТОРЫХ ПОЛОВЫХ, ЭНДОКРИННЫХ И МУСКУСНЫХ ПРЕПУЦИАЛЬНЫХ ЖЕЛЕЗ САМЦОВ ОНДАТРЫ 06.02.01 Диагностика болезней и терапия животных, патология, онкология и морфология животных АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора биологических наук Благовещенск - 2013 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования...»

«КРУГЛОВ Даниил ПРОБЛЕМЫ ПОЛИТИЧЕСКОЙ И ИНСТИТУЦИОНАЛЬНОЙ ИСТОРИИ РАННЕСРЕДНЕВЕКОВОЙ АНГЛИИ В АНГЛО-АМЕРИКАНСКОЙ ИСТОРИОГРАФИИ ВТОРОЙ ПОЛОВИНЫ XX - НАЧАЛА XXI ВВ. Специальность 07.00.03 - всеобщая история (новая и новейшая история), 07.00.09 - историография, источниковедение и методы исторического исследования Автореферат диссертации на соискание ученой степени кандидата исторических наук ВОРОНЕЖ-2004 Работа выполнена в Воронежском государственном университете Научный...»

«Гузанова Елена Владимировна НЕЙРОПСИХОЛОГИЧЕСКИЕ РАССТРОЙСТВА И ВОЗМОЖНОСТИ ИХ КОРРЕКЦИИ У БОЛЬНЫХ СПАСТИЧЕСКОЙ КРИВОШЕЕЙ 14.00.13. – нервные болезни Автореферат диссертации на соискание ученой степени кандидата медицинских наук Москва 2009 Работа выполнена на кафедре неврологии, нейрохирургии и медицинской генетики Государственного образовательного учреждения Высшего профессионального образования Нижегородская Государственная медицинская академия НАУЧНЫЙ РУКОВОДИТЕЛЬ:...»

«Прокудина Дарья Александровна МУЗЕЙ КАК ФАКТОР ТРАНСЛЯЦИИ ЦЕННОСТЕЙ СОВРЕМЕННОЙ РОССИЙСКОЙ МОЛОДЕЖИ Специальность 22.00.06 – Социология культуры, духовной жизни Автореферат диссертации на соискание ученой степени кандидата социологических наук Москва 2008 2 Диссертация выполнена на кафедре социологии и политологии Института переподготовки и повышения квалификации преподавателей гуманитарных и социальных наук Московского государственного университета имени М.В. Ломоносова...»

«УДК 515.142.22+514.172.45 Айзенберг Антон Андреевич ТЕОРИЯ НЕРВ-КОМПЛЕКСОВ И ЕЕ ПРИЛОЖЕНИЯ Специальность: 01.01.04 – геометрия и топология АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук Москва – 2012 Работа выполнена на кафедре высшей геометрии и топологии Механикоматематического факультета Московского государственного университета имени М. В. Ломоносова Научный...»

наверх

<< ГЛАВНАЯ | КОНТАКТЫ

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА (Авторефераты, диссертации, методички, учебные программы, монографии)