На правах рукописи
Свердлин Александр Александрович
Моделирование с помощью МВС двух- и трехмерных
течений вязкого газа на основе квазигазодинамических
уравнений на нерегулярных сетках
Специальность 05.13.18
Математическое моделирование, численные методы
и комплексы программ
Автореферат диссертации на соискание ученой степени кандидата физико-математических наук
Москва – 2008
Работа выполнена в Институте математического моделирования Российской академии наук
Научный руководитель:
кандидат физико-математических наук старший научный сотрудник, зам. директора ИММ РАН Поляков Сергей Владимирович
Официальные оппоненты:
доктор физико-математических наук, профессор профессор Российского государственного социального университета Злотник Александр Анатольевич кандидат физико-математических наук, доцент старший научный сотрудник ИММ РАН Шильников Евгений Владимирович
Ведущая организация:
Институт прикладной математики им. М.В. Келдыша Российской академии наук
Защита состоится 23 октября 2008 г. в 11.00 на заседании диссертационного совета Д.002.058.01 при Институте математического моделирования РАН по адресу 125047, г. Москва, Миусская пл., 4а.
С диссертацией можно ознакомиться в библиотеке ИММ РАН Автореферат разослан 11 сентября 2008 г.
Ученый секретарь диссертационного совета, доктор физико-математических наук Змитренко Н.В.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы Диссертационная работа посвящена актуальной в настоящее время проблеме создания прикладного программного обеспечения многопроцессорных вычислительных систем (МВС) с распределенной и гибридной памятью (в последнем случае имеется ввиду распределенная система, каждый узел которой представляет собой кластер с общей памятью) для решения современных задач механики сплошной среды, в том числе задач междисциплинарных, сочетающих описания процессов, протекающих в газе, жидкости и твердом теле.
Численное моделирование аэротермодинамических процессов играет огромную роль в конструировании любого космического корабля и, в частности, спускаемого аппарата. Последние эксперименты показывают, что тепловая защита космических аппаратов, разработанная десятилетия назад, оказывается избыточной, и величины разрушительных факторов, таких как температура, не достигают тех значений, на которые она была рассчитана.
Моделирование позволяет экономить огромные средства, а также предсказывать параметры газодинамических процессов, которые невозможно получить в условиях экспериментов на Земле.
Вычислительная гидродинамика (CFD) зарекомендовала себя лучшим образом для расчета аэродинамического нагрева [1]. Однако особенностями данного семейства методов являются большая вычислительная сложность алгоритмов, большие объемы требуемой памяти, необходимость проведения нового расчета при малейшем изменении параметров течения (например, числа Маха, высоты, угла атаки и т.д.). Поэтому использование этих методов для расчета тепловых потоков на всей траектории полета космического аппарата становится довольно затрудненной и длительной по времени задачей. Перечисленные факторы определяют необходимость использования высокопроизводительных параллельных систем для моделирования сверхзвуковых течений.
Кроме того, сверхзвуковые течения с большими числами Маха (несколько десятков единиц), характерные для космических полетов, накладывают ограничения на выбор модели течения газа. Предлагаемый в работе квазигазодинамический подход позволяет производить более точные расчеты по сравнению с хорошо известной и широко используемой системой уравнений Навье-Стокса. Также улучшенная вычислительная устойчивость разработанного численного метода позволяет учесть влияние дополнительных факторов, таких как процессы излучения.
Имеющиеся в настоящее время программы расчета вязких течений основаны на использовании системы уравнений Навье-Стокса. Предлагаемая в работе математическая модель использует квазигазодинамические (КГД) уравнения [2,3,4], которые отличаются от уравнений Навье-Стокса дополнительными диссипативными слагаемыми с малым параметром в качестве коэффициента. Использование дополнительной диссипации позволяет существенно оптимизировать вычислительные алгоритмы. Это свойство делает особенно выигрышными численные алгоритмы решения задач радиационной газовой динамики, основанные на КГД уравнениях [5].
Это связано с тем, что радиационные добавки в уравнении энергии вносят мощный дополнительный фактор неустойчивости. В системе уравнений Навье-Стокса не имеется возможностей для эффективной регуляризации численных решений в этом случае. Система КГД уравнений, напротив, обладает естественным регуляризатором.
Работа выгодно отличается от имеющихся в свободном доступе программных средств по следующим критериям:
• возможность задания реальной геометрии объекта с произвольной точностью;
• использование неструктурированных расчетных сеток (двухмерные гибридные и треугольные, трехмерные блочные и тетраэдральные);
• использование системы квазигазодинамических уравнений в качестве математической модели;
• расчет течений в широком диапазоне скоростей потока – от дозвукового, до сверхзвукового (50Ма и более);
• возможность учета дополнительных факторов (например, учет процессов излучения в газе, химические реакции, многокомпонентная среда - газ + жидкость + твердое тело);
• эффективное использование МВС с распределенной и гибридной архитектурой различной производительности – от бюджетных кластеров (32-64 процессора, объединенных простой сетью Ethernet) до высокопроизводительных параллельных систем (2000-4000 и более процессоров, объединенных сетями Myrinet, Infiniband).
Цели и задачи диссертационной работы • Разработать численный метод на основе системы КГД уравнений для моделирования сверхзвуковых двух- и трехмерных течений вязкого газа вокруг тел сложной формы на нерегулярных сетках большого • Разработать высокоэффективный параллельный алгоритм решения задачи и реализовать его в виде программного комплекса для высокопроизводительных систем с распределенной и гибридной памятью.
• Провести расчеты двух- и трехмерных модельных задач, сравнить полученные результаты с известными данными.
Научная новизна и практическая ценность работы В диссертации предложены оригинальные численные методы решения задач газовой динамики на основе аппроксимации КГД уравнений на двухмерных гибридных (на основе прямоугольных и треугольных ячеек) и трехмерных тетраэдральных сетках. Предложен и реализован оригинальный алгоритм генерации адаптивных гибридных локально-сгущающихся расчетных сеток в двухмерной области. Предложены и реализованы оригинальные высокоэффективные параллельные алгоритмы моделирования задач сверхзвукового обтекания газа на основе данных численных методик.
Данные алгоритмы позволяют использовать преимущества параллельных вычислительных систем с распределенной и общей памятью, а также наиболее эффективно использовать ресурсы комбинированных систем, в распределенную систему. На основе предложенных алгоритмов создан программный комплекс для решения задач моделирования обтекания летательного аппарата потоком вязкого сжимаемого газа при дозвуковых и сверхзвуковых скоростях. Проведенные расчеты на сетках с большим числом узлов (2 млн. и более) показали возможность использования разработанного эффективность разработанных параллельных алгоритмов и программ на высокопроизводительных вычислительных систем).
Достоверность результатов Полученные данные сопоставлены с результатами, полученными другими авторами. Качественное совпадение с теоретическими расчетами [2] и экспериментальными данными [6,7] подтверждает достоверность полученных результатов.
Реализация результатов Результаты диссертации получены в ходе выполнения работ по проектам РФФИ, в которых автор принимал участие в качестве исполнителя (гранты № 05-07-90230, 06-01-00233, 08-07-00458).
Личный вклад автора Автором работы получены аппроксимации системы КГД уравнений на неструктурированных двухмерных гибридных и трехмерных тетраэдральных сетках. Разработаны эффективные параллельные алгоритмы на основе явных численных схем, использующих данные аппроксимации. Выполнены параллельные реализации алгоритмов с использованием библиотеки MPI для архитектур с распределенной памятью и технологии OpenMP – для систем с общей памятью. Созданы генераторы локально-сгущающихся адаптивных неструктурированных сеток. Для двухмерных областей предложены собственные оригинальные алгоритмы. Для генерации трехмерных тетраэдральных сеток используется библиотека TetGen, однако, локальное сгущение и адаптация сетки к особенностям решения осуществляется с помощью алгоритмов, разработанных автором диссертации. Для задания геометрии исследуемых объектов предложена технология представления объекта в виде сплайнов и кусочно-линейных элементов, реализованная в виде программы – редактора геометрии.
Апробация работы Основные результаты диссертационной работы докладывались и обсуждались на многих российских и международных научно-технических конференциях и семинарах, в частности:
1. Международная конференция Parallel CFD 2005, 24-27 мая 2005 г., University of Maryland, США. Устный доклад «Numerical Simulation of С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов) 2. Международная конференция «Тихонов и современная математика», 19-25 июня 2006 г., Москва, МГУ им. М.В. Ломоносова. Устный радиации» (соавторы С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов).
3. Международная конференция «Тихонов и современная математика», 19-25 июня 2006 г., Москва, МГУ им. М.В. Ломоносова. Устный доклад «Расчет параметров течения газа вокруг спускаемого аппарата».
4. Международная конференция PARA'06, 18-21 июня 2006 г., Umea University, Швеция. Устный доклад «Numerical Simulation of 2D Radiation Heat Transfer Problem» (соавторы С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов).
5. Международная конференция WEHSFF 2007, 19-22 ноября 2007 г., Москва. Устный доклад «Parallel Computation of Radiation Transport around Reentry Vehicle» (соавторы С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов).
6. Пятый международный научный семинар «Математические модели и моделирование в лазеро-плазменных процессах», 29 января - 2 февраля 2008 г., Кусково, МО. Устный доклад «Численное моделирование проблемы переноса излучения вокруг возвращаемого аппарата»
(соавторы С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов).
7. Международная конференция Parallel CFD 2008, 19-22 мая 2008 г., Lyon, Франция. Устный доклад «3D Numerical Simulation of Gas Flow Around Reentry Vehicles» (соавторы С.В. Поляков, Т.А. Кудряшова, Э.М. Кононов).
Публикации Основные результаты диссертации опубликованы в трех рецензируемых работах (см. список в конце автореферата) и тезисах выше указанных конференций.
Структура и объем работы Диссертация состоит из введения, четырех глав, заключения и списка литературы. Объем составляет 110 машинописных страниц, текст содержит 38 рисунков и 16 таблиц.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность рассматриваемых в работе проблем, сформулированы основные цели диссертации и дано ее краткое содержание по главам. Показана важность вычислительного эксперимента в аэродинамике. Приведен краткий обзор существующих методов и подходов к моделированию вязких сжимаемых течений. Дана краткая классификация современных многопроцессорных вычислительных систем. Рассмотрены различные подходы к параллелизации вычислительных алгоритмов.
соответствующей ей математической модели для случаев двухмерного и трехмерного течений.
На рисунке 1 приведен пример исследуемого спускаемого аппарата.
Для численного моделирования поверхность исследуемого объекта представляется в виде комбинации кусочно-линейных элементов и сплайнов.
Расчетная область представляет собой параллелепипед или цилиндр, содержащий обтекаемый объект и окружающий его газ.
характеристик атмосферы Земли на высоте полета, согласно траектории спускаемого аппарата. Параметры течений, для которых проводились исследования, приведены в четвертой главе. Проведено численное моделирование ряда задач, для которых доступны экспериментальные осесимметричного и трехмерного обтекания летательного аппарата. В случае двухмерной задачи, использовалась прямоугольная расчетная область. Для произвольной формы, границы которой представимы в виде совокупности треугольников в пространстве XYZ.
квазигазодинамических (КГД) уравнений [2,3,4], дополненная граничными условиями, уравнениями состояния газа, выражениями для коэффициентов вязкости (4) и теплопроводности (5). КГД уравнения обобщают хорошо известную систему уравнений Навье-Стокса (НС) и отличаются от нее дополнительными диссипативными слагаемыми, с малым параметром. Эти слагаемые могут быть охарактеризованы как искусственная вязкость и обеспечивают дополнительную вычислительную устойчивость алгоритма.
КГД уравнения связывают между собой газодинамические величины плотности, импульса и энергии. Дополнительные величины температуры и давления вычисляются в соответствии с уравнениями состояния газа.
На части границы расчетной области задаются условия втекающего (невозмущенного) потока. В случае моделирования задач, имеющих явную соответствующие граничные условия. На оставшейся части границы задаются «мягкие» условия, позволяющие потоку газа свободно вытекать из расчетной области. Граничные условия на поверхности объекта не позволяют потоку газа проникать внутрь. Течение считается квазистационарным, расчет проводится на установление решения. В качестве начальных условий используются параметры невозмущенного потока [2].
Во второй главе рассматривается численный алгоритм расчета сверхзвуковых течений.
Конечно-разностные аппроксимации КГД системы строятся в потоковой форме, используя вектор плотности потока массы jm, тензор вязких напряжений и вектор теплового потока q, соответствующие законам сохранения (1)-(3). Инвариантная форма записи КГД системы позволяет конструировать численные схемы для любой ортогональной системы координат для структурированных и неструктурированных расчетных сеток.
Для численного решения задачи используются сетки по времени и пространству. Газодинамические параметры (, u, E, p, T) определяются в узлах пространственной сетки. Значения газодинамических переменных в центрах ячеек определяются как арифметические средние значений в прилегающих узлах.
Для пространственной дискретизации используются неструктурированные адаптивные локально-сгущающиеся к особенностям решения сетки (треугольные и гибридные в двухмерном случае и тетраэдральные в трехмерном). Локальное сгущение позволяет оптимально сбалансировать точность расчета и вычислительную сложность и является ключевым фактором для трехмерного расчета, характеризующегося большим числом узлов сетки даже для простейших задач. При расчете модельных задач использовались сетки, содержащие от 100 тысяч до 2 миллионов узлов.
Процедура подготовки сетки для параллельных расчетов подробно описана в третьей главе.
Явная по времени численная схема, основанная на КГД уравнениях, строится методом контрольных объемов (МКО). Значения газодинамических переменных определяются в узлах сетки, вокруг которых строятся барицентрические контрольные объемы (Рисунки 2,3,4). Контрольные объемы полностью покрывают всю расчетную область без промежутков и пересечений. Пространственные производные аппроксимируются со вторым порядком точности, производные по времени – с первым порядком точности.
Рисунок 2. Пример контрольного объема вокруг узла A на гибридной двухмерной сетке Рисунок 3. Тетраэдральная ячейка и грани барицентрического контрольного объема Рисунок 4. Регион тетраэдральной сетки и пример контрольного объема Ограничение на временной шаг для такого рода схем определяется условием Куранта, которое имеет вид:
где hmin - минимальное ребро треугольника в сетке, - числовой коэффициент. Критерий завершения расчета выбран на основе величины приращения плотности на временном шаге:
В третьей главе подробно освещаются алгоритмы параллелизации, описывается состав и функции программного комплекса.
использованием метода геометрического параллелизма. Вся расчетная область разбивается на подобласти с примерно равным количеством узлов сетки. Количество таких подобластей соответствует количеству вычислительных ядер конкретной параллельной системы, которые планируется использовать в данном запуске. Разбиение на подобласти проводится таким образом, чтобы минимизировать количество общих передаваемой между вычислителями информации. Далее подобласти распределяются между различными узлами кластера в случае систем с распределенной памятью, а так же между вычислительными ядрами системы вычислительный узел распределенного кластера является параллельной системой с общей памятью) применяются оба типа распараллеливания. Для распараллеливания в рамках модели распределенной памяти применяется библиотека MPI, для модели общей памяти используется библиотека OpenMP. Все расчетные модули программного комплекса написаны на C++ и являются кросс-платформенными.
Балансировка загрузки осуществляется статически на этапе разбиения сетки. При этом составляются списки общих расчетных узлов сетки для пересылки между узлами вычислительной системы. Для разбиения расчетной области на домены используются библиотека Metis и ее параллельная версия ParMetis. При разбиении оптимизируется максимальное количество передаваемой между соседними вычислителями информации таким образом, чтобы снизить накладные расходы на пересылку данных.
Считывание начальных данных для расчета осуществляется на главном (нулевом) узле вычислительной сети, после чего данные передаются на остальные вычислительные модули в соответствии с заранее определенным разбиением расчетной области. Периодически, с заранее определенным выполняется сбор информации со всех узлов и сохранение ее в файлах результатов на главном узле вычислительной системы.
Для измерения эффективности параллельных алгоритмов использовалась следующая методика. Производился замер среднего времени, затрачиваемого на выполнение одного временного шага по КГД уравнениям.
Усреднение проводилось на интервале в 4096 шагов. Такое среднее «шаговое» время на исследуемой конфигурации (количестве процессоров) сопоставлялось со средним «шаговым» временем при использовании только одного узла вычислительной системы (для систем МВС-100К и СКИФ один узел – это 8 процессоров, для системы IMM2 – два процессора). Для расчета эффективности распараллеливания применялась следующая формула:
где t1 – среднее время итерации при использовании одного узла ВС, P – количество процессоров на одном узле; tN – среднее время итерации на N процессорах, N – количество процессоров, на которых запускается исследуемая конфигурация.
Характеристики использованных вычислительных систем:
Кластер IMM2 (ИММ РАН): 26 вычислительных узлов, включающих по процессора Intel Xeon 3ГГц; пиковая производительность 300 GFlop/s;
пиковая пропускная способность 100 Мбит/с.
Суперкомпьютер МВС-100К (МСЦ РАН): 470 вычислительных узлов, включающих по 2 процессора Intel Xeon 3ГГц (8 ядер) и 4Гб ОЗУ; пиковая производительность 45 TFlop/s; пиковая пропускная способность Мбайт/с.
Суперкомпьютер СКИФ (МГУ): 630 вычислительных узлов, включающих по 2 процессора Intel Xeon 3ГГц (8 ядер) и 8Гб ОЗУ; пиковая производительность 60 TFlop/s; пиковая пропускная способность Мбайт/с.
различной производительности, от бюджетных кластеров, состоящих из нескольких десятков процессоров, объединенных сетью Ethernet, до высокопроизводительных вычислительных систем на базе нескольких тысяч процессоров, объединенных сетями Myrinet, Infiniband. Программный алгоритмов, особенно для задач большого объема. Ниже приводятся графики эффективности параллелизации КГД алгоритма на различных параллельных вычислительных системах (Рисунки 5,6,7):
Эффективность, % Рисунок 5. Анализ эффективности параллелизации КГД алгоритма для 2D задач на Рисунок 6. Анализ эффективности параллелизации КГД алгоритма для 3D задач средствами MPI на вычислительном комплексе СКИФ (МГУ) Рисунок 7. Сравнительная эффективность параллелизации КГД алгоритма для 3D задач средствами MPI и MPI+OpenMP на вычислительном комплексе МВС-100К (МСЦ РАН) В конце третьей главы подробно описывается состав программного комплекса, излагаются детали реализации алгоритмов, выполнен обзор программных средств обработки и визуализации результатов расчета.
Разработанный программный комплекс включает:
• Редактор геометрии (для задания расчетной области и исследуемого объекта) • Программу генерации адаптивных локально сгущающихся неструктурированных сеток • Расчетный модуль для параллельных ВС, включающий блок расчета газодинамических уравнений и блок расчета радиационной газовой динамики Основными форматами файлов результатов являются файл.node (библиотеки TetGen) и.plt файлы для визуализации в TecPlot.
В четвертой главе приводятся результаты моделирования тестовых задач. Проведено сопоставление с известными результатами точных решений и экспериментов. Приведем параметры одной из модельных задач:
«