На правах рукописи

ТЭЙ ЗАР ХТУН

Разработка алгоритмов и программ имитационного

моделирования для решения задач системного анализа

на слабосвязанных многопроцессорных системах

Специальность 05.13.01.

Системный анализ, управление и обработка информации

(в приборостроении)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2008

Работа выполнена на кафедре вычислительной техники при Московском государственном институте электронной техники (техническом университете).

Научный руководитель - кандидат технических наук, профессор Лупин Сергей Андреевич.

Официальные - доктор технических наук, профессор, оппоненты Лисов Олег Иванович - кандидат физико-математических наук, доцент, Шебеко Юрий Александрович Ведущее предприятие - Межведомственный суперкомпьютерный центр РАН, Москва

Защита состоится “ 25 ” ноября 2008 года на заседании диссертационного совета Д212.134.02 при Московском государственном институте электронной техники (техническом университете).

124498, Москва, Зеленоград, проезд 4806, МИЭТ.

С диссертацией можно ознакомиться в библиотеке МИЭТ.

Автореферат разослан “ 20 ” октября 2008 года.

Ученый секретарь диссертационного совета _ д.т.н., Гуреев А.В.

Общая характеристика работы

Актуальность проблемы. Моделирование, как инструмент исследований сегодня используется практически во всех отраслях науки.

Результаты моделирования – (например, точность и время прогноза), определяются дискретностью или размерностью исходной модели. Для большинства систем именно высокая размерность (или вычислительная сложность) модели является существенным ограничением при реализации практических расчетов.

Применительно к вычислительной технике это означает, что новые задачи, связанные с большими объемами вычислений, которые постоянно возникают в различных сферах человеческой деятельности, стимулируют разработку все более мощных компьютеров. Но, появившись, такой компьютер позволяет использовать более точные математические модели и ставить еще большие задачи. До недавнего времени исследователи для их решения могли использовать только чрезвычайно дорогие суперкомпьютеры. Сегодня многопроцессорные вычислительные системы, обеспечивающие высокую производительность за счет параллельных вычислений, стали доступны широкому кругу исследователей. Кластерная архитектура на сегодняшний день является наиболее востребованной при создании новых высокопроизводительных вычислительных комплексов: в списке самых мощных суперкомпьютеров ТОР500 более 70% систем являются кластерами.

Разработано большое количество алгоритмов и программ моделирования, реализованных на машинах классической архитектуры. В настоящее время весьма актуальна задача переноса систем моделирования на параллельную платформу. Наиболее распространенные параллельные многопроцессорные вычислители на основе кластерных технологий обладают неоспоримым преимуществом – хорошей масштабируемостью, однако имеют и серьезный недостаток - слабая связь узлов. Именно это накладывает ограничения на вычислительные алгоритмы и методы распределения нагрузки для таких систем.

Параллельные алгоритмы, разрабатываемые для систем моделирования, должны обязательно учитывать то, что активное использование межузловых обменов существенно снижает эффективность использования вычислительного пространства.

В задачах анализа система часто рассматривается как некоторая обобщенная модель. Состояние системы можно описать сложной функцией F, зависящей от множества переменных {Z1.....Z n }, каждая из которых тоже описывается некоторой функцией, зависящей от времени.

Ее реализация в виде последовательной программы не вызывает особых трудностей, поскольку не требует временного согласования процессов вычисления значений переменных. Однако при большом временном интервале моделирования и вычислительно сложных зависимостях f требуемое время расчетов будет очень большим.

Простейший подход к распараллеливанию подобных задач связан с распределением вычислений функций по узлам системы. При этом время вычислений tTotal будет определяться временем расчета наиболее трудоемкой функции tmax. Сложность реализации такого подхода связана с необходимостью обеспечения синхронизации вычислений.

Прямой перенос имеющихся прикладных программ на параллельную платформу невозможен, необходимо разрабатывать новые параллельные алгоритмы и программы. Таким образом, задача разработки эффективных параллельных алгоритмов и программ в области имитационного моделирования является актуальной.

В работе предлагается способ распределения нагрузки для систем имитационного моделирования, адаптированный для слабосвязанных многопроцессорных вычислителей. К этому классу относятся машины с архитектурами NUMA, DSM, CoPC. Для них характерно то, что время обращения процессора к локальной памяти узла значительно меньше времени обращения к памяти соседнего узла. Это происходит из-за того, что в последнем случае необходимо использовать вместо шины процессора внешнюю коммуникационную среду с большей латентностью и меньшей пропускной способностью.

Цель работы и задачи исследования. Цель работы: разработка алгоритма и программы имитационного моделирования на слабосвязанных многопроцессорных системах.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. Анализ методов моделирования, используемых в различных областях человеческой деятельности.

2. Анализ особенностей аппаратных средств систем имитационного моделирования.

3. Разработка способа распределения нагрузки для параллельных систем имитационного моделирования.

4. Разработка программы имитационного моделирования, адаптированной для слабосвязанных многопроцессорных систем.

5. Проведение испытаний и анализ эффективности предложенного алгоритма.

Методы исследования. При решении поставленных задач были использованы положения теории систем, теории множеств, теории графов, вычислительная схемотехника и языки программирования.

Научная новизна. В диссертации предложены и исследованы новые параллельные вычислительные алгоритмы, повышающие эффективность работы слабосвязанных многопроцессорных систем. Алгоритмы позволяют повысить эффективность использования узлов и общую производительность слабосвязанных многопроцессорных систем при решении задач системного анализа методами имитационного моделирования.

Практическая значимость. Предложенный способ распределения вычислительной нагрузки и вычислительный алгоритм имитационного моделирования, адаптированы для слабосвязанных многопроцессорных систем. Их использование позволяет минимизировать пересылки между узлами системы и за счет этого повысить эффективность параллельных вычислений.

Способ распределения нагрузки, апробированный на задаче имитационного моделирования, может быть применен при решении различных задач системного анализа и обработки информации на параллельных вычислителях.

Положения, выносимые на защиту.

1. Анализ методов распределения вычислительной нагрузки на слабосвязанных многопроцессорных системах.

2. Способ распределения вычислительной нагрузки для программ имитационного моделирования на слабосвязанных многопроцессорных системах.

3. Параллельный вычислительный алгоритм имитационного моделирования, адаптированный для слабосвязанных многопроцессорных систем.

4. Параллельная программа моделирования взаимодействия объектов и окружающей среды.

5. Результаты экспериментальных исследований, испытаний и анализ эффективности предложенного алгоритма.

Внедрение результатов.

используются на кафедре вычислительной техники МИЭТ при проведении лабораторных работ по курсу «Высокопроизводительные вычислительные системы».

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Всероссийских межвузовских научнотехнических конференциях студентов и аспирантов "Микроэлектроника и информатика – 2005, 2006, 2007", Международной школе-конференции – 2005, научной сессии МИФИ – 2007, Всероссийской межвузовской научно-практической конференции молодых ученых, специалистов, преподавателей, аспирантов и студентов "Актуальные проблемы информатизации. Развитие информационной инфраструктуры, технологий и систем - 2007".

Публикации. По материалам диссертации опубликовано шесть тезисов докладов и три статьи. Получено свидетельство РФ на программу для ЭВМ.

Структура и объём диссертационной работы. Рукопись диссертационной работы состоит из введения, четырех глав, заключения, списка литературы и приложения.

Во введении сформулированы актуальность, цель работы, ее научная новизна и практическая значимость; представлены применяемые методы исследования, внедрение результатов, апробации и структура диссертации.

В первой главе проводится анализ основных методов моделирования – как средства исследования сложных систем.

Моделирование особенно эффективно использовать тогда, когда система состоит из многих асинхронных параллельно функционирующих во времени и взаимодействующих подсистем. Такие системы наиболее характерны для окружающих нас. Для ученых пока остается загадкой, как происходит процесс мышления у людей, однако, даже очень умный человек в конкретный момент времени обычно решает только одну проблему. Поэтому понимание одновременного развития во времени многих влияющих друг на друга процессов является для человека трудной задачей. Имитационное моделирование помогает исследовать поведение сложных агрегированных систем, устанавливать взаимосвязи между их составными частями. Эти знания необходимы для того, чтобы можно было предсказывать поведение системы и развитие процессов в различных ситуациях, а также изменять параметры и даже структуру системы, чтобы направить эти процессы в желаемое русло. Модели позволяют оценивать эффект от планируемых изменений, выполнять сравнительный анализ возможных вариантов решений. При необходимости моделирование может осуществляться и в реальном времени, что позволяет использовать его результаты в различных технологиях (от оперативного управления до тренинга персонала).

Внешние воздействия на объект не зависят Внешние воздействия на объект зависят от Состояние системы определяется во всех Состояние системы определяется только в точках временного интервала критических точках временного интервала Параметры модели для заданного момента Параметры модели для заданного момента Модель описывается системой уравнений - Отсутствуют аналитические выражения, алгебраических, интегральных, связывающие параметры модели.

дифференциальных и логических Исследуются наиболее общие Существует довольно подробная классификация систем моделирования (табл. 1). В диссертации рассматриваются: статические и динамические, непрерывные и дискретные, детерминированные и стохастические, аналитические и имитационные модели. Основное внимание в работе уделяется исследованию моделей, которые можно классифицировать как: имитационные, динамические, непрерывные и стохастические.

Известно, что большую роль в имитационных моделях играет фактор времени. Именно необходимость обеспечения причинно-следственных связей делает задачу распределения нагрузки нетривиальной.

Имитационное моделирование является методом исследования динамических систем, в котором реальный объект и окружающая его среда заменяются имитационной моделью. Состояние системы определяется состоянием её элементов, обладающих набором свойств.

Имитационное моделирование особенно эффективно в случае, когда:

отношения между переменными в модели существенно не линейны, и поэтому аналитические модели трудно или невозможно построить;

модель содержит стохастические компоненты;

для понимания поведения системы требуется визуализация динамики происходящих в ней процессов;

моделируемая система состоит из асинхронных параллельно функционирующих и взаимодействующих подсистем.

Имитационное моделирование позволяет рассматривать процессы, происходящие в системе, практически на любом уровне детализации. При этом в имитационной модели можно реализовать различные алгоритмы управления или поведения системы. Все это служит причиной того, что имитационные методы моделирования в настоящее время становятся основными методами исследования сложных систем.

Процесс имитационного моделирования не приводит к решению в том виде, как это имеет место в аналитических моделях. Эта особенность позволяет применять механизм симуляции в тех случаях, если:

математической постановки задачи не существует или нет аналитических методов ее решения;

аналитические методы решения имеют очень большую вычислительную сложность (моделирование дает более простой способ решения задачи);

исследователю необходимо осуществлять наблюдение за поведением системы в течение некоторого времени;

физический эксперимент либо не возможен (например, при исследовании социальных систем), или требует больших материальных и временных затрат (моделирование позволяет масштабировать временную шкалу).

Имитационное моделирование может применяться в самых различных сферах деятельности. Вот лишь некоторые из возможных областей его использования:

проектирование и анализ производственных систем;

оценка различных систем вооружений и требований к их материально техническому обеспечению;

определение требований к оборудованию и протоколам сетей связи;

определение требований к оборудованию и программному обеспечению различных компьютерных систем;

проектирование и анализ работы транспортных систем, например аэропортов, автомагистралей, портов и метрополитена;

оценка проектов создания различных организаций массового обслуживания, например центров обработки заказов, заведений быстрого питания, больниц, отделений связи;

модернизация различных процессов в деловой сфере;

определение политики в системах управления запасами;

анализ финансовых и экономических систем.

Эти области объединяет в первую очередь необходимость системного подхода для решения задач оптимизации процессов управления. Второй особенностью является масштабность решаемых задач, т.е. для получения практических результатов модель должна оперировать с сотнями тысяч и даже миллионами параметров. Для известных систем моделирования это является невыполнимой задачей.

Следовательно, необходимо создавать новые алгоритмы и программы для решения задач системного анализа на новых высокопроизводительных аппаратных платформах.

Проведенные исследования позволяют сделать вывод о том, что имитационное моделирование активно используется в задачах системного анализа. Развитие теории и практики моделирования, несомненно, является актуальной задачей.

Во второй главе проводится анализ аппаратных средств систем моделирования, обосновывается перспективность применения параллельных вычислительных систем для задач имитационного моделирования.

В середине 60-х годов прошлого века появились первые суперкомпьютеры. Это были дорогие, «элитные» машины, стоимость которых достигала десятков миллионов долларов. Конечно, широкого внедрения в повседневную научную практику они не получили. Примерно в середине 80-х годов прошлого века ученые заинтересовались возможностью использования кластерных систем в качестве относительно недорогих заменителей суперкомпьютеров. Благодаря развитию сетевых технологий, появилась возможность соединять вместе несколько рабочих станций, в качестве которых могут использоваться и обычные персональные компьютеры. Сегодня практически любой научный коллектив может использовать для высокопроизводительных вычислений многопроцессорные комплексы, которые лишь незначительно уступает по производительности суперкомпьютерам среднего уровня, но значительно дешевле их. Характеристики некоторых вычислительных систем, представленных в ТОР500 (июнь 2008), представлены в табл. 2.

Argonne National Laboratory Texas Advanced Computing Ranger – SunBlade x6420, Opteron DOE/Oak Ridge National Jaguar – Cray XT4 QuadCore 2. laboratory (United States) GHz (Cray Inc.) высокопроизводительных систем (табл. 3), но наиболее широко в научных исследованиях используются системы, построенные на основе кластерной архитектуры, которая может обеспечить практически неограниченную масштабируемость и является самой перспективной платформой для различных приложений. С другой стороны, именно слабосвязанные кластеры создают наибольшие трудности для программистов и требуют разработки новых вычислительных алгоритмов. Без этого их эффективность при решении практических задач будет крайне низкой.

Кроме высокой производительности и надежности, современные многопроцессорные системы должны иметь и систему управления, которая обеспечивает эффективное планирование, динамическое распределение нагрузки и удобство использования.

Анализ аппаратных средств современных систем моделирования подтверждает, что существует объективная тенденция перехода от последовательных к параллельным и распределённым системам.

Для систем имитационного моделирования это означает, что вычисления выполняются на некотором множестве процессоров. При параллельных расчетах это могут быть узлы многопроцессорной ЭВМ с общей или распределенной памятью. В случае использования кластерных систем со слабой связью узлов можно говорить о распределённом моделировании. При этом слабосвязанными системами (рис. 1) можно считать такие, у которых время доступа к данным, находящимся в локальной памяти узла t1, значительно меньше времени доступа к данным, расположенным в памяти других узлов t2.

Таблица 3. Основные классы высокопроизводительных систем

SMP NUMA KC

Состав процессоров и массив состоящих из небольшого Масштаб масштабируемых систем Особенности

CPU CPU

RAM RAM

Основными причинами перехода на параллельные и распределённые системы в области имитационного моделирования являются следующие:

необходимость сокращения времени выполнения имитационного эксперимента;

необходимость концентрации значительных ресурсов (например, оперативной памяти) для проведения сложных вычислительных экспериментов;

возможность получения новых знаний за счет объединения нескольких имитационных систем в одну распределённую среду имитационного моделирования;

возможность совместной работы нескольких исследователей над одним проектом, что отвечает потребностям мировой интеграции науки;

возможность получения доступа к свободным вычислительным ресурсам участников сетевых проектов.

В третьей главе анализируются способы распределения вычислительной нагрузки для программ имитационного моделирования на слабосвязанных многопроцессорных системах.

В качестве примера имитационной модели в работе рассматривается модель существования группы живых организмов в природе. Связь параметров модели представлена на рисунке 2. На величину энергии организма (A) оказывают влияние пища (E), вода (W) и температура (T).

Количество пищи также зависит от температуры (T) и наличия воды (W).

Построим временную цепь событий: T – W – E - A. В этой цепи T и W это параметры, которые зависят только от времени, а Е и А кроме времени, зависят еще и от T и W.

Рис. 2. Связь параметров моделирования В простейшем случае параметры модели могут быть описаны следующими уравнениями:

При последовательном моделировании мы можем проводить расчеты, шаг за шагом опираясь на причинно-следственную связь (рис.3).

Рис. 3. Процесс последовательного моделирования При параллельном моделировании существует несколько способов организации вычислений.

Первый способ заключается в том, что мы распределяем нагрузку между узлами так, чтобы каждый из них получал задание, не требующее временного согласования. При этом из-за того, что мы должны обеспечить причинно-следственную связь параметров модели путем синхронизации вычислений в узлах, коэффициент загрузки узлов и эффективность вычислительной системы будет низкой.

Второй способ распределения нагрузки основан на том, что мы выделяем отдельные узлы системы для расчета каждого слоя (параметра) модели. Такое разделение также требует решения вопросов синхронизации расчетов на всех узлах.

Рис. 4. Процесс параллельного моделирования Третий способ распределения нагрузки (рис 4), который предложен в работе, состоит в том, что вся область моделирования разделяется на части – по числу узлов в системе. Все параметры каждой части рассчитываются последовательным алгоритмом независимо друг от друга, а вся модель - параллельно. Этот способ требует пересылки событий, выходящих за границу частичной модели. При этом именно реализация пересылок между узлами системы во многом будет определять коэффициент загрузки узлов и эффективность моделирования.

На каждом шаге моделирования объект может совершать перемещение в одну из соседних ячеек. Объект будет перемещаться за границу фрагмента, если он находится в граничной ячейке. Оценим вероятность перемещения объектов (а) за границу фрагмента на одном шаге моделирования (Q - число объектов).

Если количество ячеек n по вертикали равно количеству ячеек m по горизонтали, то выражение преобразуется в:

Если мы разделим поле размером M M на k частей, то Результаты исследования миграций 20 объектов для модели размерностью 600*600 приведены в таблице 4.

Разбиение Отличие расчетных значений числа переходов от практики объясняется тем, что в имитационной модели реализован не равновероятный принцип перемещения объектов. Однако, получаемые значения вполне пригодны для оценки коммуникационных потребностей моделей.

На рисунке 5 показана вычислительная имитационная модель существования живых организмов (объектов) в природе. Исходные данные разделены на два файла. В первом файле хранится состояние животных, а во втором – состояние окружающей среды. Алгоритм моделирования будет выглядеть так:

- Ведущий узел (хост) читает первый файл, а вычислительные узлы второй файл. На первом этапе хост распределяет пространство между узлами, посылая им границы выделенных узлу частичных матриц. Далее хост и узлы обмениваются сообщениями следующего формата:

координаты местоположения объекта и его параметры.

- На каждом шаге моделирования хост рассылает информацию об объектах всем узлам, по координатам они определяют, находится ли объект в его зоне или нет. После завершения расчетов каждый узел отправляет хосту новые характеристики «своих» объектов и цикл повторяется.

- Для устранения резких границ между зонами (сглаживания) необходимо периодически собирать данные о природной среде в файл и затем снова рассылать их по узлам.

При таком подходе хост сможет выполнять визуализацию результатов моделирования – рисовать объекты исследования и их характеристики (в данном случае животных). Если нам надо соединить эти данные с состоянием природной среды, то необходимо создать процесс, визуализирующий данные из второго файла. Следует учесть, что частота обновления этого файла значительно ниже, чем частота обновления данных о животных.

В четвертой главе приведены результаты экспериментальных исследований, испытаний и анализ эффективности предложенного алгоритма.

Программа имитационного моделирования реализована в среде mpC и протестирована на 24-х процессорной кластерной системе.

Для подтверждения масштабируемости алгоритма было проведено исследование влияния числа узлов в системе на время симуляции (при заданном разбиении).

Некоторые результаты приведены на рисунках 6 – 8.

Рис. 6. Параллельная симуляция (разбиение 2*2) Рис. 7. Параллельная симуляция (разбиение 3*3) Рис. 8. Параллельная симуляция (разбиение 4*6) Приведенные результаты показывают, что время решения задачи уменьшается почти вдвое при использовании четырех процессоров. Для равномерной загрузки узлов вычислителя отношение числа фрагментов модели к числу доступных узлов должно быть целым. Нарушение этого соотношения заметно снижает эффективность вычислений. Подтверждает этот факт то, что время решения задачи на 3 процессорах незначительно отличается от времени выполнения на 2 процессорах.

При разбиении поля модели на 9 фрагментов и на 24 фрагмента было получено менее чем двукратное ускорение вычислений. Следует отметить, что на время вычислений существенное влияние оказывают коммуникации между параллельными процессами, которые в случае симуляции плохо минимизируются. Кроме того, алгоритм использует периодическую синхронизацию вычислений через общие файлы, что также накладывает нагрузку на систему коммуникации.

Для подтверждения функциональности алгоритма было проведено исследование влияния варианта разбиения поля на результат моделирования.

Результаты моделирования (перемещение объектов на поле размером 600*600) при разбиении модели на 4, 9 и 16 фрагментов показаны на рисунке 7.

Результаты, полученные для различных разбиений, адекватно отображают моделируемые процессы, что подтверждает функциональность модели. Некоторая разница объясняется тем, что в программе используются генераторы случайных чисел для описания состояния среды и поведения объектов.

Рис. 7. Параллельная симуляция. Модель 600* Результаты испытаний в целом позволяют говорить о том, что способ разделения пространства может быть использован в системах имитационного моделирования, реализуемых на параллельных платформах, однако его эффективность будет зависеть от вычислительной сложности модели. Чем она выше, тем больше загружаются узлы и снижается нагрузка на каналы связи, а следовательно повышается эффективность системы.

В заключении приведены основные результаты работы.

1. Проведен анализ методов имитационного моделирования сложных систем. Обоснована целесообразность реализации систем имитационного моделирования на параллельных вычислительных системах.

2. Предложен вычислительный алгоритм имитационного моделирования, адаптированный для слабосвязанных многопроцессорных систем. Алгоритм позволяет минимизировать пересылки между узлами системы за счет разделения данных на две группы – описание объектов исследования и описание среды их существования.

3. Разработан способ распределения вычислительной нагрузки в задачах имитационного моделирования, основанный на разделении моделируемого пространства между узлами вычислителя. Такой подход позволяет увеличивать детализацию описания анализируемых систем для повышения точности моделирования или уменьшить время вычислений за счет применения множества процессоров.

4. Разработан программный модуль имитационного моделирования для слабосвязанных многопроцессорных систем и получено свидетельство о его официальной регистрации. Программный модуль реализован в среде mpC Workshop.

5. Эксперименты, проведенные на кластере 25*P-IV 2400, подтвердили практическую эффективность предложенного способа распределения вычислительной нагрузки и функциональность алгоритма имитационного моделирования.

Основные результаты диссертации изложены в работах:

1. Тэй Зар Хтун. Особенности численного интегрирования и моделирования на кластере. //Микроэлектроника и информатика. 12-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. – М.: МИЭТ, 2005, с. 244.

2. Тэй Зар Хтун. Высокопроизводительные вычисления на кластерных вычислительных системах. //Международная школаконференция по приоритетному направлению «Информационнотелекоммуникационные системы» с участием молодых ученых, аспирантов и студентов стран-членов СНГ. Тезисы докладов. - М.: МИЭТ, 2005, с. 68.

3. Тэй Зар Хтун. Об одном методе повышения эффективности параллельного моделирования. //Микроэлектроника и информатика. 13-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. - М.: МИЭТ, 2006, с. 178.

4. Лупин С.А., Тэй Зар Хтун. Моделирование экосистемы на параллельных вычислителях. //Системный анализ и информационноуправляющие системы: Сборник научных трудов под редакцией д.т.н., профессора В.А. Бархоткина – М.: МИЭТ, 2006, с. 155 – 161.

5. Тэй Зар Хтун. Комбинированный метод распределения нагрузки для кластерных вычислительных систем. //Научная сессия. – М.: МИФИ, 2007, с. 134.

6. Тэй Зар Хтун. Использование имитационного моделирования на параллельных вычислительных системах. //Микроэлектроника и информатика. 14-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов. – М: МИЭТ, 2007, с. 165.

7. Тэй Зар Хтун. Особенности программной реализации алгоритма имитационного моделирования на многопроцессорной вычислительной системе. //Моделирование, алгоритмизация и программирование при проектировании информационно-управляющих систем: Сборник научных трудов под редакцией д.т.н., профессора В.А. Бархоткина – М.: МИЭТ, 2008, с. 169.

8. Тэй Зар Хтун. Исследование масштабируемости программы имитационного моделирования на МВС. //Всероссийская межвузовская научно-практическая конференция молодых ученых, специалистов, преподавателей, аспирантов и студентов «Актуальные проблемы информатизации. Развитие информационной инфраструктуры, технологий и систем». – М.: МИЭТ, 2007, с. 168.

9. Зей Яр Вин., Ней Мин Тун., Тэй Зар Хтун. Исследование методов переноса последовательных алгоритмов на параллельные вычислительные платформы. //Вестник тульского государственного университета, серия «Радиотехника и радиооптика», Том IX, Тула. 2007, с 199 – 207.

10. Лупин С.А., Тэй Зар Хтун, Дорошенко Е.С., Свидетельство РФ на программу для ЭВМ 2007 614961 от 11.12.2007 "Параллельная программа моделирования взаимодействия объектов и окружающей среды ParModt " 2008.

Заказ № 114. Тираж 90 экз. Уч.-изд.л. 1,0. Формат 60х84/ Отпечатано в типографии МИЭТ(ТУ)