На правах рукописи
КОВТУНЕНКО Алексей Сергеевич
ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ НА ОСНОВЕ
АГЕНТНОЙ ТЕХНОЛОГИИ
Специальность 05.13.11 –
Математическое и программное обеспечение вычислительных
машин, комплексов и компьютерных сетей
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата технических наук
Уфа – 2013
Работа выполнена на кафедре информатики ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
Научный руководитель д-р техн. наук, профессор ВАЛЕЕВ Сагит Сабитович
Официальные оппоненты: д-р техн. наук, профессор ЮСУПОВА Нафиса Исламовна Заведующий кафедрой вычислительной математики и кибернетики ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
канд. техн. наук, доцент, ПОГОРЕЛОВ Григорий Иванович Заместитель генерального директора – директор по общим вопросам и безопасности ОАО УНПП «Молния»
Ведущее предприятие: ФГБОУ ВПО «Башкирский государственный педагогический университет им. М. Акмуллы»
Защита состоится «1» ноября 2013 г. в 10 часов на заседании диссертационного совета Д-212.288. при ФГБОУ ВПО «Уфимский государственный авиационный технический университет»
по адресу: 450000, г. Уфа, ул. К. Маркса,
С диссертацией можно ознакомиться в библиотеке университета
Автореферат разослан « » сентября 2013 г.
Ученый секретарь диссертационного совета д-р техн. наук, проф. И. Л. Виноградова
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования Одним из наиболее важных этапов жизненного цикла (ЖЦ) информационно-управляющих систем (ИУС) является проектирование и создание подсистем распределенной обработки данных. От эффективной организации этого этапа зависит качество создаваемой системы и эффективность ее эксплуатации.
Наиболее известным программным решением для распределенных программных систем является использование трехзвенных программных архитектур «клиент-сервер» и создание дополнительного слоя программного обеспечения (ПО) – промежуточного слоя (ПС), который позволяет сократить затраты на проектирование и разработку программных модулей обработки, хранения данных, а также их интеграцию.
Однако, в классе программных систем распределенной обработки данных, критичных ко времени (ДКВ) – данных, для которых важное значение имеет время их получения и обработки (телеметрические данные, аудио и видеопотоки, промежуточные данные при распределенном компьютерном моделировании и т. д.), – клиент-серверная архитектура является недостаточно эффективной.
Обусловлено это тем, что программно-аппаратные системы распределенной обработки ДКВ имеют высокие требования к скорости обработки и передачи данных, а задача их хранения имеет более низкий приоритет, тогда как клиент-серверная архитектура ориентирована преимущественно на хранение и весьма требовательна к сетевым ресурсам. Таким образом, существующие программные технологии не позволяют обеспечить эффективность ЖЦ ИУС, и одновременно обеспечить соблюдение всех требований, предъявляемых к распределенным программным системам обработки данных: открытости, гибкости, модульности, обеспечения качества предоставляемых услуг, управляемости, безопасности, прозрачности распределения ресурсов.
Более эффективной для использования в данном классе программных систем является архитектура типа «точка-точка», а также возможные гибридные решения. Она позволяет организовать децентрализованную обработку данных и обеспечить гибкое и адаптивное распределение ресурсов вычислительной сети.
Наиболее известным подходом к созданию распределенных, децентрализованных систем обработки информации является агентно-ориентированный подход.
Он подразумевает использование программных архитектур «точка-точка» в рамках агентной технологии разработки.
В настоящее время подход к проектированию и разработке больших программных комплексов распределенной обработки ДКВ является проблемно-ориентированным, а применимость программных комплексов ограничена предприятием или предметной областью. В связи с этим, задача разработки универсального инструментария для проектирования и построения широкого класса программных систем распределенной обработки ДКВ на основе агентной технологии, обеспечивающей требуемое качество проектируемых приложений является актуальной научной задачей.
Проблемам стандартизации и создания программных систем универсального назначения, которые бы позволяли проектировать и строить программные комплексы распределенной обработки ДКВ посвящены исследования научных школ как в России так и за рубежом. В частности, для решения задач распределенного компьютерного моделирования и управления разработан стандарт IEEE 1516–2010 (HLA – high-level architecture), определяющий интерфейсы и протоколы взаимодействия между локальными приложениями обработки данных. Ряд спецификаций данного стандарта реализован в виде программных платформ.
Многие среды компьютерного моделирования реализуют интерфейсы стандарта, которые позволяет включать их в единую сеть обработки данных.
Наиболее известными в этой области являются работы Р. Фуджимото и др.
В России системам распределенной обработке данных применительно к прикладным задачам посвящены работы Е. Б. Замятиной, А. И. Каляева, Г. Г. Куликова, А. И. Микова, В. В. Окольнишникова, С. В. Павлова, Р. Л. Смелянского, Н.
И. Юсуповой.
Созданные российскими разработчиками программные комплексы «Мера», «Диана», «Triad.net» и «AGNES» обеспечивают высокую эффективность распределенной обработки ДКВ в частности при решении задач компьютерного моделирования, однако не всегда удовлетворяют одновременно требованиям открытости, гибкости, прозрачности и управляемости создаваемых на их базе вычислительных систем, в большинстве своем являются специализированными и ориентированы на решение узких задач распределенной обработки данных при компьютерном моделировании.
Целью работы является повышение эффективности жизненного цикла систем распределенной обработки данных, критичных ко времени за счет использования агентного подхода и разработки программного обеспечения промежуточного уровня.
1. Разработать обобщенную архитектуру программно-аппаратного комплекса распределенной обработки данных, критичных ко времени с учетом специфики жизненного цикла распределенных программно-аппаратных систем.
2. Разработать язык представления спецификаций программных систем распределенной обработки данных, критичных ко времени.
3. Разработать программную архитектуру систем распределенной обработки ДКВ на основе агентно-ориентированного подхода.
4. Разработать программные средства и программную инфраструктуру для проектирования и построения систем распределенной обработки данных, критичных ко времени.
1. Обобщенная архитектура программно-аппаратного комплекса распределенной обработки данных, подразумевает прозрачность распределения вычислительных ресурсов и использование метапрограммирования для создания приложений, что позволяет, в отличие от существующих подходов, обеспечить гибкость создаваемых систем, уменьшить время на разработку и реконфигурацию, за счет увеличения степени повторного использования кода а также за счет виртуализации вычислительных ресурсов.
2. Язык представления спецификаций распределенных программных комплексов обработки данных, критичных ко времени, позволяющий, в отличие от существующих высокоуровневых средств разработки, осуществлять структурное проектирование распределенных программных систем.
3. Программная архитектура, реализует агентно-ориентированный подход, что позволяет, в отличие от существующих подходов, учитывать требования живучести и гибкости программных систем распределенной обработки данных, критичных ко времени.
4. Разработанные программные средства и программная инфраструктура относятся к промежуточному слою программного обеспечения, базируются на агентной технологии разработки и представляют собой законченный пакет программ который, в отличие от существующих, для программных комплексов обработки данных, критичных ко времени позволяют обеспечить выполнение требований открытости, гибкости и устойчивости к аппаратным и программным сбоям, а также прозрачности распределения ресурсов.
Теоретическая и практическая значимость работы заключается в • в разработанной обобщенной архитектуре программно-аппаратных комплексов распределенной обработки данных, которая позволяет снизить время и трудозатраты на создание распределенных программных систем за счет использование метапрограммирования;
• в языке представления спецификаций вычислительных систем, позволяющем осуществлять структурный дизайн программных систем распределенной обработки данных, критичных ко времени, не прибегая к алгоритмическому программированию;
• в программной архитектуре, которая за благодаря агентно-ориентированному подходу позволяет учитывать требования к гибкости и живучести программных систем распределенной обработки данных, критичных ко времени на стадии проектирования;
• в разработанных программных средствах промежуточного слоя, которые, благодаря использованной агентной технологии и языка разработки Java, являются кросс-платформенными и позволяют создавать программные комплексы распределенной обработки данных, критичных ко времени на базе гетерогенных вычислительных сетей с непредсказуемой загрузкой, реализовывать самоорганизующиеся агентные алгоритмы обработки данных, создавать иерархические программные комплексы.
В работе использовались теоретико-множественные, графовые и агентноориентированные методы представления моделей, объектно-ориентированные и агентные методологии проектирования и разработки программных систем, методы системного анализа, математического моделирования сложных динамических систем, а также теории организации параллельных вычислительных процессов.
1. Обобщенная архитектура программно-аппаратного комплекса распределенной обработки данных.
2. Язык представления спецификаций распределенных систем обработки данных, критичных ко времени.
3. Программная архитектура распределенных систем обработки данных, критичных ко времени.
4. Пакет программ промежуточного слоя для создания систем распределенной обработки данных, критичных ко времени.
Степень достоверности и апробация результатов Полученные в диссертационной работе результаты не противоречат известным теоретическим положениям и подтверждаются результатами расчетов, апробации и внедрения предложенных в диссертации методов на предприятиях и в учебном процессе Уфимского государственного авиационного технического университета.
Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих научных конференциях.
• в 2010 г в рамках «International Workshop on Applied Informatics and Mathematical Methods in Economics», Уфимский государственный авиационный технический университет, г. Уфа • в 2010, 2012 гг. на Всероссийской молодежной научной конференции «Мавлютовские чтения», Уфимский государственный авиационный технический университет, г. Уфа • в 2011, 2012, 2013 гг. на Всероссийской зимней школе-семинаре аспирантов и молодых ученых «Актуальные проблемы науки и техники», Уфимский государственный авиационный технический университет, г. Уфа • в 2011 г. на V Всероссийской научно-технической конференции молодых специалистов, Уфимское моторостроительное производственное объединение, г. Уфа • в 2012 году на шестой международной конференции «Параллельные вычисления и задачи управления «PACO'2012», Институт проблем управления РАН, г. Москва • в 2013 г. на международной конференции «Information Technologies for Intellegent Decision Making Support», Уфимский государственный авиационный технический университет, г. Уфа Работа выполнена в рамках плановых исследований кафедры информатики в области построения многоагентных систем моделирования и управления силовыми установками летательных аппаратов, а также разработки эффективных методов компьютерного моделирования сложных организационно-технических систем. Исследования поддержаны грантом № 10-08-00928 «Анализ и синтез многоагентных систем управления газотурбинными двигателями летательных аппаратов»
Основные результаты диссертационной работы докладывались и обсуждались и получили положительную оценку на всероссийских и международных конференциях. Список публикаций по теме диссертации включает 17 научных трудов, в том числе 12 статей (2 в рецензируемых журналах из списка ВАК) и тезисов докладов на научных конференциях и одно свидетельство о государственной регистрации программы для ЭВМ.
Диссертация состоит из введения, четырёх глав и заключения, изложенных на 126 листах машинописного текста, включая 37 иллюстраций и список используемой литературы из 125 наименований.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность диссертационной работы, формулируются задачи и цели исследования, отмечается научная новизна и практическая ценность полученных результатов.
В первой главе выполнен анализ архитектурных особенностей построения распределенных программных комплексов обработки данных, выполнен анализ наиболее распространенных архитектур. Рассмотрены существующие программные средства и технологии построения распределенных программных систем. Обозначен класс прикладных задач распределенной обработки ДКВ: задач управления и компьютерного моделирования сложных технических и организационно-технических систем. Рассмотрены свойства живучести и гибкости распределенных программных систем, как аспекты фактора надежности программных средств, являющиеся наиболее важными для распределенных систем обработки ДКВ. Под живучестью подразумевается способность программной системы сохранять работоспособность в случае отказа ее компонентов. Под гибкостью программных систем понимается возможность наращивания функционала или реконфигурации системы в процессе ее эксплуатации, без остановки, перезапуска и дополнительных затрат.
и эффективности) предлагается обобщенная архитектура программно-аппаратного комплекса (рисунок 1). В основе архитектуры распределенных систем обработки данных Рисунок 1 – Обобщенная архитектура программно-а- программных компонент:
ппаратных комплексов распределенной обработки • платформа распреданных деленного исполнения подзадач обработки данных, которая обеспечивает необходимый уровень виртуализации вычислительных ресурсов сети для различных компонент приложения, передачу данных, прозрачность распределения ресурсов гетерогенной вычислительной сети с непредсказуемой загрузкой;
• библиотека компонент, в которых реализованы типовые подзадачи обработки данных, которые используются при построении приложения;
• компонента создания и запуска подпрограмм обработки данных, которая обрабатывает спецификацию программы и на базе платформы из компонент библиотеки строит распределенное приложение обработки данных;
• интегрированная среда программирования для реализации подзадач обработки данных на алгоритмическом языке и включения их в библиотеку;
• среда визуального проектирования распределенных программных систем, позволяющая создавать спецификацию приложения распределенной обработки данных в виде метапрограммы на специальном языке.
Показано, что агентно-ориентированный подход и агентная технология разработки наилучшим образом подходят для реализации предложенной обобщенной архитектуры.
Во второй главе предлагается математическая модель обработки ДКВ.
Пусть множество ДКВ задано множеством атрибутов V, значения которых в процессе функционирования системы необходимо поддерживать актуальными.
Подзадачи обработки данных задаются множеством операций F по вычислению текущих значений совокупности исходящих атрибутов V D V с использованием текущих значений совокупности входящих атрибутов V G V, при этом V G V D=. Каждая операция может быть представлена кортежем f = V G, V D.
Кроме того, задается отображение T ( f ): F, которое каждой операции ставит в соответствие вещественное число, показывающее период ее повторения в секундах.
Решаемая прикладным программным комплексом задача обработки ДКВ может быть представлена ориентированным биграфом, множество вершин которого N =V F соответствуют атрибутам и операциям их преобразования, а множество дуг С : V F – зависимостям между значениями атрибутов или компонентам потоков данных, передаваемым между подзадачами обработки. На основании графового представления задачи была предложена агентно-ориентированная программная архитектура распределенной обработки ДКВ. В основе данной программной архитектуры лежат следующие положения.
1. Задача распределенной обработки ДКВ представляется совокупностью подзадач – операций, каждой из которых соответствует программный агент, называемый целевым. Целевой агент содержит следующие элементы:
1) вектор состояния – текущие значения совокупности производных атрибутов, значения которых агент должен поддерживать актуальными;
2) регистр входящих потоков– текущие значения совокупности производящих атрибутов;
3) главную процедуру – периодическую вызываемую процедуру которая соответствует операции обработки данных;
4) периодическую процедуру поддержания актуальности входящих сигналов (обновления регистра входящих потоков).
2. Топология потоков данных между операциями задается, в соответствие с агентно-ориентированным подходом, для каждого целевого агента, посредством указания агетнов-источников входящих потоков, а также периода обновления значений в регистре. Это позволяет обеспечить живучесть прикладного программного комплекса, поскольку сбой одного или нескольких целевых агентов не приведет к отказу. В этом случае для расчетов в других операциях будут использоваться устаревшие значения, что повлияет только на точность вычисления других атрибутов. Поддержание потока данных между целевыми агентами осуществляется с применением предложенного прикладного протокола сигнального взаимодействия.
3. Создание спецификации вычислительной модели обработки ДКВ и параметров целевых агентов осуществляется на основе метапрограммирования с использованием предложенного в работе языка описания спецификаций (Task Specification Description Language – TSDL). Он основан на стандарте разметки XML. В TSDL-описании распределенной системы обработки данных для каждого целевого агента указываются входящие потоки, размерность состояния, указатель на процедуру обработки из библиотеки компонент (согласной обобщенной архитектуре, предложенной в первой главе), периодичность обновления регистра входящих сигналов и вектора состояния, а также указатель на узел вычислительной сети, на котором выполняются задачи данного целевого агента.
4. Управление распределенным программным комплексом: его запуск, останов и уничтожение производится согласно следующей трехуровневой иерархической структуре с использованием предложенного прикладного протокола управляющего взаимодействия.
1) Верхний уровень управления представлен агентом – главным менеджером, который осуществляет взаимодействие с пользователем, создание целевых агентов по TSDL-спецификации программной системы и трансляцию управляющих команд на средний уровень.
2) Средний уровень представлен периферийным менеджером, или менеджером узла, который осуществляет ретрансляцию управляющих команд целевым агентам вычислительного узла.
3) Нижний уровень представлен механизмами целевого агента, который при поступлении от среднего уровня управляющих команд запускает или приостанавливает выполнение своей главной процедуры, либо самоуничтожается.
5. В условиях локальной нехватки вычислительных ресурсов возможно перераспределение задач между вычислительными узлами сети на основе концепции подвижного кода. Если мощности вычислительного узла не позволяют целевому агенту поддерживать значения переменных актуальными во времени, механизм балансировки нагрузки приостанавливает выполнение главной процедуры и перемещает целевого агента на менее загруженный или более производительный узел. Предложен прикладной протокол служебного взаимодействия, который обеспечивает целостность иерархической структуры управления при перемещении целевых агентов между вычислительными узлами.
Данный механизм позволяет использовать для исполнения распределенного программного комплекса гетерогенные сети с непредсказуемой загрузкой.
Язык представления спецификаций распределенных программ TSDL основан на нотации XML. Описание его в виде расширенной формы Бэкуса-Наура (РБНФ) приведено ниже.
::= '0'|'1'|'2'|'3'|'4'|5|'6'|'7'|'8'|'9';
::= 'a'|'b'|...|'z'|'A'|'B'|...|'Z';
::=, {};
::= {|};
::=, {||'.'};
::= '';
::= '', {}, '';
«