на правах рукописи
Кулагина Лидия Валентиновна
УПРАВЛЕНИЕ ДИНАМИЧЕСКОЙ МНОГОСЕРВЕРНОЙ
ИНФОРМАЦИОННОЙ СИСТЕМОЙ С НЕУСТОЙЧИВОЙ СВЯЗЬЮ
Специальность 05.13.01. – “Системный анализ, управление и обработка
информации (в наук
е и промышленности)”
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата технических наук Нижний Новгород, 2012 г.
Работа выполнена на кафедре прикладной математики Нижегородского государственного технического университета им. Р.Е. Алексеева.
Научный руководитель: доктор физико-математических наук, профессор Ирина Прокофьевна Рязанцева
Официальные оппоненты: доктор технических наук, профессор Николай Петрович Ямпурин доктор физико-математических наук профессор Юрий Николаевич Дерюгин
Ведущая организация: Национальный исследовательский университет Высшая школа экономики в Нижнем Новгороде
Защита диссертации состоится « 16 » февраля 2012 года в 15 часов в ауд. 1258 на заседании диссертационного совета Д 212.165.05 при Нижегородском государственном техническом университете им. Р.Е.
Алексеева по адресу: 603600, г. Нижний Новгород, ул. Минина, 24.
С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета им. Р.Е. Алексеева.
Автореферат разослан « 16 » января 2012 года.
Ученый секретарь диссертационного совета А.С. Суркова
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. Диссертация посвящена принципам построения, развития и оптимизации информационной системы (ИС), построенной на распределенной реляционной базе данных.
При разработке системы такого класса возникает ряд задач, среди которых наиболее важными являются следующие:
1) обмен данными между серверами при наличии неустойчивой связи, 2) поддерживание в актуальном состоянии структуры распределенных баз данных, 3) формирование форм ввода и вывода данных, 4) анализ производительности и оптимизация работы системы.
В имеющихся средствах стандартных системах управления базами данных, таких как, например, MS SQL SERVER, ORACLE для решения первой задачи разработан механизм репликаций, но при неустойчивой связи между серверами работа данного механизма вызывает сильные затруднения.
В динамично развивающихся информационных системах, где задействованы десятки серверов с базами данных, существенную роль играют временной и человеческий факторы. Данные вопросы рассматриваются во многих иностранных системах, но эти системы дорогостоящие. Современное развитие таких систем сводится преимущественно к односерверному варианту и предполагает оптиковолоконную связь между сервером и основными пользователями системы. В российских условиях с большими территориально-распределенными предприятиями реализовать такую систему затруднительно.
При обмене данными между серверами в стандартных механизмах не учитывается изменение структуры данных. В диссертации предлагается метод, при помощи которого сначала с центрального сервера передается структура данных. После ее актуализации на остальных серверах передаются данные с учетом измененной структуры.
Очень важной проблемой при работе информационных систем является задача сбора и обработки данных, а также представление результатов обработки данных с учетом распределенной структуры многосерверной системы.
Большинство систем, с которыми человек имеет дело, являются сложными. Попытка их математического описания с помощью детерминированных моделей приводит к большой погрешности. При решении задач анализа и проектирования таких систем приходится считаться с тем, что случайность является определяющей для процессов, протекающих в системах. При этом пренебрежение случайностью приводит к искажению реальных процессов, к ошибкам в выводах и практических рекомендациях.
Работа корпоративной информационной системы может быть описана с помощью теории массового обслуживания. Первые задачи данной теории были изучены в начале XX века. В нашем случае необходимо описывать работу сервера с запросами, которые поступают с клиентских мест. Построение математической модели позволит оценивать работу системы, а также оптимизировать ее производительность.
Таким образом, актуальной научной проблемой является создание и практическая реализация методов построения корпоративных информационных систем, включающих модели обмена структуры данных и самих данных между серверами, создание и передача форм ввода данных и построения отчетов, а также анализ производительности системы и оптимизация ее работы.
Цели и задачи диссертационной работы. Целью работы является разработка методов управления динамической многосерверной информационной системой при наличии неустойчивой связи между серверами. Для достижения поставленной цели в работе решены следующие задачи:
разработка алгоритма передачи данных и структур данных между серверами с неустойчивой связью, метод создания редактора форм для ввода данных в клиентских приложениях на распределенных серверах, построение клиентского приложения, вид и функционал которого зависят от номера шаблона, записанного в базе данных, разработка клиентского приложения для создания отчетных форм, создание метода организации взаимодействия функциональных элементов в информационной системе, основанного на анализе данных системы, анализ откликов сервера и оптимизация его работы.
Методика исследований. В работе использовались методы системного анализа, теории информационно-измерительных систем, теории массового обслуживания, системно-технического проектирования, системного и структурного программирования, объектно-ориентированного программирования.
Достоверность результатов работы обоснована четкой постановкой решаемых проблем, сравнением эффективности работы системы, в которой реализованы предлагаемые в работе механизмы, связи и методы, с ранее разработанными многосерверными информационными системами.
Основные положения диссертации опубликованы и докладывались на многочисленных конференциях.
Научная новизна работы заключается в следующем:
1) предложен новый алгоритм управления многосерверной информационной системой, основанный на анализе данных и запуске в работу функциональных элементов сервера;
2) построена модель репликации структуры данных при наличии неустойчивой связи между серверами, который основан на последовательной передаче изменения структуры данных и самих данных в последовательных пакетах;
3) разработан метод сбора и передачи данных в распределенной системе, который заключается в создании на центральном сервере формы сбора данных, репликации формы и таблиц хранения данных на распределенные серверы и обратной репликации данных на центральный сервер;
4) предложены новые алгоритмы репликаций отчетных форм и управления многосерверной информационной системой при неустойчивой связи.
Научная и практическая ценность. Предложенные технологии создания многосерверной информационной системы можно использовать для:
создания систем управления распределенными техническими объектами, разработки динамично развивающихся систем с распределенной базой данных, где есть неустойчивая связь между серверами, распределенной базой данных.
Реализация результатов работы. Результаты работы внедрены в учебном процессе в институте радиоэлектроники и информационных технологий Нижегородского государственного технического университета им. Р.Е. Алексеева, что подтверждено актом о внедрении, а также в ООО «Андор» при создании многосерверной управляющей информационной системы, что подтверждено актом внедрения.
Личный вклад автора. Теоретические положения, изложенные в диссертации, принадлежат соискателю лично. Программная реализация и внедрение полученных результатов выполнены совместно с соавтором к.ф.м.н., доцентом кафедры прикладной математики института радиоэлектроники и информационных технологий Нижегородского государственного технического университета Кулагиным Н.В. Все результаты, выносимые на защиту, являются новыми и актуальными, а развитые практические подходы оригинальны.
Апробация основных положений и результатов проведенного исследования. Основные результаты работы докладывались на: II Всероссийской молодежной научно-технической конференции “ Будущее технической науки” (г. Н. Новгород, 2004 г.), Международных конференциях “Дифференциальные уравнения и их приложения ” (г. Саранск, 2006, 2008, 2010 гг.), Международных научных школах “Математическое моделирование, численные методы и комплексы программ” (г. Саранск, 2005, 2007, 2009 гг.), VII, VIII Международной молодежной научнотехнической конференции “ Будущее технической науки” (г. Н. Новгород, 2008, 2009, 2011 гг.), Международной конференции ”Перспективы развития телекоммуникационных систем и информационные технологии” (г. СанктПетербург, 2008 г.), Международной научно-технической конференции “Информационные системы и технологии” (г. Н. Новгород 2010, 2011 г.), научных семинарах кафедры прикладной математики института радиоэлектроники и информационных технологий Нижегородского государственного технического университета им. Р.Е. Алексеева, на объединенных научных семинарах кафедры прикладной математики МГУ им. Н.П. Огарева и Средневолжского математического общества.
Публикации. Основное содержание диссертации опубликовано в печатных работах, из них авторских 4. Из них 2 статьи в изданиях, которые ВАК рекомендует для публикации результатов диссертаций на соискание ученых степеней доктора и кандидата наук. Получено свидетельство о государственной регистрации программы для ЭВМ № 2011614249.
Структура и объем работы. Работа состоит из введения, четырех глав, разбитых на пункты, заключения, списка литературы из наименований. Объем работы 112 страниц.
СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность темы, определяются цель и задачи исследования, формулируется научная новизна и практическая ценность полученных результатов, отмечено внедрение результатов, приведена структура работы, основные положения, выносимые на защиту, и краткий обзор содержания диссертации.
В первой главе представлен обзор литературы, отражающий современное состояние исследований по теме диссертации, выделены основные моменты развития и современный уровень технологий построения корпоративных информационных систем, рассматриваются история и развитие корпоративных информационных систем и теории массового обслуживания, анализируются зарубежные и российские системы, рассмотрены основные параметры, характеризующие работу системы массового обслуживания.
Во второй главе изложены методы передачи данных и структуры данных. Структура распределенной базы данных представлена на рисунке.
Для определенности предполагается справочную информацию вести на центральном сервере.
С центрального сервера передаются нормативно-справочная информация (НСИ) и данные об изменении структуры, формы ввода данных и отчетов. С остальных серверов на центральный и обратно на рабочие серверы передаются данные (см. рисунок 1). Для реализации этих связей разработан новый алгоритм репликаций, позволяющий в одном пакете передавать изменение структуры данных, данные, формы ввода информации и отчеты.
Распределенная база данных должна иметь единую структуру, поэтому предлагается метод, позволяющий при изменении структуры базы данных на основном сервере автоматически изменять их структуру на остальных серверах. Передача данных и структуры данных между серверами осуществляется через разработанный алгоритм репликаций.
Предлагается метод запуска скриптов автоматически с серверов. Для этого на серверах в базе данных создается служебная таблица, которая имеет следующие поля: текст SQL запроса, результат выполнения скрипта, перечень серверов запуска скриптов, время запуска (немедленно или по заданию, например, в определенное время, когда, не работают пользователи), идентификатор сервера и базы данных, на которых производился запуск и др. Данная таблица при помощи разработанного механизма вместе с измененными данными передается с главного сервера на остальные. При этом время передачи данных и структуры синхронизируется в пакете передачи. Работа сервера с данной таблицей происходит при помощи встроенных механизмов и процедур, которые хранятся на сервере, а также при помощи разработанного клиентского приложения. При запуске пакета на сервере сначала (если необходимо) выполняются команды по изменению структуры базы данных, а затем (если необходимо) будут запущены данные.
Пакет может передаваться различными доступными средствами (средствами SQL сервера, файл или FTP сервера, электронной почтой).
Проиллюстрируем работу системы на примере. Пусть в таблицу добавился столбец, который заполняется данными. В стандартном механизме репликаций данный столбец реплицироваться не будет, и в какойто момент данные будут не актуальны. В предлагаемом подходе в первую очередь реплицируется таблица с SQL скриптами, затем на сервере запустится скрипт, и появится столбец, и лишь затем будут переданы данные, т.е. актуальность данных будет сохранена, и ошибки при вставке данных в несуществующий столбец не возникнет. При данном подходе структура баз данных системы будет на определенном временном интервале неизвестна. На всех серверах будет присутствовать история об изменении структуры базы данных. При таком механизме работы системы отсутствует человеческий фактор, так как всегда будет поддерживаться актуальность в реплицируемых таблицах.
В этой же главе предлагается метод создания и передачи на распределенные серверы форм для ввода данных и отчетности для вывода информации из базы данных.
Опишем предлагаемый распределенный алгоритм ввода и передачи данных. В построенном механизме репликаций данные делятся на группы. К первой группе относится нормативно-справочная информация, которая ведется на центральном сервере и передается на все остальные серверы. Ко второй группе относятся данные, которые вводятся на всех серверах, а агрегируются только на основном сервере с указанием кода сервера источника. К третьей группе относятся данные, которые заводятся на разных серверах и реплицируются на все серверы. При этом данные передаются сначала на основной сервер, а с него реплицируются на остальные.
Для ввода данных создан алгоритм формирования форм. На этапе создания шаблона формы описываются поля для занесения данных. Все типы полей описаны в документации на базу данных. Каждому полю соответствует специализированный элемент ввода. Элементы заносят в форму, описывают их название и соответствие таблиц в базе данных. Если таблицы еще не существуют, то они создаются. После создания шаблон записывается в специальную таблицу базы данных, где указываются типы компонент, их размеры и положения. Данная таблица реплицируется на связанные серверы.
приложение, в котором идет обращение к серверу баз данных. На этапе инициализации происходит идентификация пользователя или группы пользователей, и выявляются доступные для них формы. После проверки всех условий загружается соответствующая форма для заполнения данными (см. рисунок 2).
Для вывода информации из базы данных разработан алгоритм создания и передачи на распределенные серверы печатных форм отчетности.
На центральном сервере создается SQL запрос к базе данных. Запрос записывается в служебную таблицу. В данную таблицу записывается и информация печатной формы. После этого данные реплицируются на необходимые серверы. При приеме репликаций запускается приложение, которое читает информацию из реплицированных таблиц и выдает отчетную информацию. Данный механизм позволяет формировать запросы для построения витрин данных, для импорта информации в другие базы данных, системы или на печать. Создано клиентское приложение, вид и функционал которого зависят от номера шаблона или отчета, записанного в базе данных.
Рис. 2. Структурная схема изменения и передачи данных Расчет контрольной суммы необходим для выяснения полноты передаваемых данных, т.е. проверки устойчивости связи при передачи.
В поставленной задаче каждый запрос к базе данных требует его зависящего от содержания запроса. Таким образом, работу сервера можно рассматривать как систему массового обслуживания, состоящую из элементарных операций – обработки отдельных запросов.
Пусть Т - случайная величина, равная времени между соседними обращениями к базе данных, тогда ее функция распределения вероятности определяется формулой а функция плотности вероятности имеет вид Кроме того, известно, что числовые характеристики случайной величины Т определяются равенствами: M(T)=1/ и D(T)=1/2.
количеством пользователей их обращения в определенные промежутки времени будут иметь постоянную интенсивность. Данный поток запросов является потоком Пальма, т.е. обладает свойствами ординарности и стационарности с ограниченным последействием. Вероятность k обращений к базе данных за промежуток времени длительностью t независимо от начала и конца этого промежутка определяется по формуле Пуассона Для описания структуры приложения любого уровня сложности было рассмотрено нескольких типов элементов: набора функциональных элементов (ФЭ) и анализатора состояний. Классом особых объектов являлся признак состояния (ПС), который принимает одно из двух значений:
“установлен” или “сброшен”. Работа данной системы может быть описана по показательному закону с параметром Отсюда следует, что поток обслуживания является простейшим.
Обозначим данную систему через S, а ее возможные состояния через S0 – “установлен”, а S1 – “сброшен”. Из состояния S0 в S1 систему переводит поток заявок с интенсивностью, а из S1 в S0 — «поток обслуживания» с интенсивностью.
Пусть р0(t) и р1(t) - вероятности состояний S0 и S1 соответственно.
Очевидно, что для любого момента времени t справедливо равенство р0(t)+р1(t)=1.
вероятностей состояний Поскольку в начальный момент канал свободен, то систему следует решать при следующих начальных условиях:
Решение задачи Коши (1), (2) имеет вид:
Данные рассуждения позволяют определить относительную q и абсолютную А пропускные способности сервера:
Также можно определить вероятность отказа обслуживания сервером запроса Для информационных систем с большим количеством пользователей поток обращений пользователей к системе не обладает постоянной интенсивностью, а, следовательно, является нестационарным пуассоновским потоком с мгновенной плотностью В третьей главе предлагается подход к управлению взаимодействием входящих в состав ИС функциональных элементов (ФЭ), представляющих собой функционально завершенные программные единицы приложений процедуры, функции, объекты и серверы, которые хранят процедуры баз данных, команды Transact-SQL.
Управление функциональными элементами предлагается проводить на уровне базы данных. Для этого достаточно определить несколько типов элементов: набор ФЭ и анализатор состояний. Разработка анализатора состояний, использующего непосредственно проблемные данные, для каждой ИС является задачей уникальной и не менее сложной, чем создание структуры взаимодействия ФЭ. Для упрощения данной задачи определим уровень абстрактного описания состояния ИС.
Рассмотрим ИС как некоторый объект, который состоит из набора функциональных элементов F1, F2,...,Fn и может находиться в конечном множестве состояний абстрактного пространства состояний. Каждое из состояний ИС зависит от значений данных, хранящихся в базах данных (БД), и характеризуется признаками состояния P1, P2,...,Pm для абстрактного многомерного пространства состояний. Для регистрации признаков состояния в БД заводится служебная таблица «Sign_of_condition».
Признак состояния в таблице представляет собой запись. Рассмотрим один из признаков состояния более подробно. Признак состояния представляет собой логическое поле Sign, принимающее два значения: либо “установлен”, либо “сброшен”. В логическом поле Sign хранится текущее положение признака. В логическом поле Old_Sign хранится предыдущее значение признака. Изменение предыдущего значение происходит при отработке триггером данной таблицы на UPDATE.
Пространство признаков представляет собой гиперпространство.
Поскольку признак принимает два значения, то работу ИС можно описать в виде переходов между вершинами m-мерного гиперкуба.
Значение конкретного признака зависит от условия данного признака, хранящегося в поле «Condition» и написанного на Transact-SQL. Во время проверки условия функциональные элементы могут работать тремя способами, отличающимися между собой условием запуска ФЭ. С каждым способом запуска будут связаны свои ФЭ. Пусть с первым способом запуска, назовем его «Пролог», связаны определенные ФЭ, которые полностью и «установлен». Данные ФЭ перечисляются в поле «Condition_TRUE», согласно требованиям Transact-SQL. С установкой значения «сброшен»
«Condition_FALSE». Кроме того, есть еще один способ запуска ФЭ, называемый «Очередью». При каждой смене значения признака состояния выполняются элементы «Очереди». В таблицу заносят также время начала и завершения работы ФЭ.
Введение служебной таблицы «Sign_of_condition» с признаками абстрактного пространства состояний позволяет более легкими средствами построить типовой анализатор состояния ИС - контроллер состояний (КС), входящий в состав подсистемы управления ИС и предназначенный для управления запуском ФЭ в зависимости от изменений в данных ИС.
«