«ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЯ РЕСУРСОВ В ИНТЕРАКТИВНЫХ СЕРВИСАХ ИНФОКОММУНИКАЦИОННЫХ СЕТЕЙ ...»

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

ОРЕНБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

ПАРФЁНОВ ДЕНИС ИГОРЕВИЧ

ИССЛЕДОВАНИЕ РАСПРЕДЕЛЕНИЯ РЕСУРСОВ В

ИНТЕРАКТИВНЫХ СЕРВИСАХ ИНФОКОММУНИКАЦИОННЫХ

СЕТЕЙ 05.12.13 – Системы, сети и устройства телекоммуникаций

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель:

доктор технических наук, профессор Болодурина И.П.

ОРЕНБУРГ

Содержание Введение

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ ЭФФЕКТИВНОГО

ИСПОЛЬЗОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В

ВЫСОКОНАГРУЖЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.................. 1.1 Проблемы эффективного использования вычислительных ресурсов в информационных системах

1.2 Технологии распределения и балансировки нагрузки в высоконагруженных информационных системах

1.3 Виртуализация вычислительных ресурсов в облачных системах................. 1.4 Управление вычислительными ресурсами в высоконагруженных информационных системах, построенных на базе концепции облачных вычислений

1.5 Обзор существующих алгоритмов планирования в вычислительных системах

1.6 Анализ особенностей потребления вычислительных ресурсов в информационных системах образовательных учреждений

1.7 Постановка задачи

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ

ИНТЕРАКТИВНЫХ СЕРВИСОВ ИНФОКОММУНИКАЦИОННЫХ СЕТЕЙ

НА БАЗЕ ОБЛАЧНОЙ АРХИТЕКТУРЫ

2.1 Структурная модель облачной системы и модель доступа к данным и приложениям

2.2 Построение модели виртуализации вычислительных ресурсов облачной системы

2.3 Модель потоков данных высоконагруженных информационных систем, применяющих концепцию облачных вычислений

2.4 Разработка модели обслуживания заявок пользователей информационной системы

2.5 Управление потоками запросов в информационных системах

2.6 Построение модели доступа к хранилищу данных и приложений................ 2.7 Критерии и показатели оценки эффективности разработанных моделей....

ГЛАВА 3. АРХИТЕКТУРА И ПРОГРАММНАЯ РЕАЛИЗАЦИЯ

КОМПОНЕНТОВ УПРАВЛЕНИЯ НАГРУЗКОЙ В ВЫЧИСЛИТЕЛЬНОЙ

СРЕДЕ

3.1 Разработка алгоритма распределения и динамической балансировки нагрузки в облачной системе

3.2 Алгоритм управления виртуальными ресурсами и приложениями.............. 3.3 Алгоритм распределения нагрузки при доступе к данным облачной системы хранения

3.4 Алгоритм оптимизации процесса миграции данных в облачной системе хранения

3.5 Проектирование и разработка автоматизированного программного симулятора для распределения и динамической балансировки нагрузки в облачной системе

3.6 Программная реализация эффективных алгоритмов распределения и динамической балансировки нагрузки для контроллера облачной системы...

ГЛАВА 4. МОДЕЛИРОВАНИЕ ПРОЦЕССА УПРАВЛЕНИЯ НАГРУЗКОЙ НА

ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ КОММУНИКАЦИОННОИНФОРМАЦИОННОЙ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ,

ПОСТРОЕННОЙ С ИСПОЛЬЗОВАНИЕМ ОБЛАЧНЫХ ТЕХНОЛОГИЙ И

АНАЛИЗ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

4.1 Моделирование и анализ вычислительных ресурсов информационной системы дистанционного обучения

4.2 Анализ нагрузки на мультимедийные сервисы информационной системы дистанционного обучения

4.3 Оценка эффективности модели информационной системы дистанционного обучения, использующей концепцию облачных вычислений

4.4 Имитационное моделирование работы высоконагруженных интерактивных сервисов информационной системы с учетом облачной архитектуры............. 4.5 Проведение экспериментального исследования в облачной системе Openstack

4.6 Анализ результатов моделирования

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А Свидетельство о регистрации программного комплекса системы»

ПРИЛОЖЕНИЕ Б Свидетельство о регистрации программного комплекса управления распределением нагрузки в контроллерах облачной системы для решения задачи оптимизации доступа к мультимедиа ресурсам

исследования

Актуальность темы. В настоящее время широкое распространение получило применение интегрированных информационных систем (ИС), используемых для обработки, хранения и передачи значительных объемов данных. Современные информационные системы, кроме обработки данных, как правило, осуществляют поддержку ряда сервисов и приложений, предоставляющих доступ конечным пользователям. Одной из проблем современных высоконагруженных информационных систем является потребность в больших объемах вычислительных ресурсов. При этом рост потребления ресурсов, в отличие от изменения доступного объема, имеет экспоненциальный характер. Для организации работы сервисов в едином информационном пространстве необходимо решение нескольких классов задач, включающих в себя оптимизацию использования доступных вычислительных ресурсов в зависимости от их востребованности в условиях физических ограничений. Кроме этого, отличительной особенностью современных информационных систем является неоднородность поступающих потоков запросов пользователей. Это обусловлено многофункциональностью современных информационных систем, выраженной в поддержке различных мультимедийных сервисов на единой платформе. При этом каждый из таких сервисов обладает собственными требованиями к производительности вычислительных ресурсов, и, как следствие, оказывает влияние на всю информационную систему в целом.

информационные системы. Характер использования информационных систем в ВУЗе подразумевает потребление вычислительных ресурсов значительным количеством пользователей всех форм обучения, осуществляющих одновременный доступ к нескольким сервисам, используя различные каналы связи. Одной из наиболее востребованных ИС ВУЗа является система дистанционного обучения (СДО), поддерживающая работу нескольких разнородных приложений.

Для обеспечения непрерывного доступа к информационным системам с использованием современных средств телекоммуникаций и связи требуется решить проблему эффективного распределения между сервисами ограниченного объема ресурсов. При этом потоки поступления заявок характеризуются неоднородной интенсивностью и дифференцированным использованием основных компонентов. В настоящее время нет универсальных решений, способных одновременно осуществлять распределение и балансировку нагрузки между различными мультимедийными сервисами в условиях физических ограничений по вычислительным ресурсам.

Для оценки эффективности существующих решений, с учетом качества предоставляемых услуг, необходима разработка соответствующих моделей и применение наукоемких теоретических и экспериментальных методов. Для этого широко применяется теория систем массового обслуживания (СМО).

Указанным вопросам посвящены фундаментальные работы таких авторов как Л. Клейнрок, С.А. Майоров, А.П. Пшеничников, Т.Л. Саати, Е.С. Вентцель, А.Л. Лифшиц, А.К. Эрланг и ряда других [9,21,22]. Ведущее место в общей математической модели СМО занимает модель входящего потока заявок, поступающих в систему на обслуживание. Так в диссертационном исследовании В.К. Дворникова рассматривается вопрос анализа клиентсерверной нагрузки, создаваемой приложениями, входящими в состав системы дистанционного обучения, а работы Г.Е. Монахова и Ж.Ф. Таннинг посвящены исследованию алгоритмов и программного обеспечения позволяющих телекоммуникационной системы [16,30,71]. Однако полученные в этих исследованиях результаты не позволяют проводить комплексную оптимизацию использования всех вычислительных ресурсов и не учитывают особенности мультимедийных приложениях современных высоконагруженных информационных систем отличаются повышенными требованиями к параметрам качества обслуживания (QoS), таких как задержка пакетов, скорость передачи, а также пропускная способность каналов связи.

Указанные проблемы предлагается решать посредством применения современной концепции облачных вычислений (Cloud Computing), в соответствии с которой конечным пользователям предоставляется доступ к виртуальным ресурсам единой системы, осуществляющей контроль, распределение и балансировку нагрузки между вычислительными узлами и приложениями. При этом для обеспечения выполнения ограничения по общему объему вычислительных ресурсов предлагается разработать дополнительные модели и алгоритмы, оптимизирующие размещение объектов и данных информационной системы, а также формирующие порядок обслуживания запросов в соответствии с выбранными критериями.

Цель и задачи работы. Целью диссертационной работы является повышение качества обслуживания и производительности мультимедийных сервисов, входящих в состав информационной системы, построенной на основе концепции облачных вычислений с использованием современных средств телекоммуникаций и связи.

Для достижения указанной цели поставлены следующие научные задачи:

1. Провести анализ существующей архитектуры и исследовать методы оптимизации, применяемые для повышения эффективности использования вычислительных ресурсов в высоконагруженных информационных системах, поддерживающих несколько классов мультимедийных приложений, работающих в условиях ограниченности ресурсов при неоднородном потоке заявок, поступающих от конечных пользователей.

2. Разработать модели, детально описывающие функционирование современных высоконагруженных информационных систем с позиции архитектуры и состава основных объектов облачной системы; обработки и управления потоками данных, передаваемых между ее компонентами, с учетом набора характеристик, оказывающих влияние на эффективность обслуживания запросов пользователей.

3. Спроектировать модели размещения и организации доступа к описывающие востребованность приложений пользователями с учетом ограниченности вычислительных ресурсов.

4. Разработать и реализовать алгоритмы оптимизации для управления размещения неоднородных мультимедийных приложений и данных, входящих в состав высоконагруженных информационных систем.

осуществляющий эффективное управление вычислительными ресурсами, выделенными для работы мультимедийных приложений, размещенных в облачной системе, в условиях физической ограниченности ресурсов.

определены её объект и предмет.

приложений и размещенные на базе облачных систем.

Предметом исследования являются модели и алгоритмы управления распределением и балансировкой нагрузки между вычислительными узлами и виртуальными ресурсами облачной системы в высоконагруженных мультимедийных приложениях, входящих в состав единой информационной системы.

Методы исследования.

исследования основываются на теории массового обслуживания, методах оптимизации, теории графов и имитационном моделировании, реализованных средствами пакета Matlab.

Научная новизна результатов диссертации заключается в том, что впервые:

1. Предложена модель, описывающая неоднородные потоки запросов пользователей в высоконагруженных информационных системах с последовательно-параллельными фазами в системе массового обслуживания.

Модель учитывает особенности работы компонентов «облачной» системы и позволяет оценить ее основные характеристики: загрузку каналов, время отклика приложений, эффективность работы сервисов и надежность ее компонентов.

2. Спроектирована модель доступа пользователей к основным ресурсам информационной системы, включающей в себя мультимедийные приложения, а также учитывающая размещение данных в системе хранения и запуск приложений с использованием концепции «облачных вычислений».

Применение разработанной модели позволяет повысить производительность работы «облачной» системы за счет методов оптимизации динамического распределения ресурсов и сокращает время отклика приложений.

3. Разработаны алгоритмы для распределения и балансировки нагрузки, отличающиеся от известных аналогов тем, что они учитывают объем используемых ресурсов, порядок доступа к различным уровням webприложений, а также прогнозирующие поведение информационных систем на основе событийного подхода.

4. Разработана компьютерная модель обработки запросов пользователей интерактивных сервисов инфокоммуникационных сетей, позволяющая исследовать и оптимизировать управление нагрузкой, а так же повысить производительность работы «облачной» системы, задействованной при размещении мультимедийных приложений и ее компонентов в условиях физических ограничений вычислительных ресурсов.

Достоверность результатов работы.

Обоснованность и достоверность результатов работы обеспечивается корректностью применения используемого математического аппарата. Для анализа эффективности предложенных алгоритмов использованы данные об интенсивности потребления ресурсов и компонентов информационной системы дистанционного обучения ВУЗа. Достоверность результатов подтверждается экспериментальными исследованиями и апробацией разработанного программного комплекса.

Практическая значимость работы состоит в том, что разработанные алгоритмы оптимизации и созданные программные комплексы могут применяться для:

мультимедийных сервисов в условиях ограниченных вычислительных ресурсов;

производительности и качества обслуживания конечных пользователей.

практических задач в различных высоконагруженных мультимедийных сервисах, предъявляющих особые требования к качеству обслуживания и предоставляющих доступ значительному числу пользователей в условиях ограниченности вычислительных ресурсов.

Основные результаты, полученные автором и выносимые на защиту:

1. Построены основные модели, учитывающие особености доступа пользователей к мультимедийным приложениям, работающим в облачной системе, и описаны потоки данных, передаваемых в структуре виртуальных ресурсов.

2. Разработаны модели эффективного размещения мультимедийных данных в облачном хранилище информационной системы, учитывающие параллельные процессы, влияющие на производительность системы хранения, а также зависимости, возникающие в процессе доступа пользователей к приложениям.

3. Установлены и экспериментально исследованы законы распределения последовательностей интервалов времени поступления и длительности обслуживания заявок в многоуровневневой информационной системе с динамически конфигурируемой архитектурой на базе концепции облачных вычислений.

4. Разработаны оптимизирующие алгоритмы управления ресурсами высоконагруженной информационной системы дистанционного обучения, расположенной в «облаке», с учетом функций распределения нагрузки и анализа интенсивности поступления запросов, что позволило повысить производительность обслуживания заявок пользователей в условиях ограниченности вычислительных ресурсов за счет динамического распределения передаваемых потоков данных.

5. Спроектирован и внедрен программный комплекс, позволяющий вычислительными ресурсами, а также повышающий производительность работы высоконагруженной информационной системы.

Личный вклад автора. Основные научные результаты теоретических и прикладных исследований, выводы, изложенные в диссертации, получены автором самостоятельно. В работах, опубликованных в соавторстве, соискателю принадлежит значительная часть, связанная с постановкой задач, разработкой алгоритмов и моделей, а также их программная реализация и проведение экспериментальных исследований в информационной системе дистанционного обучения ВУЗа.

диссертационной работы внедрены в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования "Оренбургский государственный университет" на факультете дистанционных образовательных технологий и в учебном центре ГНУ Всероссийского научно-исследовательского института мясного скотоводства (г. Оренбург), что подтверждено актами внедрения, представленными в приложении.

Апробация работы. Основные научные и практические результаты диссертационной работы докладывались и обсуждались на следующих конференциях:

III Всероссийской научно-практической конференции «Математика.

Информационные технологии. Образование» (Оренбург, 2011 г.);

XII Всероссийской конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (Нижний Новгород, 2012 г.);

V Международной научно-практической конференции "Современные информационные технологии и ИТ-образование"» (Москва, 2011 г.);

Научно-практическая конференция "Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности и экономике"» (Санкт-Петербург, 2012 г.);

Шестой международной конференции «Управление развитием крупномасштабных систем (MLSD`2012)» (Москва, 2012 г.);

VI Международной конференции «Параллельные вычисления и задачи управления РАСО’ 2012» (Москва, 2012 г.);

Х всероссийской научно-практической конференции «Современные информационные технологии в науке, образовании и практике» (Оренбург, 2012 г.);

Международной конференции «IEEE Global Engineering Education Conference (EDUCON)», Технический университет (Германия, Берлин, 2013 г.);

вычислительные технологии ПаВТ’2013» (Челябинск, 2013 г.);

Всероссийской школе-конференции молодых ученых «Управление большими системами» (Уфа, 2013 г.);

"Телематика'2013" (Санкт-Петербург, 2013 г.).

Публикации.

Основные теоретические и практические результаты диссертации опубликованы в 25 работах и реализованы в 2 зарегистрированных программных комплексах. Публикации включают 4 работы в изданиях из перечня ВАК РФ; 3 статьи из прочих изданий; 10 статей, опубликованных в трудах международных научных конференций; 6 статей, опубликованных в трудах всероссийских научных конференций и 2 тезиса докладов.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений.

Работа содержит 157 страницы машинописного текста, 37 рисунка, 2 таблицы. В списке литературы 133 наименованя.

исследования, сформулированы цель и задачи диссертационной работы, определена научная новизна полученных результатов и их практическая ценность. Определена структура и краткое содержание глав диссертации, приведены сведения о публикациях и апробации работы.

В первой главе представлен обзор исследований, существующих в данном направлении, освещены основные понятия, касающиеся применяемых алгоритмов, методов, программных и аппаратных средств распределения и балансировки нагрузки, произведена классификация и анализ применяемых на практике технологий виртуализации вычислительных ресурсов, а также выделены ключевые особенности доступа к информационным системам в сетях образовательных учреждений.

Во второй главе построены модели, описывающие предметную область исследования, а именно: уровни мультимедийных приложений, декомпозицию структуры виртуализации ресурсов и особенности обслуживания запросов пользователей при обращении к информационной системе дистанционного обучения, а также особенности размещения данных в сетевом хранилище.

дистанционного обучения Оренбургского государственного университета мультимедийные услуги. Для оптимизации управления вычислительными исследования разработана модель виртуализации ресурсов, описывающая декомпозицию основных элементов облачной системы. В соответствии с уровневой классификацией приложений и моделью виртуализации ресурсов использующих концепцию облачных вычислений. Для описания динамики информационной системе, использующей облачные ресурсы, формализовано описание потоков предаваемых данных. В рамках исследования построена модель обслуживания запросов пользователей в виде СМО, описывающей выделенные каналы для каждого из обозначенных компонентов с учетом вычислительными ресурсами информационной системы, расположенной в облаке, разработана модель доступа к хранилищу данных и приложений, учитывающая неоднородность размещаемой информации (текстовые, аудио или видео данные) и оценку интенсивности обращения к востребованным элементам при прогнозировании нагрузки на выделенные устройства. В исследовании также представлена методика, позволяющая оценить надежность распределения случайной величины, влияющей на интенсивность отказов в обслуживании.

В третьей главе описаны разработанные алгоритмы оптимизации управления вычислительными ресурсами в высоконагруженных информационных системах, работающих в условиях ограничения их физических объемов, учитывающие особенности размещения данных и приложений в облачной архитектуре на основе моделей, построенных в главе 2.

Одним из алгоритмов оптимизации управления вычислительными ресурсами реализуется распределение и динамическая балансировка нагрузки.

Отличительной особенностью алгоритма распределения и динамической балансировки нагрузки является использование уровневой классификации приложений и предложенного рейтинга востребованности компонентов высоконагруженной информационной системы. В основу алгоритма положена модель обслуживания заявок пользователей в части выбора их приоритетов.

Кроме того, в работе алгоритма учитываются затраты вычислительных ресурсов не только на выполнение текущего запроса, но и для других, связанных с объектом доступа, активных сеансов пользователей.

вычислительных ресурсов, в диссертационном исследовании разработан алгоритм распределения нагрузки при доступе к данным облачной системы хранения, отличительной особенностью которого является прогнозирование востребованности связанных данных в мультимедийных приложениях. В основу алгоритма положена модель доступа к хранилищу данных и приложений, позволяющая оптимизировать их размещение внутри дискового пространства для более эффективного использования имеющегося объема хранилища и для управления количеством виртуальных и физических устройств информационной системы. При этом, для повышения эффективности основного процесса разработан алгоритм миграции данных в облачной системе хранения, осуществляющий формирование плана миграции для распределенной обработки востребованных данных в высоконагруженных информационных системах.

Разработанные алгоритмы положены в основу двух зарегистрированных программных комплексов: автоматизированный программный симулятор облачной системы, служащий для моделирования обслуживания запросов пользователей в информационной системе и модуль распределения и динамической балансировки нагрузки для контроллера облачной системы OpenStack, применяемый для оптимизации использования вычислительных ресурсов и повышающий ее производительность в целом.

исследования разработанных алгоритмов и моделей.

Средствами инструмента Opnet Modeler проведено моделирование, позволяющее оценить эффективность использования существующей архитектуры вычислительных и сетевых ресурсов, обеспечивающих работу информационной системы дистанционного обучения. Экспериментально доказано, что проблемы доступа к мультимейдийным приложениям возникают по причине недостаточно эффективного использования вычислительных узлов, что вызывает отказ в обслуживании отдельных компонентов.

Для анализа эффективности разработанной схемы оптимизации в рамках диссертации проведено 3 серии экспериментов:

1. Исследование влияния входных данных модели (поток запросов, параметры вычислительных узлов) на выходные параметры (характеристики обслуживания заявок пользователей).

2. Сравнительный анализ эффективности работы информационной системы на базе имитационной модели с применением разработанных алгоритмов.

3. Суммарный анализ производительности работы информационной системы с применением алгоритмов распределения и балансировки нагрузки в облачной системе Openstack в условиях ограниченности ресурсов.

В заключении приводятся основные научные результаты, полученные в ходе выполненных исследований, а также представлены выводы по работе.

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ

ЭФФЕКТИВНОГО ИСПОЛЬЗОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ

РЕСУРСОВ В ВЫСОКОНАГРУЖЕННЫХ ИНФОРМАЦИОННЫХ

СИСТЕМАХ

В первой главе представлен аналитический обзор и анализ современного состояния исследований, касающихся эффективного использования вычислительных ресурсов, применяемых для предоставления мультимедийных сервисов в информационных системах с использованием современных средств телекоммуникаций и связи. Приводится описание, классификация и анализ технических характеристик услуг, предоставляемых конечным пользователям.

Кроме того, сформулированы основные понятия, касающиеся методов и средств, применяемых для распределения и балансировки нагрузки, а также составлена классификация применяемых на практике технологий виртуализации вычислительных ресурсов с использованием облачных систем.

1.1 Проблемы эффективного использования вычислительных ресурсов в информационных системах Одной из проблем современных высоконагруженных информационных систем (ИС) является потребность в больших объемах вычислительных ресурсов. Для организации работы сервисов в едином информационном пространстве с использованием современных средств телекоммуникаций и связи требуется решение нескольких классов задач, включающих в себя оптимизацию следующих компонентов:

сетевых ресурсов;

архитектуры аппаратных средств, обеспечивающих работу ИС;

программных комплексов и алгоритмов, применяемых для обработки запросов и предоставления доступа к данным.

При решении поставленных задач оптимизации необходимо учитывать высоконагруженных информационных системах, использующих современные средства телекоммуникаций и связи, рост потребления ресурсов имеет эффективности обслуживания запросов пользователей требуется разработка соответствующих методов и алгоритмов, позволяющих в комплексе повысить производительность и надежность вычислительных ресурсов информационных систем. Оценку эффективности предлагаемых решений для обозначенных классов задач можно произвести, используя коэффициент масштабирования.

Рассмотрим более подробно основные проблемы, оказывающие влияние на каждую из представленных задач.

информационных систем в условиях ограниченности технических ресурсов является обеспечение качества обслуживания (QOS) при выполнении запросов пользователей [81,69,28]. При этом для обеспечения работы различных типов приложений, входящих в состав информационных систем, используются одновременно несколько подходов, позволяющих управлять ресурсами и масштабированием. К ним относят управление шириной полосы пропускания и временем задержек прохождения информации по сети [10]. Кроме этого, существенное влияние на качество обслуживания оказывает сам канал связи с информационным ресурсом от пользователя до вычислительного узла, обрабатывающего запрос. На характеристики канала связи оказывает влияние его физическая структура, топология сети, а так же маршрутизация трафика. В современных сетях передачи данных основные проблемы создают большие объемы передаваемых данных и разнородный трафик [27]. Современные концепции программно-конфигурируемых сетей, позволяющие динамически перестраивать ее компоненты для передачи необходимого трафика в нужном направлении, решают данные проблемы [5,25].

На уровне архитектуры аппаратных средств, обеспечивающих работу информационных систем с использованием современных средств телекоммуникаций и связи, основной проблемой, в условиях ограниченности ресурсов является неравномерность их потребления. При этом неэффективное использование ресурсов в современных информационных системах возникает по причине изолированности корпоративных приложений на отдельных вычислительных узлах. Для обеспечения непрерывного доступа к вычислительным узлам и снижению отказов всей информационной системы в целом, как правило, применяют системы распределения и балансировки нагрузки. Однако такой подход имеет ряд недостатков, главным из которых является усложнение самой архитектуры информационной системы и, как следствие, введение накладных расходов на обеспечение безотказной работы компонентов, осуществляющих распределение и балансировку нагрузки между вычислительными узлами. Отказы оборудования на физическом уровне являются наиболее критичными для высоконагруженных информационных систем, так как на их устранение требуется значительно большее время.

Следовательно, для повышения эффективности масштабирования требуется изолировать физические вычислительные узлы от размещаемых на них приложений информационной системы. Одним из методов, решающих данную задачу, является виртуализация вычислительных ресурсов [8]. Используя гибкую архитектуру, традиционные вычислительные узлы преобразуются в контейнеры, поддерживающие динамическое изменение конфигурации основных компонентов в ИС. Однако стандартные средства виртуализации не учитывают особенности размещаемых приложений и сервисов, а также ограничения по вычислительным ресурсам в техническом и экономическом аспектах. Следовательно, для решения задачи оптимизации на уровне архитектуры аппаратных средств требуется разработка дополнительных способов, методов и алгоритмов, позволяющих повысить коэффициент масштабирования информационной системы.

На прикладном уровне коэффициент масштабирования зависит от программных комплексов и алгоритмов, применяемых для обработки данных.

Масштабируемые приложения позволяют распараллелить процесс обслуживания однотипных запросов пользователей, используя кэширование данных и алгоритмы оптимизации потребления ресурсов. Как правило, для оценки ресурсоемкости приложений применяются следующие характеристики вычислительных систем: загрузка процессора и потребление оперативной памяти [15]. Для высоконагруженных приложений, входящих в состав информационных систем, перечисленные показатели не являются основными.

Причиной тому назначение самих информационных систем. Как правило, информационные системы строят для обработки, хранения и передачи больших массивов данных [27]. При этом производительность обработки запросов пользователей зависит от эффективности работы системы управления базами данных, системы хранения данных, а также от загрузки каналов связи между вычислительными узлами информационной системы.

Таким образом, для оптимизации использования вычислительных ресурсов в условиях физических ограничений требуется учитывать прикладной и физический уровень архитектуры информационной системы. Рассмотрим более детально подходы, применяемые для решения задачи оптимизации использования вычислительных ресурсов в высоконагруженных информационных системах.

высоконагруженных информационных системах Как определено ранее, для обеспечения высокой доступности вычислительных ресурсов применяют различные технологии распределения и балансировки нагрузки [70].

В общем виде любое распределение нагрузки строится с использованием единой точки доступа к вычислительным ресурсам [64]. Как правило, для этих целей используется граничное устройство, выполняющее функции принятия, распределения и переадресации запросов на наименее нагруженные вычислительные узлы информационной системы (рисунок 1.1) [1].

В сетях передачи данных выделяют два подхода к распределению нагрузки. Первый реализован на канальном и сетевом уровне модели OSI и осуществляет управление сетевым трафиком. Второй подход распределяет нагрузку за счет управления потоками приложений. При этом для распределения нагрузки в информационных системах могут одновременно применяться оба подхода.

Помимо указных подходов системы распределения нагрузки принято классифицировать по двум основным типам архитектуры: некластеризованную и кластеризованную. Основным отличием между этими архитектурами является подход к выбору компонентов для системы распределения. Системы, построенные с использованием кластеризованной архитектуры, используют однотипные вычислительные ресурсы. В некластеризованной системе ресурсы разнородны, кроме того, они могу быть не связаны друг с другом.

Рисунок 1.1 – Общий вид системы распределение нагрузки В некластеризованных системах запросы пользователей поступают к нескольким независимым вычислительным узлам. Существенным недостатком некластеризованных решений является низкая отказоустойчивость. При выходе из строя одного из компонентов системы, все обрабатываемые на данном вычислительном узле запросы получат отказ в обслуживании, что негативно скажется на работе сервиса. Кроме того, в некластеризованных системах, как правило, применяются неравнозначные по характеристикам аппаратные составляющие, что также оказывает негативное влияние на отказоустойчивость всей системы. Основной задачей некластеризованных систем является обеспечение резерва на случай выхода основной системы из строя.

Более эффективным является применение кластеризованной архитектуры для распределения нагрузки. Данный тип используется при необходимости обработки интенсивного потока однотипных запросов, при этом все вычислительные узлы, как правило, идентичны и могут самостоятельно обрабатывать поступающую информацию. Для выравнивания нагрузки между узлами, входящими в кластер, могут применять более высокоуровневые алгоритмы, анализирующие различные параметры вычислительной среды.

Общая схема распределения нагрузки между вычислительными узлами с обратной связью показана на рисунке 1.2 [1].

Рисунок 1.2 – Общая схема распределения нагрузки между вычислительными Кроме систем распределения нагрузки между вычислительными узлами используются алгоритмы балансировки, способствующие выравниванию нагрузки.

Рассмотрим особенности балансировки нагрузки, применяемые в широкополосных мультимедийных сервисах. Одним из основных требований для применения существующих алгоритмов балансировки является не только идентичность аппаратных средств, но и их программных конфигураций.

Подходы к балансировке нагрузки на вычислительные ресурсы можно условно разделить по уровням сетевой модели OSI [27]. Как правило, балансировка нагрузки осуществляется на сетевом, канальном и прикладном уровне с использованием специализированных протоколов и алгоритмов, вычислительной системы и запущенными экземплярами приложений [64,70].

На канальном уровне чаще всего применяется технология Virtual Cluster Switching (VCS) [108], направленная на улучшение качества обслуживания в сети, обеспечение максимальной доступности приложений, повышение масштабируемости и упрощения сетевой архитектуры в виртуализированных центрах обработки данных (ЦОД). При этом балансировка нагрузки осуществляется за счет использования параллельных каналов связи и динамической перестройки конфигурации сети в соответствии с возникающей нагрузкой. Несмотря на эффективность алгоритмов, применимых в указанной технологии, канальный уровень не позволяет гибко управлять балансировкой нагрузки на различные сервисы.

Иным подходом обладает балансировка на сетевом уровне. Так как мультимедийные сервисы высоконагруженных информационных систем в основном ориентированы на пользователей глобальной сети, балансировку нагрузки на сетевом уровне начинают осуществлять еще до попадания трафика в центр обработки данных с использованием алгоритмов маршрутизации.

Одним из подходов является применение технологии Equal-cost multi-path routing (ECMP), которая позволяет равномерно распределять трафик, поступающий в одну подсеть [111]. Существенным ограничением такого подхода является количество равноценных маршрутов для передачи данных, их может быть не больше четырех. К преимуществам описанного подхода для протоколами маршрутизации как RIP, OSPF и BGP, что в свою очередь позволяет использовать возможности перечисленных протоколов для оптимизации пропускной способности сети.

Промежуточным механизмом балансировки нагрузки между клиентом и центром обработки данных является Round Robin DNS, обеспечивающий отказоустойчивость за счёт управления ответами DNS-сервера [92]. В соответствии с заданной политикой и статистической моделью клиент получает Недостатком такого подхода является отсутствие управления выбором сервера на стороне клиента и как следствие, невозможность управлять балансировкой нагрузки.

Непосредственно в самом центре обработки данных балансировка нагрузки может осуществляться как при помощи аппаратных средств, так и с использованием программных служб и сетевых протоколов.

Наиболее распространенным семейством протоколов является First Hop Redundancy (FHRP), включающий в себя Gateway Load Balancing Protocol (GLBP), Common Address Redundacy Protocol (CARP), Virtual Router Redundancy Protoc (VRRP) и другие [101,93]. На сетевом уровне для балансировки нагрузки в перечисленных протоколах используются виртуальные IP и MAC адреса, назначаемые одновременно нескольким устройствам. При этом каждое из устройств имеет разные реальные MAC и IP адреса. Процедура балансировки нагрузки, как правило, осуществляется путем последовательного переключения между доступными вычислительными узлами, при этом периодичность переключения зависит от фиксированного весового коэффициента, заданного в конфигурации управляющих сетевых устройств, что в свою очередь исключает возможность динамического изменения политики в реальном масштабе времени. Существенным недостатком использования перечисленных протоколов также является отсутствие контроля загруженности конечных вычислительных узлов.

Для обеспечения равномерной нагрузки на вычислительных узлах в дополнение к перечисленным протоколам применяют программные и аппаратные решения, использующие анализ трафика. При этом, запросы пользователей направляются на виртуальный адрес, закрепленный за сетевым перенаправления поступающего трафика на вычислительные узлы. Выделенное сетевое устройство, как правило, также поддерживает функцию определения доступности каждого из вычислительных узлов входящих в ферму балансировки.

Как отмечалось ранее, балансировка нагрузки может осуществляться не только на сетевом и канальном уровне, но и на прикладном [133]. Как правило, в качестве основного метода используется анализ содержимого пакетов запросов пользователей. При этом для разных типов трафика может быть задана отдельная политика качества обслуживания и полоса пропускания.

Примером системы балансировки нагрузки на прикладном уровне является IBM Enterprise Workload Manager (EWLM). Архитектура системы представлена на рисунке 1.3 [31].

Рисунок 1.3 – Схема работы балансировки нагрузки на прикладном уровне с Для сбора информации о поступающих запросах на каждом из вычислительных узлов уставлен агент, осуществляющий анализ и передачу данных на сервер управления. Для более эффективного использования статистических данных подобные системы объединяют с сервисами балансировки нагрузки, работающими на сетевом уровне.

Безусловно, наибольшей эффективностью по обеспечению безотказной работы является одновременное использование комплексного подхода, включающего в себя кластеризованную архитектуру и системы распределения и балансировки нагрузки, работающие на сетевом и прикладном уровнях.

Примером такого подхода может служить методика, применяющаяся в технологии IP Virtual Server (IPVS) [109]. Для использования технологии IPVS вычислительные узлы информационной системы, объединенные согласно кластерной архитектуре, выделяют в отдельные группы. При этом отслеживание отказов на узлах происходит по протоколу VRRP. Узел управления системой распределения и балансировки нагрузки осуществляет мониторинг количества соединений с каждым из вычислительных узлов и применяет различные алгоритмы балансировки в зависимости от характера и объема текущего трафика в системе. При этом узел управления может резервироваться на отдельном вычислительном узле. Существенным недостатком политики распределения нагрузки, применяемой в данной методике, является ее жесткая конфигурация. Параметры задаются однократно, при конфигурировании системы и в процессе работы не изменяются. Иной подход применятся в технологии облачных вычислений. Виртуализация ресурсов позволяет динамически изменять параметры каждого из компонентов системы, тем самым обеспечивая гибкость решения задач распределения и балансировки нагрузки. Рассмотрим более подробно особенности технологии виртуализации ресурсов.

1.3 Виртуализация вычислительных ресурсов в облачных системах Кроме основных процедур по распределению и балансировке нагрузки в высоконагруженных сервисах требуется обеспечение согласования данных на параллельно работающих вычислительных узлах, а также целостность асинхронных и длительных по времени операций. Это требует существенных изменений к подходу в организации самой архитектуры приложений и управлении задействованных ими служб [33,82].

Для высоконагруженных информационных систем характерно динамическое потребление вычислительных ресурсов. При этом объем потребляемых ресурсов зависит от сторонних процессов, оказывающих воздействие на различные компоненты и сервисы. Влияние таких процессов может приводить к перегрузкам и, как следствие, к простоям вычислительной системы. Таким образом, возникает потребность в анализе средств, способных обеспечить не только бесперебойную работу сервиса, но и повысить эффективность использования задействованных вычислительных ресурсов.

На сегодняшний день наиболее востребованной является концепция облачных вычислений. Согласно определению Национального института стандартов и технологий США (NIST) [3,114,75], облачные вычисления – это модель организации удаленного доступа по запросу к разделяемому набору конфигурируемых вычислительных ресурсов (сетей, серверов, хранилищ, приложений и сервисов), которые могут быть быстро выделены и освобождены с минимальными расходами на управление или взаимодействие с провайдером услуг. Основным преимуществом облачных вычислений является возможность динамического управления ресурсами в зависимости и с учетом их востребованности. Согласно NIST, выделяют несколько уровней сервиса, предоставляемых посредством технологии облачных вычислений.

Как правило, в качестве базового уровня выделяют архитектуру облачных вычислений, построенную по принципу “инфраструктура как услуга” (IaaS) [99,96]. Эта модель предоставляет пользователям возможность обработки и хранения данных, а также возможность организации сетей и других ресурсов.

Потребитель вычислительных ресурсов IaaS может устанавливать и запускать операционные системы, платформенное и прикладное программное обеспечение. Кроме того, IaaS позволяет организовывать виртуальные системы хранения данных и настраивать политику доступа для ресурсов. Контроль и управление основной физической и виртуальной инфраструктурой облачной системы, в том числе опорной сетью передачи данных и вычислительными узлами осуществляется облачным провайдером. Наиболее известными облачными платформами уровня инфраструктуры с открытым исходным кодом являются системы Eucalyptus [129], Nimbus [131], OpenNebula [117], CloudStack [91], OpenStack [116].

Следующим уровнем в иерархии моделей архитектуры облачных вычислений является “платформа как сервис” (PaaS) [96]. Эта модель позволяет пользователям развертывать приложения, разработанные с использованием поддерживаемых языков программирования. Потребитель вычислительных ресурсов PaaS осуществляет контроль и управление за развернутыми инструментальные средства создания, тестирования и выполнения прикладного программного обеспечения, включая системы управления базами данных и связующее программное обеспечение, предоставляемое облачным провайдером.

вычислений, построенная по принципу “программное обеспечение как услуга” (SaaS) [98,96]. Эта модель позволяет пользователям получать доступ к приложениям, работающим на облачной инфраструктуре. При этом потребитель облачных вычислений не управляет инфраструктурой или приложениями, за исключением ограниченного применения определенных доступных параметров.

Помимо трех перечисленных уровней облачных вычислений существуют промежуточные модификации, построенные на стыке указанных архитектур или являющиеся их более мелкими составными частями. Так модель, построенная по принципу “вычислительные узлы как услуга” (MaaS) [90,96], предназначена для быстрого и удобного развертывания операционных систем с одинаковой конфигурацией на множестве серверов, создавая кластерное решение на основе облачной архитектуры. При этом пул ресурсов, к которому осуществляется обращение конечных пользователей, представлен на уровне физических серверов, а не виртуальных окружений. Такой подход позволяет осуществлять удобное конфигурирование вычислительных узлов.

По аналогичному принципу может быть организована модель облачных вычислений «безопасность как сервис» (SEaaS) [13], предоставляющая услуги по обеспечению комплексной безопасности ИТ инфраструктуры. При этом потребителю предоставляется функция настройки политики безопасности, основанная на разделяемых технологических услугах.

Наиболее активно развивающейся моделью архитектуры облачных вычислений является платформа как сервис. Среди востребованных на рынке версией PaaS можно выделить СУБД как сервис (Database as а Service, DBaaS), при этом потребителю предоставляется доступ к созданной по его требованию базе данных [13].

Все сервисные архитектуры облачных вычислений могут работать на любой из следующих моделей развертывания:

частное облако – как правило, предоставляет услуги внутри одной организации, при этом сама инфраструктура облачной системы может располагаться в удаленном центре обработке данных.

общественные облака – предоставляют услуги широкому кругу пользователей, как правило, работают с использованием архитектуры SaaS или служат в качестве резервной площадки для PaaS и IaaS. Все управление при этом осуществляется провайдером, предоставляющим данную услугу.

гибридные облака – объединение двух или более моделей облаков.

При этом внутри них организуется связь, обеспечивающая разделение доступа к информации и приложениям в соответствии с уровнями привилегий пользователей.

сообщества облаков – служат для совместного использования инфраструктуры несколькими организациями, участвующими в одном бизнес процессе.

Отличительной особенностью облачных систем уровня инфраструктуры является использование виртуализации для реализации серверов. При этом объектом инфраструктуры является изолированное окружение в виде виртуальной машины (ВМ), которая поддерживает определенный набор функций или обслуживает какое-либо приложение или сервис. Основным преимуществом использования виртуальных машин является консолидация ресурсов. На одном физическом вычислительном узле могут размещаться сразу несколько виртуальных машин, обслуживающих различные приложения или сервисы. Таким образом, облачные вычисления позволяют достигать существенной экономии средств за счет обеспечения высокой плотности загрузки серверов.

накладных расходов на инфраструктуру не снимает существующие ограничения по производительности облачных систем. Для эффективного использования построенной облачной инфраструктуры необходима разработка методов и алгоритмов, позволяющих осуществлять управление основными объектами вычислительной системы.

При организации доступа к мультимедийным ресурсам отдельной проблемой является обеспечение эффективного хранилища для данных. Такое хранилище в соответствии с концепцией BigData должно поддерживать высокую производительность облачной системы, в том числе обеспечивать одновременный доступ к различным типам большого количества данных.

Существует множество технологий предоставления распределенного и унифицированного доступа к удаленному хранилищу данных. Наиболее востребованными при построении облачной архитектуры являются технологии, использующие устройства сетевого хранения (Network Attached Storage, NAS), сети хранения данных (Storage Area Network, SAN) и сетевые файловые операционные системы (Network File Systems, NFS).

Перечисленные технологии удаленного доступа к хранилищу данных информационных систем имеют существенный недостаток, касающийся реализации распределенной репликации данных и балансировки нагрузки.

Кроме того, недостатком существующих систем хранения данных является отсутствие динамического планирования нагрузки потребления ресурсов.

Некоторые сетевые хранилища, используя внутренние алгоритмы, способны осуществлять динамическое выравнивание нагрузки, но для этого требуется большое количество одинаковых ресурсов, что в реальной ситуации, при наличии различных технических и экономических ограничений, не всегда возможно.

Таким образом, для обеспечения высокого качества обслуживания для высоконагруженных информационных систем недостаточно внедрения архитектуры, построенной на основе облачных вычислений. Для эффективного обслуживания запросов пользователей требуется внедрение новых методов и алгоритмов управления вычислительными ресурсами.

1.4 Управление вычислительными ресурсами в высоконагруженных информационных системах, построенных на базе концепции облачных вычислений Задача управления ресурсами в настоящее время возникает в любой инфраструктуре, а в центрах обработки данных, предоставляющих доступ на основе концепции облачных вычислений, является приоритетной. Как отмечалось ранее, вычислительные ресурсы можно представить как абстрактную единицу, которая потребляется запущенными экземплярами приложений [7,68]. Данный подход не учитывает специфику взаимодействия ресурсов друг с другом и с сетевой инфраструктурой. Как правило, ресурсы, доступные через сеть, имеют плавающий характер изменения нагрузки. При этом параметрами для оценки загрузки чаще всего выступают вычислительные мощности (процессорное время), объемы оперативной памяти, хранилища данных и пропускная способность каналов связи.

При реализации облачной инфраструктуры эффективность зависит от производительности ее компонентов и правильных структурных решений.

Однако на этапе эксплуатации эффективность может снижаться из-за повышения накладных расходов на переконфигурирование, изменение структурных схем и простоя оборудования. Это следует учитывать при проектировании облачной инфраструктуры.

инфраструктурой и ресурсами. Такие параметры, как адаптивность систем к возможным изменениям и масштабируемость, существенно влияют на архитектуру разрабатываемого решения. Почти все технологии управления являются набором программного и аппаратного обеспечения для мониторинга и посылки управляющих сигналов оборудованию. Интегрированный комплекс предполагает использование трех связанных компонентов осуществляющих управление:

серверами и приложениями;

оборудованием сетей передачи данных;

сетями и системами хранения данных.

Задача управления ресурсами возникает при конкуренции за ресурсы, в частности при одновременном использовании виртуальных машин на одном вычислительном узле. Основной задачей при этом является предварительное планирование выделения ресурса и динамическое перераспределение ресурсов при интенсивном поступлении запросов пользователей. В технологии облачных вычислений предусмотрены механизмы для разрешения перечисленных особенностей. Однако они не учитывают разнородность запускаемых приложений и сервисов, что достаточно критично для современных информационных систем. Следовательно, требуется разработка новых алгоритмов планирования для обеспечения качества обслуживания пользователей информационных систем.

вычислительных системах вычислительных ресурсов в облачной системе применима классическая теория расписаний, которая подробно изложена в различных источниках и применяется в Грид системах [107,95,118,112,125,130,24].

В работе Р. Грэхема [118] представлена | | – классификация задач планирования, где – описывает обрабатывающую машину, – определяет рассматриваемые характеристики задач, а – задает критерий оптимальности составляемых расписаний.

Как правило, задачи планирования решаются путем их сведения к задачам комбинаторной оптимизации, в частности, к задачам линейного программирования, поиска максимального потока и другим. Также нередко применяется динамическое программирование или метод ветвей и границ [107,118]. Следует учитывать, что задача составления плана NP-полная, следовательно, составление оптимальных по заданному критерию расписаний требует экспоненциального времени, что недопустимо для использования в вычислительных системах, т.к. каждый цикл планирования занимает значительный промежуток времени. Для разрешения данной задачи применяют эвристические алгоритмы планирования, строящие субоптимальные расписания за приемлемое полиномиальное время [61].

Рассмотрим алгоритмы планирования, которые могут быть использованы для систем использующих архитектуру облачных вычислений. Прежде всего следует выделить списочные алгоритмы. Одним из простейших методов планирования применяемых для составления расписания, является использование алгоритма First Come First Served (FCFS) [110,88]. В каждом цикле планирования, из очереди извлекаются запросы и назначаются на сводные вычислительные узлы. При этом запросы в очереди упорядочены согласно времени их поступления. Кроме описанного алгоритма применяют и другие, использующие список в качестве основного элемента составления плана, включая Shortest Job First (кратчайшая задача первая), Random Job First (случайная задача обслуживается первой) и др. [61,78,110,1]. Существенный недостаток списочных алгоритмов – низкая загруженность вычислительных узлов в силу наличия большого числа окон в составляемых расписаниях, что приводит к простаиванию и неэффективному использованию вычислительных ресурсов.

Для решения этих проблем Аргонской национальной лабораторией предложен агрессивный вариант алгоритма Backfill (алгоритма обратного заполнения) [105]. Он преследует две конфликтующие цели – повышение эффективности использования вычислительных ресурсов путем заполнения пустых окон в расписании и предотвращение удержания заявок в очереди на обслуживание вычислительным узлом за счет механизма резервирования. При этом ожидающие запросы хранятся в очереди и упорядочены согласно приоритетам. В каждом цикле планирования вычислительные ресурсы выделяются согласно установленным приоритетам. Особенностью алгоритма является то, что заявка, поступившая на обслуживание, не сможет получить доступ к вычислительным ресурсам, пока они не отведены n самым приоритетным запросам [61]. Таким образом, ресурсы вычислительной системы в первую очередь выделяются самым приоритетным заявкам, а остальные заполняют окна, образовавшиеся в ходе резервирования в расписании в порядке, установленном приоритетами.

В исследованиях Д. Фейтельсон и А. Вейл из Еврейского университета г.

Иерусалима предложен консервативный вариант алгоритма Backfill [61,105] отличительной особенностью которого является более жесткая зависимость от приоритетов. Поступающие на обслуживание запросы не обслуживаются, пока в расписании не выделены ресурсы для более приоритетных заявок. Отличия в планировании расписаний, составленных агрессивным и консервативным вариантами алгоритма Backfill, представлены на рисунке 1.4 [78].

Рисунок 1.4 – Расписание, составленное агрессивным и консервативным Исследования показали, что консервативный вариант алгоритма Backfill по загруженности вычислительных узлов не уступает агрессивному варианту, и, в отличие от последнего, позволяет делать точные предположения о времени запуска каждой задачи, находящейся в очереди [102,104,127]. Другое не менее важное преимущество консервативного варианта алгоритма Backfill – возможность точного резервирования ресурсов для запроса сразу же после поступления в очередь. Это дает возможность применять алгоритм Backfill в облачных системах. Для работы алгоритма Backfill существенным является наличие оценок времени выполнения запроса, поступающих в очередь [105, 103]. Однако при большой неточности в оценках эффективность работы алгоритма падает, а также снижается средняя загруженность вычислительных узлов.

Большинство широко известных методов составления расписаний и выбора заявок из очереди запросов не учитывают топологию, используемую в вычислительной системе. Так, при работе алгоритма First Fit (первый подходящий) выбираются первые подходящие узлы из первого подходящего окна свободных вычислительных узлов. В алгоритме Best Fit (наилучший подходящий) – сначала просматриваются подходящие окна с конечным временным интервалом, и среди них выбирается то, закрытие которого даст наименьшую оставшуюся площадь. Если нет подходящих конечных окон, то выбирается подходящее бесконечное окно, наиболее близкое по требуемым ресурсам для выполнения запроса. Такой подход часто применяют совместно с алгоритмом обратного заполнения (Backfill). Выбор согласно алгоритму Fastest Node First (самый быстрый узел первым) осуществляется из наиболее производительных узлов в подходящих окнах расписания. Кроме перечисленных алгоритмов, так же применяют поиск узлов согласно алгоритму Least Utilized Node First (наименее загруженный узел первым). Он позволяет выбрать наименее загруженные подходящие узлы в доступном для выбора окне. Подходящий вычислительный узел для обслуживания поступающих запросов может быть выбран случайным образом (равновероятно) с использованием алгоритма Random First (RF, случайный узел первым) [12,103].

Рассмотрим методы назначения задачи на вычислительные узлы, принимающие во внимание топологию вычислительной системы. Методы данной группы обычно делят на два класса: без сетевой конкуренции и без фрагментации.

Для методов назначения без сетевой конкуренции характерно то, что каждой задаче выделяется некоторый непрерывный раздел (подграф) топологии вычислительной системы, форма которого подобна топологии всей системы.

Основной чертой данных методов является отсутствие внешней сетевой конкуренции – конкуренции между процессами разных вычислительных задач за общие сетевые ресурсы. Это связано с тем, что при использовании подходящих форм разделов и правильных алгоритмов маршрутизации, весь трафик между процессами каждой задачи локализуется в пределах ее раздела, то есть не происходит конкуренции сетевых пакетов разных задач за общие сетевые связи. Однако при этом остается внутренняя сетевая конкуренция, действующая в пределах выделенного раздела. Единственным исключением является дорогая и не используемая на практике топология полного графа.

Внешняя фрагментация возникает, когда количество свободных вычислительных ядер достаточно для запуска следующей задачи из очереди, но их узлы не формируют требуемую форму и, следовательно, не могут быть ей назначены. Это приводит к тому, что задачам приходится ждать освобождения вычислительных ресурсов подходящей формы, что также отрицательно сказывается на загруженности и пропускной способности вычислительного кластера.

Приведем методы назначения без сетевой конкуренции, которые можно встретить в научных источниках. Заметим, что все они не учитывают случай многопроцессорности вычислительных узлов, а также их неоднородности.

Метод двумерных близнецов (Two Dimensional Buddy, TDB)[97] является обобщением одномерного алгоритма близнецов, используемого для выделения ресурсов памяти. Предполагается, что узловое поле вычислительной системы представляем собой квадрат со стороной, равной степени числа два. Квадрат делится на четыре равных по размеру не пересекающихся подсетки-близнеца, каждая из них, в свою очередь, также делится на четыре равных подсеткиблизнеца и т.д. Размер запрашиваемой подсетки округляется сверху до квадрата с наименьшей стороной, являющейся степенью двойки. Двумерный битовый массив используется для отслеживания занятости вычислительных узлов.

Данный алгоритм был реализован для таких вычислительных систем, как Intel Touchstone Delta и Intel Paragon [62,65].

Метод движущейся рамки (Frame Sliding) [132] был предложен для сокращения фрагментации, возникающей при использовании метода TDB, он может быть использован может быть использован для двумерных сеток и торов произвольных размеров. Запрашиваемая подсетка для задачи называется рамкой. Алгоритм перемещает рамку по вычислительной системе в поисках свободной подсетки соответствующего размера для запуска задачи.

Используется два битовых массива: первый – для отслеживания занятых узлов, второй – для сканирования доступной подсетки [62].

Методы назначения без фрагментации, как правило, не требуют выделения задачам непрерывных разделов конкретной формы. Для одних методов достаточно знания требуемого задачей количества вычислительных узлов, для других необходима желаемая форма назначения. Каждой задаче выделяется требуемое ею количество вычислительных ядер, относящихся не обязательно к смежным узлам. При этом методы, учитывающие желаемую для задачи форму назначаемого раздела, пытаются так выбрать свободные узлы, чтобы свести к минимуму сетевую конкуренцию. Методы данной группы также называют несмежными методами назначения [62].

Основным достоинством методов данного класса является отсутствие внутренней и внешней фрагментации, что приводит к снижению времени ожидания задач в очереди. Однако, при этом, из-за физической распределенности процессов задач по физической топологии возникает сетевая конкуренция между ними. Это приводит к увеличению времени выполнения коммуникационных операций, что отрицательно сказывается на времени выполнения задач.

вычислительная область делится на равные непересекающиеся прямоугольные страницы (подсетки), чаще всего, с размерами сторон, являющимися степенью числа два. Пусть Psize – количество вычислительных узлов одной страницы, тогда задаче, требующей n j узлов, выделится j страниц. Поиск свободных страниц для назначения может производиться в соответствии с одной из следующих индексных схем: построчной, построчной перемешанной, змееподобной и перемешанной змееподобной. Различия между ними в плане эффективности работы метода незначительны [62].

В связи с использованием определенной индексной схемы сохраняется некоторая степень смежности страниц, что снижает сетевую конкуренцию.

Причем, чем больше размеры страницы, тем больше степень смежности. Но, с другой стороны, страничный подход к назначению задачи вычислительных узлов страдает от внутренней фрагментации, которая возрастает с увеличением размеров страниц.

Multiple Buddy System (метод системы множественных близнецов, MBS) [97,89,113,132]. Является развитием алгоритма TDB. Вычислительная система представляет собой квадратное поле узлов со стороной, равной степени числа два. Система делится на непересекающиеся квадратные подсетки размера задачей, переводится в позиционную систему счисления с основанием 4:

Задаче выделяется d i подсеток размера 2i 2i, если же нет свободного блока требуемого размера, то MBS рекурсивно ищет больший блок и затем повторно разбивает его на близнецов, пока получатся блоки требуемого размера. Если и это не удается, то запрашиваемый блок делится на 4 запроса блоков меньшего размера и поиск повторяется.

Одним из недостатков данного алгоритма является то, что он может не найти для задачи непрерывную подсетку заданной площади n j, несмотря на то, что она на самом деле есть. Данный метод лучше всего работает для запросов несмежного назначения) [113,132]. Алгоритм ANCA сначала пытается выделить задаче непрерывный смежный раздел запрашиваемой прямоугольной формы. В случае его отсутствия запрашиваемый прямоугольник разбивается на два приблизительно равных по размеру подзапроса. После чего происходит попытка их назначения на свободные непрерывные разделы. Если это не удается, то каждый подзапрос снова делится на два приблизительно равных подзапроса, и попытка назначения повторяется. И так далее, пока назначение всех подзапросов не будет выполнено одновременно.

дисперсность – в результате его работы может получаться значительное число небольших подзапросов. Это связано с тем, что ANCA требует, чтобы назначение всех подзапросов выполнялось одновременно на одной итерации алгоритма, исключая возможность выделения больших подсеток для больших подзапросов на предыдущих итерациях. Более того, в некоторых реализациях ANCA может прекращать свою работу без результата, когда достигает размера запроса, равного 1, что приводит к возникновению внешней фрагментации.

Введем ряд обозначений. Пусть T wait, T comm и T comp – соответственно среднее время ожидания задач в очереди, среднее время, затрачиваемое задачами на коммуникации, и среднее время, затрачиваемое ими на вычисления. Тогда среднее время прохождения задач через вычислительную систему может быть вычислено по формуле [115]:

Использование метода назначения без сетевой конкуренции приводит к уменьшению T comm (из-за отсутствия конкуренции) и увеличению T wait (из-за фрагментации). Применение метода назначения без фрагментации наоборот – к увеличению T comm (из-за сетевой конкуренции) к уменьшению T wait (из-за исключения фрагментации). Влияние метода назначения на величину T comp обусловлено только скоростью работы выделяемых задаче вычислительных ядер. Вопрос выбора лучшего метода зависит от характера изменения данных величин.

Существующие исследования [97,100,123,124,94] демонстрируют большую эффективность при использовании методов назначения без фрагментации, чем от методов без сетевой конкуренции. Единственный случай, когда оправдано использование метода без сетевой конкуренции – большая величина времени передачи сообщения по сети [100], что нехарактерно для быстрых сетей современных вычислительных систем.

Топологию вычислительной системы и сетевые издержки учитывают немногие алгоритмы планирования. Возможные сетевые издержки во всех системах планирования вычислительных систем учитываются неявно, временные затраты на них включаются в оценки времени выполнения работ.

В работе Гаврилюка А. Б. [11] рассматривается модифицированный генетический алгоритм составления расписаний для вычислительной системы заданной в виде неориентированного взвешенного графа. На каждой итерации алгоритма для вычисления целевой функции, представляющей собой время завершения последней подзадачи, строится расписание запуска подзадач, учитывающее ограничения предшествования, а также коммуникационные задержки при пересылке данных.

Похожий алгоритм описывается в работах [11,128], но в отличие от предыдущего данный алгоритм, во-первых, рассматривает более сложную модель вычислительной системы, представленную в виде взвешенного ориентированного графа с гиперребрами. Во-вторых, так же, как вершины орграфа, задачи планируются на вычислительные процессоры, дуги орграфа планируются на простые ориентированные цепи связей между соответствующими вычислительными узлами в рамках заданного графа топологии вычислительной системы. Описанные в работе экспериментальные исследования [97] показывают значительные улучшения качества составляемых расписаний по сравнению со списочными алгоритмами планирования, учитывающими ограничения предшествования на множестве подзадач.

Различные варианты алгоритмов планирования, учитывающих топологию вычислительной системы и коммуникационные издержки при передаче данных одновременно с представлением задачи в виде ориентированного графа подзадач, исследуются в работах [128].

Рассмотрим алгоритмы планирования для облачных систем, которые являются частным случаем грид-систем с различными схемами работы.

Большинство современных облачных систем используют централизованную схему планирования, предполагающую применение одного из двух типов алгоритмов планирования – «жадные» или «ленивые».

используется. Для каждого задания, формируемого контроллером облачной системы на основе поступающих запросов пользователей, по некоторому принципу подбирается подходящий вычислительный узел, куда оно и передается. Выбор подходящего вычислительного ресурса осуществляется с помощью информационной базы, содержащей актуальные сведения о текущем состоянии и конфигурации вычислительных ресурсов. Сбор подобных сведений осуществляется специализированными распределенными системами мониторинга. При этом выбирается ресурс с минимальным значением некоторой интегральной характеристики, например, коэффициента использования, длины очереди задач и других. Однако использование подобных алгоритмов потенциально приводит к зависанию задач и неэффективной и несбалансированной загруженности вычислительных ресурсов.

В случае «ленивых» алгоритмов планирования запросы пользователей помещаются в глобальную очередь. Локальный планировщик вычислительного ресурса запрашивает новые данные у контроллера в определенные моменты времени, определяемые административной политикой. В этом случае также снижается эффективность работы системы, т.к. локальные планировщики вычислительных узлов не обладают достаточной информацией для составления полных и эффективных расписаний.

Таким образом, из изложенного выше следует, что для разработки эффективных алгоритмов управления ресурсами в облачной системе необходимо получить сведения об особенностях работы размещаемых на вычислительных узлах сервисах. Это позволит более четко определить и локализовать потенциальные проблемные участки.

1.6 Анализ особенностей потребления вычислительных ресурсов в информационных системах образовательных учреждений Отличительной особенностью информационных систем, используемых в образовательных учреждениях, является высокая интенсивность и неравномерность распределения потребляемых вычислительных ресурсов. Как правило, отдельные информационные системы изолированы друг от друга на отдельных физических узлах для обеспечения разграничения прав доступа пользователей. Кроме того, следуя потребности информатизации образовательного процесса, в системы включаются различные мультимедийные сервисы, требующие для работы значительный объем ресурсов [44,47,38].

Ключевой особенностью применяемых технологий в процессе обучения в отличие от традиционных мультимедийных сервисов является возможность предоставлять различные сервисы, используя единый комплекс, обеспечивающий интерактивную связь с пользователем посредством информационных каналов связи. Такой подход накладывает дополнительные ограничения на архитектуру вычислительных систем, применяемых для обслуживания программного комплекса.

Кроме того, для вычислительных ресурсов образовательных учреждений характерны следующие особенности:

- нагрузка на ключевые ресурсы носит периодический и неравномерный характер;

вычислительные ресурсы, выделенные для работы информационной системы, существенно ограничены и изменяются значительно реже прироста входящего потока запросов пользователей, что не позволяет предоставлять доступ к мультимедийным приложениям с должным качеством обслуживания;

одновременно происходят обращения к нескольким типам ресурсов;

интенсивность обращения к каждому ресурсу может изменяться в зависимости от внешних условий;

ввиду отсутствия эффективного управления распределением нагрузки между вычислительными ресурсами при высокой интенсивности обращения к приложениям информационной системы не всегда возможно обслужить все запросы;

до 90% нагрузки предопределены, поскольку для доступа к ресурсам используется предварительная регистрация.

Стоит отметить, что 80% ресурсов востребованы лишь в 20% времени работы сервисов.

Большинство мультимедийных сервисов в образовательных учреждениях реализованы на базе информационных систем дистанционного обучения (СДО), построенных с использованием современных средств телекоммуникаций и направленных на взаимодействие с удаленными пользователями [51]. Как правило, основную часть ресурсов потребляют следующие компоненты СДО: подсистема контроля знаний, подсистема предоставления учебно-методических комплексов, подсистема трансляции и публикации видео и аудио материалов. Каждый из компонентов системы дистанционного обучения имеет индивидуальные требования к качеству обслуживания и вычислительным ресурсам. При доступе к уже существующему контенту нагрузку испытывает система хранения данных, при онлайн вещании – служба сжатия и обработки видео. Поэтому для эффективного использования имеющихся вычислительных ресурсов следует учитывать как запросы пользователей к сервисам, так и внутренние потоки передачи данных. Таким образом, для обеспечения качества обслуживания в интерактивных сервисах инфокоммуникационных сетей требуется решить задачу оптимизации потребления вычислительных ресурсов для всех компонентов, учитывая особенности их работы.

1.7 Постановка задачи Современные высоконагруженные информационные системы, используемые широким кругом пользователей, имеют несколько параметров, характеризующих их качество их услуг (Quality of Service, QoS). Основными параметрами качества являются: доступность сервиса, среднее время обслуживания запроса, количество одновременных соединений, количество отказов в обслуживании и т.д. Как правило, набор приложений, входящих в состав информационной системы весьма разнороден, что требует учитывать множество факторов при планировании выделения вычислительных ресурсов.

Постоянный рост числа активных потребителей в условиях ограниченности ресурсов ставит задачу оптимизации их использования. Для решения задачи требуется разработать адекватную модель, описывающую структуру связей основных компонентов, а также механизмы взаимодействия ключевых субъектов, участвующих в процессе обслуживания пользователей. Кроме того, для использования концепции облачных вычислений в целях оптимизации потребления ограниченных ресурсов необходима разработка методов и алгоритмов, позволяющих повысить качество обслуживания.

В следующих разделах диссертационной работы будет рассматриваться реализация и оценка методов и алгоритмов, построенных с использованием современных средств телекоммуникаций на базе облачных технологий. При этом будут учитываться условия высокой нагрузки и физические ограничения вычислительной ресурсов инфокоммуникационной сетевой среды.

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ

ИНТЕРАКТИВНЫХ СЕРВИСОВ ИНФОКОММУНИКАЦИОННЫХ

СЕТЕЙ НА БАЗЕ ОБЛАЧНОЙ АРХИТЕКТУРЫ

Вторая глава посвящена разработке моделей, описывающих предметную область исследования, а именно: уровни абстракции мультимедийных приложений, схему виртуализации основных компонентов облачной системы, а также особенности обслуживания запросов пользователей при обращении к информационным ресурсам.

Для создания эффективных алгоритмов управления балансировкой и распределением нагрузки в системах, предоставляющих широкополосный доступ к мультимедийным образовательным сервисам, необходима разработка адекватных моделей. Модели должны описывать работу облачной системы с учетом неоднородности поступающих запросов, виртуализации основных компонентов и узлов, а также существенных ограничений в вычислительных ресурсах.

В структуре облачной системы выделены:

структурная модель облачной системы;

структурная модель доступа к данным и приложениям;

модель виртуализации вычислительных ресурсов облачной системы;

модель потоков данных информационных систем, применяющих концепцию облачных вычислений;

модель обслуживания заявок пользователей;

модель доступа к хранилищу данных и приложений.

Опишем более подробно каждую из перечисленных моделей.

2.1 Структурная модель облачной системы и модель доступа к данным и приложениям Основным отличием структурной облачной системы от традиционных вычислительных ресурсов заключается в том, что вводятся виртуальные вычислительные узлы, представляющие собой экземпляры виртуальных машин, соединенных на каждом физическом вычислительном узле с помощью виртуального коммутатора.

В структуре физического вычислительного узла выделим: виртуальные вычислительные узлы, операционную систему физического вычислительного узла и виртуальный коммутатор (Рисунок 2.1).

Физическое аппаратное обеспечение вычислительного Рисунок 2.1 – Структура физического вычислительного узла в модели облачной Все виртуальные вычислительные узлы подключены с помощью одного или нескольких виртуальных портов к виртуальному коммутатору. Сам физический вычислительный узел с помощью виртуального порта соединен с физическим портам физического вычислительного узла, через которые он связан с другими устройствами сети. На каждом физическом вычислительном узле, как правило, расположено несколько виртуальных машин. Основной задачей использования виртуальных машин в облачной инфраструктуре является разделение между аппаратной и программной составляющей работы информационной системы. Это позволяет более гибко использовать имеющиеся вычислительные ресурсы и исключать простои, связанные со сбоями в работе физических вычислительных узлов. Динамическая конфигурация виртуальных машин позволяет гибко настраивать их работу и обеспечивать балансировку нагрузки между узлами. Построенная структурная модель позволяет представить особенности организации работы облачной системы и описать назначение ее основных компонентов. Однако данная модель не описывает непосредственную работу самой информационной системы, предоставляющей доступ к данным и приложениям конечным пользователям.

информационных систем необходимо дать характеристику основных процессов, а также структуры их связей.

Традиционно модель связи пользователя и приложений, использующихся в информационных системах, можно описать в виде схемы представленной на рисунке 2.2.

Рисунок 2.2 – Структурная модель связи пользователей и приложений ИС Основой взаимодействия объектов является поток передачи данных между пользователем и вычислительным узлом, содержащим требуемое приложение. Изображенные линии связи структурной модели демонстрируют соединения на сетевом уровне между основными узлами. Пользователь при этом выступает в качестве источника, формирующего заявки на доступ к данным, а также приемника результата их выполнения при получении ответа.

Следовательно, основная бизнес-логика заложена в серверной части, отвечающей за обработку запросов пользователей и доступ к данным.

Рассмотрим более детально элементы модели. В представленной модели приведены укрупненные объекты, демонстрирующие информационные потоки получения данных. Каждый из объектов предполагает горизонтальное масштабирование на несколько физических устройств. В качестве прикладного компонента чаще всего рассматривают веб-сервер, как наиболее удобный объект исследования и эффективный компонент организации доступа. Однако на практике в высоконагруженных приложениях, предоставляющих доступ к мультимедийным данным, этот компонент делят на несколько частей. Помимо самого веб-сервера, при использовании трехзвенной архитектуры, выделяют сервер приложений, а также сервера балансировки и распределения нагрузки.

В рассматриваемой информационной системе поток заявок, поступающий к приложениям, является неоднородным, а интенсивность поступления заявок к каждому из запущенных экземпляров приложений неравномерна. Все поступившие заявки становятся в очередь и ожидают начала обслуживания в соответствии с правилами обслуживания, установленными для данного экземпляра приложения. При этом время ожидания в очереди не должно превысить порогового значения некоторой величины T. Если до истечения этого срока заявка не будет обслуженной, то она покидает систему.

Как правило, архитектуру информационной системы описывают в виде уровней [77]. В основном выделяют три базовых уровня:

уровень представления;

уровень приложений;

уровень хранения данных.

Каждый из уровней в архитектуре информационной системы описывается индивидуальными характеристиками для потоков передаваемых данных.

Рисунок 2.3 – Схема трехуровневой организации архитектуры информационной Как правило, уровень представления может обслуживать запросы не только различных пользователей к приложениям, но поддерживать экземпляры разных приложений. Таким образом, различают заявки нескольких классов К1, …, КМ. Заявки класса Кi обрабатываются ресурсом Ri, i=1,…,М. Как отмечалось выше, время обработки любой заявки на ресурсе i ограничено одной величиной Описание структурной модели доступа к данным и приложениям дает общее представление об архитектуре работы информационной системы, однако при виртуализации вычислительных ресурсов необходимо учитывать особенности работы компонентов облачной системы.

2.2 Построение модели виртуализации вычислительных ресурсов облачной системы В рамках задачи оптимизации управления вычислительными ресурсами и повышения эффективности их использования важное место занимает разработка моделей основных компонентов облачной системы.

Концепция виртуализации вычислительных ресурсов строится на базе абстракций, представляющих собой кортежи отношений, связанных между собой элементами подмножеств. В настоящем исследовании нами разработана модель виртуализации ресурсов.

Облачную систему можно представить в виде связанных между собой множеств объектов, включающих в себя: вычислительные узлы Snode, системы хранения данных Sstg, сетевые хранилища данных Snas и серверы расписаний Srasp. Число объектов в каждом множестве и их состав может отличаться.

На каждом вычислительном узле одновременно запущено сразу несколько экземпляров виртуальных машин, описываемых кортежем Snodei={VMi,1, VMi,2, … VMi,k}, где k количество виртуальных машин на i-oм вычислительном узле, i=1...l (l общее число узлов). При этом каждая виртуальная машина содержит набор приложений VMj={Appj,1, Appj,2, …, Appj,n}, обеспечивающих, поддержку работы определенных сервисов, j=1...m (m число виртуальных машин). В состав сетевого хранилища данных входит набор готовых образов виртуальных машин Snasy={VMimgy,1, VMimgy,2, … VMimgy,p}, y=1...z (z - число хранилищ данных), содержащих требуемую операционную систему с предустановленным программным обеспечением и заданными параметрами виртуального аппаратного обеспечения VMimgy,z={OS1, OS2, … OSr}. Работа всей облачной системы строится с использованием системы планирования выполнения каких-либо операций Srasp={Rtask1, Rtask2, … Rtaskf}, задаваемых посредством сервера расписаний. В распределенной системе хранения данных, состоящей, чаще всего, из отказоустойчивых RAID массивов Sstgf={RDsik1, RDsik2, …, RDsikd}, осуществляется размещение необходимой для работы мультимедийных сервисов информации RDsikd={Data1, Data2, …, Datas}. Помимо этого, в облачной системе также присутствуют виртуальные и физические коммутаторы, соединяющие между собой все компоненты в единую сеть. Каждый из компонентов, входящих в множество в узлов Shcn={Snode, Snas, Srasp, Sstg, VM …} облачной системы обладает следующими характеристиками:

где, State – состояние объекта облачной системы;

Mem N – объем оперативной памяти, установленной для узла облачной системы;

Disk N – объем дискового пространства устройств хранения данных, установленных для узла облачной системы;

Diskn N – количество устройств хранения данных, установленных для узла облачной системы;

Core N – количество вычислительных ядер процессора узла облачной системы;

Lan N – максимальная пропускная способность сетевого адаптера узла облачной системы.

При этом для виртуальных машин из множества Snode может быть создано подмножество VMnode={Snode, Snas, Sstg … }, включающее в себя все компоненты облачной системы, что позволяет масштабировать архитектуру и изолировать вычислительные ресурсы для различных сервисов друг от друга.

Декомпозиция ресурсов облачной системы и ее основных компонентов представлена на рисунке 2.4.

Рисунок 2.4 – Декомпозиция ключевых ресурсов облачной системы Кроме того, так как облачная система является динамическим объектом, изменяющимся в моменты времени t, ее состояние может быть формализовано в виде ориентированного графа вида:

активные элементы, входящие в одно из множеств Snodei, Sstgj, Snask, Sraspm;

Connections(t ) {Connections1, Connections2,..., Connections } подключения пользователей к виртуализованным приложениям;

App(t ) { App1, App2,..., Appn } запущенные на виртуальных ресурсах.

Таким образом, нами определен состав вычислительных ресурсов, описаны структура связей и механизмы взаимодействия основных компонентов облачной системы. В условиях широкополосного трафика одновременное обслуживание разнородных запросов пользователей такой системы является нетривиальной задачей. При этом также стоит учитывать ограниченность вычислительных ресурсов. Для оптимизации механизма предоставления доступа к ресурсам информационной системы необходимо проанализировать основные потоки передаваемых данных в облачной системе.

2.3 Модель потоков данных высоконагруженных информационных систем, применяющих концепцию облачных вычислений Потоки передаваемых данных в информационных системах, как правило, обрабатываются в несколько этапов, называемых фазами обслуживания. При этом на каждой фазе может применяться несколько однотипных элементов, обеспечивающих балансировку и распределение нагрузки между элементами информационной системы. Количество элементов в каждой фазе зависит от функционала информационной системы и количества приложений, входящих в ее состав [19,119,120]. Представим информационную систему в виде кортежа где - элемент, выполняющий обработку данных, на основе поступающего потока запросов пользователей, i=1..r (r - общее число элементов в информационной системе).

Количество фаз обслуживания f на пути потока запросов пользователей повышения эффективности использования имеющихся ресурсов, минимальное число основных фаз, описывающих этапы обработки данных, примем равным трем (f=3) [37].

При этом количество фаз обслуживания потоков в случае усложнения или модификации работы информационной системы может быть увеличено. В дальнейшем потоки данных, формируемые в облачной информационной системе, будем рассматривать для системы дистанционного обучения, построенной с использованием современных средств телекоммуникаций и реализующей трехфазное обслуживание запросов пользователей.

относительно их расположения в последовательности обработки запросов пользователей:

первая фаза представлена группой элементов в виде вычислительных узлов контроллера, управляющего распределением потоков данных между ресурсами информационной системы, расположенной в облаке;

вторая фаза представлена группой элементов в виде виртуальных машин, размещенных на вычислительных узлах информационной системы, обеспечивающих динамическое масштабирование вычислительных ресурсов в облаке;

третья фаза представлена в виде приложений, запущенных на виртуальных машинах, выполняющих обработку данных пользователя. Кроме того, к элементам третей фазы относят узлы системы хранения данных и системы управления базами данных, участвующие в обслуживании запросов обеспечивающей доступ к мультимедийным сервисам в облаке.

Детализируем кортеж элементов, входящих в состав информационной системы, в виде:

где S i j - i-й элемент j-й фазы;

соответствующих фазах f.

Введем также входные S i0 элементы, передающие поток данных в информационную систему, и выходные S i4 элементы, принимающие потоки данных из облачной инфраструктуры. Следовательно, кортеж, описывающий элементы информационной системы, преобразуется к виду:

где m N, n N, k N - число элементов, входящих в состав системы на соответствующих фазах f;

информационной системы.

Каждый элемент S i j информационной системы в любой момент времени пользователей. При этом, в процессе выполнения запроса пользователя образуются потоки данных на входе и выходе из элемента системы, времени. Обозначим все входящие потоки элемента Si j как X i j, а выходящие Yi j, где i - номер элемента на j-й фазе обслуживания. Каждый поток запросов можно описать набором характеристик. Пусть, для элемента системы Si j существует li j входящих потоков, и pij выходящих. Тогда для входящего -го потока, =1.. li j введем набор характеристик элемента Si j ;

x 2,ji, ) - время обслуживания -го потока заявок в элементе Si j ;

x3,ji, ) - интенсивность обслуживания x 4,ji,n ) - дисциплина обслуживания расстановки приоритетов в информационной системе;

x5,ji, ) - класс обслуживания -го потока заявок в элементе Si j ;

x6,ji, ) - количество заявок, поступивших из -го потока в элемент Si j ;

Для выходящего -го потока, =1.. pij элемента системы Si j набор характеристик включает в себя:

y1,ij, ) - интенсивность поступления заявок в каждом элемента Si j ;

элемента Si j ;

y 3,ji, ) - дисциплина обслуживания Si j, определяющая порядок передачи данных в соответствии с алгоритмом расстановки приоритетов в облачной информационной системе;

y 4,ji, ) - класс обслуживания заявок Si j ;

y 5,ji, ) - количество обслуженных заявок в Si j ;

информационной системы, запрашиваемых пользователями, зависит от класса обслуживания, определяемого уровнем конечного приложения. В общем случае интенсивность поступления и обслуживания потока заявок для каждого класса приложений определяется функцией распределения, описываемой следующими законами распределения:

– для приложений, осуществляющих обработку потоковых данных (передача видео трафика) характерно распределение Парето;

– для приложений, осуществляющих обработку статических данных (передача бинарного трафика) характерно распределение Вейбулла;

– для приложений, осуществляющих обработку статических данных (передача трафика данных небольшого размера) характерно распределение Хиквадрат.

При обслуживании заявок в информационной системе, построенной с использованием облачной архитектуры, траектория прохождения фаз для каждого потока может изменяться динамически. При этом количество уникальных потоков напрямую зависит от числа элементов на каждой фазе.

Множество всех потоков, входящих в элементы на каждой j-й фазе, включая входящие потоки пользователей информационной системы, можно представить в виде:

где j номер фазы обслуживания, nj количество элементов на j фазе.

Следовательно, все входящие потоки информационной системы, реализованной с использованием облачных вычислений, можно представить в виде:

где f количество фаз обслуживания.

Y Yi Y Y j, где n количество элементов на j фазе, j=1..f.

Для эффективного обслуживания запросов пользователей, образующих потоки данных в информационной системе, должно существовать однозначное отображение вида R : X Y.

При этом, для обслуживания каждой заявки в любой момент времени в облачной информационной системе строится матрица переходов H между загруженности элементов системы. Граф перехода между фазами может быть элемента, принадлежащего фазе j-1 и направляющего поток данных к элементу Si j фазы j, =1.. li j.

Тогда множество всех входных потоков для любого элемента Si j, полученных от элемента S i j 1 информационной системы, находящегося на предыдущей фазе, представим в виде:

где j – фаза обслуживания.

Тогда выходящие потоки элемента Si j направленные к элементу S i j представим в виде:

где j – фаза обслуживания.

соответственно входные и выходные потоки фазы j.

В реальных информационных системах выходные потоки могут пересекаться и попадать на обслуживание на один и тот же вычислительный узел или выполняться в рамках одного экземпляра приложения, что приводит к образованию внутренних очередей на каждой из фаз обслуживания. Для описания данного процесса необходимо определить связи выходных потоков данных элемента Si j фазы j со всеми элементами фазы j+1. С учетом этого множество Y j* расширяется и принимает вид:

При этом для заключительной фазы обслуживания необходимо также учитывать передачу потока данных пользователю.

Для описания пересекающихся входящих в фазу потоков введем две функции:

пересекающиеся потоки, направленные в фазу j+1.

Аналогичным образом можно определить множество входных потоков поступающих в фазу обслуживания. При этом также справедливо пресечение потоков однотипных запросов пользователей. Следовательно, входящий поток данных, поступающий на элемент Si j, принадлежащий фазе j, от всех элементов фазы j-1 можно представить в виде:

Для описания пересекающихся выходящих из фазы потоков введем две функции:

пересекающиеся потоки, поступающие из фазы j-1.

Таким образом, функции (2.13) и (2.17) описывают потоки данных между фазами обслуживания информационной системы, расположенной в облаке. Для описания всей многофазной облачной информационной системы формализуем описание потоков каждой фазы в виде отображения R j : X j Y j. Тогда потоки представить в виде: