На правах рукописи

Протас Дмитрий Владимирович

Математическое и алгоритмическое обеспечение

сервисно-ориентированной среды

поддержки управления качеством программных систем

Специальность 05.13.11 — Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва – 2006

Работа выполнена на кафедре автоматизации систем вычислительных комплексов Московского государственного университета имени М.В. Ломоносова.

Научный руководитель: доктор технических наук, профессор Сухомлин Владимир Александрович

Официальные оппоненты: доктор технических наук, профессор Сорокин Михаил Николаевич кандидат технических наук, доцент Щипин Юрий Константинович

Ведущая организация: Московский государственный университет печати

Защита состоится “17” октября 2006 г. в 12 час. 00 мин. на заседании диссертационного совета Д212.119.02 в Московском государственном университете приборостроения и информатики (МГУПИ) по адресу: Москва, Стромынка, 20 (тел. 268-01-01).

С диссертацией можно ознакомиться в библиотеке МГУПИ.

Автореферат разослан “15” cентября 2006 г.

Ученый секретарь диссертационного совета Д 212.119. д.т.н., доцент Е.В. Никульчев

Общая характеристика работы

Актуальность проблемы исследования. В настоящее время компьютерные технологии используются практически во всех областях человеческой деятельности. Сфера применения специализированных программных систем (ПС) постоянно расширяется, проникая в области с низкой формализацией требований. В связи с этим необходимо привлечение новых методов разработки и оценки качества ПС, ориентированных на анализ неформальных требований пользователей. В условиях постоянно растущей конкуренции между разработчиками ПС необходимо не просто предоставить заказчику программный продукт, корректно отрабатывающий заложенный в техническом задании алгоритм, а систему, полностью удовлетворяющую разумным требованиям с меньшими, по сравнению с конкурентами, затратами, или систему, обеспечивающую максимальный уровень качества в рамках фиксированного бюджета. Для этого необходима разработка комплексной процедуры менеджмента качества, основанной на использовании современных информационных технологий.

Стандарт ISO 9001:2000 содержит основные требования к системам менеджмента качества, в основе которых лежит ориентация на пользователя.

Дополнительно требуется не только следить за текущим уровнем качества, но и использовать количественные методы с целью прогнозирования его изменения.

Требуется собирать отзывы потребителей, хранить их, анализировать и, по возможности, прогнозировать.

Поскольку в настоящее время комплексные программные решения поддержки управления качеством ПС, основанные на сборе и анализе количественных данных, недостаточно развиты, то их создание представляется актуальной задачей в области разработки ПС.

Степень научной разработанности проблемы исследования.

Существенный вклад в создание современной методологии разработки ПС внесли Г. Буч, А. Якобсон, Д. Рамбо, К. Бек, М. Полк и др. Ведущими российскими специалистами в области обеспечения, контроля и оценки качества ПС являются В.В. Липаев, А.И. Костогрызов, М.Г Круглов, О.П.

Глудкин, Г.Н. Калянов и другие.

Современные формальные методы оценки качества ПС основаны на автоматизированном тестировании и анализе формальной спецификации.

Неформальные методы предполагают автоматизированный сбор отзывов пользователей с целью их дальнейшего структурирования и анализа с применением Case-средств.

Формальные методы поддержки обеспечения качества ПС на основе математических моделей ориентированы на анализ некоторой сбалансированной системы показателей качества, значения которых формируются на основании точных измерений или экспертной оценки. В частности, П.А. Ивойлов предложил общую математическую модель комплексной оценки качества продукции, показатели которой поддаются точному измерению. В.Н. Бабешко и И.В. Королев в своих работах предложили технологии создания автоматизированных средств оценки качества ПС учебного назначения, ориентированные на сбор некоторой статистики, на основании которой пользователю предлагалось самостоятельно принять решения о возможных улучшениях. А.И. Гусевой была предложена иерархическая взвешенная модель оценки качества программного обеспечения обучающих систем. Однако, не предложены математические модели и программные решения, ориентированные не только на оценку текущего уровня качества ПС, но и на управление качеством на основе отзывов потребителей (пользователей), в соответствии с требованиями стандарта ISO 9001:2000.

Цель исследования. Целью диссертационной работы являются разработка технологии оценки качества ПС, ориентированной на формальный анализ отзывов пользователей, и создание сервисно-ориентированной среды поддержки управления качеством ПС на основе математических оценочных моделей.

Достижение поставленных целей осуществлялось путем решения следующих задач:

• создание технологии оценки качества ПС, основанной на анализе и прогнозировании отзывов пользователей;

• создание математической модели обеспечения качества ПС, ориентированной на использование математических методов оценки качества;

• разработка вычислительных процедур оценки качества ПС;

• разработка сервисно-ориентированной среды поддержки управления качеством ПС, частично автоматизирующей построение математических моделей обеспечения и оценки качества;

• внедрение и апробация созданной сервисно-ориентированной среды.

Объект исследования — программная система и математические модели обеспечения и оценки качества программных систем на основе отзывов пользователей.

Предмет исследования — методы построения математических моделей программных решений поддержки обеспечения и оценки качества программных систем на основе отзывов пользователей.

Теоретическая и методологическая основа исследования. В основе комплексной процедуры управления качеством ПС, предложенной в диссертационной работе, лежат рекомендации методологии MSF и требования стандарта ISO 9001:2000, регламентирующие итерационный процесс разработки ПС, ориентированный на анализ требований потребителей.

Диссертационное исследование базируется на применении методики объектно-ориентированного анализа для построения иерархических моделей показателей качества ПС. На построенную иерархическую модель накладывается авторская математическая модель обеспечения и оценки качества ПС.

При решении поставленных задач использовались специальные методы прикладного социологического исследования: экспертные оценки и анкетирование.

В работе использована методология структурного анализа и проектирования, методы решения задач математического программирования, методы многокритериальной оптимизации и теории принятия решений, методы математической статистики, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна:

1. Создана технология оценки и управления качеством программных систем на основе формального анализа отзывов пользователей.

2. Разработаны методика и алгоритм прогнозирования значений показателей качества программных систем.

3. Разработана методика оптимизации вычислительной стратегии оценки качества программных систем на временном интервале.

4. Разработана методика построения сервисно-ориентированной среды поддержки управления качеством программных систем.

Практическая значимость исследования. Результаты могут быть использованы для построения автоматизированных систем поддержки управления качеством ПС.

На базе созданной технологии, методик и алгоритмов разработана сервисно-ориентированная среда поддержки построения, оптимизации и численного решения математических оптимизационных моделей управления качеством ПС, позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.

Апробация работы. Теоретические положения, методологические подходы и практические результаты, изложенные в диссертационной работе, докладывались и обсуждались на I-ой международной научно-практической конференции “Современные информационные технологии в ИТ-образовании” (МГУ), Международном научном симпозиуме, посвященном 140–летию МГТУ “МАМИ” (МАМИ), Международной научно-практической конференции “Качество дистанционного образования” (МГИУ, ЛИНК), Международной научно-практической конференции “Проблемы и перспективы сотрудничества государств-участников СНГ в формировании единого (общего) образовательного пространства” (РУДН).

Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах.

Структура диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографии и приложений.

Диссертационная работа содержит: 125 страниц, 36 рисунков, 18 таблиц.

Библиографический список — 83 наименования.

Содержание работы Во введении обосновывается актуальность и степень научной разработанности проблемы исследования, формируются цели и указываются методы исследования, описывается научная новизна результатов, практическая ценность работы, приводится список конференций, на которых проведена апробация результатов исследования, приводится структура работы.

Первая глава является обзорной и содержит базовые понятия в области современной методологии управления (менеджмента) качеством ПС.

Приведен обзор подходов к трактовке понятий “качество” и “управление качеством”. В.В. Липаев определяет фундаментальную категорию “качество” как “совокупность технических, технологических и эксплуатационных характеристик продукции или процессов, посредством которых они способны отвечать требованиям потребителя и удовлетворять его при применении”. В настоящее время основными документами, регламентирующим требования к менеджменту качества является стандарт ISO 9001:2000. В соответствии со стандартом, “обеспечение качества” – это “совокупность планируемых и систематически проводимых мероприятий, необходимых для уверенности в том, что продукция или процесс удовлетворяет определенным требованиям потребителей к качеству”.

Анализируя современные технологии разработки ПС в контексте Capability Maturity Model (CMM) можно заключить, что Rational Unified Process (RUP) и eXtreeme Programming (XP) обеспечивают достижение второго и третьего уровней СММ, а Microsoft Solutions Framework (MSF) может обеспечить четвертый и пятый уровни улучшения за счет более эффективного управления рисками. Из описания MSF можно сделать вывод, что для эффективного управления проектами в области разработки ПС необходимо вести итерационную разработку в тесном контакте с пользователями, собирая их отзывы и, по возможности, прогнозируя требования. Для эффективного прогнозирования требований необходимо привлечение соответствующего математического аппарата.

В развитие технологии MSF с целью придания дополнительного формализма в области прогнозирования требований потребителей и оценки качества, в рамках диссертационного исследования предложена следующая технология итерационной оценки качества ПС:

1. Построение иерархической модели показателей качества, о значениях которых может судить пользователь, за счет привлечения экспертов предметной области. Для построения формальной модели оценки качества ПС необходимо структурировать предметную область с целью определения показателей качества, которым может дать оценку пользователь.

2. Построение единой количественной оценки качества ПС. Каждому показателю в рамках иерархической модели приписывается числовая величина – “значимость показателя”, что позволяет в соответствии с иерархической моделью, дополненной операторами преобразований (тем самым, получая математическую модель оценки качества ПС), сводить отдельные значения показателей качества в единую количественную характеристику.

3. Построение математической модели обеспечения качества ПС.

Построенная математическая модель дополняется функцией оценки трудоемкости изменения показателей качества, тем самым, получая модель обеспечения требуемого уровня качества оптимальным образом.

Таким образом, задача обеспечения требуемого уровня качества ПС сводится к оптимизационной задаче при минимизации трудоемкости работ для обеспечения заданного уровня качества.

4. Формирование показателей качества на основании отзывов. Для формирования текущих значений показателей качества необходимо проведение опроса пользователей, которые дают численную оценку качества по каждому показателю в отдельности.

5. Формирование оптимальной стратегии. В случае согласованности пользовательских оценок возможно построение оптимальной стратегии улучшения за счет подстановки значений показателей качества в модель обеспечения требуемого уровня качества и нахождения оптимального решения. Решением является набор показателей, требующих улучшения (с учетом величины изменения каждого показателя). Однако подставляются не текущие значения показателей качества, сформированные на основе отзывов потребителей, а предполагаемые значения на момент следующей итерации оценки качества, сформированные на основании прогноза. Для того чтобы определить магистральные направления улучшения, количество показателей, требующих улучшения, искусственно ограничивается.

6. Внедрение выбранной стратегии, контроль выполнения и, при необходимости, корректировка модели в соответствии с шагами 4-6.

Существенным отличием описанной технологии от существующих аналогов (работы П.А. Ивойлова, В.Н. Бабешко, И.В. Королева, А.И. Гусевой) является автоматизированное построение стратегии обеспечения заданного уровня качества ПС оптимальным образом (в соответствии с заданным критерием оптимальности) на основе математических моделей обеспечения и оценки качества, ориентированных на анализ отзывов конечных потребителей ПС, и присутствие дискретной динамической модели изменения отзывов потребителей во времени.

Для построения математической модели оценки качества ПС в рамках диссертационной работы предлагается использовать иерархическую систему показателей качества. Предложено рассматривать оценку “качества ПС” по составному критерию, постепенно детализируя его до тех пор, пока не будет достигнут уровень абстракции, приемлемый для формирования количественных характеристик a1, …, an (n — количество показателей). Далее строится формальная модель преобразований, основанная на сведении значений отдельных показателей качеств в единую количественную характеристику Q(a1,…,an). Получение количественной характеристики является важным для выбора лучшего решения при наличии нескольких альтернатив изменения различных показателей качества.

Для представления модели оценки качества удобнее всего использовать нотацию семантической сети, так как строится иерархическая система. В качестве объектов (вершин) будут выступать показатели различных уровней трактовки понятия качества. Присутствие нескольких вариантов внутри свертки определяет альтернативу для некоторой составляющей (несколько вариантов реализации) или, наоборот, требует реализации всех перечисленных составляющих (рис. 1).

Рис. 1. Графическое представление иерархии составных критериев Предложенная модель представляется через переменные, константы, алгебраические операции и операторы минимума и максимума в форме БэкусаНаура:

Константами выступают веса показателей или иные экспертные оценки, переменными являются показатели качества. Таким образом, проведя формализацию (представив в виде польской записи) можно итерационно подставлять значения показателей качества, получая значения функции оценки составного критерия качества.

Вводится функция трудоемкости обеспечения заданного уровня качества (затраты для обеспечения заданного уровня качества, сроки выполнения и тому подобное), позволяющая свести вычисления к решению задачи оптимального управления. В рамках диссертационной работы функция оценки трудозатрат в общем виде не рассматривается, так как ее вид сильно зависит от специфики предметной области ПС. В качестве функции оценки трудоемкости могут выступать: сумма превращений функции Гаусса по каждому показателю в отдельности (Д.П. Костомаров), выбор из множества решений с фиксированной трудоемкостью, обеспечивающих заданный уровень качества (У. Мур), оценка на основании нескольких взвешенных критериев и другие. Проведенное исследование показало, что в общем виде, функция трудоемкости зависит от текущих значений показателей качества и изменения каждого из них H(a1,…,an,a1,…,an) и является кусочно-непрерывной по переменным изменения показателей качества.

Таким образом, на основании проведенного анализа, в рамках диссертационного исследования предлагается следующая формальная постановка задачи обеспечения качества ПС:

Пусть n — количество показателей качества, k — значение, ограничивающее количество показателей, по которым одновременно ведется поиск, t – номер итерации оценки качества, ai = ai(t) – значение i-ого показателя качества для итерации t, ai – изменения значение i-ого показателя качества, Q' – требуемый уровень качества, Q(a1,…,an) – функция оценки качества;

H(a1,…,an, a1,…,an) – функция оценки трудоемкости и выполнены соотношения, i,,,, 1 – вспомогательные переменные:

Тогда, при условии, что выполнены соотношения:

предлагается следующая математическая постановка задачи обеспечения требуемого уровня качества при минимальной трудоемкости, допускающая эвристическое решение:

Поставленная задача является разрешимой благодаря условию (1).

Приведенные условия являются достаточными для использования метода прямого дискретного перебора для решения поставленной задачи – условие (2).

Использование прямого перебора является необходимым, так как никаких других предположений, помимо перечисленных условий, о свойствах функции оценки трудоемкости не делается.

Решением поставленной задачи является набор показателей ai, где i = 1, на которых достигается минимальное значение функции трудоемкости при обеспечении уровня качества не ниже заданного. В качестве стратегии обеспечения требуемого уровня качества предлагается подобрать решения, улучшающие полученные показатели на величины ai соответственно. Как отмечалось выше, число таких показателей искусственно ограничивается сверху с целью сосредоточения усилий на основных направлениях улучшения.

Значения ai формируются на основании отзывов пользователей ПС.

Предлагаемый алгоритм управления базой отзывов пользователей основан на использовании динамической модели изменения каждого показателя в отдельности во времени. Введя параметр t — время, можно решать задачу обеспечения требуемого уровня качества для заданной в будущем временной точки. Так как, в соответствии со стандартом ISO 9001:2000, процесс оценки качества ПС ведется с определенной периодичностью (графиком аудита), функцию зависимости значений показателей от времени ai(t) предлагается описывать при помощи дискретной динамической модели изменения данных во времени:

где t –- номер цикла (периода аудита); i - задержка по циклам;

x(t) – нерекурсивная часть уравнения;

zi – коэфф. нерекурсивной части уравнения при х(t - i);

yi – коэфф. рекурсивной части уравнения при a(t - i).

Предлагается построить линейную зависимость по двум соседним временным точкам, при условии отсутствия управляющих воздействий на показатель на данном интервале, и на основании нее строить прогнозы изменения значения показателя качества при помощи уравнения:

где T 1 – порядковый номер будущего аудита, i-1 и i-2 – рассматриваемые временные точки.

Таким образом, предлагаемый алгоритм управления базой отзывов пользователей состоит из следующих шагов:

1. По каждому показателю выбрать две соседние временные точки в прошлом, максимально близко расположенные к текущему моменту, между которыми не было оказано управляющего воздействия на 2. Для выбранных точек сформировать значения показателя на основании отзывов пользователей ПС (средних значений).

3. Построить прогноз значения показателя, где i – такое что, i-1 и i-2 – рассматриваемые временные точки, i+T - временная точка в будущем, на которую делается прогноз.

В соответствии с заданными условиями, в качестве модели обеспечения качества ПС выступает n – мерное пространство (n – количество показателей качества ПС) от текущего значения рассматриваемого показателя качества до (абсолютного значения) с шагом (что обеспечивает погрешность). В узлах заданы: уровень качества ПС в узле в заданный момент времени, в соответствии с иерархической моделью оценки качества – q, и значение трудоемкости обеспечения данного уровня качества в узле – h. Задача обеспечения требуемого уровня качества Q' сводится к нахождению вершины внутри пространства, для которой:

Решением является набор параметров, определяющих координаты узла (значения улучшений по каждому показателю). Заметим, что, в рамках диссертационного исследования, в соответствии с рекомендациями MSF, предъявленными к одному циклу итерации, рассматривается лишь подпространство, где возможно улучшение не более пяти показателей одновременно.