На правах рукописи

Балыков Евгений Александрович

Методы разработки и контроля качества

программных средств обработки и анализа изображений

05.13.11 – Математическое и программное обеспечение вычислительных машин,

комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2006

Работа выполнена в Институте менеджмента и информационных технологий (филиале в г. Череповце) ГОУ ВПО “Санкт-Петербургский государственный политехнический университет”.

Научный руководитель: кандидат технических наук, доцент Царев Владимир Александрович.

Официальные оппоненты: доктор технических наук, профессор Александров Анатолий Михайлович кандидат технических наук, доцент Лямин Андрей Владимирович

Ведущая организация: Институт системного программирования Российской академии наук (г. Москва)

Защита состоится 20 апреля 2006 г. в 1600 часов на заседании диссертационного совета Д 212.229.18 при ГОУ ВПО “Санкт-Петербургский государственный политехнический университет” по адресу: 195251, Санкт-Петербург, Политехническая 29, 9-й учебный корпус, ауд. 325.

С диссертацией можно ознакомиться в фундаментальной библиотеке ГОУ ВПО “Санкт-Петербургский государственный политехнический университет”.

Автореферат разослан 14 марта 2006 г.

Ученый секретарь диссертационного совета Шашихин В.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

В настоящее время одним из перспективных направлений развития информационных технологий в таких областях человеческой деятельности, как промышленное производство, транспортные перевозки, медицина, охранное наблюдение и т.п. является создание средств информационной поддержки в составе автоматизированных систем контроля и управления. Указанные системы включают в себя как телекоммуникации, так и подсистемы сбора, обработки и анализа данных.

При этом в качестве входного потока информации (или его части) широко используются изображения, т.е. данные, полученные с помощью приборного наблюдения (в основном, сканирования и фотографирования в различных диапазонах частот) соответствующих объектов или сцен.

Благодаря появлению в последние годы достаточно мощных и доступных средств вычислительной техники в большинстве приложений стало возможно выполнять обработку и анализ входных изображений на базе ПЭВМ при помощи специально создаваемых программных средств (ПС). Основными этапами представления, обработки и анализа информативных сигналов, которые в совокупности или в отдельных сочетаниях могут выполняться ПС обработки и анализа изображений (ОАИ), являются следующие: фильтрация, сегментация, классификация изображения и его фрагментов, распознавание графических образов.

Методы и алгоритмы, которые могут быть использованы при разработке математического обеспечения указанных этапов, широко представлены в научнотехнической литературе.

Наиболее важная особенность задач обработки и анализа изображений заключается в том, что большинство из них являются плохо формализуемыми.

Сказывается отсутствие адекватных математических моделей наблюдаемых реальных ситуаций или объектов, на базе которых можно было бы вести расчеты и получать количественные и качественные выводы, а также разрабатывать соответствующее программное обеспечение (ПО). В то же время практически любой человек в реальной жизни постоянно и успешно решает такие задачи и может выступать экспертом как при подготовке обучающего и тестового материала, так и при оценке эффективности алгоритмов, реализуемых ПС ОАИ.

Указанная особенность, накладывая ограничения в рамках общей проблемы синтеза и оптимизации алгоритмов обработки и анализа изображений, обуславливает также возникновение ряда вопросов и задач, решение которых необходимо для организации эффективных процессов разработки, обеспечения и контроля качества ПС ОАИ, реализующих такие алгоритмы. Так при разработке и автоматизации контроля качества ПС ОАИ, оперирующих трудно формализуемыми понятиями, требует решения задача адекватного описания спецификаций. Широкое использование эвристических алгоритмов при создании ПС ОАИ затрудняет выполнение процессов контроля качества таких ПС, в первую очередь, тестирования и отладки. Кроме того, наличие в коде ПС ОАИ большого количества массивов, циклов и операторов, которые могут не завершиться и привести к исключительной ситуации или аварийному сбою (особые операторы), обуславливает необходимость использования специализированных способов и методик верификации, тестирования и отладки ПС.

Исследование теоретических и практических аспектов разработки и контроля качества ПС отражено в трудах В.Н.Агафонова, А.П.Ершова, С.С.Лаврова, В.В.Липаева, В.А.Непомнящего, С.А. Орлова, Р.Андерсона, Б.Боэма, Г.Буча, Э.Дейкстры, Г.Майерса, Р.Флойда, Ч.Хоара и др. Однако применение предложенных в этих трудах методов разработки и контроля качества ПО на практике при создании ПС ОАИ сталкивается со значительными трудностями. Как правило, с учетом указанных особенностей известные методы не гарантируют высокую эффективность процессов разработки высококачественных ПС ОАИ по таким критериям, как трудоемкость тестирования и отладки, достигнутые значения показателей корректности и надежности ПС (степени верификации, тестового покрытия, наработки на отказ). В конечном итоге это приводит к увеличению сроков разработки информационных систем с функциями обработки и анализа изображений и не позволяет обеспечить требуемые показатели качества ПО таких систем.

Таким образом, рассматриваемая в работе проблема повышения эффективности процессов разработки и контроля качества ПС ОАИ является весьма актуальной и обусловлена непригодностью или низкой эффективностью известных методов и средств разработки и контроля качества ПО с учетом специфики решаемых, плохо формализуемых задач и используемых алгоритмов обработки и анализа изображений.

Цель работы.

Целью диссертационной работы является совершенствование известных и создание специализированных методов и средств, позволяющих повысить эффективность процессов разработки и контроля качества ПС ОАИ с учетом специфических особенностей решаемых, плохо формализуемых задач и используемого алгоритмического обеспечения различных этапов обработки и анализа изображений.

Основные задачи

.

Для достижения указанной цели в работе поставлены следующие основные задачи:

- Адаптировать известные и создать специализированные методы и средства разработки и контроля качества ПО, применяемые на этапах подготовки спецификаций, программной реализации, верификации, тестирования и отладки ПС ОАИ, учитывающие специфические особенности области приложения и позволяющие повысить эффективность процессов разработки и контроля качества ПС ОАИ.

- Апробировать и продемонстрировать применение предложенных методов и инструментальных средств в процессе разработки ПО системы технического зрения, на примере оптоэлектронной системы идентификации (ОЭСИ) объектов подвижного состава железнодорожного транспорта (ЖТ).

- Оценить влияние предложенных методов и средств на эффективность процессов разработки и контроля качества ПС ОАИ по критериям:

трудоемкости тестирования и отладки, достигнутым значениям показателей корректности и надежности ПС (степени верификации, тестового покрытия, наработки на отказ).

Предмет исследования.

Процессы, методы и средства разработки и контроля качества ПС ОАИ.

Методы исследования.

Для решения поставленных задач использованы теоретические основы технологии разработки ПО, методы проектирования и анализа алгоритмов, теория верификации, тестирования и отладки программ, математический аппарат технологии обработки и анализа изображений, теория планирования в реальном времени и анализа последовательности событий, а также методы планирования научного эксперимента и обработки результатов экспериментальных исследований.

Научная новизна.

1. Предложен метод формализованного описания спецификаций алгоритмов и программных модулей (ПМ) ОАИ, включающий способ описания трудно формализуемых понятий при помощи формируемого экспертом массива “прецедентов”, т.е. соответствующих пар вида “входная информация – выходная информация”. Метод позволяет сформировать единые требования для этапов разработки и программной реализации алгоритмов решения плохо формализуемых задач обработки и анализа изображений при создании ПС ОАИ, а также существенно снизить трудоемкость фазы тестирования таких ПС за счет автоматизации процедур контроля качества.

2. Предложен метод поиска источника ошибки, выявленной на этапе тестирования в ПМ, реализующем эвристический алгоритм анализа изображений, основанный на “многоязыковой” реализации алгоритма, характерной при разработке ПС ОАИ, и сравнительном анализе результатов исполнения основной и вспомогательной программных реализаций алгоритма. Применение предложенного метода позволяет сделать процесс отладки таких ПМ более управляемым и сократить трудоемкость процедур отладки.

3. На основе классических методов Флойда и Хоара предложен способ верификации программ, позволяющий обосновывать корректность ПМ, содержащих подпрограммы, массивы и особые операторы, и соответственно повышать степень корректности ПС (степень верификации и тестового покрытия).

4. Предложен способ тестирования завершаемости циклических структур обработки массивов видеоданных и списков возможных решений, учитывающий специфику циклов ПМ ОАИ, позволяющий повысить качество создаваемых ПС ОАИ за счет увеличения степени надежности.

Практическая ценность.

1. Синтезирована модель жизненного цикла (ЖЦ) ПС ОАИ, учитывающая особенности подобных программных средств. Даны практические рекомендации по выбору и применению методов и средств выполнения основных фаз жизненного цикла ПС ОАИ: подготовки спецификаций, программной реализации, верификации, тестирования и отладки.

2. Предложена методика обоснования конструктивной правильности ПМ, реализующего эвристический алгоритм.

3. Сформированы унифицированные системы формализованных спецификаций для основных ПМ ОЭСИ транспортных средств (ТС) и оптико-электронной системы контроля (ОЭСК) качества поверхности листового металлопроката, которые могут быть широко использованы при разработке алгоритмического и программного обеспечения подобных систем технического зрения.

4. Применение предложенных в работе методов и средств разработки и контроля качества ПС ОАИ детально продемонстрировано на примере проекта по созданию ПО ОЭСИ объектов подвижного состава ЖТ - ARSCIS. Даны практические рекомендации по формированию спецификаций качества и комплексной стратегии контроля качества, оценке сложности и достигнутого уровня качества созданного ПС и ему подобных. Разработан набор тестовых классов, упрощающих процесс тестирования ПО ОЭСИ ТС.

5. Разработана открытая объектно-ориентированная архитектура (графическая модель, представленная средствами языка моделирования UML) ПО ОЭСИ объектов подвижного состава ЖТ. Архитектура обеспечивает возможности:

подключения обновленных и дополнительных алгоритмов и оборудования без модификации и перекомпиляции всего ПС; адаптивной настройки алгоритмической и аппаратной подсистем в ходе функционирования ПС; сбора исторической информации, позволяющей повысить эффективность принятия решений в задачах обработки и анализа последовательности изображений.

Архитектура может быть широко использована при разработке ПО систем контроля с функциями обработки и анализа изображений различного назначения.

6. Предложенные в работе методы и средства разработки и контроля качества ПС ОАИ используются в научно-производственной компании “Малленом” (г.

Череповец) в качестве базовых при организации процесса разработки ПО ОЭСК различного назначения, что подтверждается актами о внедрении. При непосредственном участии автора на базе этой компании были созданы и внедрены следующие системы: ОЭСИ движущихся автотранспортных средств ReCar (разработка выполнялась по заказу мэрии г. Череповца); ОЭСИ объектов подвижного состава ЖТ - ARSCIS (разработка выполнялась по заказу администрации ст. Череповец СЖД); оптоэлектронный дефектоскоп листового металлопроката (разработка выполнялась по заказу ОАО “Северсталь”).

Указанные системы в 2005 г. удостоены дипломов I и II степеней Правительств г. Санкт-Петербурга и Вологодской области по итогам открытых конкурсов на лучшие инновационные научно-технические разработки и проекты.

7. Результаты исследований используются в учебном процессе ИМИТ СПбГПУ в рамках дисциплины “Обеспечение качества программных продуктов”, в соответствующих разделах дисциплин “Технология разработки ПО” и “Компьютерная графика” для специальности 230105 – Программное обеспечение вычислительной техники и автоматизированных систем.

Апробация работы.

Основные положения диссертации докладывались и обсуждались на международной научно-технической конференции “Инфотех-2001” (Череповец, 2001), всероссийской научно-практической конференции “Образование. Наука.

Бизнес. Особенности регионального развития и интеграции” (Череповец, 2002г., 2003г., 2004г., 2005г.), IX международной выставке научно-технических проектов “ЭКСПО-НАУКА 2003” (Москва, 2003), XXXII военно-научной конференции (Череповец, 2004), IX международной научно-технической конференции (Ульяновск, 2004), Межвузовском конкурсе-конференции “Технологии Microsoft в теории и практике программирования” (Санкт-Петербург, 2004 г., 2005 г.), на VII международной конференции “Распознавание образов и анализ изображений: новые информационные технологии” (Санкт-Петербург, 2004), на 10-ой юбилейной выставке-конгрессе “Высокие технологии. Инновации. Инвестиции” (СанктПетербург, 2005), на 1-ой научно-практической конференции “Инновационные проекты, новые технологии и изобретения на железнодорожном транспорте (Москва, 2005), а также на научных семинарах кафедр ИУС и РВКС ФТК СПбГПУ.

Публикации.

По материалам диссертации опубликовано 17 печатных работ.

На защиту выносятся:

1. Метод формализованного описания спецификаций алгоритмов и ПМ ОАИ, оперирующих трудно формализуемыми понятиями, и унифицированная система формализованных спецификаций основных этапов функционирования ПО ОЭСИ ТС, созданная на базе предложенного метода.

2. Метод поиска источника ошибки в ПМ ОАИ, реализующих эвристические алгоритмы обработки и анализа изображений.

3. Способ верификации программ, позволяющий обосновывать корректность ПМ, содержащих подпрограммы, массивы и особые операторы.

4. Способ тестирования завершаемости циклических структур, содержащихся в 5. Открытая объектно-ориентированная архитектура (графическая модель, представленная средствами языка моделирования UML) ПО ОЭСИ объектов подвижного состава ЖТ.

Структура и объем работы.

Диссертационная работа состоит из введения, пяти глав, заключения и приложения. Содержит 156 страниц основного текста, 64 рисунка, 25 таблиц, список использованной литературы из 96 наименований, 17 приложений на страницах.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи проводимых исследований, определены научная новизна и практическая значимость результатов, приведены сведения о публикациях и апробации полученных результатов.

В первой главе дается общая характеристика ПС ОАИ как средств информационной поддержки в составе автоматизированных систем контроля и управления. Указаны основные области применения современных ПС ОАИ в промышленном производстве, на транспорте, медицине, охранном наблюдении и т.п., представлены виды и способы формирования входных изображений.

Перечислены основные этапы обработки и анализа информативных сигналов, которые в совокупности или в отдельных сочетаниях могут выполняться ПС ОАИ:

фильтрация, сегментация, классификация изображения и его фрагментов, распознавание графических образов.

Выявлена наиболее важная особенность задач обработки и анализа изображений (в основном этапов сегментации и классификации), которая заключается в том, что большинство из них являются плохо формализуемыми.

Обусловлено это, как правило, отсутствием адекватных математических моделей наблюдаемых реальных ситуаций или объектов, на базе которых можно было бы вести расчеты и получать количественные и качественные выводы, а также разрабатывать соответствующее ПО. Разработчиками алгоритмов и ПС приходится оперировать рядом понятий, не имеющих формального описания и по этой причине трудно формализуемых. К таким понятиям, к примеру, можно отнести кадр, содержащий изображение объекта контроля (графический образ человека, ТС), область, содержащую искомый графический образ (дефект на листе металла, регистрационный номер (РН) ТС) и т.д. Отсутствие математического описания таких объектов порождает проблему построения формальных спецификаций, в которых отсутствуют дефекты неоднозначности трактовки требований, неполноты, противоречивости, и которые столь необходимы для построения корректных архитектурных моделей, эффективного алгоритмического обеспечения, программной реализации и автоматизации процедур контроля качества ПС ОАИ. В то же время отмечено, практически любой человек в реальной жизни постоянно и успешно решает такие задачи и может выступать экспертом как при подготовке обучающего и тестового материала, так и при оценке эффективности алгоритмов, реализуемых ПС ОАИ. Поэтому в качестве замены адекватной математической модели чаще всего на практике при синтезе алгоритмов обработки и анализа изображений используются массивы прецедентов, т.е. соответствующих пар вида “входная информация – выходная информация”, предварительно формируемых экспертом.

Отмечено, что методы и алгоритмы, которые могут быть использованы при разработке математического обеспечения этапов обработки и анализа изображений, широко представлены в научно-технической литературе. При этом для решения плохо формализованных задач сегментации и классификации изображений в большинстве случаев используются эвристические алгоритмы, синтезируемые на основе разумных интуитивных соображений и опыта проектировщика и, как правило, не имеющие теоретического обоснования содержательных гипотез.

Специфика эвристических алгоритмов такова, что они не всегда обеспечивают нахождение правильного решения. Этот факт обуславливает появление двух проблем, специфичных для ПС ОАИ. Во-первых, известные методы верификации не могут быть применимы для доказательства корректности ПМ ОАИ, реализующих подобные алгоритмы. Во-вторых, затруднен поиск источника ошибки (ошибки алгоритма, его реализации или трансляции), выявленной на этапе тестирования или эксплуатации в ПМ ОАИ, который реализует некоторый эвристический алгоритм.

Проведен анализ существующих методов и средств разработки и контроля качества ПО. Отмечено, что существующие модели и системы организации производственных процессов разработки и обеспечения качества ПС (Cleanroom, CMM, PSP, Trillium, TSP, MSF) позиционируются на оценке и улучшении существующих производственных процессов и носят, в основном, организационный характер. В свою очередь, методы разработки и контроля качества программных продуктов носят общий характер и не учитывают указанных особенностей прикладной области.

Дополнительно в ходе анализа установлено, что классические методы верификации программ (методы Флойда и Хоара) требуют обобщения. Дело в том, что принятые в них допущения не учитывают ряд программных конструкций, используемых в ПС ОАИ (подпрограммы, массивы и операторы, выполнение которых может потенциально не завершиться и привести к исключительным или аварийным ситуациям). Кроме того, при реализации ПМ ОАИ широко используются массивы и вложенные циклические структуры их обработки, ошибки реализации которых могут привести к состоянию зацикливания ПС ОАИ. Показано, что тестирование таких структур известными способами крайне затруднено.

Сделан вывод, о том, что указанные проблемы обуславливают увеличение сроков разработки информационных систем с функциями обработки и анализа изображений и не позволяют обеспечить требуемые значения показателей качества ПО таких систем. На основе принятых стандартов выделен ряд числовых критериев для оценки эффективности процессов разработки и контроля качества ПС ОАИ:

трудоемкость тестирования и отладки, достигнутые значения показателей корректности и надёжности ПС (степень верификации и тестового покрытия).

На основе проведенного анализа определен круг основных решаемых в диссертационной работе задач, направленных на совершенствование известных и создание специализированных методов и средств, позволяющих повысить эффективность процессов разработки и контроля качества ПС ОАИ.

Во второй главе проведен анализ существующих стандартов и подходов построения ЖЦ, результаты которого позволили сформировать модель ЖЦ ПС ОАИ, схематично представленную на рис.1.

ПС ОАИ ПС ОАИ

В рамках полученной модели определена последовательность основных этапов конструирования ПС ОАИ и выбраны методы и средства их выполнения. Основу ЖЦ ПС ОАИ составляют итеративно-инкрементальный подход и унифицированный процесс, дополненные принципами генетического и формальных подходов, а также концепцией экстремального программирования.

Проведен сравнительный анализ существующих средств автоматизированной разработки. Выбран программный инструментарий, используемый на этапах ЖЦ ПС ОАИ, учитывающий особенности процесса разработки ПС ОАИ и позволяющий обеспечить высокое качество конструирования ПС ОАИ.

Одна из основных особенностей ПС ОАИ заключается в существовании трудно формализуемых спецификаций, которые не могут быть представлены в виде пары Ф(, ), где - предусловие программы, - постусловие программы. Как следствие, затрудняется автоматизация процедур контроля качества ПС ОАИ, а процесс разработки ПМ, обладающих трудно формализуемыми спецификациями, становится плохо управляемым, что снижает качество программного продукта (ПП).

В целях решения указанной проблемы предлагается метод формализованного описания спецификаций алгоритмов и ПМ ОАИ с помощью массива прецедентов.

Метод заключается в выделении двух частей: четко формализуемой и экспертной.

Четко формализуемая часть спецификации задается при помощи набора предикатов над множеством состояний памяти. Экспертная часть (массив прецедентов) создается на основе интуитивных предположений, знаний и опыта эксперта в области обработки и анализа изображений. Предложенный метод позволяет Ф(, ) = Ф F o E ( f, f o e ), где ФF - формальная часть спецификации, Ф E экспертная часть спецификации. Метод основан на том, что практически любой взрослый человек со своими органами зрения представляет универсальный механизм в области сегментации и классификации изображений, и может выступать экспертом в области обработки и анализа изображений. Метод формализованного описания спецификаций ПМ ОАИ включает следующие этапы:

Этап 1. Выделение четко формализуемой части Ф F ( f, f ) ПМ ОАИ, оперирующего трудно формализуемыми понятиями:

1.1. Формирование предусловия f. Как правило, предусловие алгоритмов обработки и анализа изображений в полной мере формализуемо и включает предикаты, определяющие ограничения на входное изображение, а также области значений входных переменных.

1.2. Формирование постусловия f. Постусловие ПМ ОАИ должно определять тип и ограничения вычисляемого результата, а также области допустимых значений внешних переменных, модифицируемых в ПМ ОАИ.

Этап 2. Описание трудно формализуемой части спецификации постусловия e ПМ ОАИ. В процессе формирования массива прецедентов для каждого набора значений D входных данных ПМ ОАИ выполняется процедура экспертной оценки E (D) с целью указать желаемый ответ (требуемое состояние выходных данных DEout = E (D) ) алгоритма для заданных значений входных данных. В общем виде предикат e является неформализуемым, но его область истинности может быть частично задана некоторым набором состояний выходных данных DEout, сформированных экспертом на наборе обучающих и тестовых входных данных. Процедура частичного задания множества истинности предиката e автоматизирована средствами созданного в рамках работы специализированного ПМ. В этом случае эксперту с учетом решаемой задачи требуется: при решении задачи сегментации выделить на входном изображении графические образы требуемых элементов рабочей сцены; при решении задачи классификации сопоставить изображению или его фрагментам значение формального признака, характеризующего класс объекта.

Этап 3. Объединение четко формализуемой и экспертной частей Ф(, ) =Ф F o E ( f, f o e ). Объединение необходимо осуществлять таким образом, чтобы f o e отражало семантику ПМ ОАИ. Данный этап выполняется с учетом следующих правил и рекомендаций:

3.1. Пусть ПМ ОАИ должен выполнять сегментацию изображения и выделять области, семантика содержания которых трудно формализуема. Постусловие регламентирует формирование списка Vобл, каждый элемент которого представляет собой область на входном изображении. Предполагается, что каждая область содержит либо графический образ искомых на этапе сегментации элементов изображения (объекта контроля или его отдельных фрагментов), либо с учетом принятых допущений может содержать образы ложных элементов. Постусловие e задает список Vобл, сформированный на базе массива прецедентов, каждый элемент списка также представляет собой некоторую область на входном изображении. Его отличие от списка Vобл состоит в том, что области из Vобл содержат исключительно графические образы искомых элементов изображения. В этом случае предикат f o e должен описывать связь между списками сегментированных областей Vобл и Vобл.

3.2. Пусть ПМ ОАИ должен выполнять классификацию изображения или распознавать графический образ, представленный на этом изображении.

Описание и число классов n, по которым выполняется классификация, задаются в f. На выходе алгоритма (требование f ), как правило, формируется вектор оценок правдоподобия p = ( p1,..., p n +1 ), где pi - оценка правдоподобия принадлежности изображения или образа классу i = 1...n, p n +1 оценка правдоподобия того факта, что образ не относится ни к одному из заданных классов. Постусловие e регламентирует формирование экспертом номера истинного класса iист, к которому может быть отнесен входной фрагмент. Предикат f o e должен описывать связь между номером класса iист и вектором p = ( p1,..., p n +1 ).

Следует отметить, что при ограничении трудно формализуемой спецификации Ф(, ) =Ф F o E ( f, f o e ), построенной в соответствии с данным методом, со всего множества входных и выходных данных на наборы значений этих данных для которых сформирован массив прецедентов, такая спецификация становится полностью формальной. В целях повышения эффективности процесса формирования массива прецедентов создан специализированный ПМ автоматизации работы эксперта в области обработки и анализа изображений.

На основе предложенного метода сформированы унифицированные системы формализованных спецификаций основных этапов функционирования ПО ОЭСИ ТС и ОЭСК качества листового металлопроката, позволяющие осуществлять разработку эффективных алгоритмов и ПМ ОАИ на основе полных и непротиворечивых требований, а также автоматизировать процедуры контроля качества ПС ОАИ.

Специфической особенностью математического обеспечения обработки и анализа изображений является использование эвристических алгоритмов, их основное отличие от точных алгоритмов, заключается в том, что они не всегда дают правильное решение. Следовательно, если выявлена ошибка в ПМ ОАИ вида Pэ (ПМ, реализующий эвристический алгоритм), то в этом случае затрудняется процесс отладки ввиду сложности определения действительного источника ошибки.

Для разрешения указанной проблемы в работе предложен метод поиска источника ошибок, выявленных в ПМ ОАИ вида Pэ. Метод основан на “многоязыковой” реализации эвристического алгоритма в основном и вспомогательном языках программирования и сравнительном анализе результатов исполнения реализаций. Метод поиска источника ошибки состоит из следующих этапов:

1. Определение исходных данных. Пусть исходный эвристический алгоритм задан спецификацией Ф(, ) и описанием O э. Пусть существует основная реализация эвристического алгоритма Pэ и её спецификация Ф' ( ', ' ), а также вспомогательная реализация Pэв О э и её спецификация Ф в( в, в ) Ф, ), ( идентичные описанию и спецификации исходного алгоритма (вспомогательная реализация принимается за эталон).

2. Проверка корректности трансляции. Источником выявленной ошибки является неправильная трансляция алгоритма в основную реализацию, если выявлено несоответствие между спецификациями или между описанием и реализацией ( Ф (, ) Ф' ( ', ' ) ) ( Oэ Рэ ). Однако полное соответствие между алгоритмом и основной реализацией (Ф(, ) = Ф' ( ', ' )) (Oэ = Рэ ) не позволяет сделать вывод об алгоритмической природе дефекта, так как могут существовать ошибки несоответствия спецификации и реализации ( ' Pэ ' ) = f.

3. Проверка корректности алгоритма и реализации. Если отсутствуют дефекты трансляции исходного алгоритма в основную реализацию, то есть выполнено условие вида (Ф(, ) = Ф' ( ', ' )) (O э = Р э ), и если результаты тестирования всех реализаций алгоритма Рэ, Рэ отличаются хотя бы на одном тестовом случае, то источник ошибки – реализация, если же результаты тестирования Р э, Р э идентичны для всего тестового набора, то принимается решение об алгоритмической природе ошибки. Степень надежности такого решения зависит от степени тестированности реализаций.

Этап проверки корректности трансляции алгоритма в реализацию достаточно сложен и нетривиален. Поэтому метод поиска источника ошибки дополнен методикой проверки корректности трансляции алгоритма в реализацию, которая включает следующие шаги:

1. Определение семантического соответствия между спецификацией эвристического алгоритма и спецификацией основной реализации Ф(, ) = Ф' ( ', ' ).

1.2. Проверка семантического равенства всех термов и утверждений, входящих в T1 = T1экв,..., Tn = Tnэкв ; T1,..., Tn Ф, T1экв,..., Tnэкв Ф экв.

1.3. Фиксация всех выявленных несоответствий и различий между Ф экв ( экв, экв ) 1.4. Семантическое равенство термов T1 = T1экв,...,Tn = Tnэкв и отсутствие, зафиксированных на шаге 1.3, различий позволяет сделать вывод о семантическом соответствии спецификаций Ф(, ) = Ф' ( ', ' ). В случае наличия различий, решение о соответствии спецификаций и отсутствии ошибок трансляции принимается на следующем этапе.

2. Определение семантического соответствия между описанием эвристического алгоритма и его основной программной реализацией O э = Р э.

2.1. Построение эквивалентного описания Оээкв = Рэ Оэ в виде псевдокода или 2.2. Проверка учитывает ли О ээкв различия, зафиксированные на шаге 1.3. Если зафиксированных между Ф (, ) и Ф(, ), то принимается решение о семантическом соответствии спецификаций Ф(, ) = Ф' ( ', ' ), иначе принимается решение о наличии ошибки трансляции.

2.3. Проверка семантического равенства эквивалентного и исходного описания О э = О э, путем прямого сопоставления полученного и исходного псевдокода 2.4. Если (Оээкв = Оэ ) (Ф(, ) = Ф' ( ', ' )), то принимается решение о корректности трансляции алгоритма в реализацию (Ф(, ) = Ф' ( ', ' )) (Oэ = Рэ ), в противном случае констатируется несоответствие описания и реализации и принимается решение об ошибке трансляции.

Предложенный метод поиска источника ошибки, выявленной в ПМ ОАИ вида Pэ, позволяет сократить трудоемкость отладки и уменьшить сроки разработки, а также повысить общее качество ПС ОАИ.

В третьей главе на основе классических методов Флойда и Хоара предложен способ верификации программ, позволяющий обосновывать корректность ПМ, содержащих подпрограммы, массивы и особые операторы, и соответственно повышать степень корректности ПО. Способ доказательства корректности включает следующие шаги:

1. К существующим операторам, используемым при построении блок-схемы алгоритма программы P, добавляются операторы подпрограмм и особые операторы, производные от операторов присваивания и ветвления. Если значение некоторого аргумента подпрограммы Pi вычисляется в момент вызова, то оператор подпрограммы подлежит упрощению.

2. Для доказательства частичной корректности программы P, содержащей подпрограммы, необходимо предварительно доказать полную корректность всех соответствующих подпрограмм. Доказательство корректности подпрограмм, также как и основной программы, следует проводить относительно расширенной спецификации вида Ф расш = ( расш (v,V ), расш (v,V )). Для каждого базового пути, ведущего из точки сечения s в точку c и содержащего оператор подпрограммы i (v) I A'' (v); ( I A'' (v) R A''C (v)) I C (T A''C (v)).

A', A' ' - точки сечения входного и выходного ребра оператора подпрограммы.

Истинность постусловия i обеспечивается истинностью i и i Pi i.

3. Доказательство частичной корректности программы P, содержащей массив M, заключается: для метода Флойда в доказательстве истинности условия верификации I S (v) R ' (v) K lm (T ' (v)), где ' - часть базового пути из начальной точки сечения S до оператора l m, l m - оператор в котором осуществляется доступ к индексов массиву M, x - вектор индексов или указателей; для метода Хоара в доказательстве истинности условия l 1 K lm ( x), где l 1 - постусловие предшествующего оператора.

4. Доказательство завершаемости программы P, содержащей особый оператор l o, заключается: для метода Флойда в выводе истинности условия завершаемости J S (v) R '' (v) lo (T '' (v)), где J s (v) - индуктивное утверждение, сопоставленное начальной точке сечения S, ' ' - часть базового пути начальной точки сечения S до оператора lo, lO (x) - предусловие оператора l o, задающее область определения функции, используемой в особом операторе; для метода Хоара в выводе истинности условия вида l 1 lO ( x).

В работе даны практические рекомендации к формированию спецификаций ПМ ОАИ, построению индуктивных утверждений Флойда, доказательству корректности методом Хоара, а также к доказательству завершаемости программ.

Сформированные практические рекомендации позволяют повысить эффективность и ускорить процесс аналитической верификации ПС ОАИ.

Ввиду неразрешимости задачи верификации ПМ ОАИ вида Pэ, в работе предлагается использовать методы верификации для доказательства конструктивной правильности Pэ к доказательства конструктивной правильности включает следующие шаги:

1. Верификация завершаемости ПМ ОАИ вида Pэ. Как правило, доказательство завершаемости программ Pэ t, реализующих эвристические алгоритмы анализа изображений, может быть проведено с помощью классических методов верификации ввиду того, что предусловия указанных ПМ, как правило, четко формализуемы.

2. Верификация правильности построения ПМ ОАИ вида Pэ. Основная идея основывается на том факте, что большинство эвристических алгоритмов представимо комбинацией точных алгоритмов с четко формализуемыми спецификациями. Это позволяет применить существующие методы верификации для доказательства правильности алгоритмов, входящих в комбинацию (правильность конструирования всей комбинации), а соответственно проверить конструктивную правильность ПМ ОАИ, реализующего эвристический алгоритм.

2.1 Декомпозиция программы Pэ, имеющей спецификацию вида Ф(, ) или Ф F o E ( f, f o e ), на набор подпрограмм Pi, реализующих точные алгоритмы и имеющих четко формализуемые спецификации Фi ( i, i ).

2.2 Доказательство { i }Pi { i }.

2.3 Вывод о конструктивной правильности Pэ к ПМ ОАИ, на основе { i }Pi { i } и завершаемости всей программы Pэ.

Правильность функционирования ПМ ОАИ вида Pэ с определенной степенью надежности разрешается методами функционального тестирования.

Предложен способ тестирования завершаемости циклических структур обработки массивов видеоданных и списков возможных решений, учитывающий специфику циклических структур (строго монотонные функции модификации итераторов, константное значение выхода из тела цикла, ограниченный набор операторов условия выхода из тела цикла). Способ включает следующие шаги:

1. Проверка на входе в цикл возможности достижения итератором значения выхода из цикла i = in. Для составного условия необходимо проверить возможность достижения итератором всех соответствующих граничных значений. Первый шаг позволяет выявить ошибки несоответствия типов итератора и граничного значения в условии выхода из тела цикла.

2. Проверка внутри тела цикла изменения итератора на некоторую необязательно постоянную величину ik = ik 1 +, 0 приближающую итератор к окончанию цикла, где k n, ik 1, ik - значения итератора на шагах k, k 1. Подтверждением приближения итератора к значению выхода из цикла является истинность неравенства вида in ik < in ik 1, где in - граничное значение в условии выхода из тела цикла. Второй шаг предназначен для выявления ошибок некорректного изменения итератора цикла, способных повлечь за собой зацикливание или некорректную работу тестируемого метода.

3. Исполнение второго шага, в соответствии с одним из структурных критериев, для покрытия тех команд, ветвей или маршрутов внутри тела цикла, которые приводят к модификации итератора цикла.

Применение способа тестирования завершаемости позволяет повысить качество создаваемых ПС ОАИ за счет увеличения значений степени корректности и показателя надежности.

В четвертой главе дана общая характеристика технического и программного обеспечения ОЭСИ ЖТ ARSCIS, позволяющей повысить эффективность контроля и управления железнодорожными перевозками за счет автоматизации процесса идентификации объектов подвижного состава ЖТ. ПО ARSCIS относится к классу ПС ОАИ, что регламентирует применение предложенных в работе методов и средств разработки и контроля качества ПС ОАИ.

На основе предложенного в работе метода формализованного описания создана унифицированная система формализованных спецификаций ПМ ОЭСИ ТС, позволившая снизить дефекты спецификации и автоматизировать функциональное тестирование ПМ ARSCIS. В качестве примера, рассмотрим формализованную на основе предложенного метода спецификацию ПМ, осуществляющего локализацию областей, содержащих изображения РН ТС:

M nm - входное изображение (двумерный массив размерности n m ), k лок - максимальное число областей; Fлок - алгоритм локализации; Vобл - список областей; v( x1, y1, x 2, y 2 ) - элемент из Vобл, содержащий координаты локализованной области; w1, w2, h1, h2 ограничения на ширину и высоту области; E лок - процедура выделения экспертом всех областей в кадре, содержащих изображения отдельных РН ТС; Vобл - список областей, формируемый экспертом, каждый элемент которого содержит изображение отдельного РН ТС; c лок - порог соотношения площадей; S - площадь локализованной области. Предикат P задает геометрическую принадлежность области локализации к области кадра, а P1 принадлежность соответствующих областей и соотношения их площадей. Постусловие этапа локализации РН ТС трудно формализуемо, так как нет математического описания области изображения, содержащей графический образ РН. Задачей эксперта является формирование экспертного списка Vобл путем выделения на заданном кадре минимальных по площади областей, каждая из которых должна содержать изображение отдельного РН. При этом алгоритм локализации должен формировать такой список областей Vобл, чтобы изображение любого элемента из Vобл включало в себя изображение отдельного элемента из списка экспертных областей Vобл и его площадь не превышала площади экспертно выделенной области более чем в c лок раз.

В соответствии со стандартом IEEE 1016 построена объектно-ориентированная архитектура (UML, OCL) ПО ARSCIS, отражающая статические и динамические аспекты поведения ПС ОЭСИ ЖТ (рис.2). Основным элементом ПО ARSCIS является ядро, выполняющее управляющие и координирующие действия, связанные с вычислительным процессом, а также осуществляющее многопоточную работу и поддержку режима реального времени. Основные этапы обработки и анализа изображений реализованы в алгоритмической подсистеме, функции сбора информации выполняются аппаратной подсистемой ARSCIS (рис.2-а).

Взаимодействие алгоритмической подсистемы и ядра ПО ARSCIS осуществляется посредством диспетчера алгоритмов, выполняющего подключение алгоритмических модулей и управление вычислительным потоком.

На основе диаграммы параллельной кооперации (рис.2-б) и теории анализа последовательности событий даны рекомендации определения планируемости и выведен ряд вспомогательных формул, учитывающих особенности смеси задач ПО ARSCIS, позволивших упростить процесс определения планируемости и совместно с тестированием производительности подтвердить соответствие функционирования ПО ARSCIS режиму реального времени.

Спроектированная архитектура ARSCIS может быть успешно применена для создания ПО ОЭСК различного назначения, а также позволяет: за счет унифицированных интерфейсов осуществлять подключения различных алгоритмов и дополнительного оборудования без модификации и перекомпиляции всего ПС;

производить адаптивную настройку алгоритмической и аппаратной подсистем в ходе функционирования ПС; осуществлять сбор исторической информации, позволяющей повысить эффективность принятия решений в задачах обработки и анализа последовательности изображений.

Рис. 2 Диаграммы а) классов алгоритмической и аппаратной подсистем, б) Выбран профиль стандартов, подходы и средства, использованные при разработке ПО ARSCIS, позволившие достичь высокого качества процессов конструирования. Оценена сложность разработанного ПО ARSCIS, в частности число строк кода ПО ARSCIS (LOC метрика) на языке “С++” составляет 4,4 10 4.

Сформирована стратегия контроля качества, включающая процедуры ручного контроля, аналитической верификации и тестирования. Проведено модульное, интеграционное и системное тестирование ПО ARSCIS, позволившее выявить ряд критических ошибок и дефектов, проверить правильность функционирования ПМ ARSCIS вида Pэ, а также оценить ряд важных показателей качества ПО ОЭСИ ЖТ.

В целях автоматизации и повышения эффективности тестирования ПМ ARSCIS спроектированы и реализованы унифицированные тестовые классы, позволяющие формировать тестовые наборы значительной мощности.

На базе опытно-конструкторского образца ARSCIS, установленного на станции Череповец СЖД и функционирующего в режиме реального времени, а также лабораторного образца, моделирующего ситуацию ввода “живого видео” с помощью avi-файлов, проведены экспериментальные исследования позволившие оценить достигнутые значения показателей качества ПО ARSCIS. Опытноконструкторский образец представлен черно-белой промышленной телекамерой (KPC 383C), устройством позиционирования объектов ЖТ (ДПВ02, НЭП-51-П), ПЭВМ (iCeleron 2,4ГГц, 256Мб ОЗУ) оборудованную платой видеозахвата (AverMedia TV Capture BT878), осветителями и оптоволоконными телекоммуникационные соединениями. Лабораторный образец представлен ПЭВМ (iPentium3 800МГц, 384 Мб ОЗУ).

Достигнутые значения показателей качества, отражающие в соответствии со стандартом ISO 9126 качество ПО ARSCIS, соответствуют уровню, заданному в спецификации требований. В частности, предложенные методы и средства позволили повысить значения таких показателей качества, как: степень покрытия ПМ тестами S мар = 73,8%, степень верификации ПМ, реализующих алгоритмы обработки и анализа изображений (библиотека повторно используемых компонентов “ImProc.lib”) S вер = 98,3%, наработка на отказ [180,1 15,1; 180,1 + 15,1] часа, относительное время работоспособного функционирования (коэффициент готовности) k гот = 99,95%.

На примере ПМ ARSCIS, реализующих алгоритмы обработки и анализа изображений, апробированы и продемонстрирована эффективность предложенных методов и средств контроля качества ПС ОАИ о чем свидетельствуют высокие достигнутые значения соответствующих показателей качества ПС.

В пятой главе оценена эффективность и влияние предложенных методов и средств разработки и контроля качества ПС ОАИ на соответствующие показатели процесса разработки и качества таких ПС ОАИ, как: ПО ARSCIS, ПО ReCar и ПО ОЭСК качества листового металлопроката (табл.1).

Так, например, метод формализованного описания трудно формализуемых спецификаций позволяет снизить трудоемкость функционального тестирования ПМ ОАИ; метод поиска источника ошибки снижает трудоемкость отладки ПМ ОАИ, реализующих эвристические алгоритмы; способ верификации позволяет повысить степени верификации и тестового покрытия ПС ОАИ; а способ тестирования завершаемости повышает значение показателя наработки на отказ, что в свою очередь приводит к повышению коэффициента готовности (в частности, для ПО ARSCIS коэффициент готовности увеличивается на 0,03 % и составляет 99,95%).

Оценка влияния предложенных методов и средств разработки и контроля качества ПС ОАИ на соответствующие показатели процесса разработки и качества ПП Характеристики Трудоемкость покрытия ПС Наработка на Результаты проведённых исследований подтверждают преимущества разработанных методов и средств разработки и контроля качества ПС ОАИ по критериям трудоемкости тестирования и отладки, показателям корректности (степени верификации и покрытия тестами) и надежности (наработка на отказ и коэффициент готовности).

В заключении подводятся итоги работы, формулируются основные выводы.

В приложениях приводятся примеры применения предложенных методов разработки и контроля качества ПО ОАИ, вспомогательные архитектурные диаграммы, а также данные, полученные в ходе экспериментальных исследований.

ВЫВОДЫ И РЕЗУЛЬТАТЫ

Предложены методы разработки и контроля качества ПС ОАИ, позволяющие повысить эффективность процессов разработки и контроля качества ПС ОАИ путем учета специфических особенностей решаемых, плохо формализуемых задач и используемого алгоритмического обеспечения различных этапов обработки и анализа изображений.

Основные выводы и результаты работы сводятся к следующему:

1. Предложен метод формализованного описания спецификаций алгоритмов и ПМ ОАИ, включающий способ описания трудно формализуемых понятий при помощи формируемого экспертом массива прецедентов. Метод позволяет снизить трудоемкость фазы тестирования ПС ОАИ за счет автоматизации процедур контроля качества. Разработан специализированный ПМ, поддерживающий и автоматизирующий процесс формирования экспертом массива прецедентов значительной мощности.

2. На основе предложенного метода сформированы унифицированные системы формализованных спецификаций для основных ПМ ОЭСИ ТС и ОЭСК качества поверхности листового металлопроката, которые могут быть широко использованы при разработке алгоритмического и программного обеспечения подобных систем технического зрения.

3. Предложен метод поиска источника ошибки в ПМ, реализующем эвристический алгоритм анализа изображений, позволяющий сделать процесс отладки более управляемым и сократить трудоемкость отладки.

4. На основе классических методов Флойда и Хоара предложен способ верификации программ, позволяющий обосновывать корректность программ, содержащих подпрограммы, массивы и особые операторы, и соответственно повысить степень корректности ПС ОАИ (степень верификации и тестового покрытия).

5. Предложен способ тестирования завершаемости циклических структур обработки массивов видеоданных и списков возможных решений, учитывающий специфику циклов ПМ ОАИ, позволяющий повысить качество создаваемых ПС ОАИ за счет увеличения степени надежности (наработка на отказ).

6. Синтезирована модель жизненного цикла (ЖЦ) ПС ОАИ, учитывающая особенности подобных ПС. Даны практические рекомендации по выбору и применению методов и средств выполнения основных фаз жизненного цикла 7. Предложена методика обоснования конструктивной правильности ПМ, реализующего эвристический алгоритм.

8. Применение предложенных в работе методов и средств разработки и контроля качества ПС ОАИ детально продемонстрировано на примере проекта по созданию ПО ОЭСИ объектов подвижного состава ЖТ - ARSCIS. Даны практические рекомендации по формированию спецификаций качества и комплексной стратегии контроля качества, оценке сложности и достигнутого уровня качества созданного ПС и ему подобных. Разработан набор тестовых классов, упрощающих процесс тестирования ПО ОЭСИ ТС.

9. Разработана открытая объектно-ориентированная архитектура (графическая модель, представленная средствами языка моделирования UML) ПО ОЭСИ объектов подвижного состава ЖТ. Архитектура обеспечивает возможности:

подключения обновленных и дополнительных алгоритмов и оборудования без модификации и перекомпиляции всего ПС; адаптивной настройки алгоритмической и аппаратной подсистем в ходе функционирования ПС; сбора исторической информации, позволяющей повысить эффективность принятия решений в задачах обработки и анализа последовательности изображений.

Архитектура может быть широко использована при разработке ПО систем контроля с функциями обработки и анализа изображений различного назначения.

10. Предложенные в работе методы и средства разработки и контроля качества ПС ОАИ используются в научно-производственной компании “Малленом” (г.

Череповец) в качестве базовых при организации процесса разработки ПО ОЭСК различного назначения, что подтверждается актами о внедрении. При непосредственном участии автора на базе этой компании были созданы и внедрены следующие системы: ОЭСИ движущихся автотранспортных средств – ReCar, ОЭСИ объектов подвижного состава ЖТ – ARSCIS, оптоэлектронный дефектоскоп листового металлопроката.

11. Результаты исследований используются в учебном процессе ИМИТ СПбГПУ в рамках дисциплины “Обеспечение качества программных продуктов”, в соответствующих разделах дисциплин “Технология разработки ПО” и “Компьютерная графика” для специальности 230105 – Программное обеспечение вычислительной техники и автоматизированных систем.

СПИСОК ОПУБЛИКОВАННЫХ РАБОТ

1. Балыков Е.А., Еремин С.Н., Малыгин Л.Л., Михайлов А.Е., Царев В.А. Об использовании технологии обработки изображений в системах контроля движущихся транспортных средств // Информационные технологии в производственных, социальных и экономических процессах. Инфотех - 2001:

Материалы Международной научно-технической конференции. – Череповец:

ЧГУ, 2002, с. 160-163.

2. Балыков Е.А., Михайлов А.Е., Царев В.А. Использование нейронных сетей в задаче обнаружения и сопровождения движущихся транспортных средств по последовательности видеоизображений // Информационные технологии в производственных, социальных и экономических процессах. Инфотех - 2001:

Материалы Международной научно-технической конференции. – Череповец:

ЧГУ, 2002, с. 163-165.

3. Балыков Е.А., Михайлов А.Е., Царев В.А. О решении задачи обнаружения и сопровождения движущихся транспортных средств при помощи нейросетей // Образование, наука, бизнес. Особенности регионального развития и интеграции: Сборник трудов Межвузовской научно-методической конференции. - Череповец: ЧФ СПбГПУ, 2002, c. 48-52.

4. Балыков Е.А., Еремин С.Н., Малыгин Л.Л. Михайлов А.Е., Царев В.А.

Аппаратно-программный комплекс «ReCar» // Образование, наука, бизнес.

Особенности регионального развития и интеграции: Сборник трудов Межвузовской научно-методической конференции. – Череповец: ЧФ СПбГТУ, 2002, с. 62-66.

5. Балыков Е.А., Царев В.А.. О задаче построения множества опорных кадров в системе идентификации объектов железнодорожного транспорта // Образование, наука, бизнес. Особенности регионального развития и интеграции: Сборник трудов Межвузовской научно-методической конференции. - Череповец: ИМИТ СПбГПУ, 2003, с. 228-231.

6. Балыков Е.А., Царев В.А. Тест-ориентированное программирование // Материалы XXXII военно-научной конференции молодых специалистов института – Череповец: ЧВИИРЭ, 2004, с. 78- 79.

7. Балыков Е.А., Царев В.А. Программное обеспечение системы идентификации объектов подвижного состава железнодорожного транспорта // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса – конференции студентов и молодых ученых Северо-Запада. – СанктПетербург: СПбГПУ, 2004, с. 68-70.

8. Балыков Е.А. Виды, способы и примеры тестирования прикладного программного обеспечения // Образование, наука, бизнес: особенности регионального развития и интеграции: сборник трудов Всероссийской научнометодической конференции. – Череповец: ИМИТ СПбГПУ, 2004, с. 240-245.

9. Балыков Е.А., Царев В.А. Особенности разработки и тестирования программного обеспечения оптико-электронных систем идентификации движущихся транспортных средств // Оптические, радиоволновые и тепловые методы и средства контроля качества материалов, промышленных изделий и окружающей среды. Труды IX международной научно-технической конференции. – Ульяновск: Изд. УлГТУ, 2004, с. 132-137.

10. Балыков Е.А. Царев В.А. Верификация программных модулей обработки и идентификации движущихся транспортных средств // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса – конференции студентов и молодых ученых Северо-Запада. – Санкт-Петербург:

СПбГПУ, 2005, с. 152-153.

11. Балыков Е.А., Царев В.А. Решение проблемы построения трудно формализуемых спецификаций на основе экспертных оценок // Технологии Microsoft в теории и практике программирования: Материалы межвузовского конкурса – конференции студентов и молодых ученых Северо-Запада. – СанктПетербург: СПбГПУ, 2005, с. 153-154.

12. Балыков Е.А. Особенности поиска источника ошибки в программе, реализующей эвристический алгоритм // Образование, наука, бизнес.

Особенности регионального развития и интеграции: Сборник трудов Всероссийской научно-практической конференции. - Череповец: ИМИТ СПбГПУ, 2005, с. 238-242.

13. Балыков Е.А., Кузьмина С.А. Электронное учебно-методическое пособие по дисциплине “Компьютерная графика” – М.: ВНТИЦ, 2005. - №50200501627.

14. Балыков Е.А., Михайлов А.Е., Царев В.А. Оптико-электронные системы идентификации движущихся транспортных средств: назначение, состав, особенности проектирования и программной реализации // Научно-технические ведомости СПбГПУ, №3, 2005, с. 40-48.

15. Balykov E., Tsarev V. Software quality assurance of vehicle optoelectronic identification systems // 7th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-7-2004). St. Petersburg, October 18-23, 2004. Conference Proceedings (Vol.I-III), Volume II., St. Petersburg, SPbETU, 2004. pp. 422 – 425.

16. Balykov E., Gorbachev A., Mikhailov A., Tsarev V., Vesnin E. Automated rolling stock car identification system // 7th International Conference on Pattern Recognition and Image Analysis: New Information Technologies (PRIA-7-2004). St. Petersburg, October 18-23, 2004. Conference Proceedings (Vol.I-III), Volume III., St. Petersburg, SPbETU, 2004. pp. 1008 – 1009.

17. E.A.Balykov, V.A.Tsarev. Software quality assurance for optoelectronic identification systems // Pattern recognition and image analysis, Vol.15, No.2, 2005.

pp.355-357.

Подписано в печать. Формат 60x84/16. Печать офсетная.

Отпечатано с готового оригинал-макета, предоставленного автором, в типографии ЧВИИРЭ, 162622, г. Череповец, Советский проспект, 126.