На правах рукописи

Макаров Сергей Львович

АВТОМАТИЗАЦИЯ АНАЛИЗА ПРОЕКТНЫХ РЕШЕНИЙ

С ПРИМЕНЕНИЕМ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ

ИНФОРМАЦИИ

Специальность 05.13.12 – Системы автоматизации проектирования

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва – 2009

Работа выполнена в Московском государственном институте электроники и математики на кафедре "Вычислительная техника".

Научный руководитель: доктор технических наук, профессор Митрофанов Сергей Александрович.

Официальные оппоненты: доктор технических наук, профессор Саксонов Евгений Александрович, кандидат технических наук, профессор Авдошин Сергей Михайлович.

Ведущая организация: ФГУ ГНИИ ИТТ «Информика».

Защита состоится 24 ноября 2009 г. в 14 часов на заседании диссертационного совета Д 212.133.03 в Московском Государственном Институте Электроники и Математики по адресу: 109028, Москва, Большой Трехсвятительский пер., д.3.

С диссертацией можно ознакомиться в библиотеке Московского Государственного Института Электроники и Математики.

Автореферат разослан «» октября 2009 г.

Учёный секретарь диссертационного совета Леохин Ю.Л.

Д 212.133.03, кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Для решения задачи анализа проектных решений для новых объектов используются различные методы. Однако практически ни один из существующих методов не анализирует новационность предлагаемых проектных решений, т.е. новизну, которая является главным звеном инновационной деятельности. В настоящий момент практически не существует программного обеспечения, осуществляющего автоматизированный анализ проектного решения с точки зрения новационности, работающего с неструктурированными источниками информации. Существующее же программное обеспечение не решает полностью задачу автоматизации анализа проектных решений.

Особенно остро нехватка таких программных средств ощущается в области экспертизы инновационных проектов. В области анализа проектных решений существует ряд проблем, разрешение которых является весьма актуальным, так как число новых проектных решений, лежащих в основе инновационных проектов, растёт с каждым годом, и возможно только на основе автоматизации всего процесса анализа проектных решений, которая позволяет повысить эффективность принимаемых проектных решений, сократить сроки создания и ввода в эксплуатацию новых объектов и ускорить научно-технический прогресс в различных отраслях промышленности.

Цели и задачи. Целью работы является повышение эффективности анализа проектных решений на основе автоматизации этого анализа с применением методов интеллектуальной обработки информации. Это предполагает решение следующих задач:

исследование существующих методов анализа проектных решений;

исследование проблемы анализа новизны проектных решений;

обзор методов и средств анализа текстовых документов и выбор одного такого средства для работы с текстовым описанием проектных решений;

исследование существующих информационно-поисковых систем;

разработка методики автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет;

разработка методики автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа;

разработка методики автоматизированного формирования экспертного заключения по проектам в инновационной сфере;

разработка типовой структуры программного обеспечения автоматизированного анализа проектных решений;

создание программных средств, реализующих разработанные методики.

Областью исследования данной диссертационной работы является разработка и исследование моделей, алгоритмов и методов для синтеза и анализа проектных решений.

Объектами теоретического исследования являются методы обработки текстов на естественном языке, методы анализа проектных решений, методы сравнения документов, а также методы построения информационных запросов.

Объектами экспериментального исследования являются информационное и программное обеспечение анализа проектных решений, различные поисковые механизмы сети Интернет, а также разработанные программные модули системы автоматизированного анализа проектных решений.

Методы исследования. При проведении исследований в работе использовались: технологии визуального и web-программирования, методы математического программирования, аппарат теории множеств, алгебраические методы, кластеризация по методу дальнего соседа, методы получения словосочетаний для русского языка, методы построения запросов.

Основные положения, выносимые на защиту:

1. Методика автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет.

2. Формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа 3. Методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере.

4. Типовая структура программного обеспечения автоматизированного анализа проектных решений.

5. Программный комплекс автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет.

6. Программный комплекс автоматизированного формирования экспертного заключения по проектам в инновационной сфере.

7. Программный модуль сравнения двух текстовых документов.

Научная новизна. Научная новизна работы заключается в следующем:

1. Разработана методика автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет.

2. Разработана формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа.

3. Разработана адаптируемая методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере.

Теоретическая ценность. Теоретическая ценность работы заключается в следующем:

1. Созданы методические основы интеллектуализации анализа новизны проектных решений, инвариантные к предметной области.

Практическая значимость. Практическая значимость работы заключается в следующем:

1. Разработанная типовая структура программного обеспечения автоматизированного анализа проектных решений позволяет создавать подобное программное обеспечение для других предметных областей.

2. Проведён ряд экспериментов, доказывающих, что программное обеспечение автоматизированного анализа проектных решений, построенное в соответствии с впервые предложенными методиками, повышает эффективность этого анализа по сравнению с существующими методами этого анализа. Таким образом, усовершенствован процесс анализа проектных решений за счёт повышения качества информационного обеспечения принимаемых решений.

3. Программные средства, реализующие методику автоматизированного анализа проектных решений, инвариантны к предметной области и могут использоваться как информационно-аналитическая система поиска аналогов введенного в систему текста.

4. Программный модуль лингвистической обработки текстовых документов с возможностью выбора анализируемых частей речи и глубины поиска словосочетаний позволяет анализировать любые текстовые документы и предоставлять статистику по терминам для документа.

Этот модуль был внедрён рамках научно-исследовательских работ по теме "Научно-методическое обеспечение создания национального информационного центра по мониторингу приоритетных направлений развития науки, технологий и техники в области живых систем" ВИНИТИ РАН (период 05 августа 2005 г. - 08 декабря 2006 г.), 5. Программный модуль сравнения двух документов с возможностью варьирования глубины анализа, с помощью которого было проведено исследование эффективности пяти информационно-поисковых систем, может быть использован для сравнения текстовых документов с целью выявления степени совпадения.

6. Программный модуль перевода содержания таблиц баз данных заданного формата в html-форму позволяет быстро размещать таблицы в 7. Разработанное программное обеспечение автоматизированного формирования экспертного заключения по инновационным проектам было внедрено в рамках научно-исследовательских работ по автоматизации синтеза экспертного заключения по инновационным проектам, заявки с описанием которых подаются для участия в программе «СТАРТ» государственного Фонда содействия развитию малых форм предприятий в научно-технической сфере.

8. Результаты работы также внедрены в рамках учебного процесса по дисциплине "Информационные системы" на кафедре "Вычислительная техника" МИЭМ.

Обоснованность и достоверность теоретических выводов и практических рекомендаций определяется корректностью математических выкладок, использованием апробированных методов математического и компьютерного моделирования, а также положительным опытом применения и улучшением известных и выявленных критериев и оценок при проведении экспериментов по оценке эффективности предложенных методик автоматизированного анализа проектных решений с помощью программного обеспечения, реализующего эти методики на конкретных наборах текстовых документов-заявок, которые подаются для участия в программе «СТАРТ» государственного Фонда содействия развитию малых форм предприятий в научно-технической сфере.

Реализация результатов. Результаты работы реализованы в виде программных компонент, которые могут быть использованы и в других областях при создании информационно-аналитических компонент и систем, и внедрены в рамках научно-исследовательских работ по теме "Научно-методическое обеспечение создания национального информационного центра по мониторингу приоритетных направлений развития науки, технологий и техники в области живых систем" ВИНИТИ РАН (период 05 августа 2005 г. - 08 декабря 2006 г.), а также – в рамках научно-исследовательских работ по автоматизации синтеза экспертного заключения по инновационным проектам, заявки с описанием которых подаются для участия в программе «СТАРТ» Фонда содействия развитию малых форм предприятий в научно-технической сфере. Модуль сравнения терминологических портретов двух документов зарегистрирован в Роспатенте в сентябре 2008 года (С №2008614408). Результаты работы также внедрены в рамках учебного процесса по дисциплине "Информационные системы" на кафедре "Вычислительная техника" МИЭМ.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на научно технических конференциях студентов, аспирантов и молодых специалистов МИЭМ, Москва 2003 г., 2004 г., 2005 г., 2006 г. 2009 г.;

IV, V, VII межвузовских ежегодных научно-практических конференциях "Информационные технологии XXI века", X международной научно-практической конференции "Наука – сервису", VI студенческой межвузовской конференции "Информационные системы будущего" ИИТ МГУС, Москва 2003 г., 2005 г.;

научно-технической конференции студентов, аспирантов и молодых специалистов "Информационные технологии в бизнесе", ГУ ВШЭ, Москва 2006 г, IV международной научно-технической конференции "Искусственный интеллект в XXI веке. Решения в условиях неопределённости", Пензенская государственная технологическая академия, АНОО "Приволжский Дом Знаний" Пенза 2006 г., а также на заседаниях кафедры "Вычислительная техника" МИЭМ в 2005 – гг.

Публикации. По материалам диссертационной работы опубликовано печатных работ, в том числе 3 статьи в журналах ВАК и 12 трудов отечественных и международных научно-технических конференций.

Структура работы. Диссертационная работа состоит из введения, 4 глав, заключения, списка литературы (87 наименований) и 5 приложений. Основное содержание диссертации изложено на 170 страницах, включая 5 таблиц, 38 рисунков; приложения содержат 127 страниц, включая 3 акта внедрения и 1 свидетельство о регистрации программы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулированы цель и задачи исследования, его новизна и практическое значение, области и методы исследования, положения, выносимые на защиту, обоснованность и достоверность, а также реализация и апробация работы. Кратко изложено содержание диссертации по разделам.

В первой главе проводится обзор существующих методов анализа проектных решений для новых объектов, из которого формируется проблема анализа новизны проектируемого объекта и проектных решений. Формулируются основные проблемы области анализа проектных решений. Рассматривается проблема анализа новизны проектных решений, особенности которой приводят к необходимости анализа существующих методов и средств лингвистической обработки текстовых электронных документов и выбора такого средства для дальнейшей работы. Выделяются проблемы анализа неструктурированных информационных источников, рассматриваются особенности анализа инвестиционно-инновационных проектов. В конце главы формулируются выводы, и на основе проведённого обзора существующих методов и средств анализа проектных решений определяются критерии повышения эффективности этого анализа, а также формируются цель и задачи исследования.

Во второй главе предлагается структура программного комплекса автоматизации анализа проектных решений, разрабатывается модель программного комплекса и модели объекта исследования этого комплекса как новации, а также рассматриваются компоненты программного комплекса, приводятся терминологическая и векторная модель документов, методы кластеризации и оценки степени схожести различных документов, рассматривается и исследуется лингвистическая модель выделения многословных терминов. В конце второй главы формулируются выводы о составе программного комплекса автоматизации анализа проектных решений и о функциях такого комплекса.

Предложенная типовая структура программного комплекса состоит из обязательных и необязательных элементов. Обязательными являются лингвистический модуль, средство формирования запросов, средство поиска аналогов и средство обработки и выдачи результатов. Лингвистический модуль состоит из модуля выделения определённых частей речи и модуля формирования словосочетаний, в который заложена следующая модель поиска словосочетаний:

где T1i - словарная форма 1-го термина i-го порядка (термин, употреблённый в именительном падеже единственном числе); Tki 1 - словарная форма термина iго порядка; p – прилагательное, причастие или числительное в именительном падеже, род и число которого совпадают с родом и числом термина, к которому оно присоединяется для образования многословного термина; z – предлог, соответствующий падежу термина, перед которым он употребляется; Z – множество предлогов; Z j - множество предлогов для j-го падежа, Z j Z ; t 1 - 1-й термин, состоящий из i слов, употреблённый в падеже с номером j и числе, обозначенном k; j 1,2,3,4,5,6; k ; T1i t 1 ; N i - множество терминов i-го порядка.

Модуль сравнения двух текстовых документов функционирует согласно следующей модели:

где d1=(d11,d12,…,d1Nt) и d2=(d21,d22,…,d2Nt) – векторы документов d1j и d2j, j 1, N t – значения j-го термина в документах d1 и d2; Nt – общее количество разных терминов во всех документах.

В третьей главе рассматриваются методики, составляющие научную новизну работы, а также проводится исследование пяти информационнопоисковых систем с целью выявления подходящей для реализации поисковых этапов методик системы.

Методика автоматизированного анализа проектных решений для новых объектов с использованием контента сети Интернет состоит из следующих этапов:

Выбор текстового описания анализируемого проектного решения пользователем и загрузка в систему.

Анализ текстового описания анализируемого проектного решения.

Формирование запросов для поискового механизма.

Поиск в Интернете аналогов проектного решения.

Сравнение найденных аналогов и проанализированного описания Выбор тех аналогов, степень совпадения которых с анализируемым проектным решением выше определённого порога.

Выдача всех выбранных аналогов как результата работы системы Методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа заключается в следующем. Запросы формируются по найденным ранее спискам терминов и словосочетаний.

Модель. Каждый запрос формируется согласно формуле где qi – i-й запрос к поисковому механизму, tj – j-й термин из списка, N – количество терминов из частотного списка (термины берутся из начала, т.е.

наиболее встречаемые). Кроме того, ещё один запрос строится из ключевых где qi – i-й запрос к поисковому механизму, wj – j-е ключевое слово из списка, M – количество ключевых слов.

где qj – j-й запрос к поисковому механизму, qw – запрос по ключевым словам, D – количество разновидностей терминов (однословные, двухсловные и т.д.), или глубина анализа текста.

Методика автоматизированного формирования экспертного заключения по проектам в инновационной сфере состоит из следующих этапов:

Формирование базы правил оценки заявки.

Анализ разделов заявки с помощью заранее определённых правил (которые могут настраиваться пользователем).

Анализ отложенных разделов (новизны проекта с помощью контента сети Интернет) с помощью заранее определённых правил (которые также могут настраиваться пользователем).

Получение результирующих оценок и описаний оценок.

Получение суммарной оценки и генерация экспертного резюме программы.

Вывод результатов в файл / на экран.

документа и запроса процент совпадения Рис. 1. Распределение документов по однословным терминам в результатах На рисунке 1 представлен один из результатов исследования поисковых систем по формулам (1) и (2), показывающий несовершенство этих систем.

Результаты исследования поисковых систем позволили выбрать наиболее подходящее средство поиска в Интернете для решения поставленной задачи поиска аналогов проектного решения в сети Интернет.

В четвертой главе рассматриваются полученные в результате реализации предложенных методик программные комплексы и модули, использование разработанных методик и моделей для решения практических задач, реализация и предпосылки создания вспомогательных модулей при внедрении результатов работы в рамках различных научно-исследовательских работ на предприятия и организации, а также результаты многочисленных экспериментов, проведённых с помощью разработанного программного обеспечения и доказывающих эффективность предложенных методик автоматизации анализа проектных решений.

Согласно проведённому эксперименту, а также другим подобным экспериментам были получены следующие результаты:

1. Трудоёмкость экспертизы. У одного эксперта на рассмотрение заявки по программе «СТАРТ» уходит 120 минут. У программы, реализующей разработанную методику, рассмотрение той же заявки заняло 30 минут при условиях, указанных в примечаниях 1 и 2 к таблице 2. Количество найденных аналогов проектного решения. Один эксперт знает от 5 до 10-15 аналогов (на память, не пользуясь компьютером). Программа, реализующая разработанную методику, «знает» о 120 аналогах при следующих условиях (настройках): учитывать страницы результата поиска системой Yandex, анализировать одно-, двух- и трёхсловные термины + ключевые слова.

3. Количество ненайденных экспертом аналогов. Эксперт не знает – аналогов. Программа может найти от 5 до 40 аналогов при следующих условиях (настройках): учитывать 1 страницу результата поиска системой Yandex, анализировать одно-, двух- и трёхсловные термины + 4. Ресурсное обеспечение экспертизы (кадровое, финансовое, материальное). Для заявки привлекаются от 5 экспертов (по количеству общих разделов заявки). Программе не требуются эксперты (0, в Полученные результаты доказывают эффективность разработанной методики, так как программный комплекс автоматизированного формирования экспертного заключения построен на её основе, и анализ проектных решений усовершенствован в части минимизации 1 и 4 критериев, максимизации 2 критерия и реализации 3 критерия.

В заключении подводятся итоги проделанной работы. Перечисляются основные результаты диссертации и следующие из них выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. На основе проведенного анализа существующих информационноаналитических систем предложена классификация компонент таких систем, а значит и программного комплекса автоматизации анализа проектных решений на необходимые и опциональные.

2. Разработана типовая информационно-аналитическая компонента программного комплекса автоматизации анализа проектных решений, включающая сведения о предметной области, инновационных и традиционных свойствах проектируемого объекта.

3. Впервые разработана методика автоматизации анализа проектных решений для новых объектов с использованием информационного контента сети Интернет.

4. Впервые разработана формализованная методика автоматизированного построения поисковых запросов для контекстного поиска аналогов текстового документа в сети Интернет по результатам лингвистического частотного анализа этого документа.

5. Впервые разработана адаптируемая методика автоматизированного формирования экспертного заключения по проектам в инновационной 6. На основе исследования поисковых систем выбрана система, наиболее подходящая для поиска аналогов в сети Интернет.

7. Разработана типовая структура программного обеспечения автоматизированного анализа проектных решений.

8. Разработаны программные средства, реализующие предложенные принципы, методы, методики и модели автоматизации анализа проектных решений, а именно:

разработан программный модуль лингвистической обработки текстовых документов с возможностью выбора анализируемых частей речи;

на основе лингвистического модуля разработан программный модуль сравнения двух документов с возможностью варьирования глубины анализа, с помощью которого было проведено исследование эффекразработан программный модуль перевода содержания таблиц баз данных заданного формата в html-форму;

разработан программный комплекс автоматизированной оценки степени новизны любого текстового документа, результатом работы которой является список найденных в Интернет аналогов и степень их совпадения с этим документом;

разработан программный комплекс автоматизированного синтеза экспертного заключения по инновационным проектам программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере.

9. Проведена апробация (внедрение) программных средств на нескольких наборах текстов определённого формата и на текстах по живым системам в рамках научно-исследовательской работы в ВИНИТИ 10. Проведена апробация (внедрение) системы автоматизированного синтеза экспертного заключения по инновационным проектам программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере на большом количестве заявок по данной программе.

11. Результаты диссертационной работы внедрены в учебный процесс в рамках учебного курса "Информационные системы" на кафедре "Вычислительная техника" МИЭМ.

12. За счёт разработанных методик автоматизации анализа проектных решений осуществлено совершенствование процессов проектирования новых объектов, в частности: уменьшено время принятия решения программным комплексом или экспертом, пользующимся результатами работы программного комплекса, расширено поле поиска аналогов проектных решений за счёт привлечения контента сети Интернет, 13. Поведёны многочисленные эксперименты с реальными файлами заявок программы "СТАРТ" Фонда содействия развитию малых форм предприятий в научно-технической сфере, доказывающие эффективность разработанных и воплощённых в соответствующие программные средства методик автоматизированного анализа проектных решений.

14. Модуль сравнения терминологических портретов двух документов зарегистрирован в Роспатенте в сентябре 2008 года (С №2008614408).

В приложении А рассмотрены модули лингвистической обработки тестовых документов.

В приложении Б рассмотрены некоторые существующие информационно-аналитические системы.

поисковые системы.

В приложении Г представлен тестовый набор из трёх классов документов, на основе которого проводилось исследование и апробация созданного лингвистического модуля.

В приложении Д приведён список опубликованных работ по теме диссертации, а также в качестве приложений представлены 3 акта внедрения и свидетельство о регистрации программы.

ПЕРЕЧЕНЬ ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Митрофанов С.А., Макаров С.Л. Программный комплекс автоматизированного синтеза экспертного заключения по инновационным проектам (на примере проектов программы «СТАРТ») // СПб. : Инновации, №8, 2009. Статья в процессе публикации. (Соискателю принадлежит разработка программного комплекса, 2. Макаров С.Л. Анализ информации в инвестиционноинновационной деятельности на основе технологий интеллектуальных агентов / гл. ред. Азаров В.Н.; научн. ред. Леохин Ю.Л. // Качество, инновации, образование. М. : Фонд "Европейский центр по качеству", №8, 2007. С. 17 – 21.

3. Макаров С.Л. Исследование методов повышения качества работы информационно-поисковых систем / гл. ред. Азаров В.Н.; научн.

ред. Леохин Ю.Л. // Качество, инновации, образование. М. : Фонд "Европейский центр по качеству", №1, 2008 г. С. 35 – 39.

4. Макаров С.Л. Информационная модель Web-ресурса Интернет : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М. : Московский государственный институт электроники и математики (технический университет), 2003 г. С. 498 – 499. ISBN 5-94506-017-8.

5. Макаров С.Л., Мальцева С.В. Применение информационного моделирования при разработке и модернизации Web-ресурсов Интернет :

Информационные технологии XXI века. Материалы IV межвузовской ежегодной научно-практической конференции 28 марта 2003 года / под ред. Ананьевой Т.Н. М. : Институт информационных технологий МГУ сервиса, 2003 г. С. 21 – 23. 150 экз. (Соискателю принадлежит реализация идеи информационного моделирования).

6. Макаров С.Л. Автоматизация анализа содержания документов : Информационные технологии XXI века. Материалы V межвузовской научно-практической конференции 19 декабря 2003 года / под ред.

Ананьевой Т.Н. М. : Московский государственный университет сервиса, 2003 г. С. 54 – 58. 500 экз. ISBN 5-94845-087-2.

7. Макаров С.Л. Применение технологий добычи данных в неструктурированных информационных источниках для анализа проектной документации : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М. : Московский государственный институт электроники и математики (технический университет), 2004 г. С.

136 – 138. 40 экз. ISBN 5-94506-039-9.

8. Макаров С.Л. Применение интеллектуальных агентов Интернет для анализа проектов : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н. Азаров, Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М. : Московский государственный институт электроники и математики (технический университет), 2005 г. С. 91. 40 экз. ISBN 5-94506-106-9.

9. Макаров С.Л. Применение интеллектуальных агентов Интернет при создании информационного обеспечения аналитических систем : материалы VI межвузовской студенческой научно-практической конференции "Информационные системы будущего" / под ред. Ананьевой Т.Н. М. : ГОУВПО "МГУС", 2005 г. С. 11 – 13. 100 экз.

10. Макаров С.Л. Применение программ лингвистического анализа при проектировании информационно-аналитических систем : материалы VII межвузовской научно-практической конференции "Информационные технологии XXI века" / под ред. Ананьевой Т.Н. М.: ГОУВПО "МГУС", 2005 г. С. 45 – 49. 100 экз.

11. Макаров С.Л. Особенности анализа проектной информации в инвестиционно-инновационной деятельности : Наука – сервису. X-я международная научно-практическая конференция 21 октября 2005 года.

Материалы секций: "Информационные технологии в сфере сервиса", 12. Макаров С.Л. Возможность создания средства проектирования информационно-аналитических систем : Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Борисов Н.И., Карасев М.В., Кечиев Л.Н., Смирнов И.С., Титкова Н.С. М.: Московский государственный институт электроники и математики (технический университет), 2006 г. С. 130 – 131. ISBN 5-94506-137- 13. Макаров С.Л. Разработка средств автоматизированного проектирования информационно-аналитических систем : Научно-техническая конференция студентов, аспирантов и молодых специалистов "Информационные технологии в бизнесе". 21 марта 2006 г. / под ред. Никитина В.В. М.: ГУ ВШЭ, 2006 г. С. 123 – 127. 150 экз.

14. Макаров С.Л. Проектирование информационно-аналитической системы на базе мультиагентных технологий : сборник статей IV Международной научно-технической конференции "Искусственный интеллект в XXI веке. Решения в условиях неопределённости" / под ред. Левина В. И. Пенза : Пензенская государственная технологическая академия;

АНОО "Приволжский Дом Знаний", 2006 г. С. 46 – 47. ISBN 5-8356Макаров С.Л. Методика автоматизированного проектирования экспертного заключения по инновационным проектам : Научнотехническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов / ред. коллегия: Азаров В.Н., Бородулин И.Н., Карасев М.В., Кечиев Л.Н., Никольский С.Н., Смирнов И.С., Титкова Н.С. М.: Московский государственный институт электроники и математики (технический университет), 2009 г. С. 89. ISBN 978-5-94506-222-1.