На правах рукописи

ТАЛИМАНЧУК Людмила Леонидовна

Метод интеллектуализации оценки научноисследовательской деятельности высших учебных

заведений на основе искусственных нейронных сетей

Специальность 05.13.01

Системный анализ, управление и обработка информации

(информатика, управление и вычислительная техника)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2011

Работа выполнена на кафедре "Системы автоматического и интеллектуального управления" Московского авиационного института (государственного технического университета, МАИ).

Научный руководитель: доктор технических наук, профессор Зайцев Александр Владимирович

Официальные оппоненты: доктор технических наук, профессор Хахулин Геннадий Фёдорович доктор технических наук, профессор Ванюрихин Геннадий Иванович

Ведущая организация: ОАО «Институт точной механики и вычислительной техники имени С.А.Лебедева»

(ИТМиВТ РАН)

Защита состоится 14 июня 2011 года на заседании диссертационного совета Д212.125.11 при Московском авиационном институте (государственном техническом университете) «МАИ» по адресу: 125993, А-80, ГСП-3, Москва, Волоколамское ш., 4, зал заседаний Ученого Совета МАИ.

С диссертацией можно ознакомиться в библиотеке МАИ.

Автореферат разослан 29 апреля 2011 года,

Ученый секретарь диссертационного совета, к.т.н., доцент Горбачев Ю.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Эффективность образовательной и научной деятельности высших учебных заведений в современных условиях определяется своевременностью и качеством управленческих решений, принимаемых в условиях неопределенности и риска, жестких временных ограничений, неполноты и недостоверности информации, экономической целесообразности. Важная роль в этих процессах отводится активному применению современных информационных технологий, способствующих повышению качества, сокращению времени и снижению трудоемкости принятия управленческих решений.

Сегодня основным источником информации для анализа деятельности служат плановые и отчетные документы, регулярно представляемые в вышестоящие органы управления, а также заключения проверочных комиссий. Накопленные данные хранят в себе большие потенциальные возможности по извлечению аналитической информации.

Разработка современных автоматизированных систем анализа научной деятельности становится одним из приоритетных направлений в обслуживание и в обеспеченности качества научно-исследовательской деятельности в ВУЗе. Проблемы разработки автоматизированных систем в ВУЗе освещены в работах Бомаса В.В., Денисова А.А., Емелина Н.М., Зайцева А.В., Титоренко Г.А. и др. В целом ряде работ рассматривалась проблема оценки научной деятельности, начиная от оценки заявок на выполнение научных проектов до оценки организации, качества и результативности научной деятельности, это работы Маслова В.Г., Новикова Д.А., Романенко Ю.А., Павлова А.А., Данилюка С.Г., и др.

Однако существующие математические и программно-технические средства автоматизации исследования деятельности ВУЗов (организаций) Рособрнауки связаны с созданием каждым ВУЗом собственного набора автоматизированных информационных систем, большинство из которых имеют множество недостатков. Основные недостатки - это субъективизм, низкая достоверность исходной информации и, как следствие, низкое качество результатов оценки, закрытость, большие трудозатраты на разработку и реализацию.

В частности, с момента создания автоматизированных систем управления неоднократно предпринимались попытки решения задач оценки и прогнозирования деятельности, однако, ввиду отсутствия соответствующей технической базы, инструментальных программных средств и реализованных в программных системах моделей, основанных на методах искусственного интеллекта, данное направление получило развитие только в настоящее время.

Вопросам инженерии знаний и разработки интеллектуальных информационных систем посвящены работы Т.А. Гавриловой, В.Ф.

Хорошевского, Ю.В. Тельнова и др.

Поэтому необходимость совершенствования информационного и методического обеспечения автоматизированных систем оценки научноисследовательской деятельности (НИД) ВУЗов в соответствии с изменяющимися требованиями экономики определили выбор темы, цели и актуальность задачи диссертационного исследования.

Объектом исследования в настоящей работе является научноисследовательская деятельность высших учебных заведений.

Предметом исследования является автоматизированная система, создаваемая для анализа и прогноза НИД.

Целью диссертационной работы является повышение эффективности оценки НИД, направленной на совершенствование функционирования сектора научных исследований, разработок и инновационной системы в высшей школе.

Научная задача, решаемая в диссертационной работе, состоит в разработке метода интеллектуализации автоматизированной системы поддержки принятия решений по оценке НИД высших учебных заведений, обеспечивающего повышение качества управления, что послужит основой для принятия рациональных и эффективных управленческих решений, направленных на формирование сбалансированного сектора научных исследований и разработок инновационной системы.

Методологические основы и методы исследования. Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа, математической статистики, методах математического моделирования, нейроинформатики.

Моделирование процесса проведено в пакете прикладных программ Matlab и его приложении Simulink.

Научная новизна исследования состоит в следующем.

1. Предложен подход к построению иерархической структуры обобщения показателей НИД, когда на первом уровне используется линейная, а на вышестоящих – нейросетевые свертки, сравнительная оценка которых позволяет проранжировать ВУЗы по заданным показателям.

2. Разработанные нейросетевые алгоритмы обладают способностью принимать интеллектуальные решения в определении результативности и эффективности деятельности ВУЗов за отчетный период, исключая влияние нечеткости, неопределенности, человеческого фактора.

3. Показано, что наибольший эффект достигается при нейросетевом прогнозировании НИД, точность которого максимальна в случаях колебательного характера динамики развития ВУЗов.

Основные положения выносимые на защиту:

1. Метод интеллектуализации автоматизированной оценки НИД ВУЗов на основе искусственных нейронных сетей.

2. Алгоритм построения классификатора НИД на основе самоорганизующихся карт.

3. Модель прогноза развития ВУЗов на основе радиально-базисной нейронной сети и реализация разработанной модели.

Практическая значимость исследования определяется тем, что разработка информационного и методического обеспечения автоматизированных систем оценки НИД ВУЗов позволяет повысить эффективность функционирования автоматизированных систем оценки НИД и качество управленческих решений в сфере НИД ВУЗов.

Реализация результатов исследования направлена на решение текущих и перспективных задач Рособразования, на совершенствование и развитие автоматизированных систем оценки НИД ранее внедренных в эксплуатацию в системе высшей школы на различных уровнях управления научной деятельностью.

Апробация работы.

1.Результаты проведенных исследований докладывались и получили одобрение на: XXI Межведомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем» - Серпухов, 2006 г., XXV Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» – Серпухов 2006 г., XXVI Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» - Серпухов 2007 г., XVI Международном техническом семинаре «Современные технологии в задачах управления, автоматики и обработки информации» – Алушта, 2007 г., Международной летней школе молодых ученых СНГ "Интеграция и инновации» – Москва, 2008 г., XXVII Межрегиональной научно-технической конференции «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем» – Серпухов, 2008 г., Юбилейной Международной научно-практической конференции «Развитие отечественной системы информатизации образования в здоровьесберегающих условиях» и научно-методическом семинаре «Информационные и коммуникационные технологии в образовании» Москва, 2009 г.

Структура и объём диссертации.

Диссертация состоит из введения, трех глав, заключения, библиографического списка и приложений. Диссертация содержит страницы машинописного текста, 33 рисунка, 13 таблиц, 9 приложений.

Библиографический список содержит 115 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обоснована актуальность темы диссертации, определены объект, предмет, цель диссертации. Сформулирована научная задача, основные направления и методология исследований. Кратко излагается содержание работы по главам.

В первом разделе анализируются методы оценки научноисследовательской деятельности, методы экспертных оценок, представлена система классификаторов и основных показателей, реализованная в рамках годового отчета ВУЗа о научно-исследовательской деятельности, проведен анализ реализуемой модели системы мониторинга состояния научного потенциала и результативности научно – образовательной деятельности ВУЗов, основных показателей, характеризующих результативность и эффективность научных исследований и разработок ВУЗа (организации), подходов и методик оценки эффективности научно-исследовательской деятельности, выявлены особенности информационной инфраструктуры (ИИ) поддержки научно-инновационной деятельности научноисследовательских организаций, образовательных учреждений высшего профессионального образования, опытно-конструкторских, проектнотехнологических и иных организаций, осуществляющих научноисследовательскую и научно-техническую деятельность.

Универсальность разрабатываемого интеллектуального аппарата дает возможность, анализируя информацию из различных источников любого объема, проводить сравнительный анализ НИД ВУЗов во времени, в пространстве как на макро- (в масштабах страны), так и на микроуровне (ВУЗов, факультетов, НИИ, кафедр, лабораторий), по отдельным учебным заведениям, группам учебных заведений, субъектам РФ, федеральным округам, профилю и отраслевой принадлежности. Для реализации разработанного подхода формируем группы, учитывая регион, профиль, отраслевую принадлежность ВУЗов.

Концепция интеллектуальных систем поддержки принятия решений (ИСППР) включает целый ряд средств, направленных на достижение одной цели — способствовать принятию рациональных и эффективных управленческих решений.

Под интеллектуальным анализом данных (ИАД) принято понимать процесс поддержки принятия решений, который основан на поиске скрытых закономерностей (шаблонов информации) в данных. При этом накопленные сведения автоматически обобщаются до информации, которую можно охарактеризовать как знания.

Процесс ИАД в общем случае состоит из трёх этапов:

1. Выявление закономерностей;

2. Использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование);

3. Анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.

К новыми компьютерным технологиям, образующим ИАД, относятся экспертные и интеллектуальные системы, методы искусственного интеллекта, базы знаний, базы данных, компьютерное моделирование, нейронные сети, нечеткие системы. Современные технологии ИАД позволяют создавать новое знание, выявляя скрытые закономерности, прогнозируя будущее состояние систем.

В системах автоматизации управления и поддержки принятия решений для решения неформализованных задач используются:

экспертные системы, основанные на гибридных методах представления знаний; методы формализации решения задач (в том числе, с использованием продукционных систем и нейросетевого подхода); методы прогнозирования на основе нейросетевого подхода в составе гибридной модели оценки состояния объекта управления. нейросетевые технологии используются для классификации (групп студентов и выпускников ВУЗа);

для систематизации сгруппированных данных, определения степени предпочтения тех или иных вариантов и подбора специалистов в соответствии с заявками предприятий используется многослойная нейронная сеть.

В конце раздела сформулирована задача исследований.

1. Для каждого ВУЗа задан высокоразмерный вектор частных показателей, характеризующих уровни достигнутых результатов НИД за отчетный период, имеющиеся ресурсы. Число этих показателей достигает 30 значений.

2. Имеется статистика этих показателей за различные периоды по годам, содержащая информацию о динамике деятельности ВУЗов.

Имеются данные за последние 6 лет.

3. Указана принадлежность каждого из более чем государственных ВУЗов к различным срезам – территориальному, по критерию дисциплинарности, по размерности и др.

4. Задача распределения ресурсов при финансировании ВУЗов не рассматривается.

1. Разработать эффективный метод автоматизированной обобщенной критериальной оценки НИД за заданный период с целью ранжирования ВУЗов по различным срезам.

2. Провести кластеризацию ВУЗов с указанием числа классов, с указанием обобщенных оценок для каждого класса и последующее ранжирование внутри каждого по различным срезам.

3. Предложить высокоточную процедуру прогноза деятельности ВУЗов для перспективного планирования инноваций.

4. Провести сравнение предложенного подхода с известными и оценить его эффективность.

Второй раздел посвящён построению процедуры получения обобщённых критериев и ранжирования ВУЗов с их помощью.

Чтобы оценить эффективность ВУЗа необходимо разработать метод обобщённой оценки, анализирующий показатели и дающий результат, по которому можно судить об эффективности того или иного ВУЗа. В качестве такого метода может быть использован следующий подход (Рис.1).

НС2 Оценка результативности Q Пусть имеются следующие исходные данные.

Количество рассматриваемых ВУЗов – n ( j = 1...n ).

Количество показателей – N ( i = 1...N ).

Объем финансирования НИР – O.

Определим «вес» i -го показателя j -го ВУЗа. Для этого введем латентную переменную считать, что ВУЗ тем эффективнее, чем больше количество НИР при меньшем объеме финансирования им выполняется:

Определим максимальное значение латентной переменной по конкретному показателю для всех ВУЗов:

где pjср – коэффициент важности латентной переменной.

Проведем оценку эффективности НИР для каждого i -го ВУЗа.

J i = j - суммарный критерий по всем показателям i -го ВУЗа.

На основании полученных данных и сравнения J i, можно определить ВУЗ с наиболее эффективной научно-технической деятельностью.

Чтобы избежать вмешательства человека на последующих этапах оценки НИД, предлагается с помощью этих примеров обучить реализуемые на компьютере нейронные сети, способные заменить операции линейной свертки более совершенными. Тогда ранжирование ВУЗов станет более объективным, а каждое место в списке приоритетов будет охарактеризовано более точными обобщенными показателями, с которыми согласны эксперты, не принимавшие участие в их вычислениях.

В результате обучения получены следующие параметры НС 1:

число слоев – 3, число нейронов в первом слое – 2, во втором слое – 5, в третьем слое – 1, функции активации в первом слое и втором слое – тангенциальные, в третьем слое – линейная.

Полученных элементов обобщения в виде НС 1. и НС2 достаточно, чтобы сформировать любую иерархическую структур, имеющую на нижнем уровне необходимое число различных обобщенных показателей, найденных с помощью обычной линейной свертки из исходного множества.

Основные положения метода интеллектуализации оценки НИД на основе автоматизированной системы поддержки принятия решений включают:

1) определение основных задач интеллектуализации процесса оценки НИД;

2) формирование и структурирование обобщенных индикаторов, характеризующих НИД ВУЗа;

3) определение общих закономерностей преобразования информации при интеллектуализации процесса оценки НИД;

4) выбор инструментальных средств интеллектуализации процесса;

5) разработка модели, нейронной сети, на основе которой разрабатывается вся АСППР;

6) разработка и использование программно-методического комплекса интеллектуализации оценки НИД (рис.2).

Автоматизация процесса выполнена в виде отдельного подключаемого модуля к АСППР. Работа с ним может вестись в трех режимах: настройка (создание) нейросетевой модели, изменение существующей модели, расчет (решение).

определение основных формирование обобщенных определение общих задач интеллектуализации Рис. 2 Структура метода интеллектуализации оценки НИД Алгоритм построения классификатора на основе СОК включает в себя следующие этапы.

Составление базы данных из примеров, характерных для данной задачи.

2. Предварительная обработка данных.

Выбор системы признаков, характерных для данной задачи, и преобразование данных для подачи на вход сети (нормировка, стандартизация и т.д.). В результате получается пространство множества образцов.

3. Конструирование, обучение и оценка качества сети.

Выбор топологии сети: число нейронов в слоях, метод инициализации весов, максимальные и минимальные значения данных, которые сеть будет воспринимать.

4. Использование и диагностика.

Определение степени влияния различных факторов на принимаемое решение (эвристический подход).

Исходя из размера обучающего множества, а в нашем случае обучающее множество состоит из матрицы размерности [2x60], и принципов выбора параметров сети, были выбраны следующие параметры сети:

- размерность сети: 3х4;

- топология сети: гексагональная сетка;

- количество эпох обучения: 500;

- количество эпох для отображения: 100.

В ходе исследований был проведен анализ эффективности технических ВУЗов центрального округа по 30 показателям НИД.

Для этого были экспортированы данные из базы, обработаны и сформирована с учетом сделанной обработки исходная матрица (рис.3).

Рис.3 Множество параметров после обработки Далее была сформирована матрица средних значений выбранных показателей.

После того, как сеть прошла все 500 эпох обучения получен результат обучения сети (рис.4). В конце обучения веса нейронов приняли конечные координаты, это даёт возможность определить, какие из ВУЗов являются более эффективными с точки зрения минимального объема финансирования и максимального количества НИР. Для этого была выполнена двойная сортировка координат весов нейронов, сначала по количеству НИР, а затем по объему финансирования. В результате был получен отсортированный вектор классов (нейронов) по убыванию эффективности.

Определим, сколько раз ВУЗ был отнесен к каждому классу.

Строим диаграмму оценки НИД по первым пяти классам (рис.5).

Используя полученную информацию, отнесем ВУЗ к одной из следующих категорий:

Рис.5 Диаграмма сравнительной оценки НИД ВУЗов а) 1-я категория – ВУЗы - утратившие научный профиль и перспективы развития;

б) 2-я категория - ВУЗы, нуждающиеся в проведении реорганизации в соответствии с законодательством Российской Федерации;

в) 3-я категория – стабильные ВУЗы, демонстрирующие удовлетворительную результативность;

г) 4-я категория - ВУЗы - лидеры.

В третьем разделе показана возможность прогноза оценки НИД ВУЗов.

По исходным данным построена аппроксимирующая кривая для каждого ВУЗа за каждый год (рис. 6). После чего проведена предварительная обработка и последующая нейросетевая экстраполяция оценивая НИД ВУЗов.

Рис. 6 Апроксиимирующие кривые за 2004, 2005, 2006 год 1. Самоорганизующиеся карты (Кохонена) (СОК) позволили обрабатывать произвольное количество параметров для произвольного количества объектов (ВУЗов), используя ряд настраиваемых характеристик:

размер сети, топология сети, размер обучающего множества, количество шагов обучения. В сети Кохонена всего два слоя: входной и выходной.

Разбивая исходное множество на классы, они определили принадлежность каждого параметра к определенному классу. Многомерное пространство входных факторов в результате применения самоорганизующихся карт представлено в двухмерном виде, достаточно удобным для анализа.

Применение СОК обеспечило кластеризацию ВУЗов в соответствии с официальным рейтингом, формируемым Министерством образования и науки.

Исходя из размера обучающего множества, были выбраны следующие параметры сети:

- размерность сети: 3х4;

- топология сети: гексагональная сетка;

- количество эпох обучения: 500;

- количество эпох для отображения: 100.

Результаты, полученные с использованием официально утвержденных методик оценки, и результаты, полученные с использованием НС, близки, результаты ранжирования полученные с помощью НС совпадают с результатами официально принятых методик на 60%.

2. Сеть типа радиальной базисной функции (RBF) использована для решения задач анализа временных рядов, аппроксимации и интерполяции функций. Промежуточный слой сети состоит из радиальных элементов, каждый из которых воспроизводит гауссову поверхность отклика. Для решения задачи комбинирования выходов скрытых радиальных элементов с целью получения из них выход сети, обучение RBF-сети проводилось в несколько этапов. В первую очередь для радиальных элементов были определены центры и отклонения; затем оптимизированы параметры линейного выходного слоя. Расположение центров соответствовало кластерам, реально присутствующим в исходных данных. Параметры выходного слоя после выбора центров и отклонений, были оптимизированы с помощью алгоритма псевдообратных матриц стандартного метода линейной оптимизации.

3. Для решения задач прогноза использованы обобщеннорегрессионные нейронные сети (GRNN-сети), которые являются разновидность RBF-сети, и предназначены для решения задач регрессии с использованием ядерной аппроксимации. GRNN-сеть имеет два скрытых слоя: слой радиальных элементов и слой элементов, которые формируют взвешенную сумму для соответствующего элемента выходного слоя. В выходном слое определяется взвешенное среднее путем деления взвешенной суммы на сумму весов.

Исследование проводилось на нейронной сети следующей структуры: количество нейронов в 1 скрытом слою = 8, количество нейронов во 2 скрытом слою = 6, интервал прогноза = 5, алгоритм обучения – ParTan, модифицированный алгоритм с автоматической коррекцией длины шага обучения, параметры алгоритма – оптимальные, разбиение отсчетов ряда на множества - оптимальное. Настройка этих параметров проведена с помощью 100 обучающих примеров.

Сравнительный анализ используемых методик прогноза показал, что при использовании RBF-сети был получен min коэффициент ошибки прогноза = 0,991. В нашем случае реальный выход нейросети и желаемый выход (а это по смыслу: оценочные и реальные значения) практически совпадают. Достичь такого высокого значения коэффициента ошибки прогноза, применяя традиционные методы прогноза, практически невозможно.

Разработанные рекомендации по организации и использованию автоматизированного процесса оценки НИД ВУЗов на основе нейронных сетей содержат системные требования, позволяющие минимизировать требования к клиентскому месту, а также снизить расходы за счёт отсутствия потребности в установке дополнительного программного обеспечения, помимо уже имеющегося стандартного, и обучении пользователей работе с ним; руководство конечным пользователям по применению разработанных программных модулей автоматизированной системы поддержки принятия решений.

Система полностью реализована в среде Matlab. В дальнейшем система может использоваться для анализа специалистами, решающими задачи подобного рода.

В заключении отражены основные выводы и результаты диссертационной работы, к которым можно отнести:

аналитические методы оценки НИД ВУЗов за отчетный период с учетом большого числа показателей затруднено и недостаточно эффективны.

2. Предложенный нейросететвой подход к оценки НИД в виде многоуровнейвой иерархической структуры, в котором на первом уровне осуществляется линейная свертка показателей, на следующих уровнях используются радиально-базисные нейронные сети, которые обеспечивают объективное ранжирование ВУЗов в различных срезах.

3. Настройка сети осуществляется предварительно с помощью экспертов, а сама оценка за текущий период осуществляется автоматически, исключая влияние человеческого фактора.

4. Для оценки перспективности развития ВУЗов предложена многослойная нейронная сеть, результаты действия которой после обучения практически совпали с последующими результатами деятельности ВУЗов.

5. Показано, что наибольший эффект от использования нейросетевой технологии достигается при прогнозировании, который по сравнению с известными способами обеспечивает повышение точности в 2-3 раза.

Настройка этих параметров проведена с помощью 100 обучающих примеров.

интеллектуализации оценки НИД принят к использованию в Министерстве образования и науки.

В приложения вынесены программные модули: листинг программы сравнительной оценки НИД ВУЗов, тексты программ осуществляющий аппроксимацию, экстраполяцию исходных данных, прогноз, методические рекомендации конечному пользователю по использованию программ.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в изданиях, рекомендованных перечнем ВАК РФ 1. Талиманчук Л.Л., Зайцев А.В. Интеллектуальная система принятия решений для оценки научной деятельности на основе многоагентной системы.// Нейрокомпьютеры – 2008-№ 7- с.85-88.

2. Талиманчук Л.Л., Зайцев А.В. Инверсно-адаптивная схема управления сложным динамическим объектом.// Нейрокомпьютеры – 2010с.34-39.

Публикации результатов работы в других изданиях Талиманчук Л.Л., Синягина Е.П., и др. Нейросетевая модель представления данных. //Материалы XXI Межведомственной научно-технической конференции «Проблемы обеспечения эффективности и устойчивости функционирования сложных технических систем». Серпухов, 2006.

2. Талиманчук Л.Л., Зайцев А.В., и др. Особенности систем управления с элементами интеллекта/ Труды XXVI Межрегиональной научно-технической конференции. – Серпухов, Серпуховской ВИ РВ, 2006.

идентификации динамических систем с использованием нейронных сетей. // МАИ, М., Гос. науч. учр. «ГНМЦ» 2006.

4. Талиманчук Л.Л. Гибридная система экспертизы фундаментальных исследований. //Труды XVI Международного технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». – Алушта – Тула: Изд-во ТулГУ, 2007.

нечеткой сети при создании аппарата экспертизы фундаментальных исследований. //Труды XXVI Межрегиональной научно-технической конференции «Проблемы эффективности безопасности функционирования сложных технических и информационных систем». - Серпухов, 2007.

6. Разработка методических рекомендаций по оценке экономической и социальной эффективности реализуемых бюджетных целевых программ в Российской Федерации в сфере нанотехнологий.

Разработка научно-обоснованной системы показателей, характеризующих состояние и развитие сектора наноиндустрии в России до 2015 года.

Разработка материалов по методическому и нормативному обеспечению программы развития наноиндустрии в Российской Федерации: отчет по исполнению Государственного контракта № ГР 0120. 711560/ Московский инженерно-физический институт (государственный университет) (МИФИ); рук. Стриханов М.Н.; исполн. Талиманчук Л.Л. [и др.]. – М., 2007.

7.Талиманчук Л.Л., Андреев А.И., и др. Актуальные задачи воспроизводства кадров в научно-образовательной сфере и пути их решения. //Материалы Международной летней школы молодых ученых СНГ "Интеграция и инновации - 2008". – М.: МГУ, 2008.

8. Талиманчук Л.Л., Зайцев А.В. Многоагентные системы интеллектуальной поддержки принятия решений для оценки научной деятельности. //Труды XXVII Межрегиональной научно-технической конференции. – Серпухов, 2008.

9. Анализ состояния и прогноз развития научного потенциала подведомственных Рособразоанию учреждений: отчет по исполнению Государственного контракта № Ф 426/, рук. Емелин Н.М., исполн. Талиманчук Л.Л. [и др.]. – М.: 2008.

10. Мониторинг процесса реализации и анализ результативности научно-исследовательских работ, выполняемых в рамках ФЦПРО: отчет по исполнению Государственного контракта № П679 / Федеральное государственное научное учреждение «Государственный научнометодический центр», рук. Сороколетов П.Г.; исполн. Талиманчук Л.Л. [и др.]. – М.:, 2008.

11. Разработка системы информационно-аналитической поддержки научной деятельности молодых ученых по приоритетным направлениям развития науки, технологий и техники в Российской Федерации: отчет по исполнению Государственного контракта № 02.521.11.1020 / ФГНУ «Государственный научно-методический центр», рук. Емелин Н.М..;

исполн. Талиманчук Л.Л. [и др.]. – М.:, 2008.

12. Аналитическое обеспечение реализации федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы в 2009-2010 годах: отчет о по исполнению Государственного контракта № П 70, №ГР 13244.7709046150.09.1.007.7/ Государственное образовательное учреждение высшего профессионального образования «Российский государственный университет инновационных технологий и предпринимательства», рук.

Харин А.А. исполн. Талиманчук Л.Л. [и др.]. – М: 2010 г.

13. Разработка системы мониторинга, анализа, прогнозирования и формирование рекомендаций по рациональной организации деятельности научно-образовательных центров национальной нанотехнологической сети (НОЦ ННС): отчет о выполнении работ (оказании услуг) для государственных нужд. Федеральное государственное научное учреждение «Государственный научно-методический центр», рук. Сороколетов П.Г.

исполн. Талиманчук Л.Л. [и др.]. – М: 2010 г..