«Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление оцениванием знаний Монография Черкассы 2013 2 Интеллектуальное управление оцениванием знаний ББК 32.815 C. 53 УДК 004.896 ISBN 978-966-2200-28-7 Снитюк В.Е., Юрченко ...»

Глава 2. Онтологии учебных курсов и структуризация материала 1

Снитюк В.Е., Юрченко К.Н.

Интеллектуальное управление

оцениванием знаний

Монография

Черкассы 2013

2 Интеллектуальное управление оцениванием знаний

ББК 32.815

C. 53

УДК 004.896

ISBN 978-966-2200-28-7

Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление

оцениванием знаний. Черкассы, 2013. 262 с.

Динамика современного мира является причиной и основанием внедрения новых методов обучения и контроля знаний. На смену каноническим парадигмам приходят новые технологии: онлайн-обучение, видеоконференции, обучение «в течении жизни» и др. Эффективность их внедрения и использования зависит от многих факторов, главным среди которых является интеллектуализация процессов обучения и контроля знаний.

В монографии рассмотрены аспекты создания технологичных автоматизированных систем обучения и оценивания. Предложены модели и методы структуризации учебного материала, его онтологического представления, а также разработана технология адаптивного определения уровня подготовленности обучаемого. Полученные результаты позволяют сократить время контроля знаний, оптимизировать планы обучения и самообучения, объективизировать процессы оценивания. Кроме обучения и контроля знаний, они могут быть применимы при проведении экспертиз, определении компетентности экспертов, осуществлении профессиональной подготовки и создании различного рода экспертных компьютерных систем.

Для научных сотрудников, преподавателей, специалистов в области создания и использования автоматизированных систем обучения и контроля знаний, моделирования процессов обучения, адаптивных систем контроля знаний, а также тех лиц, деятельность которых связана с преподаванием, проведением экспертиз, профессиональной подготовкой и оцениванием знаний.

Табл. 16. Рис. 24. Библиогр. 191 наим.

Р е ц е н з е н т ы:

Волошин О.Ф., доктор технических наук

, профессор (Киевский национальный университет им. Т. Шевченко) Тимченко А.А., доктор технических наук, профессор (Черкасский государственный технологический университет) Монография утверждена к печати ученым советом Черкасского государственного технологического университета, протокол № 7 от 15.04.2013 и ученым советом Академии пожарной безопасности имени Героев Чернобыля, протокол № 6 от 22.03. Содержание

СОДЕРЖАНИЕ

Стр.

СПИСОК СОКРАЩЕНИЙ……………………………… ВВЕДЕНИЕ…………………………………………………..

Глава СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ ИНТЕЛЛЕКТУАЛЬНЫХ КОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ ОЦЕНИВАНИЯ. ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ

1.1. Проблема и задачи проектирования и использования интеллектуальных систем профессиональной подготовки……………………………………………………….… 1.2. Экспертные системы как базовая структура оценивания знаний……………………………………………........... 1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений………….... 1.4. Структурно-логические элементы построения автоматизированных систем контроля знаний и обучения……….…………………………………………………… Резюме……………………………………………………….. Глава ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ И СТРУКТУРИЗАЦИЯ УЧЕБНОГО МАТЕРИАЛА……….………..

2 2.1. Теоретические и прикладные аспекты применения онтологий………………………………..…………..……… 2.2. Обзор предметных областей разработки и использования онтологий……………………………………………. 2.3. Проектирование и управление процессом контроля знаний на основе онтологии предметной области....... 2.4. Принципы разработки и подходы к созданию систем контроля знаний с использованием онтологий…….... 2.5. Контроль знаний с использованием онтологии учебного курса…………………………………….……………… 2.6. Элементы структуризации учебного материала…...… Резюме…………………………………………………..……

Глава КЛАССИФИКАЦИЯ ВОПРОСОВ ДЛЯ КОНТРОЛЯ

ЗНАНИЙ…………………………………………..………… 3 4 Интеллектуальное управление оцениванием знаний 3.1. Формализация типов вопросов, используемых при контроле знаний……………………………………………. 3.2. Элементы логических схем контроля знаний………… 3.3. Некоторые аспекты оценивания знаний………………. 3.4. Модели и методы определения компетентности экспертов на базе аксиомы несмещенности…………... Резюме……………………………………………………….. Глава ОБЪЕКТИВИЗАЦИЯ И ОПТИМИЗАЦИЯ КОНТРОЛЯ ЗНАНИЙ…………………..……………………….

4 4.1. Необходимые условия построения эффективных интеллектуальных систем профессиональной подготовки…………………….……………………………………….. 4.2. Восходящая и нисходящая схемы контроля знаний.

Эффективность и адаптивность………………………… 4.3. Построение логической схемы контроля знаний……. 4.4. Модели определения профессиональной направленности обучаемых………………………………………….. 4.5. Элементы структуризации учебного материала как следствие процесса контроля знаний…………………... Глава ЭЛЕМЕНТЫ АДАПТИВНОЙ ТЕХНОЛОГИИ ОЦЕНИВАНИЯ …………….…………………………………....

5.1. Технология определения адекватности логической 5.2. Метод корректировки уровня сложности вопросов в 5.3. Адаптация сложности вопросов при закрытом контроле знаний……………………………………………….. 5.4. Модели для определения корректности оценок и 5.5. Модели контроля знаний с учетом критерия времени 5.6. Аспекты интегральной оценки корректности логической схемы контроля знаний……………………………..

Глава ЭЛЕМЕНТЫ ПАРАДИГМЫ ПРОЕКТИРОВАНИЯ

ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ…………………………….. 6.1. Системный подход к проектированию экспертных 6.2. Структуризация процесса интегрального оценивания знаний в экспертных системах…………………….. 6.3. Принципы формирования и структура базы знаний интеллектуальной системы профессиональной подготовки «ПрофКонтроль»………………………………… 6.4. Структурно-функциональная схема системы 6.5. Экспериментальное определение адекватности логической схемы контроля знаний…………………………. 6.6. Экспериментальная верификация результатов контроля знаний с использованием адаптивных схем…... 6 Интеллектуальное управление оцениванием знаний

СПИСОК СОКРАЩЕНИЙ

IRT – Item Response Theory.

ЛПР – Лицо, принимающее решение.

ИАС – Информационно-аналитическая система.

БУМ – Блок учебного материала.

АСУ – Автоматизированная система управления.

СППР – Система поддержки принятия решений.

ЭС – Экспертная система.

ИСПП – Интеллектуальная система профессиональной подготовки.

МЧС – Министерство чрезвычайных ситуаций.

ФП – Функция принадлежности.

ОСС – Оперативно-спасательная служба.

АСОКЗ – Автоматизированная система обучения и контроля знаний.

КСПП – Компьютерная система профессиональной подготовки.

ОСП – «Организация службы и подготовки».

ПТ – «Пожарная тактика».

ОРК – «Организация роботы с кадрами».

ОППР – «Организация пожарно-профилактической роботы».

ПТХ – «Пожарная техника».

ВВЕДЕНИЕ

Проблема повышения эффективности учебного процесса неразрывно связана с необходимостью учета современных тенденций развития науки и техники, а также общественных и социально-экономических процессов. Наличие консерваторов, не приемлющих внедрения новых форм обучения, и новаторов, ратующих за их безотлагательное внедрение и использование, создает широкое поле для дискуссий. Благодаря паритету мнений осуществляется уход от резких шагов в сторону применения той или иной парадигмы обучения, реализуется эволюционный путь развития, вследствие чего сфера образования не остается в стороне от достижений научно-технического процесса и не теряет личностноориентированной направленности.

Монография посвящена решению проблемы повышения эффективности процессов обучения и контроля знаний с использованием компьютерной техники как в коллективах с учителем, так и при индивидуальном обучении и самообучении. Главное внимание уделено технологичности процессов обучения и оценивания знаний. При этом показано решение двух задач: структурирования учебного материала, являющегося базисом для проведения автоматизированного контроля знаний и обучения, а также обеспечения адаптивности таких процессов с ориентаций на особенности обучаемого или группы обучаемых.

В первой главе выполнен анализ процессов автоматизированного обучения и контроля знаний, позволивший сделать вывод об отсутствии системных исследований по структуризации и систематизации учебного материала и его представления в базах знаний автоматизированных систем обучения и контроля знаний. Указаны отличия отечественных и зарубежных систем, предложено большее внимание уделять осуществлению обратной связи, т.е. влиянию знаний обучаемых на формирование базы знаний с целью выработки наилучшего управления процессом обучения.

Во второй главе показана необходимость разработки технологий, направленных на систематизацию, классификаИнтеллектуальное управление оцениванием знаний цию и разработку иерархий учебного материала. Предложен новый подход к разработке автоматизированных систем обучения и контроля знаний, базирующийся на использовании онтологий и интеллектуализации процесса оценивания. Соответствующие системы получили название «интеллектуальные системы профессиональной подготовки». В основе их функционирования лежит композиция четырех составляющих. Первая из них – логическая схема учебного курса, являющаяся базовым элементом при определении последовательности задаваемых вопросов. Вторая – онтология предметной области, предназначенная для формирования логической схемы контроля знаний и составляющих ее вопросов. Классификация вопросов, предусматривающая формализацию вопросов в зависимости от типа ответов, образует третью составляющую. На последнем этапе используется процедура определения промежуточных и интегральной оценок экзаменуемого. Определены особенности формирования логической схемы контроля знаний на принципах инцидентности структуре онтологии. Разработаны базовые элементы проведения контроля знаний индуктивного и дедуктивного характера.

Предложенный индуктивный подход к формированию логической схемы контроля знаний позволяет: объективизировать процесс оценивания знаний, обеспечить полноту оценивания, автоматизировать процедуру формирования множества вопросов и их задаваемых последовательностей, минимизировать время контроля знаний.

Формализация типов вопросов в зависимости от ответов выполнена в третьей главе. Предложены модели оценивания знаний, исходя из вероятностных конструкций ответов. Разработана процедура определения компетентности экспертов, как частной задачи контроля знаний, в условиях неопределенности на базе аксиомы несмещенности, согласно которой экспертное заключение большинства компетентно. Авторы утверждают, что предложенная процедура не претендует на абсолютность, как и все другие методы оценивания субъективных характеристик.

В четвертой главе дано определение эффективной и технологичной интеллектуальной системы профессиональной подготовки. Рассмотрены восходящий и нисходящий подходы к представлению учебного материала на основе графовой схемы построения и разработаны соответствующие оптимизированные методы контроля знаний обучаемых.

Предложены модели и метод определения профессиональной направленности обучаемых, базирующиеся на использовании продукционных правил. Разработан метод построения плана обучения в зависимости от результатов входного или промежуточного тестирования, базирующийся на определении приоритетности и статуса блока учебного материала.

Такой план позволит оптимизировать структуру процесса самообучения при дистанционном образовании, а также позволит осуществить обучение на желаемом уровне, указанном обучаемым.

Модели и методы, позволяющие обеспечить адаптивность и объективность оценивания знаний, предложены в пятой главе. Разработана технология, позволяющая определить адекватность логической схемы тестирования знаний.

Построены формальные и конструктивные модели корректировки уровня сложности вопросов, а также модели для определения корректности оценивания и адаптивности сложности вопросов. Для обучаемых по специальным программам разработаны модели корректировки сложности вопросов с учетом многокритериальности процесса оценивания.

В последней главе рассмотрены аспекты проектирования интеллектуальных систем профессиональной подготовки.

Определены принципы создания таких систем, рассмотрены их задачи, структура базы знаний и элементный состав. Приведены результаты экспериментов, которые позволили сделать многочисленные выводы в пользу применения предложенных идей и конструктивных элементов создания интеллектуальных систем профессиональной подготовки.

Эффективность полученных результатов заключается:

– в минимизации времени проведения экспертиз и контроля знаний;

– в объективизации полученных решений, базирующейся на 10 Интеллектуальное управление оцениванием знаний автоматизации процесса экспертного анализа;

– более полном охвате предметной области и уменьшении информационной избыточности тестовых вопросов и их последовательностей;

– непрямом формировании у экспертов и обучающихся представлений о структуре предметной области, ее базовых элементах и их функциональных взаимосвязях.

Глава 1. Современные элементы интеллектуальных технологий

СОВРЕМЕННЫЕ ЭЛЕМЕНТЫ

ИНТЕЛЛЕКТУАЛЬНЫХ КОМПЬЮТЕРНЫХ

ТЕХНОЛОГИЙ ОЦЕНИВАНИЯ.

ПРОБЛЕМЫ И АСПЕКТЫ ИХ РЕШЕНИЯ

1.1. Проблема и задачи проектирования и использования интеллектуальных систем профессиональной подготовки Последнее столетие и, особенно, его последние десятилетия отмечены качественным рывком в разработке и использовании информационных технологий. Такой вывод базируется на трех «китах»: создании вычислительной техники, разработке соответствующего программного обеспечения и применении первых двух составляющих к решению все более сложных прикладных задач. Развитие глобальной сети и телекоммуникаций – еще один аспект, определяющий современное состояние производственной сферы и инфраструктуры. Широкое проникновение информационных технологий во все области жизнедеятельности человека привело к тому, что значительная часть мировых финансовых потоков генерируется и проходит через информационно-коммуникационную сферу. В связи с этим возникло обоснованное предложение считать современный этап развития «информационным обществом». С другой стороны, экспоненциальный рост информации в мире и ее распространение через сеть Интернет, а также развитие самой сети и ее новые сервисы дают основания называть этот этап «обществом без границ».

Свободное распространение информации, рост хранилищ данных, извлечение новых знаний и использование для этих целей территориально удаленных кластерных и Grid-систем, указывает на формирование «общества, базирующегося на знаниях» [85, 88].

Динамика причинно-следственных процессов современного мира является одним из главных факторов, определяющих необходимость эффективного профессионального роИнтеллектуальное управление оцениванием знаний ста его субъектов. Такой тезис является особенно актуальным для стран с переходной экономикой. Особенности их экономического развития оказывают влияние на выбор и реализацию технологий производства, обусловливая гибкость и возможность переориентации на выпуск новой продукции в соответствии с рыночными условиями. Такие новые технологии и определенная ресурсно-материальная база требуют новых знаний об особенностях их реализации, характеристиках, преимуществах и недостатках. Страны, не желающие оказаться в стороне от мирового научно-технического прогресса, пытаются принимать все меры для изучения и использования таких технологий, что позволит не только увеличить эффективность национальных экономик, но и предотвратить всевозможные катастрофы как непременные атрибуты современности.

В последние десятилетия наблюдается рост объемов подготовки специалистов, однако их компетентность, способность адекватно реагировать на вызовы современности, принимать правильные решения остается под сомнением. Со временем все больше учебных дисциплин, в т.ч. относящихся к профессиональной подготовке, изучается с использованием компьютерной техники. В связи с этим возникает необходимость создания методологических основ применения интеллектуальных технологий в обучении, вообще, и в профессиональной подготовке, в частности. Подготовка специалистов в высших учебных заведениях, а также повышение их квалификации на различных курсах заканчивается процессом оценивания знаний. Существует значительное количество научных исследований, в которых отражены различные подходы к обучению, контролю знаний и созданию автоматизированных систем обучения и контроля знаний (АСОКЗ).

Одной из наиболее сложных задач является объективизация процесса оценивания знаний и умений. Ее решение сопровождается необходимостью разработки АСОКЗ при условии выполнения ряда предпосылок, а именно, предварительного определения:

– принципов, которые должны быть учтены и на которых будут базироваться такие системы;

Глава 1. Современные элементы интеллектуальных технологий – структур, которые будут лежать в основе их построения;

– технологий проведения автоматизированного контроля уровня знаний и (или) профессиональной подготовленности.

Актуальными также являются задачи:

– проведения анализа моделей, методов и инструментальных средств, используемых в процессах контроля знаний и оценивании компетентности специалистов;

– определения принципов, которые будут положены в основу создания многокритериальной технологии оценивания и определения профессиональной пригодности специалистов;

– разработки моделей целевых функций, исходя из значений которых будет определяться оценка обучаемого или специалиста, предусмотрев возможность обработки информации, заданной в качественной форме;

– разработки методов интегрального оценивания знаний обучаемых и компетентности специалистов с учетом разнородной информации и влияния внешней среды;

– определения принципов создания и разработки структуры базы знаний для оценивания знаний и определения компетентности специалистов;

– выполнения экспериментальной верификации разработанных моделей и методов.

Профессиональная подготовка является необходимым условием карьерного роста, высокой заработной платы, уважения в коллективе и т.п. С другой стороны, что более важно, квалифицированный специалист является составной частью профессионального ядра любого предприятия или учреждения, залогом его эффективного функционирования.

Заметим, что в некоторых службах и ведомствах высокая квалификация и профессиональная подготовленность сотрудника – непременное условие преодоления или минимизации негативных последствий критических ситуаций.

Аналитический обзор методов контроля уровня профессиональной подготовленности сотрудников различного профиля, а также обучаемых свидетельствует о преимущественном использовании традиционных методов обучения и конИнтеллектуальное управление оцениванием знаний троля знаний. В частности, контроль знаний происходит в форме зачетов, экзаменов или тестирования. В то же время такое оценивание знаний для представителей некоторых отраслей является неполным и имеет низкий уровень объективности. Такой вывод, в частности, имеет место для представителей оперативно-спасательных служб, которые должны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими катастрофами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целесообразно было бы учитывать сопутствующие обстоятельства и ориентироваться на использование современных информационных технологий [23, 62, 82]. Проведенный анализ релевантных технологий и их элементной базы, применяемых для оценки знаний и умений, свидетельствует о низком уровне разработки технологий контроля знаний и на недостаточное методическое обеспечение такого процесса.

В большинстве случаев в таких системах реализован жесткий каркас организации подачи учебного материала или тестирования. Соответственно, рассматриваемые системы характеризуются информационной недостаточностью и информационной избыточностью. Информационная недостаточность связана с тем фактом, что успешное прохождение теста не гарантирует полного знания учебного материала, а информационная избыточность заключается в присутствии в тестах вопросов, которые повторно "перекрывают" предметную область.

Еще одним недостатком большинства современных АСОКЗ является отсутствие ориентации на обучаемого и соответствующих адаптивных механизмов. В то же время в Германии создаются системы, функционирование которых ориентировано также и на психоэмоциональное состояние пользователя [5].

Все указанные выше аспекты являются причиной и основанием для разработки экспертных и обучающих систем, в которых интегрированы возможности глобальной сети, удаленного обучения и получения новой информации. Сегодня Глава 1. Современные элементы интеллектуальных технологий сложно представить вид деятельности, где не была бы задействована компьютерная техника и, где бы ни осуществлялись попытки применения экспертных систем.

Разработка экспертных систем (ЭС) относится к основному и наиболее раннему направлению искусственного интеллекта. Первые ЭС, базирующиеся на использовании вычислительной техники, известны с 60-х годов прошлого столетия. Сегодня сложно назвать отрасль науки или производства, где бы они ни использовались. Известно, что первые ЭС были предназначены для решения задач диагностики и классификации [7, 24, 138]. Промышленное применение ЭС в 80-е годы прошлого столетия связывалось с процессами принятия решений в энергетике, промышленности и военной отраслях [22, 49, 56, 62, 105].

Оптимизация процессов проектирования, создания, функционирования и сопровождения ЭС является важной задачей теории искусственного интеллекта и методов принятия решений. В каждом конкретном случае ее решение рационально осуществлять с использованием технологий, базирующихся на методологии системного анализа, онтологиях предметных областей, принципах и методах самоорганизации. Как уже было указано выше, стремительное движение по этапам и лавиноподобный рост количества информации значительно усложнили адекватное использование ЭС, что связано с неполнотой и нечеткостью информации, ее субъективностью. Возникли проблемы представления знаний экспертов, оптимизации процессов получения заключений в ЭС, определения полноты информационных баз.

Выполним краткий анализ, определим характеристики и составные части процесса создания ЭС. Известно, что предпосылкой и побудительным мотивом получения новых знаний является идея или необходимость. В случае ЭС такая 16 Интеллектуальное управление оцениванием знаний необходимость заключается в получении некоторого вывода, являющимся одним из определяющих факторов при принятии решений. С помощью АСОКЗ, как одного из типов ЭС, оценивают также и уровень знаний. Проиллюстрируем процесс создания ЭС при помощи трех методологических структурных единиц, которыми являются онтология (O ), системный анализ (CA) и технологии самоорганизации (CO ).

Следуя этапам проведения CA, в соответствие с [17, 86, 88, 132], определим цель создания ЭС как средства, атрибутом которого является способность накапливать экспертные знания и впоследствии возможность заменить экспертов в процессах принятия решений [116]. Задачи, решаемые для достижения цели, определяются предметной областью. В частности, для АСОКЗ такими задачами являются контроль знаний, определение их уровня и, частично, их приобретение. Функционирование ЭС определяется внешней средой, из которой поступает информация в виде тем, вопросов, возможных ответов, правил вывода и в которую передается результат – оценка уровня знаний.

Как сложную систему, ЭС можно представить тремя моделями [164]: строения, функционирования и развития. Модель строения является теоретико-множественной моделью в которой отображен элементный базис системы: I t информационная таблица тем контроля знаний; I q таблицы вопросов (в зависимости от типов вопросов их может быть несколько); I a таблицы возможных ответов с указанием градации их правильности; R0 совокупность правил вывода, иногда представляемая некоторой процедурой или алгоритмом.

Модель функционирования определяет процесс достижения цели системой, который осуществляется ее элементами, подсистемами, целостной ЭС где Ot динамические операции, сопровождающие процесс Глава 1. Современные элементы интеллектуальных технологий выбора темы; Oq динамические операции выбора множества вопросов; Oa динамические операции формирования множества возможных ответов и их оценки; Pi, i 1, n совокупность операций, реализующих последовательность переходов при тестировании; A алгоритм оценивания знаний.

Модель развития отражает движение ЭС, обладающей атрибутами открытости, мобильности, системного и информационного единства, комплексности по этапам ее жизненного цикла где логическая дизъюнкция или конъюнкция, Ad процедуры адаптации к изменению внешних условий; Am процедуры модернизации и использования новых технологий;

Au процедуры частичной или полной утилизации; Br механизмы обратной связи, позволяющие с учетом будущих процессов производить изменения в ЭС на всех этапах ее жизненного цикла.

С внедрением персональных компьютеров в сферу образования началась разработка систем контроля знаний, а далее и обучения. Существующие сегодня автоматизированные системы являются интегральными средствами как обучения, так и контроля знаний. В них пытаются реализовать принципы адаптивности с использованием различных критериев [5, 21, 25, 29, 45, 74, 94], но вместе с тем, остается ряд тенденций, которые уже несколько десятилетий сопровождают процессы создания и использования таких систем. В частности:

– перечень вопросов составляется преподавателем, исходя из субъективных предпочтений и заключений;

– вопросы чаще всего имеют замкнутый тестовый характер;

– для получения оценки необходимо ответить на некоторое заранее определенное количество вопросов;

– трудоемкость реализации адаптивных элементов приводит к отсутствию практических приложений с внедренными теоретическими наработками.

Первые шаги в создании экспертных систем в сфере обИнтеллектуальное управление оцениванием знаний разования сводились к разработке систем тестового контроля знаний учащихся [60]. И сегодня почти в каждом высшем учебном заведении используют одну, а то и несколько таких систем автоматизированного контроля знаний. На следующем этапе предлагались системы обучения, которые с развитием мультимедийных технологий вывели на новый уровень преподавание отдельных дисциплин. Интеграция систем обучения и контроля позволила замкнуть цикл обучения.

Жесткость такой структуры стала причиной внедрения в автоматизированные системы адаптационных механизмов, базирующихся на различных принципах и моделях [50, 80, 99, 128].

Анализ многочисленных научных публикаций зарубежных и отечественных авторов свидетельствует об их интересе к разработке систем дистанционного обучения и контроля знаний. При этом отметим, что первые, в подавляющем большинстве, сосредоточены на системах электронного обучения (E-learning) и них почти отсутствуют упоминания о системах контроля знаний. Украинские и российские исследования, в основном, посвящены именно системам контроля знаний, в основе которых лежат традиционные схемы тестирования.

Современные мировые тенденции мотивируют создание таких АСОКЗ, которые ориентированы на определенную модель пользователя. Недостаточно изученной является проблема объективизации уровня сложности задаваемых вопросов и, соответственно, определения интегральной оценки знаний [126].

Одним из проявлений современных информационных технологий в образовании является внедрение дистанционного обучения. В Украине его распространение тормозится слабым развитием коммуникационной инфраструктуры и, не в последнюю очередь, отсутствием единой методологии контроля и оценивания знаний обучаемых. Эта проблема является сложной, слабоструктурированной и, в значительной мере, субъективизированной. Идеи и принципы дистанционного образования могут быть успешно реализованными лишь при минимизации априорной неопределенноГлава 1. Современные элементы интеллектуальных технологий сти процесса оценивания и внедрении АСОКЗ.

Большинство АСОКЗ имеет довольно простую структуру, в основе которой лежат тесты. Каждый тест состоит из определенного количества вопросов. За верный ответ на один вопрос учащийся получает "1", за неправильный ответ Числовой отрезок возможных результатов разбивается на интервалы, каждому интервалу отвечает определенная оценка. В лучшем случае вопросы имеют весовые коэффициенты. Такой подход к созданию и использования АСОКЗ имеет ряд важных причин:

– создают программные реализации систем контроля знаний, чаще всего, специалисты в компьютерных науках, которые имеют довольно слабые знания педагогики и ее подходов к тестированию, а педагоги не имеют возможности ни оценки тестов из-за их специализированности, ни самостоятельного создания АСОКЗ из-за незнания основ программирования;

– динамика перемещения дисциплин в учебных планах и кадрового состава приводит к отсутствию адекватной статистики оценки знаний учащихся и, как следствие, невозможности создания качественных заданий и эффективных систем контроля знаний;

– полное отсутствие единой теории построения АСОКЗ, моделей и методов, на которых она должна быть основана; известные только отдельные подходы, которые базируются на элементарной алгебре и, в лучшем случае, элементах статистики;

– задачи АСОКЗ являются неформализованными, отсутствует понятие оптимального теста, не разработаны методы самоорганизации информационной базы в процессе функционирования системы, а также, в зависимости от вида контроля, условия его прерывания.

Рассмотрим АСОКЗ, которые используются для завершающего контроля. Они включают в себя: задачи, правила получения ответов на них, сами ответы, оценки решений задач и рекомендации по интерпретации результатов. Целевая функция, которая определяет эффективность ( E ) контроля 20 Интеллектуальное управление оцениванием знаний знаний, тогда имеет вид где H1 априорная энтропия, которая определяется уровнем знаний студента и его интуицией, H 2 энтропия, которая присуща преподавателям при оценке знаний студента и базируется на результатах АСОКЗ, опыте и интуиции, H композиционная энтропия внешней среды, студента и преподавателя, T время контроля, K количество задач. Очевидно, что создание эффективной АСОКЗ равносильно решению задачи или совокупности задач Процесс решения совокупности задач (1.6) должен базироваться на следующих принципах:

– необходимым условием эффективного функционирования АСОКЗ является построение структурно-логической схемы учебного курса и его отображение на логическую схему контроля знаний;

– достаточное условие – единая методология оценивания с использованием интеллектуальных технологий.

Эффективное использование АСОКЗ возможно лишь при наличии синергетических процедур, направленных на повышение технологичности процесса оценивания.

Типичным представителем ЭС являются АСОКЗ по дисциплинам, связанным с информационными технологиями.

Не останавливаясь на задачах верификации тестов и оценки результатов, отметим, что в них в полной мере отражены все вышеуказанные проблемы. В дальнейшем изложении будем руководствоваться выводом [8] о том, что основным принципом инженерии знаний является то, что возможности решателя задач интеллектуального агента в первую очередь определяются его информационным базисом и лишь во вторую используемым методом вывода.

Учитывая приведенные недостатки, определим основные принципы создания эффективных АСОКЗ:

Глава 1. Современные элементы интеллектуальных технологий – база знаний должна содержать блоки учебного материала (БУМ) как минимальные единицы учебных текстов и мультимедиа для изучения, которые в полном объеме «покрывают» учебный курс;

база вопросов должна содержать почти все типы вопросов, которые может задать человек, а не только вопросы с ответами типа "Да-Нет";

предусмотрение возможности ответов как количественного, так и качественного характера, а также их анализ;

интеграции систем обучения и контроля, их взаимосвязи и взаимозависимости;

наличия адаптивных механизмов обучения и контроля;

ориентация структуры процесса обучения на конечного пользователя;

наличие градации оценок сложности вопросов;

представление множества вопросов в виде графа, имеющего иерархическую "И-Или" структуру;

предусмотрение возможности многокритериального оценивания, что важно именно для профессиональной подготовки.

Процесс обучения рационально осуществлять на основе структурно-логической схемы, которая является основным интегрирующим элементом разработки и использования автоматизированной системы контроля знаний. Ее первой составляющей является методика оценивания (определения компетентности) в условиях неопределенности [144, 150]. Неопределенность присуща многим процессам принятия решений [149, 153] и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты информации, невозможности осуществления адекватной оценки ситуации в критических условиях, субъективизмом выводов лица, принимающего решения (ЛПР).

22 Интеллектуальное управление оцениванием знаний 1.3. Анализ информационных технологий, применяемых в процессах оценивания знаний и умений В последние десятилетия в центре внимания исследователей находятся задачи и аспекты применения новых информационных технологий в процессах контроля знаний, ведь одна из важных общественных задач в образовании – повышение его качества на всех уровнях. Достичь этого возможно, внедряя новые прогрессивные методы управления учебным процессом. Эффективным инструментом такого подхода является контроль знаний и через обратную связь – адаптивные технологии обучения. Развитие этого направления началось в 1954 году, когда профессор B.F. Skinner [32] предложил идею программируемого обучения, которая заключалась в повышении эффективности управления учебным процессом путем внедрения кибернетических элементов и его коррекцией в соответствии с психологическим состоянием обучаемого лица. Основы адаптивного программируемого обучения были разработаны в 50-х годах прошлого века Г.

Паском [37, 166], который считал, что учебная программа должна поддерживает оптимальный уровень сложности учебного материала индивидуально для каждого обучаемого, тем самым автоматически адаптируясь к человеку.

Контроль знаний в форме тестирования является одним из наиболее технологичных. Его можно считать параметрической формой проверки и оценивания подготовленности обучаемого. Никакая другая из известных форм контроля знаний не имеет такого арсенала вариативных возможностей. В то же время не нужно абсолютизировать тестирование, которое имеет и ряд недостатков, на которые будет указано ниже.

Рассмотрим классические и современные формы контроля знаний в системе профессиональной подготовки.

Наиболее известным подходом к созданию тестов и интерпретации их результатов является педагогическая теория измерений IRT (Item Response Theory), которая развивается с 60-х годов прошлого века за границей [1]. Заметим, что тестирование в его классической форме применялось еще с Глава 1. Современные элементы интеллектуальных технологий начала 20-го века. В работе [41] указывается на то, что в году M.W Richardson, анализируя результаты тестирования 1200 студентов в 12 группах, обратила внимание на то, что часть неправильных ответов в разных группах напоминает логистическую кривую y e x (1 e x ) (рис. 1.2).

В 1943 году D.N. Lawley в университете Эдинбурга показал, что много конструктивов классической теории тестов могут быть представлены как элементы параметров характеристической кривой [19]. Эта работа стала истоком теории IRT как теории измерений. Систематизировал теорию IRT, осуществил ее алгоритмизацию и внедрил в практику тестирования проф. F.M. Lord, соответствующие результаты отображены в [20, 21]. В далеких 60-х годах прошлого столетия проф. B.D. Wright указал [37] на важность работ по измерениям датского математика D. Rasch [30] и с того времени его результаты играют определяющую роль в IRT. Проф. В.А.

Аванесов утверждает, что ведущая идея IRT заключается в прогнозировании результатов тестирования на заданиях разного уровня сложности, что особенно необходимо в системах профессионального отбора, адаптивного обучения и адаптивного тестового контроля [43]. Основной эвристикой 24 Интеллектуальное управление оцениванием знаний IRT является то, что вероятность правильного ответа на задание у хорошо подготовленного лица должна быть большей, чем у слабо подготовленного. К определяющим понятиям IRT относят уровень сложности задания, подготовленность обучаемого и дифференцирующий параметр задания. Использование IRT позволяет решить три задачи:

найти параметры заданий;

найти параметры знаний обучаемых;

подобрать функцию для определения вероятности правильного ответа на вопрос теста.

Преимуществами IRT являются:

стандартизированный характер как оценки уровня подготовленности, так и сложности заданий, что позволяет объективизировать процесс оценивания, сравнивать знания разных лиц и устанавливать объективные рейтинги;

полученные оценки не зависят от уровня подбора заданий, что положительно влияет на качество оценивания;

простота компьютеризации расчетов;

относительная инвариантность значений уровня знаний и сложности заданий, их стойкость.

К такому же направлению исследований относятся работы В.П. Беспалько, Л.В. Макаровой, В.І. Михеева, Б.У. Родионова и других ученых.

Рассмотрим основные идеи и результаты, полученные в направлении автоматизации процессов контроля знаний и обучения. Важное направление оптимизации процесса создания АСОКЗ заключается в структуризации и систематизации учебного материала. На сегодня практически отсутствуют системные исследования способов представления знаний из учебных текстов в электронных базах данных. В то же время активно разрабатываются технологии компьютерного тестирования. Развитие дистанционного обучения, информационных ресурсов сети Интернет является основой, мотивом разработки и использования компьютерных обучающих систем и систем удаленного контроля знаний. Основными задачами

, которые решаются при их создании, являются:

Глава 1. Современные элементы интеллектуальных технологий – разработка рациональной технологии создания в процессе автоматизированного обучения и контроля знаний информационного ресурса системы управления учебным процессом;

– разработка структуры информационной базы системы обучения и контроля знаний;

– разработка программных средств обучения и контроля знаний как элемента системы управления учебным процессом.

Таких систем в последние годы разработано немало, но декларативно-технический подход к их созданию свидетельствует о необходимости создания действительно эффективных компьютерных систем, особенно в области профессиональной подготовки. В [81] отмечено, что методы оценки знаний делятся на математические и классификационные. В частности, в основании первых лежат: простые модели; модели, в которых учитываются параметры заданий; модели, базирующиеся на уровне изучения; кусочно-линейные модели и модели на основе вероятностных критериев.

В простейшей модели оценка определяется по формуле R Ri n, где Ri – правильный ответ на i -е задание, k – коi личество правильных ответов на n предложенных. Характеристики контрольных вопросов учитываются в модели на основании параметров заданий. В частности, таким параметром может быть время выполнения заданий. Характеристикой задания в модели на основании уровней изучения и есть уровень изучения, для определения которого он предназначен. Задания делятся на 5 групп, которые отвечают уровням усвоения: понимание, распознавание, воссоздание, применение, творческая деятельность. Каждый из этих уровней оценивается.

В методе кусочно-линейной аппроксимации алгоритм оценивания базируется на классификации заданий согласно их значимости, сложности и спецификации. Указанные характеристики имеют соответствующие коэффициенты. В основе же модели на базе вероятностных критериев лежит утверждение о зависимости вероятности правильного ответа 26 Интеллектуальное управление оцениванием знаний обучаемого от уровня его подготовленности и от параметров задания. При вычислении вероятности оценки обучаемого учитываются: сложность и время выполнения задания; число предложенных заданий; число неправильно выполненных заданий и т.д.

Классификационные модели предназначены для отнесения обучаемого к одному из устойчивых, заранее определенных классов, исходя из близости его характеристик к эталону. При этом используется алгоритм, предложенный Ю.И.

Журавлевым [77]. В нем создается учебная таблица, каждая строка которой содержит данные о количестве предложенных заданий; среднем балле; количестве попыток выполнить задание; количестве обращений к справочной информации;

ранге. Согласно определенному критерию оценивается расстояние значений характеристик обучаемого до значений строк таблицы и находится наименьшая. К соответствующему классу и относится обучаемый.

В работе [106] рассматривается контроль знаний при дистанционном обучении, причем дистанционное образование рассматривается как совокупность бизнес-процессов. Автор указывает, что такое представление позволяет повысить эффективность обучения за счет выбора разных вариантов организационно-экономических процедур дистанционного обучения. Особенностью разработанных топологических моделей является анализ частично правильных ответов обучаемого. Предложены также элементы адаптивности, основная сущность которых заключается в том, что по результатам контроля проводится ориентированное на конкретное лицо обучение.

Существуют попытки создать общую методологию разработки тестовых заданий для контроля знаний [40, 43, 170].

Утверждается, что на сегодня отсутствуют отечественная научная теория педагогических (математических) измерений и математико-статистические методы для проверки соответствия тестов научно-обоснованным критериям качества. Тестирование дает объективную, сопоставимую и количественную оценку качества подготовки. Всячески подчеркиваются преимущества тестового контроля, к главным из которых отГлава 1. Современные элементы интеллектуальных технологий носят: высокую содержательную, прогностическую и критериальную валидность; высокую надежность; возможность стандартизации; дифференциацию шкалы тестовых баллов;

единственность требований ко всем обучаемым; всесторонность и объективность; индивидуальный характер контроля и возможность регулярного систематического его проведения [170].

Тестовый контроль имеет и недостатки, к которым относятся: использование вопросов только тестового характера, отсутствие адаптивности и реального применения информационных технологий.

Учебный процесс также предлагается проводить на базе самоорганизующихся средств контроля знаний и обучения [125]. Автором сделано предположение о взаимоопределяющих связях между всеми вопросами информационной базы.

Указывается, что ее структура предварительно не определена, а формируется как следствие процесса автоматического распознавания структурных связей в предметной области.

Утверждается, что реализация АСОКЗ на таком принципе автоматизации позволяет минимизировать время контроля, хотя очевидно, что построение структуры на множестве понятий является длительным и трудоемким процессом.

Разрабатывается подход, в соответствие с которым модели и методы обучения и контроля знаний являются элементами общей автоматизированной системы управления учебным процессом [190]. Задача определения объема тестовых заданий для объективной оценки знаний, рассматривается с учетом того, что все тестовые вопросы имеют одинаковую сложность. Минимальное количество вопросов теста предлагается определять как величину обратную частоте неправильных ответов. Заметим, что здесь не указано на принципы формирования тестовых вопросов, их полноту, возможную разнотипность ответов. Исследование сужено к упрощенной схеме тестирования и использование его результатов возможно лишь при условии полноты тестовых вопросов и выполнении ряда дополнительных условий.

Большинство исследований базируется на тезисе о том, что контроль знаний является составляющей процесса обуИнтеллектуальное управление оцениванием знаний чения [68]. Исходя из этого, предложено характеризовать тест как эффективный, если он является валидным, надежным, дискриминантным и в нем используются шкалы интервалов с наличием нормативных данных. Формирование тестов в таком случае абсолютно оторвано от учебного материала, и тест может быть определен как эффективный, если он сформирован по небольшой его части.

Важную роль в процессе оценки играет логическая схема контроля знаний, важным элементом которой являются формы представления вопросов и ответов. В.С. Аванесов так классифицирует вопросы, исходя из вариантов ответов [42, 43]:

- закрытые: выбор одного или нескольких вариантов ответов;

- определение порядка вариантов ответов;

- открытые: числовые или текстовые ответы, которые конструируются;

- определение соответствия двух множеств.

Детализация такой схемы приведена в [157], где решается задача определения компетентности экспертов в условиях неопределенности и соответствующие вопросы классифицируют по ответам таких типов: «Да-Нет», «один из нескольких», «несколько из многих», «число», «интервал», «нечеткий интервал», «слово», «предложение». Такая классификация, в отличие от приведенной в [42, 44], является конструктивной и позволяет предложить методы оценки ответов на вопросы.

Рационально оценивать ответы на вопросы, классифицированные в [42], выполняя измерения отклонения множества ответов, данных обучаемым, от множества правильных ответов [92]. Такой подход является правильным, но отсутствие конструктивизма нивелирует его положительный эффект.

Очевидно, что существует зависимость результата контроля знаний от формы представления задач, а также проявляется его связь с индивидуальными психофизическими особенностями обучаемых [137].

Для определения результирующей оценки за тест, исходя из оценок ответов на каждый вопрос, могут использоваться и нечеткие модели [38, 39, 48, 123]. Адаптивность здесь поГлава 1. Современные элементы интеллектуальных технологий нимают как корректировку оценок ответов на основе коэффициентов отсечения для термов «норма», «медленно», «очень медленно», что значительно сужает содержание этого понятия. Почти все полученные результаты являются следствием экспертных заключений, что значительно субъективизирует процесс оценивания.

Для моделирования структуры учебного материала, систематизации его понятий предлагается применять математический аппарат теории графов, а именно, адаптивные семантические модели учебного материала как многоуровневые иерархические структуры в виде семантических сетей, представленных ориентированным графом, в вершинах которого находятся понятия предметной области, а дуги обозначают связи (отношения) между ними [180].

Из других идей и технологий, которые релевантны исследуемой теме, отметим использование автоматизированной системы контроля знаний для обеспечения оперативной связи и корректировки учебного процесса [69], технологии текущего и итогового контроля знаний на основе методов экспертных систем [73, 147], машинное оценивание знаний в системе управления дистанционным обучением [4, 28, 75, 92, 98, 108, 136], управления контролем знаний как составной частью процесса оптимизации управления высшим учебным заведением [93, 114, 115, 140, 162], адаптивное тестирование в практике диагностики способностей и знаний [89, 100, 158], многослойное тестирование знаний [101] и оценивание параметров тестов [106], проектирование компьютерных систем для образовательной сферы на основе методов программной инженерии [49, 74].

По разным причинам реализация перспективных идей, приводимых в статьях и диссертациях, остается на низком уровне. Определим доминантные характеристики современных инструментальных средств обучения и контроля на примере нескольких систем, активно представленных в глобальной сети.

Первая из них – система «x-TLS». Как утверждают ее разработчики [135], система «x-TLS» – современное инструментальное средство для создания автоматизированных обучаИнтеллектуальное управление оцениванием знаний ющих и контролирующих систем на основе расширенных мультимедийных тестовых заданий. На самом деле, система предназначена для контроля знаний, и только, если считать выбор одного варианта ответа на вопрос из нескольких обучением, то тогда такое утверждение может претендовать на справедливость. В «x-TLS» реализованы вопросы с ответами, предусматривающие выбор одного (двух) вариантов из нескольких. Правильность выбора ответа определяется в процентах (например, 100% и 20%).

Другая система «Аргус-М» является системой интерактивного контроля и дистанционного образования [46], она имеет те же недостатки, что и «x-TLS». Вопросы должны быть только закрытого типа, т.е. с жестко заданными вариантами ответов с необходимостью выбора одного правильного ответа. Отсутствуют элементы адаптивных технологий и тесты носят программированный характер.

Известный программный продукт SunRav TestOfficePro предназначен для создания тестов, проведения тестирования и обработки результатов тестирования [33]. В нем реализован выбор пяти типов вопросов: одиночный выбор, множественный выбор, открытый, соответствие, упорядоченный список.

Выбор вопросов осуществляется случайно, вопросы могут иметь весовые коэффициенты и ограничение времени на ответы. Авторы утверждают, что в процессе тестирования присутствуют элементы адаптивности, но конструктивный путь ее реализации не указан.

Анализ украинских и российских АСОКЗ свидетельствует о том, что они являются отражением той информационной среды, которая их порождает. В них отображена попытка стандартизировать подходы к проектированию, разработке и использованию инструментальных средств автоматизированного обучения и контроля знаний. Одной из основных проблем создания АСОКЗ является разработка структуры информационной базы, основной составляющей являются алгоритмы статистической обработки значений матрицы тестирования и определения надежности тестов. Примеры функционирующих систем свидетельствуют об их локальной используемости.

Глава 1. Современные элементы интеллектуальных технологий Другие акценты доминируют в зарубежных программных продуктах [31, 36]. В частности, в Немецком исследовательском центре искусственного интеллекта (DFKI) выполнен ряд проектов по разработке систем дистанционного обучения и контроля знаний. К таким проектам относятся [5, 29]:

- Le Active Math, где скомбинированы семантический Web и адаптивные гипермедиа технологии с интеллектуальными методами обучения, такими как открытое учебное моделирование и учебные диалоги;

- IClass, в котором интегрирована концепция продолженного обучения с моделированием и анализом действий;

- WISDOM - сетевой проект поддержки адаптации к региональным структурным изменениям рынка труда и осуществления инновационной профессиональной деятельности;

- TEAL, в котором реализована интеграция Е-обучения и менеджмента знаний, что позволяет сотрудникам компаний решать проблемы эффективно и автономно;

- PROLEARN - проект, который финансировался Европейской комиссией, предназначенный для реализации технологии продленного профессионального обучения.

Очевидно, что главное внимание в указанных проектах уделено концепции «обучения в течение жизни», мультимедийным технологиям и использованию в промышленных условиях.

Подавляющее большинство отечественных систем обучения и контроля знаний реализуют ту же стратегию, что и рассмотренные системы «x-TLS» и «Аргус-М». Они имеют те же характеристики и их трудно назвать эффективными инструментальными средствами. Такой вывод следует из того, что хоть их использование и является атрибутом объективизации процесса контроля знаний, но отсутствие методологической составляющей приводит к негативным результатам, в частности, к отсутствию логической схемы обучения и смещенности оценок обучаемых.

Выполненный анализ современных технологий управления процессом обучения и контроля знаний позволяет 32 Интеллектуальное управление оцениванием знаний сделать следующие выводы. В последние десятилетия значительное количество научных исследований посвящается автоматизированным системам обучения и контроля знаний.

Такой интерес объясняется развитием компьютерной техники, сети Интернет и дистанционного обучения. Еще одной важной причиной этого является стремление избежать значительной субъективизации процессов принятия решений при оценивании знаний обучаемого.

В основу функционирования автоматизированных систем контроля знаний положено тестирование обучаемого.

Наряду с определенным положительным эффектом, который заключается в объективизации оценки и возможности удаленного доступа, такие системы имеют ряд недостатков, на которые почти не обращается внимание. Их перечень приведен в [148], он включает в себя: неструктурированность учебного материала, по которому проводится контроль знаний; информационную избыточность и недостаточность; отсутствие возможности использования вопросов, отличных от тестовых; необоснованность методов формирования интегральной оценки и т.д.

Мировые образовательные процессы определяют в процессах обучения и контроля знаний как приоритетное направление ориентацию на обучаемого. Составляющей такого подхода является реализация принципа адаптивности в широком смысле этого понятия. Проблема создания эффективных автоматизированных систем обучения и контроля знаний является многогранной и различные ее грани отмечены во многих публикациях. Вместе с тем проблема адекватности схемы оценивания, правильности ее построения ЛПР, почти не отражена. Одним из ее аспектов является корректировка сложности вопросов и их адаптация к уровню знаний группы обучаемых, что является как минимум информативным фактором для ЛПР, или, как максимум, важным констатирующим пунктом оценивания.

В современных обучающих системах важное место должны занять подсистемы контроля знаний, тестирующие системы, которые, в первую очередь, реализуют основной принцип автоматизации - обратную связь, т.е. влияние реакГлава 1. Современные элементы интеллектуальных технологий тивной подсистемы выхода системы обучения (в нашем случае, качества знаний обучаемых) на ее вход (базу знаний) с целью выработки наилучшего управления (методологической составляющей) процессом обучения.

Важное направление оптимизации процесса создания систем обучения и контроля знаний заключается в структуризации и систематизации учебного материала. Необходимо применение системного подхода к разработке электронных баз данных как основы современных ЭС. Под системным подходом понимают научно-прикладную методологию решения сложных проблем, составляющими которой является систематизация, формализация и целеориентация [164].

На начальных этапах применение принципов разработки ЭС к созданию АСОКЗ привело к разработке низкоэффективных систем, использование которых, тем не менее, имеет два преимущества: меньшее время контроля знаний и уменьшение субъективизма оценки. Вместе с тем, в АСОКЗ остается еще ряд недостатков, которые едва ли не полностью перекрывают вышеупомянутые преимущества. Такие недостатки указывают на почти полное отсутствие технологических элементов, которые обеспечили бы действительно эффективный процесс обучения и контроля знаний.

Выполнив анализ научных источников, можно утверждать, что на сегодня почти отсутствуют: элементы отечественной научной теории педагогических (математических) измерений и управления процессом контроля знаний; математико-статистические методы для проверки соответствия тестов научно обоснованным критериям качества. Чаще контроль знаний осуществляется в форме неадаптивного тестирования при сильных априорных ограничениях. При этом не указываются принципы формирования тестовых вопросов, не определяется их полнота, отсутствует реализация разнотипности ответов. Такая упрощенная схема тестирования является эффективной лишь при условии полноты множества тестовых вопросов и выполнения ряда дополнительных условий. Одновременно заметим, что предпосылкой этого является построение структуры на множестве понятий, являющееся длительным и трудоемким процессом.

34 Интеллектуальное управление оцениванием знаний Учитывая количество научно-педагогических работников и их заинтересованность в создании АСОКЗ, отметим, что количество и публикаций, и созданных систем является значительным. За последние двадцать лет только в Украине защищены десятки диссертаций, посвященных тем или иным аспектам создания и использования АСОКЗ. Подавляющее большинство таких научных работ ориентировано на решение задач оценивания знаний обучаемого. Примером исследований в этом направлении является работа [99], в которой рассматривается задача определения оптимального количества вопросов, задаваемых обучаемому, в зависимости от последовательности его ответов. Выше отмечено, что каждое высшее учебное заведение использует одну или несколько систем типа АСОКЗ. Значительное их количество содержит только подсистему контроля знаний в форме тестирования с фиксированным количеством вопросов и ответов на них [168]. Анализ моделей, методов и инструментальных средств обучения и контроля знаний свидетельствует об отсутствии единого методологического подхода к их разработке и реализации, а также об отсутствии оптимизационных процедур при формировании стратегии обучения и контроля знаний [169].

Еще один важный вывод заключается в том, что профессиональная подготовка специалистов в различных предметных областях осуществляется без учета особенностей их будущей деятельности. Однокритериальность оценивания знаний и умений значительно нивелирует результативность процесса обучения и не соответствует уровню практической подготовленности специалистов. Особенно это актуально для работников оперативно-спасательной службы, для которых определяющими критериями эффективной деятельности является правильность и время принятия решений [159].

За рубежом проверка знаний и умений специалистов осуществляется с использованием тренажеров и симуляторов, где в режиме реального времени определяется уровень профессиональной подготовленности. В Украине такие системы внедряются медленно из-за их значительной стоимости, поГлава 1. Современные элементы интеллектуальных технологий этому рациональным является использование программных моделирующих систем.

1.4. Структурно-логические элементы построения автоматизированных систем контроля знаний и обучения Структура, содержание и принципы контроля уровня знаний является информационной основой дальнейшего управления качеством обучения. Контроль уровня профессиональной подготовленности является технологическим процессом, включающим в себя комплекс методов, алгоритмов, организационных форм и средств, которые являются необходимым условием совершенствования качества обучения.

Выполнив анализ существующей системы подготовки специалистов, необходимо отметить, что:

- традиционные технологии контроля знаний и умений базируются на оценке уровня подготовленности специалиста, причем такой процесс не является достаточно объективным и диагностическим, его результаты не поддаются комплексному анализу;

- результаты контроля знаний, полученные из разных источников (оценки на экзаменах по профильным предметам), анализируются и обобщаются, как правило, изолированно, что не позволяет получить целостной картины и сделать выводы относительно профессиональной направленности обучаемого;

- показатели, подлежащие оценке, недостаточно обоснованы и не в полной мере отражают корреляцию между различными элементами контроля знаний;

- полученная в результате контроля знаний, информация используется только для оперативного управления, в то же время тактические и стратегические ее аспекты остаются непроанализированными и неиспользованными, в частности, и для оптимизации учебного процесса.

Дадим формальные определения, которые буду использоваться в дальнейшем изложении.

Интеллектуальной системой профессиональной подгоИнтеллектуальное управление оцениванием знаний товки (ИСПП) называется автоматизированная знаниеориентированая система, предназначенная для обучения, многокритериального оценивания и определения уровня профессиональной направленности обучающихся, в которой накапливается, обрабатывается и хранится информация в виде фактов, правил вывода и процедур применения таких правил. С одной стороны, ИСПП является экспертной системой, поскольку в ней «сохраняется» экспертный опыт, а с другой - это система поддержки принятия решений, поскольку она является определяющим звеном в процессе оценивания знаний. Очевидно, что указанными функциями функционирование ИСПП не ограничивается.

Особо важную роль играют ИСПП сотрудников оперативно-спасательных служб, поскольку от уровня их подготовки зависит масштаб негативных последствий аварий и катастроф. Аналитический обзор методов контроля уровня профессиональной подготовленности таких сотрудников свидетельствует о преимущественном использовании традиционных методов обучения и контроля знаний. В частности, контроль знаний происходит в форме экзаменов или тестирования. В то же время такое оценивание знаний работников оперативно-спасательных служб является не полным и имеет низкий уровень объективности. Последние выводы связаны с тем, что спасатели должны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими катастрофами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб. Поэтому при контроле знаний целесообразно было бы учитывать такие обстоятельства и ориентироваться на использование современных информационных технологий [57, 61, 62]. Проведенный анализ релевантных технологий и их элементной базы, применяемых для оценки знаний и умений специалистов, указывает на низкий уровень как разработки средств контроля, так и на недостаточное методическое обеспечение этого процесса.

Процесс профессиональной подготовки работников оперативно-спасательных служб предлагается осуществлять на основе структурно-логической схемы, которая является Глава 1. Современные элементы интеллектуальных технологий основным интегрирующим элементом разработки и использования автоматизированной системы контроля знаний. Ее первой составляющей есть методика определения компетентности специалистов в условиях неопределенности. Неопределенность присуща многим процессам принятия решений и является следствием непредсказуемости динамики внешней среды, отсутствия или неполноты информации, невозможности осуществления адекватной оценки ситуации в критических условиях.

Таким образом, повышение эффективности процессов обучения и определения уровня профессиональной подготовленности связано с успешным решением задач и учетом аспектов:

- построения логико-иерархической схемы контроля знаний;

- структурирования учебного материала по результатам контроля знаний и определения его приоритетности;

- разработкой адаптивных моделей оценки знаний и коррекции сложности вопросов, в т.ч. с учетом критерия времени;

- определение профессиональной направленности специалистов.

Построение ИСПП базируется на определенных идеях и априорных принципах. В частности, для классификации вопросов контроля знаний выбрано схему, приведенную в работах [151, 154, 156, 157]. Для каждого из предложенных там типов вопросов разработаны процедуры оценки, исходя из отклонения ответов обучаемого от правильных ответов, и метод формирования интегральной оценки [150]. В работе [156] было предложено осуществлять структуризацию предметной области, которой, являются предметные области учебных курсов, что позволило оптимизировать процессы тестирования за счет самоорганизации множества вопросов, задаваемых обучаемым. Аспекты создания эффективных ИСПП как одного из видов АСОКЗ рассмотрены в [148], где определено, что такие системы должны удовлетворять требованиям: минимизации времени обучения и контроля знаний; полноты контроля знаний; отсутствия или минимального наличия информационной избыточности и информационной недостаточности; максимально возможной объективизации реИнтеллектуальное управление оцениванием знаний зультатов оценивания.

Исследования последних лет ориентируют на внедрение принципа адаптивности в теорию и практику создания АСОКЗ. Понимание этого принципа у разработчиков различно. Чаще адаптивными АСОКЗ считаются системы, которые ориентированы на модель обучаемого [181]. Нераскрытым остается принцип адаптивности в применении к созданию ИСПП и его использование в процессе проектирования соответствующих баз данных.

Подготовка работников оперативно-спасательных служб в высших учебных заведениях, а также повышение их квалификации на различных курсах заканчивается процессом оценивания знаний. Сложной проблемой является объективизация процесса оценивания знаний и умений. Ее решение сопровождается необходимостью разработки систем контроля уровня подготовленности сотрудников при условии выполнения ряда предпосылок, а именно определение:

- принципов, которые будут учитываться и на которых будут базироваться такие системы;

- структуры, которая будет лежать в основе их построения;

- технологии проведения автоматизированного контроля уровня подготовленности.

Структурно-логическая схема проектирования эффективных ИСПП с учетом указанных аспектов и задач содержит такие этапы. Во-первых, необходимо проведение анализа технологий, которые используются для обучения и контроля знаний в определенной предметной области. Его результатом станет определение их особенностей, указание на преимущества и недостатки. В его основу положен вывод о локальности положительных особенностей методов и инструментальных средств, а также о глобальности проблемы отсутствия единой методологической парадигмы, которая бы стала основой реализации технологических схем обучения и оценивания, особенно при подготовке специалистов оперативно-спасательных служб.

Выполненный анализ позволяет сформулировать соответствующие принципы и задачи, состоящие из трех основных частей. На первом этапе повышения эффективности Глава 1. Современные элементы интеллектуальных технологий процесса обучения и контроля знаний предложено осуществлять оптимизацию логических схем контроля знаний и обучения. Для этого дано определение эффективной системы обучения и контроля знаний и показано как достичь оптимальности ее составляющих характеристик. Выполнение структуризации логической схемы контроля знаний станет необходимым условием минимизации времени оценивания.

Базовые методы проведения контроля знаний будут базироваться на нисходящей и восходящей схемах оценивания.

Кроме определения уровня профессиональной подготовленности необходимо установить еще и профессиональную направленность специалистов [117], для чего будут предложены модели на основе продукционных правил. Учитывая результаты контроля знаний, будет разработан метод определения приоритетности учебного материала, который станет основой планирования индивидуализированного учебного процесса.

Определению адекватности схемы контроля знаний, а именно соответствия сложности вопросов в комплексе уровню знаний обучающихся, и разработке соответствующих моделей посвящен второй этап исследования. В зависимости от типа вопросов будет разработан метод оценки знаний специалистов на основе моделей уровня знаний и разработаны модели адаптивной корректировки сложности вопросов в режиме «реального времени», который предусматривает ее пересчет после прохождения контроля знаний каждым обучаемым. Поскольку для специалистов оперативноспасательной службы одним из основных критериев оценки является минимизация времени на принятие решений, то в дальнейшем выполнена модификация моделей с учетом критерия времени.

На третьем этапе исследования будут предложены принципы и разработана структура базы знаний интеллектуальной системы профессиональной подготовки, с использованием которой проведены эксперименты и верифицированы теоретические результаты исследования.

В комплексе реализация всех этапов структурнологической схемы исследования создаст предпосылки утверИнтеллектуальное управление оцениванием знаний ждать, что на основе анализа известных технологий автоматизированного контроля знаний и обучения определена необходимость создания методологических основ разработки эффективных интеллектуальных систем профессиональной подготовки. Учитывая необходимость специалистов оперативно-спасательных служб принимать решения в условиях неопределенности, базовыми технологиями будем считать технологию предвидения и прогнозирования [83, 146], моделирования процессов [91], подходы к решению сложных проблем [133], теоретические основы контроля знаний, в т.ч.

статистические [129, 143], интеллектуальное управление с учетом неопределенности [78, 79, 167, 172, 191]. Полученные модели и методы составят основу адаптивной технологии, что позволит реализовать многокритериальное оценивание, минимизировать его время и определять профессиональную направленность специалистов оперативно-спасательной службы.

РЕЗЮМЕ

В первой главе выполнен анализ процессов автоматизированного обучения и контроля знаний, начиная с концепции программированного обучения, IRT-теории и заканчивая аналитическим обзором современных научных результатов. Сделан вывод об отсутствии системных исследований по структуризации и систематизации учебного материала и его представление в базах знаний автоматизированных систем обучения и контроля знаний.

Определены доминантные характеристики современных инструментальных средств обучения и контроля на примере украинских и зарубежных систем. Показано, что преимущественное внимание в первых системах сосредоточено на контроле знаний при почти полном отсутствии адаптивных технологий и технологий индивидуализированного обучения. В зарубежных программных продуктах доминируют элементы концепции «обучения в течение жизни», мультимедийные технологии и ориентация на использование в промышленных условиях.

Глава 1. Современные элементы интеллектуальных технологий Проведенный анализ свидетельствует об отсутствии единого методологического подхода к созданию автоматизированных систем обучения и контроля знаний и необходимости реализации основного принципа автоматизации обратной связи, т.е. влияния реактивной системы выхода системы обучения (в нашем случае, знаний обучаемых,) на ее вход (базу знаний) с целью выработки наилучшего управления (методологической составляющей) процессом обучения.

Разработана структурно-логическая схема исследования, в основу которой положена методология системного анализа.

Основными ее этапами определено разработку логических схем оценивания и обучения, элементов адаптивного контроля знаний и планирования процесса обучения, а также принципов разработки и формирования структуры базы знаний интеллектуальных систем профессиональной подготовки.

Глава 2. Онтологии учебных курсов и структуризация материала

ОНТОЛОГИИ УЧЕБНЫХ КУРСОВ

И СТРУКТУРИЗАЦИЯ УЧЕБНОГО

МАТЕРИАЛА

Переход от постиндустриального к информационному обществу и далее к обществу, базирующемуся на знаниях, происходит в условиях лавиноподобного роста количества информации, содержащейся в базах данных и знаний. Необходимым условием осуществления такого перехода является создание автоматизированных систем, в которых интегрирован экспертный опыт, выполняются процедуры систематизации, классификации и прогнозирования.

Разработка ЭС как одного из видов автоматизированных систем является приоритетным направлением искусственного интеллекта. В них осуществляется сбор, хранение, обработка, анализ данных и знаний. Экспертные системы используются для решения широкого круга задач, к которым, в первую очередь, относятся интерпретация, прогнозирование, диагностика, проектирование, планирование, мониторинг и управление в медицине, математике, машиностроении, обороне, образовании и т.д.

Современные ЭС присутствуют почти в каждой отрасли, где есть необходимость в поддержке процессов принятия решений. Вместе с тем, их эффективность по сравнению с возможным потенциалом остается чрезвычайно низкой.

Развитие информационного общества определило перспективы существования систем, которые взаимодействуют, и является пространственно разнесенными. В то время, когда проблемы коммуникационного характера в значительной мере решены, информационно-аналитическое сопровождение функционирования таких систем, к которым относятся виртуальные предприятия, системы дистанционного Глава 2. Онтологии учебных курсов и структуризация материала обучения, "электронные дома" и т.д., оставляет желать лучшего. Для оптимизации информационно-консультативного сопровождения процессов принятия решений, составной частью которого является применение ЭС, рациональным является использование системного подхода [164] и формирование логической схемы задач. Элементный базис такой схемы определяется реализацией следующих составляющих:

- классификации и исследования эффективности современных методов и средств проведения экспертиз;

- выполнения классификации и обоснования полноты структурных элементов понятийной базы в зависимости от направления использования ЭС;

- разработки стратегии формирования дерева экспертного анализа (установка перечня и порядка формирования последовательности правил) на основе понятийной базы;

- выполнения анализа современных методов формирования онтологий и соответствующих предметных областей;

- разработки принципов, структуры и элементного базиса для создания онтологий предметных областей;

- разработки моделей и методов автоматизированного создания онтологий, основываясь на E-представлении данных;

- разработки метода композиционной оценки результатов экспертного анализа;

- определения принципов, структуры, элементной базы информационного наполнения системы экспертного анализа, включая средства представления исходной информации и результатов;

- выполнения экспериментальной верификации предложенных моделей и методов на базе разработанной ЭС.

Известно [105], что в ЭС выполняются операции на основе целей и на основе данных, соответствующие поиску в глубину и в ширину. Специфика ЭС определяет ее направленность на решение задач нахождения закономерностей, к которым относятся: ассоциация, последовательность, кластеризация, классификация и прогнозирование [182].

Ассоциация имеет место в том случае, когда несколько элементов, событий, семантических элементов связаны между собой. Если между ними существует связь во времени, гоИнтеллектуальное управление оцениванием знаний ворится о существовании последовательности. С помощью классификации определяют группу, которой принадлежит новый элемент. При выполнении кластеризации группы являются неизвестными и только формируются. Прогнозирование возможно при условии существования информации об объекте с привязкой ко времени.

Одной из технологий, которая позволяет осуществлять эффективную обработку информации на основе знаний, является использование онтологий [124]. Понятие онтологии, заимствованное из философии, в последние годы активно используется в информатике. Одни исследователи рассматривают онтологию как концептуальную семантическую сущность, другие – как специальный семантический объект.

Главное внимание в релевантных многочисленных публикациях сосредоточено в областях, связанных с информационным поиском, решением задач формализации, структуризации и классификации разрозненного материала. Стремительное развитие глобальной мировой сети Интернет создало предпосылки для разработки, функционирования и развития дистанционно удаленных программных систем, базирующихся на использовании онтологий.

В работе [13] онтология определена как точная спецификация концептуализации. Разные точки зрения на такое определение обсуждаются в [12, 15]. В частности, обозначены онтологии верхнего уровня, онтологии предметной области, онтологии задач и онтологии приложений.

Общепринято онтологию предметной области представлять тройкой элементов где X конечное множество концептов, R множество отношений между концептами, F множество функций интерпретации концептов и отношений.

Графически онтология имеет вид сети, вершины которой являются терминами и отношениями, а ребра указывают на связи между ними. Построение онтологии полезно для использования в:

- системах обучения при поиске нужной информации [109];

Глава 2. Онтологии учебных курсов и структуризация материала - поисковых системах с использованием семантически значимых фрагментов текста [122];

- научных исследованиях при отслеживании полезных данных и знаний в потоках информации [179];

- системном анализе при исследовании предметной области [97, 130];

- интеграции данных и знаний при композиции информационных баз [124].

Таким образом, созданию эффективной ЭC должно предшествовать формирование онтологии предметной области (рис. 2.1). В свою очередь, это становится возможным при условии существования базы данных, содержащей всю необходимую информацию об объекте или процессе. Будущий пользователь такой системы (заказчик) определяет набор и структуру правил, а эксперт определяет соответствующую онтологию, создавая тем самым фиксированную иерархическую систему вывода. Для того, чтобы иметь возможность масштабирования ЭС необходимо также создать онтологии средств представления входящей и исходящей информации, а также программных элементов.

Взаимодействие эксперта, аналитика и оператора происходит через общение. При этом возникает ряд лингвистических проблем и задач, к которым отнесем:

– S1 формирование общего словаря общения, где одинаковые объекты идентифицируются одинаковыми именами, как для аналитика, так и для эксперта. Словарь включает общенаучные термины, специальные понятия, профессиональные неологизмы;

– S2 формирование понятийных структур, соответствующих существующим ассоциативным и семантическим связям, и являющимися иерархическими составными частями онтологии;

– S3 разработка словаря, который позволит создавать дружественный интерфейс для работы эксперта (пользователя).

46 Интеллектуальное управление оцениванием знаний Применение правил вывода Рис. 2.1. Структурная схема экспертной системы на базе онтологии Глава 2. Онтологии учебных курсов и структуризация материала Решение вышеуказанных задач сводится, в основном, к оценке семантических связей, структуризации элементной базы и является предпосылкой эффективной разработки ЭС, их использования и дальнейшей модификации.

В современном мире информационных технологий онтологии – формальные явные описания терминов предметных областей и отношений между ними.

В сети Internet онтологии используются для категоризации сайтов (Yahoo.com), товаров и их характеристик (Amazon.com), создания словарей в области медицины, общецелевой терминологии товаров и услуг.

Онтологии создаются для того, чтобы [26]:

- программные агенты понимали структуру информации;

- существовала возможность повторного использования знаний в предметной области;

- сделать допущения в предметной области явными;

- отделить знания в предметной области от оперативных знаний;

- анализировать знания в предметной области.

Разработка онтологий не является самоцелью, она подобна определению набора данных и их структуры для использования другими программами. Отмечая определенное сходство создания онтологий с проектированием классов в объектно-ориентированном программировании, заметим, что программист сосредотачивается на операторных свойствах класса, а разработчик онтологии - на структурных свойствах.

Онтология вместе с экземплярами классов образует базу знаний. На практике разработка онтологии включает:

- определение классов;

- размещение классов в таксономическую иерархию;

- определение слотов и описание их допустимых значений;

- заполнения значений слотов экземплярами.

Традиционно рекомендуется начинать разработку онтологии с определения ее области и масштаба, для чего необходимо определить перечень вопросов для проверки ее компетентности [14], а также проверить, не создавалась ли ранее подобная онтология. Следующий этап - разработка иерарИнтеллектуальное управление оцениванием знаний хии классов [34], которая бывает нисходящей, восходящей и комбинированной.

Важными являются задачи определения принципов создания и структуры онтологий, которые служат основой разработки ЭС на базе унифицированного представления предметной области и правил вывода.

Модели (1.1)-(1.3) являются дополнительным информационным фактором, позволяющим осуществлять структуризацию процесса создания и функционирования ЭС. Заметим, что эффективно функционировать будет та ЭС, как уже указано выше, которая имеет адекватно сформированный информационный базис. В его качестве рационально использовать онтологию как достаточно сложную организованную структуру знаний о предметной области с одной стороны, с другой как исходный материал для получения новых знаний [64]. Построение и использование онтологии в ЭС базируется на том, что:

- онтология в таком случае совместно используется коллективами агентов;

- знания о предметной области используются неоднократно;

- знания о предметной области отделены от процесса и алгоритма экспертизы.

2.2. Обзор предметных областей разработки и Научные работы, посвященные онтологиям, делятся на два класса: к первому классу относятся работы по проблематике разработки онтологий и их усовершенствованию, второй класс определяется задачами их применения.

Анализ спектра научных источников позволяет утверждать, что необходимость разработки онтологий определяется потерями времени на поиск необходимой информации;

инкапсуляцией ценной информации; повторяемостью ошибок из-за недостаточной информированности и игнорирования предыдущего опыта. При выполнении онтологического инжиниринга достигаются свойства системности, информационного единства и научности, что является необходиГлава 2. Онтологии учебных курсов и структуризация материала мым условием разработки и использования эффективных ЭС.

Идея использования онтологий при решении различных интеллектуальных задач не является новой. Анализ лишь публикаций и докладов на XII-й международной конференции "Knowledge-Dialogue-Solution", состоявшейся в июне года в Варне, показал значительный интерес ученых к разработке и применению онтологий при решении многих прикладных задач. Рассмотрим основные работы, которые можно отнести к первому классу (разработка онтологий и их усовершенствование).

В частности, автор статьи [175] обращает внимание на то, что при разработке информационных систем создается ряд артефактов, начиная с модели предметной области и заканчивая набором тестов. Автоматизация процесса создания артефактов актуальна при разработке подобных систем и поэтому необходимо осуществлять определенную универсализацию, которая может быть достигнута за счет повышения уровня абстрагирования. Очевидна инцидентность этой идеи процессу разработки ЭС в образовании. Для таких систем важной является оценка их качества, что объясняется изоморфизмом основных элементов при разработке аналогичных приложений.

Отметим, что проф. Т. Гавриловой предложены принципы концептуального баланса и ясности [63], которые составляют методическую основу разработки онтологий в предметных областях учебных курсов, и являются такими:

- понятия одного уровня иерархии связанны с родительским концептом одним и тем же типом отношений;

- глубина ветвей онтологического дерева должна быть примерно одинаковой (2);

- общая картина онтологии должна быть достаточно симметричной;

- перекрестные ссылки должны быть по возможности исключены;

- максимальное число концептов одного уровня или глубина ветви не должно превышать число Ингве-Миллера (7 2);

50 Интеллектуальное управление оцениванием знаний - схема онтологии не должна быть перегруженной, поэтому рекомендуется опускать названия отношений.

Работы проф. Т. Гавриловой и соавторов также посвящены дидактическому аспекту построения онтологий [52, 54, 55].

Описания решений прикладных задач с использованием онтологий занимает большую часть среди научных источников. Разработка и использование онтологий на сегодняшний день не формализованы, для их построения существуют только некоторые фундаментальные правила. Вместе с тем, области применения онтологий и аспекты их развития достаточно разнообразны, о чем свидетельствует анализ следующих работ, где излагаются аспекты решения проблемы поиска необходимой информации в локальных сетях и сети Интернет. Обеспечению независимости представления информации от языка описания ресурса посвящена статья [141], где показано, что главным критерии выбора необходимых данных является их семантическое описание, которое и обеспечит пертинентность информационного поиска.

В работе [103] отмечено, что онтологии являются эффективным базисом для использования в задачах поиска необходимых документов. Обратим внимание на то, что в статье отражены основные преимущества использования онтологического подхода при решении задач поиска: системность (представление целостного взгляда на предметную область);

единство (знания представляют в инвариантной форме); целостность (построение онтологии позволяет восстановить недостающие логические связи предметной области).

Онтология оптимизации программ описана в [47]. Проблемы разработки практической онтологии для формирования интерфейсов рассмотрены в [11, 67]. Аспекты построения онтологий в медицине и фармакологии отражены в [113]. В [64] построена онтология метода анализа иерархий Саати; в статье [72] для повышения интеллектуального анализа текста предложено использовать взвешивание понятий в модели онтологии; авторы [102] рассматривают вопросы, связанные с представлениями в онтологии нечетких понятий и отношений; статья [176] посвящена исследованию оцениГлава 2. Онтологии учебных курсов и структуризация материала вания в процессе создания онтологий. Алгоритм сравнения интересов продавцов и покупателей в Интернет-магазинах предложен в работе [59]; в статье [65] рассмотрена задача разработки пользовательского интерфейса с использованием разных типов диалога, базирующихся на использовании онтологий; процедура структурирования знаний в прикладной области изучается в [27].

В работе [165] предложена понятийно-тезисная модель представления знаний, на базе которой авторы планируют разработать систему автоматизированной генерации тестов для контроля знаний. Вместе с тем, в ней отсутствует упоминание о полноте такого представления информации и о полноте теста, который должен определять знание обучаемым всего учебного курса. Другой подход к решению аналогичной задачи [160, 161] базируется на использовании анализа формальных понятий Вилле-Гантера и направлен на автоматическое формирование понятий, закономерностей и ассоциаций в предметной области. Доминирующее значение в работе занимает модель состава-включения информационных элементов, что, безусловно, не исчерпывает семантического разнообразия изложения учебного материала.

Важным направлением является оптимизация поиска информации в сети Интернет по критерию пертинентности, рассматриваемая в [142]. Предложенный подход, базирующийся на композиции онтологии и тезауруса, является, безусловно, актуальным, однако трудоемкость его практической реализации может перечеркнуть положительный эффект от внедрения.

Как показывает анализ первоисточников, практические направления применения онтологий являются разнообразными: от разработки интерфейса программных систем [65] до генерации текста программ на основе онтологий [66]. В рассмотренных работах присутствует видение перспективности двух основных направлений применения онтологий в практических приложениях. Одно из них связано с оптимизацией информационного поиска, другое с повышением эффективности процесса приобретения знаний. Некоторая ограниченность рассмотрения проблемы контроля знаний в 52 Интеллектуальное управление оцениванием знаний существующих работах и актуальность разработки систем дистанционного контроля знаний свидетельствуют в пользу создания автоматизированных систем, базирующихся на структурированном представлении учебного материала, классификации вопросов, определении их полноты.

Известно, что на современные процессы в природе и обществе оказывают доминирующее влияние такие факторы как лавиноподобный рост количества информации, количества информационных источников, развитие всемирной глобальной сети и растущие потребности производителей материальных благ и услуг. В то же время, поиск необходимой информации наталкивается на большое количество нерелевантных данных, имеющих к рассматриваемой задаче весьма отдаленное отношение. Для решения такой проблемы в современных информационных технологиях возникли направления, именуемые инженерией знаний (Knowledge Ingeneering) и извлечением знаний из текстов (Text Mining).

Некоторое отношение к ним имеет и электронное обучение (E-learning). Прикладными областями, в которых сосредоточены главные соответствующие разработки, являются:

- анализ информационных ресурсов в Интернет;

- контроль знаний учащихся;

- дистанционное обучение;

Поскольку, как отмечено выше, знания о предметной области существуют отдельно от методов анализа, неизбежно возникает проблема их композиции. Такое взаимодействие в условиях информационной избыточности должно быть достаточно эффективным по критерию минимизации времени. Однако в процессе решения этой задачи, вследствие синергетического эффекта [171], возникают структуры, объединяющие данные, вопросы, ответы и правила вывода, обладающие некоторой временной устойчивостью. Такие структуры во времени стремятся к положению с минимальной энергией. Но достижение указанного состояния происходит в условиях неполной информации. Таким образом, с одной стороны существует информационная избыточность исходных данных и недостаток информации об оптимизаГлава 2. Онтологии учебных курсов и структуризация материала ции процесса и результатов контроля знаний (в АСОКЗ) с другой. Разрешить такое противоречие предлагается с использованием самоорганизации процесса переходов по уровням ЭС (последовательности вопросов для контроля знаний в АСОКЗ). Процедура самоорганизации функционирования ЭС позволит рационализировать и интеллектуализировать процесс обработки информации, необходимой для получения и контроля знаний.

Подводя итог анализу научных источников, отметим рост общего количества публикаций онтологического спектра, что свидетельствует о его актуальности. Важными направлениями применения онтологий являются ЭС, в которых реализуются процедуры семантического поиска, разработки древовидных структур понятий и отношений между ними.

2.3. Проектирование и управление процессом контроля знаний на основе онтологии предметной области Предметом нашего исследования является процесс обучения и контроля знаний с помощью ЭС. В связи с распространением дистанционного образования, а также другими факторами возникает необходимость разработки и использования средств автоматизированного обучения и контроля знаний. При этом главное внимание обращают на особенности разработки программного обеспечения, а проблемы оптимизации структуры учебного материала, а также разработки методологии тестирования знаний и методов ее верификации остаются в стороне.

Очевидно, что в подавляющем большинстве случаев контроль знаний сильно субъективизирован как по форме проведения, так и по содержанию. Его объективизация может быть достигнута и достигается в определенном объеме с помощью использования автоматизированных систем. Однако при традиционном подходе не гарантируется полнота охвата учебного материала, качество его представления для контроля знаний, кроме того время проведения контроля знаний не является оптимизированным, а сам процесс оцениваИнтеллектуальное управление оцениванием знаний ния сопровождается информационной избыточностью.

Современные системы АСОКЗ, по нашему мнению, можно разделить на две категории, по способу реализации:

без использования онтологий;

с использованием онтологий.