«Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление оцениванием знаний Монография Черкассы 2013 2 Интеллектуальное управление оцениванием знаний ББК 32.815 C. 53 УДК 004.896 ISBN 978-966-2200-28-7 Снитюк В.Е., Юрченко ...»

Полученные выражения для двухкритериального оценивания позволяют расширить критериальную базу контроля знаний. Очевидно, что предложенный подход может быть обобщен на большое количество критериев. В то же время для некоторых категорий специалистов именно правильность и своевременность ответа свидетельствует об уровне профессиональной подготовленности.

196 Интеллектуальное управление оцениванием знаний Предложенный метод оценивания и разработанные модели позволяют уменьшить неопределенность процесса оценивания. Формализация процесса определения компетентности специалистов с учетом критичности времени контроля знаний позволит объективизировать процесс оценивания их знаний и умений. Элементы разработанной технологии позволят уменьшить избыточность процесса оценивания и учитывать скорость принятия решений специалистом как одну из характеристик его профессиональной подготовленности.

На перспективность такого направления исследований указывает его практическая направленность. В частности, необходимо усовершенствовать метод определения компетентности специалистов в условиях неопределенности за счет введения дополнительного критерия – минимизации времени принятия решения. При помощи другого критерия возможно осуществлять процесс оценивания знаний и умений как технологию решения многокритериальной задачи с учетом будущих последствий таких решений [96].

5.6. Аспекты интегральной оценки корректности Обобщим полученные результаты. Пусть n – количество вопросов, которые содержаться в базе данных и могут использоваться при контроле знаний. Вопросы принадлежат к просов i -го типа. Предположим, что j -му обучаемому было задано K вопросов, причем K ki, где ki –количество заi данных вопросов i -го типа. Все вопросы имеют одинаковую сложность.

Осуществим оценивание по ответам на каждый тип вопроса, используя формулы (5.22), (5.26), (5.30), (5.32) и (5.34).

Напомним, что первый тип вопросов оценивается по формуле (5.23) [157], седьмой тип – по формуле (5.22), восьмой тип – Глава 5. Элементы адаптивной технологии оценивания эмпирически. Полученные оценки – jk1, jk2,..., jk8 для j -го обучаемого, j 1, m.

Тогда общая оценка j -го обучаемого определяется по формуле Предположим, что все вопросы имеют откорректированную по формулам (5.24), (5.25), (5.27-5.29), (5.30), (5.31), определяется так:

(1 (ответ на i-й вопрос n-го типа неправильный)), j 1, m. (5.62) Формулы (5.61) и (5.62) дают основания для определения адекватности схемы контроля знаний и сложности вопросов, и указывают на возможность их использования для оценивания обучаемого. Если ЛПР по результатам вычислений (5.61) и (5.62) делает вывод о неадекватности логической схемы контроля знаний, то тогда необходимо осуществлять коррекцию сложности вопросов, которая выполняется для каждого типа по соответствующей формуле в режиме реального времени, что позволяет уменьшить субъективизм процесса оценивания.

РЕЗЮМЕ

В пятой главе предложен один из элементов реализации системного подхода к осуществлению дистанционного образования, а именно, к разработке подсистемы контроля знаИнтеллектуальное управление оцениванием знаний ний обучаемых, базирующийся на адаптивных механизмах.

Сформулированы эвристики, которые положены в основу процедур коррекции уровней сложности вопросов в зависимости от вариантов ответов экзаменуемых и их общего образовательного уровня. Разработаны модели, с помощью которых осуществляется изменение сложности вопросов в режиме реального времени, что позволяет уменьшить время обучения системы, а также минимизировать ошибки оценивания знаний.

Рассмотренный подход, равно как и другие существующие, требует реализации значительного объема верификационных процедур. Вместе с тем, он является достаточно простым для алгоритмизации и открытым для внесения изменений и дополнений.

Предложена технология определения адекватности логической схемы контроля знаний и метод корректировки сложности вопросов тестового характера. Разработанные и приведенные выше модели для определения адекватности логической схемы контроля знаний и адаптации сложности вопросов позволяют предпринять еще один шаг к объективизации и оптимизации процессов обучения и оценивания.

Полученные с их использованием результаты рационально использовать для формирования плана обучения с учетом преимуществ и предложений обучаемых лиц.

Выполнен анализ технологий контроля знаний. Определенные аспекты корректности схем оценивания. Приведены принципы адаптивности контроля знаний и указано на их преимущества. Разработаны модели корректировки сложности вопросов в режиме «реального» времени, а также с учетом критериев правильности данного ответа и времени его получения.

Глава 6. Проектирование систем профессиональной подготовки

ПРОЕКТИРОВАНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ

СИСТЕМ ПРОФЕССИОНАЛЬНОЙ

ПОДГОТОВКИ

6.1. Системный подход к проектированию экспертных Современные тенденции свидетельствуют о неуклонном движении мирового сообщества в направлении создания информационного общества. В сфере образования такое движение отвечает все более широкое внедрение компьютерной техники в учебный процесс; развитие и использование технологий, связанных с глобальной сетью; внедрение элементов дистанционного образования и т.д. В значительной мере эти составляющие определяют необходимость создания автоматизированных систем обучения и контроля знаний и зависят от их эффективного функционирования.

';

Интеллектуальная система профессиональной подготовки является ЭС, которая может функционировать в активном и пассивном режимах. В пассивномрежиме последовательности вопросов системой определяются заранее и записываются в базу данных, в активном последовательность вопросов формируется в процессе ответов обучаемого.

В первом случае минимизируется время на генерацию вопроса, но отсутствует адекватная реакция на правильность ответов, во втором если мощность онтологии достаточно большая, то время определения следующего вопроса может быть значительным. Преимущество активного режима заключается в том, что существует возможность гибкого реагирования и определения последовательности следующих вопросов в зависимости от предыдущих ответов.

Процесс извлечения знаний с использованием ЭС базируется на работе трех подсистем [49]: редактора базы знаний, машины вывода и подсистемы объяснений. Оптимизация их функционирования требует решения таких задач:

200 Интеллектуальное управление оцениванием знаний - формального представления онтологии в элементном базисе базы знаний;

- обеспечения возможности определения соответствия между представлением онтологии и таблицей, содержащей тематические вопросы;

- разработки алгоритма проведения экспертизы (контроля знаний), предусматривающего возможность гибкой настройки в результате самоорганизации базы вопросов в режиме реального времени;

- разработки моделей и методов проведения экспертизы, начальным этапом которой является формализация вопросов в зависимости от типов ответов;

- учета возможности нечеткого представления субъективных заключений;

- разработка системы протоколирования и интерпретации результатов функционирования ЭС, предусматривающей объяснение логики проведения экспертизы.

В результате решения указанных задач открываются перспективы системного подхода к созданию ЭС в различных отраслях знания. Значительная степень унификации процесса их создания и проектирования оптимизирует процесс получения экспертных выводов. Необходимым условием этого является формирование онтологий соответствующих предметных областей, достаточное условие заключается в реализации технологии суперпозиции элементов контроля знаний, адаптивности и элементов онтологии.

Стремительное развитие дистанционного обучения является еще одним аргументом в пользу создания и использования автоматизированных систем контроля знаний, базирующихся на использовании онтологий предметных областей, являющихся основой учебных курсов. Заметим, что разработка онтологии является достаточно сложным и трудоемким процессом, поэтому рационально этот процесс в границах учебного заведения, а в дальнейшем и в более широких масштабах унифицировать, для чего разработать программно-методическое обеспечение. Еще одним приложением для разработанных онтологий будет их использование в качестве базовых платформ для разработки дистанционных Глава 6. Проектирование систем профессиональной подготовки курсов, интегрирующих в себе подсистемы обучения, справочной информации, методических указаний, тестовых примеров, приемов отчетов и контрольных заданий.

Предлагаемая концепция построения ЭС для контроля знаний содержит теоретические и практические составляющие. В частности:

идея и необходимость построения ЭС контроля знаний определяется задачей повышения эффективности процессов обучения и контроля знаний;

объективизация процесса контроля достигается посредством использования ЭС;

достаточно точная оценка гарантируется процедурой, обеспечивающей полноту представления материала в процессе контроля знаний, а также его отображением на структуру множества вопросов;

информационная избыточность устраняется с помощью алгоритма, определяющего в режиме реального времени необходимость и структуру дальнейшего контроля знаний;

все вышеперечисленные факторы направлены на минимизацию времени оценивания.

Элементный базис и структура ЭС определяется необходимостью:

работы с ней как лица, проходящего контроль знаний, так и эксперта (системного аналитика, преподавателя, ЛПР);

создания базы знаний, содержащей концептуальные элементы курса и отношения между ними, представленные в виде графа И-ИЛИ;

разработки онтологии предметной области, содержащей ее концепты, отношения между ними и их интерпретации;

формирования базы данных, содержащей вопросы и варианты ответов для проведения контроля знаний;

разработки процедуры формирования последовательности вопросов и оценивания разных типов вопросов, а также интегральной оценки.

Практическая составляющая, а именно, реализация инструментальных средств должна базироваться на таких принципах:

1. Принцип ясности. Все концепты, факты, отношения, инИнтеллектуальное управление оцениванием знаний терпретации, представленные в структурных элементах ЭС должны иметь однозначное трактовку на естественном языке, несмотря на формализмы, в них присутствующие [184].

2. Принцип универсальности. В системе должна быть предусмотрена возможность формирования онтологии и логической схемы задач по разным курсам.

3. Принцип согласованности. Все концепты, полученные в результате точного логического вывода из аксиом не должны противоречить неформальным определениям и примерам.

4. Принцип расширяемости. Необходимость введения новых концептов не должна подвергать ревизии структуру уже существующих дефиниций.

5. Принцип минимальности смещения кодирования. Выбор представления не должен иметь влияния на качество определений или следствий.

6. Принцип открытости. Предусмотрена возможность внесения изменений и дополнений как в модули системы, так и в элементный базис и структуру онтологий и логической схемы задач.

Инструментарий для проведения контроля знаний должен предусматривать работу двух категорий пользователей:

экзаменатора и экзаменуемого. Экзаменатор должен уметь:

формировать онтологии, а именно определять концепты (в композиции автоматического режима с ручным или исключительно ручном), отношения, составлять словарь интерпретаций и его представление;

формировать логическую схему учебного курса;

формировать базу вопросов и ответов с комментариями (помощью, подсказками для экзаменуемого лица);

определять процедуру оценивания ответов (необходимо предусмотреть определения коэффициентов сложности вопросов с разработкой процедуры их модификации в процессе тестирования, например – чем больше экзаменующихся не ответили на вопрос – тем выше его сложность).

Для экзаменуемого лица достаточно знать процедуру работы с ЭС. Интеллектуальная система профессиональной Глава 6. Проектирование систем профессиональной подготовки подготовки вообще и ее экспертная часть, в частности, должны иметь следующие блоки:

1. Блок предварительного тестирования. В этом блоке предусматривается определение начальной оценки знаний обучаемого, возможность формирования протокола, в котором указано уровень знаний по различным темам и необходимость изучения определенного материала.

2. Блок формирования плана обучения. Исходя из информации, полученной в предыдущем блоке, разрабатывается план обучения. Необходимо учесть пожелания обучаемого, в частности, какого уровня знаний он стремится достичь, какие темы являются приоритетными для изучения и т.д.

3. Блок промежуточного тестирования. В блоке предусматривается контроль знаний после изучения определенной темы, а также сравнительный анализ с предыдущими результатами и вывод статистических показателей.

4. Блок обучения, включающий элементы учебной информации: тексты, мультимедийные блоки, а также метаданные.

5. Блок заключительного контроля. В нем содержится графоподобное представление структуры вопросов и ответов.

Главным элементом блока является алгоритм выбора вопросов и алгоритм формирования оценки.

6.2. Структуризация процесса интегрального оценивания знаний в экспертных системах Рассматривая проблему контроля знаний на современном этапе развития информационных технологий, необходимо учитывать следующие аспекты:

- ВУЗы принимают участие в Болонском процессе, важной составляющей чего является внедрением модульной системы оценивания знаний и объективизация этого процесса;

- развивается система дистанционного образования, в основе которой лежат электронные курсы, автоматизированные системы обучения и контроля знаний;

Одним из направлений оптимизации процесса оценивания знаний является разработка и внедрение ИСПП. Выше предложено в качестве базовой структуры использовать онИнтеллектуальное управление оцениванием знаний тологии учебных курсов и указаны определенные преимущества такого подхода. Предложены также методы оценивания знаний обучаемых, поскольку вопросы имеют различную структуру и области значений ответов, а также критерии досрочного прекращения оценивания в случае отличных знаний или их отсутствия. Отмечено, что главными критериями при создании АСОКЗ является полнота и объективность. Как первый, так и второй критерии являются трудно формализуемыми. Определено, что полнота контроля знаний достигается в результате создания эффективной и адекватной логической схемы оценивания, а объективность является следствием автоматизации процесса оценивания, основанной на случайных начальных условиях и фиксированных правилах вывода.

Таким образом, можно утверждать, что в основе процедуры контроля знаний лежит пятерка элементов где O онтология предметной области (учебного курса), L логическая схема курса, Q множество вопросов, которые используются для контроля знаний, K критерии, которые лежат в основе определения оценки, To начальные условия, значения которых зачастую определяются случайным образом. Логическая схема курса L несет двойную смысловую нагрузку, в частности она является базовым элементом при определении последовательности вопросов для конкретного индивида в зависимости от предыдущих ответов, а также отражает элементную базу и структуру онтологии в процессе контроля знаний.

В ИСПП могут использоваться вопросы восьми типов [149]. База знаний содержит факты, к которым относятся вопросы и ответы на них, логические правила и процедуры, позволяющие определять оценку в случае контроля знаний с помощью вопросов одного типа. В главах 3 и 5 выполнена формализация задачи определения оценки и для вопросов, ответами на которые являются слова. Алгоритм ее решения базируется на определении близости элементов "синонимического" ряда к правильному ответу.

Глава 6. Проектирование систем профессиональной подготовки Интегральная оценка знаний производится автоматически на базе определения оценки за каждый вопрос каждого типа и уточняется от вопроса к вопросу. Такой алгоритм необходим для того, чтобы минимизировать информационную избыточность тестирования, поскольку традиционно, независимо от промежуточных результатов контроля знаний, каждый из обучаемых отвечает на все предусмотренные вопросы, что не является необходимым, а скорее даже избыточным.

Предложенная структуризация интегрального оценивания знаний ЭС позволяет объективизировать процесс контроля, предусмотреть его полноту, а также уменьшить информационную избыточность, что, в свою очередь, минимизирует время неэффективного оценивания. Важно заметить необходимость учета онтологии на этапе определения вопросов и их структуры, базирующейся на семантическом анализе базе данных, в которых отражены концепты, отношения между ними и их интерпретация.

Определяя качество и эффективность процессов контроля знаний, отметим, что как критерий полноты, так и критерий объективизации являются трудноформализуемыми. Полнота контроля знаний достигается в результате создания эффективной и адекватной логической схемы оценивания, а объективность является следствием автоматизации процесса контроля, основанном на случайных начальных условиях и фиксированных правилах вывода. Напомним, что полнота контроля знаний определяется сформированной онтологией учебного курса, соответствующим наполнением множества вопросов, разработкой соответствующей логической схемой контроля знаний и установлением соответствия между онтологией и логической схемой. На следующем этапе реализации предложенной технологии важно сформировать алгоритм и определить критерий, по которому будет вычисляться интегральная оценка знаний, а также разработать рекомендации обучаемому в зависимости от уровня его знаний и значения полученной оценки.

Важной является реализация ИСПП с учетом их адаптации в режиме реального времени. Современные мировые 206 Интеллектуальное управление оцениванием знаний тенденции нацелены на создание таких ИСПП, которые ориентированы на определенную модель пользователя. В частности, создаются системы, учитывающее психологическое состояние обучаемого и соответствующим образом на него реагирующие. Не достаточно изученной является проблема объективизации уровня сложности задаваемых вопросов и, соответственно, определения интегральной оценки знаний.

Аналитический обзор методов контроля уровня профессиональной подготовки сотрудников оперативно-спасательной службы, как пример, свидетельствует о преимущественном использовании традиционных процедур обучения и контроля знаний в форме экзаменов или тестирования. В то же время, такое оценивание знаний не является полным и имеет низкий уровень объективности. Последние выводы связаны с тем, что специалисты данной службы должны принимать решения в сложных критических условиях, вызванных пожарами, техногенными и экологическими катастрофами, следствием которых могут быть многочисленные человеческие жертвы и значительный материальный ущерб.

В этой связи возникает необходимость создания соответствующих автоматизированных систем обучения и проведения контроля знаний. Существует значительное количество научных исследований, в которых отражены различные подходы к созданию таких систем. В большинстве случаев в таких системах реализован жесткий каркас организации представления учебного материала или тестирования.

Как уже было отмечено, адаптивным тестированием знаний называют способ экзаменационного контроля уровня подготовки обучаемого, при котором процедура выбора и предъявления ему очередного тестового задания на каждом шаге тестирования определяется ответами обучаемого на предыдущих шагах теста. Математическую основу такого процесса составляет предложение объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных задач, так и целых последовательностей и вывода итоговой оценки с учетом нормированной суммы баллов, накапливаемой за выбранные обучаемым Глава 6. Проектирование систем профессиональной подготовки варианты ответов.

Задачей, решение которой требуется для разработки эффективных ИСПП, является формализация построения логической схемы контроля знаний и ее отражение на структуру процесса обучения. Решение указанных задач позволит объективизировать процесс обучения и контроля знаний в системе профессиональной подготовки.

Динамика современного мира является одной из главных причин увеличения рисков возникновения техногенных и экологических катастроф. Предотвратить критический уровень их последствий могли бы квалифицированные работники спасательных служб. Несмотря на растущие объемы подготовки, сегодня наблюдаем дефицит специалистов, способных адекватно работать в чрезвычайных ситуациях, принимать адекватные, правильные решения.

Для объективизации процессов обучения и создания эффективных автоматизированных систем необходимо определить:

- принципы, которые должны быть учтены и на которых будут базироваться такие системы;

- структуру, которая будет лежать в основе их построения;

- технологию проведения автоматизированного контроля уровня подготовки.

Подготовка специалистов, которые действуют в критических условиях, должна предусматривать полное изложение и контроль учебного материала. Последний предусматривает создание информационной базы, содержащей множество вопросов, которые полностью отражают учебный материал, а также вопросы и при необходимости ответы на них. Заметим, что последовательность вопросов, которые задают работнику, не должна содержать избыточности, а также в ней не может быть и информационной недостаточности.

Традиционно, базы данных как АСОКЗ, так и ИСПП содержат только вопросы и ответы. Структуру базы данных необходимо расширить и включить в нее информацию о процессе прохождения контроля знаний обучающимся, статистику его ответов; элементы отчета, который будет формироваться по результатам контроля, и атрибуты будущего 208 Интеллектуальное управление оцениванием знаний плана обучения. Поскольку ИСПП является адаптивной системой, то одним из ее атрибутов является корректировка значения параметра сложности каждого из вопросов.

Обучаемого оценивают по различным показателям. Интеллектуальный системы профессиональной подготовки отличаются от обычных АСОКЗ, используемых в учебных заведениях, многокритериальностью оценивания. В частности, с помощью ИСПП оценивается не только уровень знаний того или иного учебного курса, но и скорость процесса принятия решений. Считаем нужным оценивать также способность учиться, поскольку от этой характеристики зависят профессиональные качества обучаемого, прежде всего способность перенимать передовой опыт и адекватно реагировать на непредвиденные обстоятельства в критических условиях.

Способность к обучению можно оценить интегральным числовым показателем, значение которого будет определяться количеством попыток прохождения контроля знаний, временем изучения соответствующего учебного материала и количеством неправильных ответов на вопросы из базы данных. Его коррекцию рационально осуществлять, базируясь на вышеуказанных принципах и моделях. Заметим, что корректировкой рассмотренных параметров не исчерпывается весь перечень процедур, которые используются в адаптивных ИСПП.

Первым шагом к объективизации оценки знаний является создание информационного банка, который будет содержать базу вопросов, базу ответов и правила логического вывода. Для того чтобы не ограничивать процесс контроля знаний только вопросами тестового характера, нужно предусмотреть широкий спектр их типов в зависимости от возможных ответов. И здесь полезен подход, предложенный в [157]. Напомним, что там предложена классификация, включающая в себя вопросы с ответами типа «Да-Нет» (тестового характера), с выбором одного ответа из многих (причем правильным ответом из предложенных может быть либо один, либо несколько, но с разной градацией «правильности»); с выбором нескольких ответов из многих (ответы имеют различную градацию правильности); с ответом в виде числа Глава 6. Проектирование систем профессиональной подготовки (интервал для возможных значений может быть указанным, а может и отсутствовать); с ответом в виде нечеткой величины (заданной параметрами в зависимости от типа функции принадлежности); с ответами типа «слово» и «предложение».

Распространение такой классификации вопросов на проблемную область подготовки работников оперативно-спасательной службы позволит не сужать сферу возможных вопросов, а также учитывать субъективные заключения обучаемых. Разработка вопросов и возможных ответов завершает первый этап создания автоматизированной системы.

На следующем этапе завершают формирование базы знаний, предложив правила логического вывода. Их представляют в виде продукционных правил такого типа:

Такие продукционные правила имеют универсальный характер и являются основой для принятия решений как в детерминированных ситуациях, так и в условиях неопределенности [82]. В последнем случае A, B и C являются нечеткими множествами с соответствующими функциями принадлежности. Их использование позволит осуществить интеграцию оценок вопросов различного типа и определить общую оценку.

Известно, что любые процессы тестирования характеризуются уровнем информационной избыточности и информационной недостаточности. Избыточность вытекает из необходимости прохождения жестко заданной последовательности вопросов, даже если они выбираются случайным образом.

Причиной информационной недостаточности является неисследованность проблемы полноты системы вопросов, которые предлагаются для проверки знаний обучаемых.

Минимизировать такие негативные явления рекомендуется, используя построение структурно-логической схемы учебного курса и соответствующую графовую структуру (граф типа «И-Или»). Их применение, например, позволит не проводить дальнейший контроль знаний, если обучаемый не дал правильных ответов на ключевые вопросы. Применение струкИнтеллектуальное управление оцениванием знаний турно-логической схемы направлено на объективизацию процесса оценивания и обеспечение полноты контроля.

Заметим, что процесс оценивания знаний имеет особенности, связанные с необходимостью формирования интегральной оценки знаний экспертов на базе обработки разнотипных вопросов. Решить эту задачу возможно при условии нормализации разнотипных оценок и приведения значений ответов к одной шкале.

Отметим, что вопросы можно классифицировать как детерминированные, объективно-неопределенные и субъективно-неопределенные. В частности, для контроля знаний специалистов оперативно-спасательной службы к первой категории относятся вопросы, ответы на которые являются определенными значениями некоторых параметров, чаще табличными величинами. Вопросами объективно-неопределенного типа описываются ситуации, в которых решения необходимо принимать на основе ретроспективы, объективный анализ которой позволяет осуществить выбор определенной альтернативы. Если же имеет место уникальная ситуация, то решение необходимо принимать исключительно на основе собственных знаний, опыта и интуиции.

Наряду с контролем уровня знаний, при разработке ИСПП предусматривается определение скорости реакции обучаемого, а также его способность принимать такие решения, которые позволяют минимизировать суммарные негативные последствия критических ситуаций. В некоторых случаях оценка уровня подготовки может быть позитивной, даже в случае неправильного ответа, но данного в приемлемое время. Конечно, последствия от принятия выбранного решения не должны быть максимально негативными. Таким образом, имеет место комплекс оптимизационных задач:

при условии, что {i1, i2,..., im } {1,2,..., n}: Tik tik, k 1, m.

где P критерий полноты информационной базы (включает в себя и полноту множества вопросов, которые задают одному обучаемому), N1 критерий информационной избыточГлава 6. Проектирование систем профессиональной подготовки ности, N 2 критерий информационной недостаточности, T общее время контроля уровня знаний, E интегральная оценка уровня подготовки обучаемого, ik вопрос, ответ на который должен быть получен за указанное время.

Каждый из указанных критериев подлежит формализации. Процедура расчета их значений не является тривиальной. Определение интегральной оценки – сложная аналитическая процедура, поскольку предполагает построение логической схемы, отражающей порядок задаваемых вопросов, процедуры определения уровня знаний (подготовленности), который является взвешенной суммой определенным образом нормируемых показателей, являющихся оценками каждого из ответов. Кроме того, совокупность вышеуказанных критериев делим на три класса: априорные, временные и апостериорные.

Одной из главных задач, относящейся к практической реализации предложенных моделей и методов является выбор технологии формирования базы знаний и среды программной реализации ИСПП [155, 184]. Такая технология должна предусматривать интерактивный режим работы с ней как ЛПР, который формирует базу знаний, так и обучаемого, знания которого оцениваются. Сложность реализации ИСПП заключается также в том, что необходимо совместить в одной системе анализ и количественных, и качественных показателей, а также онтологическое представление учебного материала, структурные схемы в виде графов и расчетный модуль [54, 64, 71, 139].

Работа с базой знаний также имеет свои особенности, поскольку все вопросы являются разнотипными и требуют, соответственно, разработки различных вариантов представления как вопросов, так и ответов с применением типовых, но разных элементов программной среды. Важным и необходимым аспектом адекватного использования такой автоматизированной системы является разработка методики проведения контроля знаний на базе автоматизированной системы. В пользу такого утверждения говорит то, что зарубежные ученые начали разработку симуляционных моделей еще в 70-х годах [133].

212 Интеллектуальное управление оцениванием знаний 6.3. Принципы формирования и структура базы знаний интеллектуальной системы профессиональной подготовки «ПрофКонтроль»

Разработка инструментальных средств для профессиональной подготовки имеет определенные особенности. Информационное обеспечение ИСПП включает в себя совокупность фактов базы знаний, множество правил вывода и множество процедур, определяющих применение правил вывода. Поскольку ИСПП предназначена как для обучения, так и для контроля знаний, то при ее создании необходимо предусмотреть два основных этапа:

- разработка структуры базы знаний как структурнологическое отражение блоков учебного материала в упорядоченное фреймовое представление;

- разработка структуры базы знаний как основы проведения контроля знаний с учетом формы и содержания вопросов и ответов.

Таблицы базы данных, содержащих БУМы, имеет статическую и динамическую часть, а также экстенсиональную и интенсиональную составляющие. Блоки учебного материала упорядочиваются в соответствии с структурно-логической схемой изложения учебного материала [152]. При формировании структуры базы знаний будем учитывать специфические особенности подготовки специалистов оперативноспасательной службы с необходимостью определения профессиональной направленности. Именно последний аспект является причиной того, что контроль знаний, по результатам которого предусмотрено определение профессиональной направленности обучаемого, проводится по нескольким дисциплинам. Без ограничения общности считают, что БУМов, которые относятся одновременно к разным дисциплинам, нет.

Тогда соответствующая таблица базы данных будет иметь такие поля:

где ID _ B – идентификатор БУМа, который является номеГлава 6. Проектирование систем профессиональной подготовки ром или совокупностью символов, которые позволяют осуществить его точную идентификацию;

NE – идентификатор (название) учебной дисциплины;

LC – блок учебного материала, который может иметь текстовое представление, быть мультимедийным файлом или файлом презентации;

LT – идентификатор темы курса;

LTi – идентификатор подтемы курса i -го уровня, i 1, k ;

– приоритетность БНМ;

Известно, что база данных является составной частью базы знаний [61, 74]. Известно, что элементами базы знаний являются правила вывода, которые позволяют получать новые знания из известных, а также процедуры, необходимые для определения способа применения правил вывода. Очевидно, что для таблицы базы данных DBL содержание всех полей, кроме последних двух, является неизменным. Поэтому правила вывода в основном нужны для установки и изменений значений статуса и приоритетности БУМа. Такие правила и процедуры их применения приведены в п. 4.5.

Изменение этих значений зависит от характеристик другой таблицы базы данных, которая используется для контроля знаний. Ее структура будет принципиально иной, где ID _ Q – идентификатор вопроса;

Q – формулировка вопроса;

TIP _ Q – тип вопроса (цифра от 1 до 8);

A j – варианты возможных ответов на вопросы j 1, g ;

B j – баллы за выбранные ответы, j 1, g ;

214 Интеллектуальное управление оцениванием знаний Tmax – максимальное время ответа на вопрос;

ID _ B – идентификатор БНМ;

p – сложность вопроса;

Gk – коэффициенты значимости вопроса;

– зарезервирована область, h – количество тем;

v – максимальное количество подтем в теме;

g – максимальное количество ответов на вопросы.

Обучаемому задаются вопросы в соответствии с приведенной схемой, которая является "И-Или" графом [186, 189], по приведенным выше нисходящему или восходящему алгоритмам. Рассмотрим подробнее некоторые элементы (6.3).

Идентификатор вопроса ID _ Q является номером вопроса (вопросы нумеруются слева направо и сверху вниз в соответствии с логической схемой контроля знаний).

Ai, i 1,25 - поля, содержащие потенциальные ответы.

Очевидно, что в случае вопросов, ответом на которые есть "Да" или "Нет", таких полей два; если нужно выбрать один вариант из нескольких, то стоит ограничиться семью полями, но такой вывод не является окончательным и указанное количество полей не принципиально; третий случай сводится ко второму; если ответом является число, то поле будет только одно; в случае ответа-интервала полей два; если ответ нечеткий интервал, то первое поле укажет на тип функции принадлежности, другие поля будут содержать значения ее параметров, наибольшее их количество - пять в случае трапециеподобной функции принадлежности; если ответ - слово, то полей 7; если ответом есть предложение, то поле будет одно. Двадцать пять полей нужно, если есть необходимость в выборе одного или нескольких ответов, каждый из которых является трапециеподобной нечеткой величиной (все они являются пятипараметрическими);

Bi, i 1,7 – баллы за ответы на каждый из вопросов второго, третьего и седьмого типа;

v – максимальное количество уровней иерархии в логической схеме контроля знаний;

Глава 6. Проектирование систем профессиональной подготовки Ti, i 1,10 – номер темы учебного курса (очевидно, что тем может быть и больше);

j – номер уровня иерархии, на котором находится вопрос, j 1, v ;

p – сложность вопроса (число от 0 до 1);

Gi, i 1,10 – коэффициенты, указывающие на значимость вопроса при определении профессиональных знаний и навыков специалиста в одной из десяти профессий;

– зарезервированная область, содержащая поля для отображения позиции вопроса в общей структуре вопросов.

Конечно, такая структура базы данных является неполной, поскольку она должна содержать информацию о процессе прохождения контроля знаний обучаемым; статистику его ответов; элементы отчета, который будет формироваться по результатам контроля знаний, и атрибуты будущего плана обучения [183]. Поскольку ИСПП является адаптивной системой, то одним из ее атрибутов является корректировка параметра сложности H каждого из вопросов.

Первым шагом к объективизации оценки знаний является создание базы знаний, содержащей базу вопросов, базу ответов и правила логического вывода. Существующие системы профессиональной подготовки преимущественно ориентированы на задачи тестового характера. Ответы на задания такого типа имеют вид "Да-Нет", иногда необходимо выбирать один правильный ответ из нескольких предложенных. Очевидно, что задачи таких типов не исчерпывает всего многообразия вопросов и задач, которые могут быть заданы лицу, знание которого оценивают, при устной или письменной форме контроля.

Для того, чтобы не ограничивать процесс контроля знаний только вопросами тестового характера, нужно предусмотреть широкий спектр их типов в зависимости от возможных ответов. Стараясь приблизить компьютерное обучение и контроль знаний к другим формам обучения и контроля знаний, считаем рациональным подход, предложенный в [84]. Конечно, при таком разнообразии задач обязаИнтеллектуальное управление оцениванием знаний тельно возникает проблема формализации и приведения оценок ответов к одной шкале, что, за исключением вопросов последнего типа и сделано в [157]. К приведенной классификации вопросов необходимо добавить еще и такие, ответами на которые является указание правильной последовательности (объектов, процессов, действий и т.п). Заметим, что такая типизация вопросов является достаточно полной и вопросы других вероятных типов могут быть сведены к уже предложенным.

Кортеж (4.2) для всех вопросов имеет содержательно одинаковые поля и разнотипные. К однотипным полям принадлежат Разнотипные поля Aj, Bj, j 1, g определяют типы возможных ответов и балы, которые являются атрибутами ответов. Детализируем содержание полей Aj, Bj для каждого из типов вопросов. В частности, - для первого типа вопросов:

– для второго и третьего типа вопросов:

(для второго типа вопросов обучаемый выбирает один ответ, для третьего типа - может выбрать несколько);

- для четвертого типа вопросов:

A1 «правильный ответ», A2 и A3 – левая и правая границы возможного отрезка для ответа, Aj « », (6.6) – для пятого типа вопросов:

Глава 6. Проектирование систем профессиональной подготовки – для шестого типа вопросов:

A1 и A2 – модальное значение и коэффициент скошенности для треугольной функции принадлежности правильного ответа, Aj « », j 3, g ; (6.8) (заметим, что использование других функций принадлежности требует модификации структуры вопросов за счет добавления еще одного типа вопросов и модификации полей – для седьмого типа вопросов:

A1 = «правильный ответ», Ai – « i -е синонимичные к правильному ответу понятие или атрибут», i 2, k, – для восьмого типа вопросов:

Распространение такой классификации вопросов на проблемную область подготовки специалистов оперативноспасательной службы позволит:

– не сужать сферу возможных вопросов;

– не ограничиваться вопросами закрытого типа;

– проводить полноценный контроль знаний, а не только тестирование;

– учитывать субъективные выводы обучаемых.

Разработка вопросов и возможных ответов завершает первый этап создания ИСПП.

Как происходит процесс работы с такой ИСПП (рис.

6.1)?

На первом этапе выполняется разработка базы знаний, содержащая учебный материал, вопросы, ответы, правила и методы оценки и обучения. Если обучаемый впервые рабоИнтеллектуальное управление оцениванием знаний тает с ИСПП, то он проходит предварительное тестирование, которое реализовано в блоке предварительного тестирования. В этом блоке предусмотрена начальная оценка знаний пользователя, возможность формирования протокола, в котором указано уровень знаний по различным темам и определяется необходимость изучения определенного материала.

Формируется индивидуальная таблица базы знаний, куда заносится ретроспективная и текущая информация, и осуществляется корректировка сложности вопросов.

Рис. 6.1. Схема адаптивного контроля знаний и обучения Исходя из данных, полученных в предыдущем блоке, разрабатывается план обучения пользователя и осуществляется определение приоритетности БУМ, значения которых заносятся в таблицу. Учитываются пожелания обучаемого, в частности то, какого уровня знаний он стремится достичь, какие темы являются приоритетными для изучения и т.д.

После проведения обучения обучаемый участвует в промежуточном контроле знаний. В соответствующем блоке предусмотрен контроль знаний после изучения определенной темы, а также сравнительный анализ с предыдущими результатами и вывод статистических показателей, в т.ч., в Глава 6. Проектирование систем профессиональной подготовки динамике. Осуществляется корректировка сложности вопросов. Любой этап обучения реализуется на базе блока учебного материала, который содержит элементы учебной информации: тексты, мультимедийные блоки, а также метаданные.

Элементы учебного материала структурируются, осуществляется изменение статуса БУМа.

Заканчивается процесс обучения формальным завершающим контролем знаний. Он осуществляется на основе адаптивных схем с оценкой и сравнением общего уровня успеваемости обучаемого и результатами контроля знаний.

Главными элементами блока является алгоритм выбора вопросов и алгоритм формирования оценки. Продолжая анализ аспектов реализации ИСПП необходимо обратить внимание на интеграцию подсистем обучения и контроля знаний, их взаимосвязь и взаимозависимость. В большинстве современных систем эти подсистемы функционируют отдельно или вообще независимо друг от друга. Такая независимость приводит к неэффективному контролю знаний, увеличению времени его проведения. В то же время наличие взаимосвязи между подсистемами контроля и обучения позволило бы автоматически формировать задания, проводить обучение по результатам контроля знаний, контроль знаний по окончанию обучения и определять адаптивную стратегию обучения, что является еще одним из аспектов создания эффективных ИСПП.

Известно, что любые процессы тестирования характеризуются уровнем информационной избыточности и информационной недостаточности. Избыточность вытекает из необходимости прохождения жестко заданной последовательности вопросов, даже если они выбираются случайным образом. Причиной информационной недостаточности является неисследованность проблемы полноты системы вопросов, которая предлагается для проверки знаний обучаемых. Минимизировать такие явления рекомендуется, используя построение структурно-логической схемы учебного курса и соответствующую графовую структуру (граф типа «И-Или»). Их использование, например, позволит не проводить контроль знаний, если обучаемый не дал правильных 220 Интеллектуальное управление оцениванием знаний ответов на определенные ключевые вопросы. Применение структурно-логической схемы направлено на объективизацию процесса оценивания и обеспечение полноты контроля знаний.

Заметим, что процесс оценивания знаний имеет особенности, связанные с необходимостью формирования интегральной оценки знаний обучаемых на базе обработки разнотипных вопросов. Решить эту задачу возможно при условии нормализации разнотипных оценок и приведения значений ответов к одной шкале.

6.4. Структурно-функциональная схема системы Реализация информационно-аналитической технологии контроля уровня знаний и обучения специалистов оперативно-спасательной службы осуществляется на основе многокритериального оценивания. Подготовка специалистов, действующих в критических условиях, предусматривает полное изложение и контроль знаний материала. В ИСПП «ПрофКонтроль» предусмотрен сквозной информационный поток и использование обратной связи, что позволяет реализовать процессы управления как процессами оценивания, так и обучением (рис. 6.2).

Оперируя философскими понятиями, можно утверждать, что ИСПП «ПрофКонтроль» имеет надстройку и базис. К надстройке относятся те процессы и операции, которые необходимо выполнить для работы с системой, а также операции по заполнению таблиц баз данных. На первом этапе определяются учебные дисциплины, которые будут изучаться и оцениваться, а также перечень тем каждой из них.

Далее формируются блоки учебного материала и строится их иерархическая схема, которая является основой процесса обучения [154, 155].

Вспомогательные процедуры 222 Интеллектуальное управление оцениванием знаний Полученный результат позволяет построить отображение такой иерархической конструкции на логическую схему контроля знаний, которая является графом с вершинами, соответствующих вопросам, и дугами, которые указывают на семантически смысловые связи между ним.

Преимуществом такого отображения является то, что ЛПР в процессе формирования вопросов может контролировать наличие информационной избыточности и информационной недостаточности будущего процесса оценивания и осуществить первый шаг в направлении обеспечения его полноты. С использованием приведенных выше структур таблиц баз данных (6.2) и (6.3) осуществляется заполнение соответствующих таблиц.

На следующем этапе ЛПР задает априорные сложности вопросов или отказывается это делать, тогда в базу данных будут записаны сложности всех вопросов по 0,5. Завершаются предварительные операции расчетом и записью в индивидуальные таблицы базы знаний результатов обучения специалиста с той или иной степенью детализации.

Базис ИСПП составляют пять блоков, взаимодействие которых имеет последовательный характер с обратной связью между последним и первым блоками. К первому блоку «База знаний» относятся таблицы учебного материала, имеющих фреймовую структуру, соответствующую кортежу (6.2), и таблицы вопросов, ответов и их «инфраструктуры» согласно кортежа (6.3). Также к этому блоку относятся индивидуальные таблицы базы данных, содержащие данные о конкретных специалистах, историю их обучения и контроля знаний.

Именно информация из соответствующих таблиц является основой планирования процесса обучения. Они имеют такую структуру:

DBF ID _ F, MA, ID _ C, MT, A1,..., Au, N1,..., Nu, B1,..., Bu, (6.11) где ID _ F – идентификатор специалиста (фамилия, имя, отчество);

Глава 6. Проектирование систем профессиональной подготовки MA – ретроспективная оценка уровня знаний;

ID _ C – идентификатор типа контроля знаний (предварительный, промежуточный, заключительный и т.п.);

MT – оценка уровня знаний за полное прохождение одного из видов контролей знаний;

Ai – заданные вопросы, i 1, u ;

N i – время ответов на вопросы, i 1, u ;

Bi – оценки за ответы на заданные вопросы, i 1, u ;

u – максимально возможное или заданное количество вопросов.

В модуле адаптивного выбора вопроса реализован метод выбора вопросов по нисходящей и восходящей схемах (см. п.

4.2). Выбор схемы осуществляется по выбору ОПР. Информация о выбранном вопросе заносится в индивидуальную таблицу базы данных, также в базу данных заносятся результаты ответа (оценка). В дополнительном модуле рассчитывается уровень успеваемости специалиста без учета текущего контроля знаний.

На этапе контроля знаний реализовано многокритериальное оценивание [173, 185]. Открытость модуля позволяет добавлять и учитывать другие критерии контроля знаний, кроме правильности и времени ответов. Как показано на рис.

6.2, данные контроля знаний заносятся в индивидуальные таблицы базы данных. Предусмотрен модуль для определения профессиональной направленности специалистов оперативно-спасатель-ной службы.

На этапе постпроцессинга осуществляется реализация всех тех процедур, которые приведены в главе 5. В частности, осуществляется корректировка сложности вопросов, оценки уровня знаний специалиста и определяются его приоритеты, на которые он обращает наибольшее внимание и хотел бы достичь соответствующих результатов при обучении и контроле знаний. Откорректированные значения сложности вопросов записываются в базу данных вопросов и ответов, а приоритетность блоков учебного материала в индивидуальные таблицы базы данных.

224 Интеллектуальное управление оцениванием знаний Последними и главными модулями ИСПП «ПрофКонтроль» является «Формирование плана обучения» и «Обучение». При формировании плана обучения учитывается информация из базы данных учебного материала и индивидуальных таблиц. Процесс обучения состоит в последовательном выборе и предоставлении БУМов согласно их приоритетности и статусу. Выбор тех или иных вариантов контроля знаний и обучения осуществляется по правилам вывода в виде продукционных правил.

Важным аспектом процесса оценивания является его структуризация. В отличие от других систем контроля знаний и ЭС, разрабатываемая ИСПП базируется на принципе многофакторной оптимизации, поскольку наряду с вычисления уровня знаний предусматривается определение скорости реакции обучаемого, а также его способности принимать такие решения, которые суммарно позволяют минимизировать негативные последствия критических ситуаций.

Предусмотрено, что иногда оценка уровня подготовки может быть положительной, даже в случае неправильного ответа, но сделанной в приемлемое время. Конечно, последствия от принятия выбранного решения не должны быть максимально отрицательными. Таким образом, имеем комплекс оптимизационных задач [118, 155]:

при условии, что {Q1, Q2,..., Qm } : TQk tQk, k 1, m, где A – критерий полноты информационной базы (включает в себя и полноту множества вопросов, которые задают одному специалисту);

I v – критерий информационной избыточности;

I u – критерий информационной недостаточности;

T – общее время контроля уровня подготовки;

Qk – вопросы, ответы на которые должны быть получены за указанное время;

E – интегральная оценка уровня подготовки обучаемого.

Глава 6. Проектирование систем профессиональной подготовки Комплекс задач (6.12) отличается от традиционных постановок задач контроля знаний своей многокритериальностью. Для сотрудников оперативно-спасательной службы этот аспект особенно важен, поскольку помимо знаний для таких специалистов имеет большое значение время, которое требуется для принятия решений. Причем решений, от которых зависит оптимальность и поведения при чрезвычайных ситуациях и решений по управлению личным составом спасательных подразделений.

Каждый из указанных критериев подлежит формализации. Процедура расчета значения каждого из них не является тривиальной. Определение интегральной оценки является сложной аналитической процедурой, поскольку предполагает построение логической схемы, в которой отражены порядок задаваемых вопросов, и процедуры определения уровня подготовки, который является взвешенной суммой определенным образом нормируемых показателей, отражающих оценки каждого из ответов. Кроме того, совокупность вышеприведенных критериев делим на три класса: априорные, временные и апостериорные.

Важными определяющими составляющими базы знаний являются правила логического вывода. Рационально такие правила вывода представлять в виде продукционных правил вида:

Продукционные правила имеют универсальный характер и являются основой для принятия решений как в детерминированных ситуациях, так и в условиях неопределенности. В последнем случае A, B i C есть нечеткие множества с соответствующими функциями принадлежности. Их использование позволит осуществить интеграцию оценок вопросов различного типа и определить общую оценку. Данное приложение структурно-логической схемы направлено на объективизации процесса оценивания и обеспечение полноты контроля.

Экспериментальная верификация разработанных моделей и методов проводилась на базе Академии пожарной безопасности имени Героев Чернобыля (г. Черкассы, Украина).

К проведению экспериментов в течение трех лет привлекались по две учебных группы ежегодно. Средний уровень успеваемости курсантов каждой из групп приведены в табл.

А.1 приложения А. Упорядочив оценки курсантов по возрастанию, строим график успеваемости (рис. 6.3). Анализ графика позволяет утверждать, что количество курсантов, которые имеют удовлетворительные оценки, остается на постоянном уровне, количество курсантов, обучающихся хорошо, увеличивается, а количество отличников с годами уменьшается. Как результат, средний балл находится на отрезке [4,03;

4,17].

Успеваемость Оценки, определяющие средний уровень успеваемости, пронормировали и привели к (0, 1]-шкалы. Каждый год курсантам задавали одни и те же десять вопросов, сложность которых была установлена априори и составила 0,1; 0,2; 0,2; 0,3;

0,5; 0,6; 0,7; 0,8; 0,8; 0,9. По результатам контроля знаний сформировано 10 интегральных таблиц, каждая из которых Глава 6. Проектирование систем профессиональной подготовки отвечала ответам всех курсантов трех лет на один вопрос, причем «1» отвечала правильному ответу, «0» - неправильному.

В результате анализа ответов установлено, что сложности всех вопросов необходимо было корректировать. Не ограничивая общности, проиллюстрируем этот процесс для трех курсантов и трех вопросов. Случайным образом были выбраны курсанты с уровнями успеваемости 1 0,7; 2 0,8;

3 0,9 и им заданы вопросы с уровнями сложности 1 0,5;

2 0,6; 3 0,8. Ответы курсантов сведены в табл. 6.1.

По данным результатам контроля знаний необходимо проверить адекватность схемы контроля знаний. Находим оценки каждого курсанта:

Соответствующие отклонения: AV1 0,44; BV1 63%;

AV2 0,06; BV2 7,5%; AV3 0,32; BV3 36%.

Средние величины:

Полученные значения являются достаточно большими и утверждать об адекватности предложенной схемы нельзя.

Выполним анализ сложности вопросов.

Найдем отклонения 228 Интеллектуальное управление оцениванием знаний Отклонения также значительны и их необходимо коррективать. В частности, если подмодульные выражения являются отрицательными, то сложность вопроса необходимо увеличить, в противном случае – уменьшить. Положим новые значения сложности вопросов равными Для корректируемых значений сложности вопросов находим оценки каждого курсанта:

Соответствующие отклонения: AV1 0,31; BV1 44%;

AV2 0,19; BV2 24%; AV3 0,1; BV3 11%.

Средние величины: AV 0,2; BV 26%.

Полученные результаты позволяют сделать вывод о том, что в процессе корректировки априорные сложности вопросов претерпевают значительные изменения. Однако величина этих изменений незначительно уменьшается с увеличением количества лиц, участвующих в оценивании знаний. Расчет оценок обучаемых с откорректированными значениями сложности вопросов свидетельствует об уменьшении абсолютного и относительного отклонения текущей и итоговой оценок, что указывает на рациональность применения адаптивных процедур корректировки сложности вопросов. Очевидно, что пересмотр сложностей вопросов приводит к оптимизации общей схемы оценивания. Определенные противоречия, которые присутствуют в такой схеме, не позволяют Глава 6. Проектирование систем профессиональной подготовки выйти на нулевые средние значения. При значительном количестве обучающихся и количестве вопросов средние значения уменьшаются.

На рис. 6.4 приведены результаты оценки знаний специалистов оперативно-спасательной службы в одной из групп.

Их анализ свидетельствует, что при априорно заданных ЛПР сложностях вопросов оценки курсантов распределились неравномерно относительно их итогового уровня знаний (определенного, например, как средний балл в зачетной книжке). У подавляющего большинства курсантов текущий уровень знаний оказался ниже, чем итоговый, хотя у 8-ми курсантов он выше.

Успеваемость После корректировки сложности вопросов и перерасчета оценок знаний обучаемых график результатов текущего контроля знаний выровнялся и все значения оказались меньшими итогового уровня знаний. Одной из причин этого являются завышенные оценки обучаемых на протяжении всего времени обучения, исходя из требований к качественной и абсолютной успеваемости, а также субьективизированный уровень значений сложности вопросов, что и является причиной значительного отклонения текущих и итоговых 230 Интеллектуальное управление оцениванием знаний оценок.

Приведем количественные оценки, характеризующие адаптивный контроль знаний. В частности, среднее абсолютное отклонение оценок, полученных при текущем и итоговом контроле знаний, составило 0,238. Такое же отклонение, но полученное с учетом корректируемых сложностей вопросов, составило 0,124. Абсолютное отклонение уменьшилось почти в два раза, что свидетельствует о приближенности результатов адаптивного контроля знаний к результатам итогового контроля знаний. Аналогичная тенденция наблюдается и для среднеквадратических отклонений. В первом случае его значение 7,7%, во втором - 1,95%, для относительных среднеквадратичных отклонений эти значения равны 1,8% и 0,45%, соответственно. Такие же тенденции и сопоставимые значения абсолютного и относительного отклонений наблюдались и в других группах.

Таким образом, применение адаптивной технологии оценивания позволяет осуществить объективизацию значений сложности вопросов, что приводит к уточнению результатов контроля знаний и их приближению к реальному уровню знаний. Одновременно, полученные результаты дают основания для управления учебным процессом и принятию мер по его оптимизации.

6.6. Экспериментальная верификация результатов контроля знаний с использованием адаптивных схем Для определения эффективности различных логических схем тестирования проведен эксперимент с курсантами одной группы. Их количество составляло 25 человек. В тесте содержалось 100 вопросов. В начале тестирования ЛПР заданы значения сложности всех вопросов равные 0,5. Результаты тестирования на рис. 6.5 соответствуют верхней ломаной линии. Средний уровень успеваемости составил 0,623.

Глава 6. Проектирование систем профессиональной подготовки 0, 0, 0, 0, 0, Во втором случае тестирование проводилось с использованием предложенной технологии адаптации сложности вопросов в режиме реального времени. Начальные значения сложности всех вопросов равны 0,5. В процессе тестирования уровни сложности вопросов изменяются в зависимости от правильности или неправильности ответов на него и общего уровня подготовленности курсанта.

После завершения контроля знаний во всей учебной группе производится перерасчет уровня успеваемости. Рассматривались два варианта: с конечными и усредненными за время тестирования значениями уровня сложности вопросов.

Их графики изображены на рис. 6.6. Среднее значение успеваемости в первом случае 0, 492, во втором - 0,507. Близость графиков и средних значений свидетельствует о равноправии применения обеих схем. Заметим, что при таком подходе снижается уровень успеваемости, который является определенным информативным фактором при принятии решений.

Результаты проведенных в течение трех лет экспериментов (контроля знаний) в шести группах между собой, в частности, средний уровень успеваемости (рис. 6.4) не превышал 4,6%, а отклонение оценок, рассчитанных по средним значениям сложности вопросов и по окончательному значению находилось в пределах 2-4%. Результаты оценивания и корректировки сложности вопросов приведены в приложении Б (табл. Б.1, Б.2).

232 Интеллектуальное управление оцениванием знаний Рис. Рис. Динамика значенийскладності трьох питань 6.6. 4.6. Динаміка значень сложности трех вопросов Исследование процесса ответов на вопросы позволяет делать и другие выводы, которые являются второстепенными, но информативными для ЛПР и могут быть использованы при формировании логической схемы контроля знаний.

На рис. 6.6 представлена динамика уровней сложности трех случайным образом выбранных вопросов при оценке курсантов предыдущей группы. Очевидно, что вопросы имеют различные дифференцирующие свойства. Один из вопросов четко делит курсантов на две группы. Другие два вопроса характеризуются почти одинаковой динамикой ответов, что указывает на их сравнительно одинаковую сложность. Такие выводы являются основой для рационализации процесса оценивания, проведения эффективного контроля знаний и осуществления его корректировки.

Одним из главных результатов исследования является сокращение времени контроля знаний, что позволяет увеличить время обучения для курсантов, минимизировать время непродуктивного оценивания и работы как для обучающихся, так и для ЛПР. Как указано выше, проверка адекватности разработанных моделей проводилась в Академии пожарной безопасности имени Героев Чернобыля в течение трех лет в двух группах ежегодно. Результаты, свидетельствующие об их временных преимуществах, сведены в табл. 6.2.

Глава 6. Проектирование систем профессиональной подготовки по традиционной и оптимизированной схемах По традиционной схеме оценивание осуществлялось по ответам на все 50 вопросов. Оптимизированная схема базируется на адаптивно восходящей схеме контроля [155], в среднем курсанту задали 14-16 вопросов. Контроль знаний был ограничен 80 минутами. Время, затраченное курсантами для ответов на вопросы, приведены в табл. 6.2. По оптимизированной схеме ( B1 ) курсанты заканчивали отвечать на вопрос примерно в три раза быстрее, чем по традиционной схеме ( A1 ).

Относительное отклонение оценок ( C1 ), полученных по традиционной и оптимизированной схемах, составило 5,67%.

Интерпретируя этот результат по пятибалльной шкале, абсолютное отклонение оценок ( D1 ) составляло, в среднем, 0, балла. Такие результаты свидетельствуют о значительной экономии времени на проведение контроля знаний при сравнительно незначительном отклонении результатов при 234 Интеллектуальное управление оцениванием знаний обычной схеме оценивания и схеме с использованием адаптивного выбора вопросов и корректировке сложности.

Второй эксперимент заключался в двухкритериальном оценивании уровня знаний с использованием моделей (5.38) - (5.60). Среди 50 вопросов, которые задавались курсантам, вопросов имели ограниченное время ответа, причем критерий времени доминировал над критерием правильности ответа. Среднее время контроля знаний в таком случае незначительно увеличилось ( A2 ), поскольку принятое решение (полученный ответ) влияло на последствия критической ситуации. Одновременно курсанты, находясь в условиях временного цейтнота, пытались дать ответ за меньшее время.

Использование адаптивных технологий позволило уменьшить время оценивания ( B2 ) в среднем до 28 минут. При этом было задано 16-18 вопросов. Увеличенное, в сравнении с первым экспериментом, количество вопросов объясняется психологическим аспектом и небольшим увеличением количества ошибок, что при адаптивном оценивании ведет к увеличению количества вопросов. Относительное ( C2 ) и абсолютное ( D2 ) отклонения оценок почти не изменилось.

Анализируя результаты экспериментов, можно утверждать, что проблема создания эффективных интеллектуальных систем профессиональной подготовки является на сегодня такой же неиссякаемой, как и проблема создания искусственного интеллекта. В пользу такого вывода свидетельствует и научная активность, и количество публикаций соответствующей тематики. Полученные выводы указывают на то, что одним из направлений создания ИСПП является реализация в них принципа адаптивности, поскольку процесс обучения является индивидуализированным по своей сути.

Анализ подходов и технологий разработки систем обучения и контроля знаний, проведенный в первой главе, дает основания требовать реализации принципа объективизации процесса оценивания знаний в ИСПП. Одним из способов его реализации является определение адекватности логической схемы контроля знаний, а также корректировка сложГлава 6. Проектирование систем профессиональной подготовки ности вопросов и выполнение экспериментальных исследований.

В ИСПП «ПрофКонтроль» распространены технологии автоматизированного контроля знаний как на вопросы открытого, так и закрытого характера; такие, что имеют нечеткие ответы и ответы с различными коэффициентами правильности, что позволит минимизировать и объективизировать время оценивания, адаптировать процесс контроля знаний к уровню успеваемости обучающихся, а также создать основу для оптимизации учебного процесса.

РЕЗЮМЕ

В шестой главе предложены методологические элементы знаниеориентированных систем, предназначенных для профессиональной подготовки, включающие в себя их формальное определение, принципы создания и структурную базу.

Разработан метод проектирования базы знаний и построены модели знаний для интеллектуальной системы профессиональной подготовки, в основу которых положена логическая схема контроля знаний и структурно-логическая схема учебного процесса, имеющая графоподобную структуру типа «И-Или». Предложена структурно-функциональная схема взаимосвязи модулей системы «ПрофКонтроль», базирующаяся на отображении иерархической схемы учебного процесса на логическую схему контроля знаний на основании семантических связей между их элементами.

Выполнено экспериментальное определение адекватности логической схемы тестирования. Анализ результатов трехлетнего оценивания знаний и умений курсантов Академии пожарной безопасности имени Героев Чернобыля позволил сделать следующие выводы:

- априорно заданные ЛПР сложности вопросов необходимо корректировать;

- после корректировки сложностей вопросов абсолютное и относительное отклонение текущей и итоговой оценки знаний уменьшается, что указывает на рациональность 236 Интеллектуальное управление оцениванием знаний применения адаптивных процедур;

- уровень знаний, определяемый по результатам текущего контроля, получен ниже итогового уровня знаний, что свидетельствует о наличии, а иногда и доминировании субъективного фактора в процессе оценивания знаний;

- корректировку оценки знаний обучаемого можно осуществлять как с использованием последнего значения сложности вопросов (после оценивания всех обучаемых в группе), так и среднего значения;

- время контроля знаний с использованием адаптивного оценивания по сравнению с традиционной схемой контроля знаний уменьшается почти втрое, а соответствующие абсолютные отклонения оценок не превышают 0,17 балла по пятибалльной шкале; такого же порядка результаты имеют место и при учете критичности времени оценивания.

Предложенные конструктивные решения относительно структуры и элементного базиса составляют методологическую основу создания высокоэффективных интеллектуальных систем профессиональной подготовки, отличительной особенностью которых является адаптивность обучения, оценивания и многокритериальность контроля знаний.

ЗАКЛЮЧЕНИЕ

Необходимость создания методологического базиса проектирования эффективных и технологичных автоматизированных систем обучения и контроля знаний предопределила написание этой монографии. Главное внимание в ней уделено проблеме структуризации учебного материала и логической схемы контроля знаний, а также разработке адаптивных технологий оптимизации контроля знаний. Основными результатами, представленными в монографии, являются:

1. Критический анализ проблемы построения эффективных автоматизированных систем обучения и контроля знаний, соответствующих моделей, методов и инструментальных средств, который показал отсутствие системных исследований по структуризации и систематизации учебного материала, формирования структурно-логических схем процессов контроля знаний, а также элементов адаптивности при его проведении и планировании процесса обучения.

2. Предложена концепция создания и принципы реализации инструментария контроля знаний. Указано на особенности формирования элементного базиса и предпосылки формирования базы знаний. Разработаны алгоритмы работы с экспертной системой контроля знаний как для преподавателя, так и для экзаменуемого. Определены алгоритмические особенности проведения контроля знаний с использованием логической схемы курса и онтологии предметной области.

3. Предложен метод проектирования базы данных компьютерной системы профессиональной подготовки, в основу которого положено логическую схему контроля знаний.

Определены аспекты разработки таких систем, указано на необходимость реализации в них принципа адаптивности и предложены модели, согласно которым осуществляется корректировка значений сложности вопросов в процессе контроля знаний.

4. Предложенная технология создания экспертных систем, базирующаяся на методологии системного анализа, онтологии предметной области, а также принципах и методах самоорганизации является еще одним шагом в направлении 238 Интеллектуальное управление оцениванием знаний создания эффективных экспертных систем. Эффективность заключается в минимизации времени проведения экспертиз и контроля знаний; в объективизации полученных решений, базирующихся на автоматизации процесса экспертного анализа; более полном охвате предметной области и уменьшении информационной избыточности тестовых вопросов и их последовательностей; непрямом формировании у экспертов и обучающихся представлений о структуре предметной области, ее базовых элементах и их функциональных взаимосвязях.

5. Предложено использовать онтологии учебных курсов в качестве информационной основы структуризации учебного материала и разработаны механизмы такого использования.

6. Сформирован критерий технологичности комплекса процессов, в который входят обучение, контроль знаний и функционирование автоматизированной системы профессиональной подготовки и согласно которым профессиональная подготовка осуществляется за минимально возможное время с обеспечением полноты процессов обучения и оценки, отсутствия информационной избыточности и информационной недостаточности, и максимально возможной объективизации полученных результатов. Соответствующие системы получили название интеллектуальных систем профессиональной подготовки.

7. Предложено графическое представление логической схемы контроля знаний, как иерархической системы с учетом семантических связей между вопросами и блоками учебного материала, что является предпосылкой реализации принципа адаптивности при контроле знаний и обучении, а также минимизации времени оценивания обучаемых.

8. Построены модели в виде комплекса продукционных правил для определения профессиональной направленности специалистов оперативно-спасательной службы, использование которых позволяет сделать вывод о компетентности специалиста в определенной предметной области, а также определить вид профессиональной деятельности, к которому он склонен, и рекомендовать его на соответствующую должность. Предложен метод определения приоритетности блоЗаключение ков учебного материала, осуществляемого по результатам контроля знаний и являющимся основой формирования программ обучения.

9. Разработаны методы определения адекватности уровня сложности вопросов контроля знаний с учетом итоговой оценки обучаемого, а также адаптивные модели для корректировки значения сложности в режиме «реального времени», что позволяет уменьшить субъективизм процесса оценки профессиональной подготовленности специалиста.

10. Построены модели оценивания знаний специалистов оперативно-спасательной службы с учетом критерия времени и модели корректировки сложности вопросов с учетом правильности и времени получения ответа, что является необходимым условием комплексного определения уровня профессиональной подготовленности специалиста как лица, принимающего решения, в сложных критических условиях.

11. Предложены принципы разработки и структуру интеллектуальной системы профессиональной подготовки, ее базы знаний и выполнено экспериментальную верификацию разработанных моделей и методов. Установлено, что реализация адаптивных схем оценивания позволяет уменьшить почти втрое время контроля знаний при относительном отклонении оценок обучаемых от их итогового уровня знаний 4,2-6,7%, что свидетельствует об эффективности разработанных моделей и методов и является одним из основных экспериментальных результатов.

Авторы выражают благодарность рецензентам д.т.н., профессору Волошину А.Ф. и д.т.н., профессору Тимченко А.А. за участие в обсуждении результатов, представленных в монографии, и ценные замечания.

Поскольку монография издается в авторской редакции, будем благодарны за указания на допущенные ошибки и описки, которые просим направлять по адресу [email protected].

240 Интеллектуальное управление оцениванием знаний

ГЛОССАРИЙ

Пертинентность – это соотношение объма полезной информации к общему объму полученной информации, независимо от того, насколько точно и полно информационная потребность выражена в тексте информационного запроса.

Релевантность – интегральная оценка степени семантического соответствия и степени практической применимости поискового запроса и полученной информации.

Логическая схема курса – графоподобное изображение основных элементов учебного материала, в основе которого лежит представление преподавателя о важности блоков учебного материала и последовательности их изложения.

Логическая схема контроля знаний – графоподобное представление структуры вопросов для контроля знаний, являющееся его основой, а также используемое при реализации контроля знаний с использованием принципа иерархичности и восходящей или нисходящей схемы.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Baker F. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation: University of Maryland, College Park, MD. – 2001. –176 p.

2. Booch G. Object-Oriented Design with Applications. Second Edition. The Benjamin/Cummings Publishing Company, Inc, Menlo Park, CA.– 1994. –580 p.

3. Bothe H.H. Neuro-Fuzzy Methoden: Einfuerung in Theorie and Fuzzy-Systeme. – Berlin: Springer Verlag, 1998. – 452 p.

4. Byrnes R., Debreceny R., Gilmour P. The development of Multi-Choice and True-False Testing Environment on the Web. – Ausweb95: The First Australian World Wide Web Conference. Southern Cross Univ. Режим доступа:

http://elmo.scu.edu.au/sponsored/ausweb/ausweb /papers/education3/byrnes/.

5. Current Projects. Режим доступа:

http://ccel.dfki.de/curr_projects/index.en.html.

6. Davis R., Buchanan B., Shortliffe E. Production Rules as a Representation for a Knowledge-Based Consultation Program // Artificial Intelligence. – 1977. – № 8. – P. 15-45.

7. Feigenbaum E.A. The simulation of verbal learning behavior // Proceedings of the 1961 Western Joint Computer Conference. – 1961. – 191-229 p.

8. Feigenbaum E.A., Feldman J. Computers and Thought. – AAAI, USA. – 1963. – 550 p.

9. Fuzzy Expert System Tools / M. Schneider, A. Kandel, G.

Langholz, G. Chew. – John Willey & Sons, 1996. – 198 p.

10. Gharajedaghi J., Ackoff R.L. Toward Systemic Education of System Scientists // Systems Research. – 1985. – Vol. 2. – № 11. Gribova V. Implementation of various dialog types using an ontology-based approach to user interface development // In Proc. XI-th Int. Conf. KDS-2005. Varna. Vol. 1. P. 153Gruber T.R. A Translation Approach to Portable Ontology Specifications. // Knowledge Acquisition. 1993. Vol.

242 Интеллектуальное управление оцениванием знаний 5(2). P. 199-220.

13. Gruber T.R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing // International Journal Human-Computer Studies. 1995. Vol. 43. Issue 5-6. P.

14. Gruninger M., Fox M.S. Methodology for the Design and Evaluation of Ontologies // In Proc. of the Workshop on Basic Ontological Issues in Knowledge Sharing, IJCAI-95:

Montreal. 1995. P. 221-232.

15. Guarino N. Formal Ontology in Information Systems // In Proceedings of FOIS’98. Trento, Italy. 1998. P. 3-15.

16. Henze N., Dolog P., Nejdl W. Reasoning and Ontologies for Personalized E-Learning in the Semantic Web // Educational Technology & Society. 2004. Vol. 7. Issue 4. P. 82-97.

17. IMS Question & Test Interoperability Specification. Режим доступа: http://www.imsglobal.org/question/.

18. Khoroshevsky V.F., Knowledge V.S. Data Spases: How an Applied Semiotics to Work on Web // In Proc. 3rd Workshop on Applied Semiotics, National Conference with International Participation (CAI’ 98), Pushino, Russia. – 1998. – P. 7-16.

19. Lawley D.N. The Application of the Maximum Likelihood Method to Factor Analysis // British Journal of Psychology.

General Section. 1943. Vol. 33. Issue 3. P. 172-175.

20. Lord F.M. Application of item response theory to practical testing problems. – Hillsdale N.-Y., Lawrence Erlbaum Ass., Publ., 1980. – 266 p.

21. Lord F.M., Novick M.R. Statistical Theories of Mental Test Scores. Addison-Wesley Publishing Company, Inc., 1968.

22. Luger G.F. Artificial intelligence. Structures and strategies for complex problem solving. Addison Wesley: Boston, 2002.

23. Manako A., Synytsa K. Modern Research and Educational Spaces: Technologies and Approaches // In Proc. ITEA- (First Intern. Conf. «New Information Technologies in Education for All», Ukraine, IRTC, 29–31 May 2006). – Kiev, 2006. – 24. Netavskaya E. Inductive approach to forming of control knowledge scheme on the base of subject domain ontology // In Proceedings of ISTA-2007. Kharkiv, Ukraine. 2007. P.

25. Netavskaya E. Self-Organization of Functioning Process of Expert System with the Use of Subect Domain Ontology // Information Technologies & Knowledge. 2007. Vol. 1. P.

26. Noy N.F., McGuinness D.L. Ontology Development 101: A Guide to Creating Your First Ontology // Knowledge Systems Laboratory Technical Report KSL-01-05 and Medical Informatics Technical Report SMI-2001-0880. Stanford.

27. Palagin A., Peretyatko V. Development of procedures of recognition of objects with usage multisensor ontology controlled instrumental complex // In Proc. XI-th Int. Conf.

KDS-2005. Varna. Vol. 1. P. 140-147.

28. Pesin L. Knowledge Testing and Evaluation in the Integrated Web-Based Authoring and Learning Environment // In Proc. of the 3rd IEEE International Conference on Advanced Learning Technologies (ICALT 2003). – Athens, Greece, 2003.– P. 268-269.

29. Publications - Life Long. Режим доступа:

http://ccel.dfki.de/publications/publications_lifelonglearn.e 30. Rasch G. Probabilistic models for some intelligence and attainment tests. – Chicago: The University of Chicago Press, 31. Rios A., Millan E., Trella M., Conejo R. Internet based evaluation system // Artificial Intelligence in Education: Open Learning Environments. – Amsterdam: IOS Press. – 1999. – P.

32. Skinner B.F. The science of learning and art of teaching // Harward Education Review. 1954. Spring, 24. P. 86-97.

33. SunRav TestOffice. Режим доступа:

http://www.sunrav.ru/index.html.

34. Uschold M., Gruninger M. Ontologies: Principles, Methods and Applications // Knowledge Engineering Review.

1996. № 11(2). P. 101-114.

244 Интеллектуальное управление оцениванием знаний 35. Weiss D.J. (Ed.) New horizons in testing: latent trait test theory and computerized adaptive testing. – N.-Y., Academic Press, 1983. – 345 p.

36. Wolpers M., Martin G., Samuylova I. Europische forschungsund entwicklungstendenzen im elearning am beispiel des network of excellence for professional learning prolearn (russische bersetzung) // Elearning-World. – Moskau, Russische Fderation, 2005. – 184 p.

37. Wright B.D., Stone M.A. Best Test Design. Chicago: MESA Zadeh L. Fuzzy sets // Information and control. – 1965. № 38.

39. Zimmermann H.-J. Fuzzy Sets, Decision Making and Expert Systems. – Kluwer:Dordrecht, 1987. – 335 p.

40. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: дисс… доктора пед.

наук: 13.00.01. М., 1994. 322 с.

41. Аванесов В.С. Научные основы тестового контроля знаемый. – М.: Иссл. центр проблем качества подготовки специалистов, 1994. – 135 с.

42. Аванесов В.С. Научные проблемы тестового контроля знаний. – М.: Иссл. центр проблем качества подготовки специалистов, 1994. – 135 с.

43. Аванесов В.С. Тесты в социологическом исследовании.

М.: Наука, 1982. 199 с.

44. Аванесов В.С. Форма тестовых заданий. М.: Центр тестирования, 2005. 155 с.

45. Алексахин С.В., Николаев А.Б., Строганов В.Ю. Модели адаптивного тестового контроля в системе дистанционного образования. Режим доступа:

http://ito.edu.ru/2001/ito/VI/VI-0-17.html.

46. Аргус-М - Тесты с ответами для школ и ВУЗов. Режим доступа: www.argusm.com.

47. Артемьева И.Л., Князева М.А., Купневич О.А. Онтология оптимизации программ // Искусственный интеллект. – 48. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях. В сб. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976. С. 172-215.

49. Беляєв С.В., Воливач А.П., Поляничко А.Л., Самойлова О.М. Компьютерная обучающая тестовая система контроля и самоконтроля знаний // Вестник Восточноукраинского национального университета им. В. Даля. – 2011.– 50. Блюмин С.Л., Шуйкова И.А. Модели и методы принятия решений в условиях неопределенности. – Липецк: ЛЭГИ, 51. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: Примеры использования. – Рига: Зинатне, 1990. – 184 с.

52. Воинов А., Гаврилова Т.А., Данцин Е. Я. Язык визуального представления знаний и его место в САКЕ-технологии // Известия РАН, Теория и системы управления. 1996. № 53. Волошин А.Ф., Мащенко С.О. Модели и методы принятия решений. К.: Киевский университет, 2010. 336 с.

54. Гаврилова Т.А., Лещева И.А., Лещев Д.В. Использование онтологий в качестве дидактического средства // Искусственный интеллект. 2000. № 3. С. 34-39.

55. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. Учебник. – СПб.: Питер, 2000. – 384 с.

56. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г.

Сравнительный анализ программных комплексов TestMaker и ACT Test // Educational Technology & Society.– 57. Герман О.В. Введение в теорию экспертных систем и обработку знаний. Минск: ДизайнПРО, 1995. 255 с.

58. Гладун В.П. Планирование решений. К.: Наук. думка, 59. Гладун А.Я., Рогушина Ю.В.. Онтологии как перспективное направление интеллектализации поиска информации в мультиагентных системах Е-коммерции // In Proc.

XI-th Int. Conf. KDS-2005. Varna. Vol. 1. P. 158-165.

60. Глибовец Н.Н., Крусь А.А. Реализация подсистемы тестиИнтеллектуальное управление оцениванием знаний рования в системах дистанционного обучения // Управляющие системы и машины. – 2001. – №3. – C. 70-78.

61. Глибовец Н.Н., Олецкий А.В. Искусственный интеллект.– К.: Академия, 2002. – 366 с.

62. Гнатіенко Г.Н., Снитюк В.Е. Экспертные технологии принятия решений. – К.: Маклаут, 2008. – 444 с.

63. Горовой В., Гаврилова Т. Архитектура программного комплекса ОНТОЛИНЖ-KAON // In Proc. XII-th Int. Conf.

Knowledge-Dialogue-Solution. Varna. 2006. P. 133Гречко А.В. Онтология метода анализа иерархий Саати// Искусственный интеллект. 2005. № 3. C. 746-757.

65. Грибова В.В, Тарасов А.В. Генератор кода пользовательского интерфейса, управляемого онтологиями // Искусственный интеллект. 2005. № 4. С. 457-464.

66. Грибова В.В. Генерация текстов по выходным данным прикладной программы // Искусственный интеллект.

67. Грибова В.В. Обеспечение качества пользовательского интерфейса при его разработке на основе онтологий. // Труды 9-ой межд. конф. по искусств. интеллекту, Тверь.

Москва: Физматлит. 2004. Т. 2. С. 600-608.

68. Григорова А.А. Методы, алгоритмы и технологии контроля знаний в системах обучения: автореф. дисс… канд.

техн. наук: 05.13.06. Херсон, 2004. 21 с.

69. Гриценко В.Г., Власенко В.М., Власенко О.В. Использование автоматизированной системы оперативного контроля знаний для обеспечения оперативной связи и корректировки учебного процесса // Вестник Черкасского национального университета им. Б. Хмельницкого. – 2008.

70. Гриценко В.И., Довбыш А.С., Любчак В.А. Информационный синтез адаптивной мультиагентной системы управления дистанционным обучением // УCиМ. – 71. Гуров В.В. Разработка методов и средств анализа и обеспечения качества программных систем учебного назнаСписок использованых источников чения: автореф. дисс.... канд. техн. наук: 05.13.11 «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей». – М., 2008. – 72. Даревич Р.Р. Повышение эффективности интеллектуального анализа теста путем взвешивания понятий модели онтологии // Искусственный интеллект. 2005. № 3.

73. Демчина М.М., Федорак Р.М., Шекета В.И. Разработка технологии текущего и итогового контроля знаний на основе методов экспертных систем // Вестник Хмельницкого национального университета. – 2009. – № 5. – С. 238Джарратано Д., Райли Г. Экспертные системы: Принципы разработки и программирования. М.: И.Д. Вильямс, 75. Довбиш А.С., Любчик В.О., Петров С.О. Машинная оценка знаний студентов в системе управления дистанционным обучением // Вестник Сумского государственного университета. – 2007. – № 1. – С. 167–178.

76. Дюбуа Д., Прад А. Теория возможностей. - М.: Радио и связь, 1990. - 286 с.

77. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание.

Математические методы. Программная система. Практические применения. – М.: «Фазис», 2006. – 168 с.

78. Заде Л. Понятие лингвистической переменной и ее применение к принятию приближенных решений. – М.:

79. Заде Л.А. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информационных интеллектуальных систем // Новости искусственного интеллекта. – 2001. – № 2-3. – С. 7-11.

80. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. – 2003. – № 6 (3). – С. 204-212.

81. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний // Educational Technology & Society. – 2004. – № 7 (4). – С. 265-277.

248 Интеллектуальное управление оцениванием знаний 82. Зайченко Ю.П. Нечеткие модели и методы в интеллектуальных системах. К.: Слово, 2008. 344 с.

83. Зайченко Ю.П. Основы проектирования интеллектуальных систем. К.: Слово, 2004. 352 с.

84. Згуровский М.З. Интегрированные системы оптимального управления и проектирования. – К.: Вища школа, 85. Згуровский М.З. Сценарный анализ как системная методология предвидения // Системные исследования и информационные технологи. – 2002. № 1. – С. 7-38.

86. Згуровский М.З., Доброногов А.В., Померанцева Т.Н. Исследование социальных процессов на основе методологии системного анализа. Киев: Наук. думка, 1997. 222 с.

87. Згуровский М.З., Панкратова Н.Д. Системный анализ.

Проблемы, методология, приложения. К.: Наук. думка, 88. Згуровский М.З., Панкратова Н.Д. Технология предвидения. – К.: ІВЦ "Політехніка", 2005. – 156 с.

89. Иванова О.Н., Кононов О.Н. Адаптивное тестирование в практике диагностики способностей и знаний // Режим http://www.ht.bitnet.ru/press/articles/?view=art129.

90. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. К.: Наук. думка, 1975.

91. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. – М.:

Радио и связь, 1987. – 120 с.

92. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах: дисс… канд техн. наук: 05.13.13.

Москва, 2002. 200 с.

93. Катаева Е.Ю. Информационная технология автоматизированного обучения и контроля знаний в управлении учебным процессом : автореф. дисс. ... канд. техн. наук:

05.13.06 «Автоматизированные системы управления и прогрессивные информационные технологии». – Черкассы, 2004. – 20 с.

94. Катеринчук И.С., Рачок Р.В., Кравчук В.В., Кулик В.М.

Интеллектуальная система автоматизированного контроля знаний студентов высших учебных заведений // Информационные технологии в образовании: Сборник научных трудов. Выпуск 4. – Херсон: Изд-во ХГУ, 2009. – 95. Кафтанников И.Л., Коровин С.Е. Перспективы использования web-онтологий в учебном процессе // Educational Technology & Society. 2003. № 6(3). P. 134-138.

96. Кини Р.Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения.– М.: Радио и связь, 97. Клещев А. С., Шалфеева Е. А. Системный анализ при автоматизации интеллектуальной профессиональной деятельности // Труды XIII национальной конф. по искусственному интеллекту КИИ-2012. – Т.2. – Белгород:

БГТУ, 2012. – С. 128–135.

98. Кобзев И.В., Петров К.Е., Тулупов В.В. WEB-ориентированная адаптивная система тестирования // Системы обработки информации. – 2010. – Вып. 9 (90). – С. 149-152.

99. Коджа Т.И. Автоматизированная система управления и контроля знаний в процессе обучения: автореф. дисс.

канд. техн. наук: 05.13.06 „АСУ и прогрессивные информационные технологии, Одесса, 2003. – 22 c.

100. Кравцов Г.М., Кравцов Д.Г. Адаптивные и объектные тесты в модели контроля знаний по стандарту IMS // 101. Кравцов Д.Г. Проектирование и реализация многослойной системы тестирования // УСиМ. – 2005. – № 6. – С.

102. Кучеренко Е.И., Павлов Д.А. Некоторые аспекты анализа развития нечетких онтологий // Искусственный интеллект. 2005. № 3. С. 162-169.

103. Ланин В., Лядова Л., Чуприна С. Система интеллектуального поиска и автоматической каталогизации документов на основе онтологий // In Proc. XII-th Int. Conf.

250 Интеллектуальное управление оцениванием знаний Knowledge-Dialogue-Solution. Varna. 2006. P. 139Лега Ю.Г., Нетавская Е.Г., Ерофеев Ю.Ф. Структуризация процесса интегрального контроля знаний // Вестник ЖГТУ, Житомир. 2006. № 4. С. 94-99.

105. Люгер Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем. М.: Вильямс, 2003.

106. Мазорчук М.С., Добряк В.С., Гончарова К.А. Оценка параметров теста на основе модели IRT // Системы обработки информации. – 2010. – Вып. 7 (88). – С. 121-125.

107. Мазурок Т.Л. Нейросетевой анализ должностных компетенций // Вестник ХНТУ. – 2008. – № 1 (30). – С. 62-66.

108. Маклакова Г.Г. Основные принципы создания распределенной системы дистанционного образования на базе виртуальной среды // УСиМ. – 2008. – № 1.– С. 76-83.

109. Манцивода А.В., Малых А.А. Достижения в Интернете и будущее информационной среды российского образования //Информационные технологии. – 2008. – № 1. – С.

110. Матвеевский С.Ф. Основы системного проектирования комплексов летательных аппаратов. – М.: Машиностроение, 1987. – 239 с.

111. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. – М.: Знание, 1979. – 63 с.

112. Молчанов А.А. Моделирование и проектирование сложных систем. К.: Выща школа, 1988. 359 с.

113. Москаленко Ф.М. Экспертная система медицинской диагностики, основанная на реальной онтологии медицины, для многопроцессорной ЭВМ // Труды II межд. конф.

"Параллельные вычисления и задачи управления", Москва. М.: ИПУ РАН. 2004. С. 999-1084.

114. Мыснык Л.Д. Методы и модели управления тестовыми технологиями в ВУЗах в условиях внедрения Болонского процесса : автореф. дисс…. канд. техн. наук: 05.13.06 «Автоматизированные системы управления и прогрессивные информационные технологии». – Черкассы, 2010. – 24 с.

115. Мыснык Л.Д. Методы управления технологиями обучения и тестирования знаний студентов ВУЗ // ВосточноЕвропейский журнал передовых технологий. – 2002. – № 1/2 (55). – С. 24-27.

116. Нейлор К. Как построить свою экспертную систему. – М.:

Энергоатомиздат, 1991. – 286 с.

117. Нетавская Е. Концептуальные принципы реализации и структура инструментария контроля знаний на базе онтологий // In Proc. XIIIth Int. Conf. Knowledge-DialogueSolutions. – Bulgaria, Varna, 2007; Vol. 2. P. 464-470.

118. Нетавская Е. Самоорганизация процесса функционирования экспертной системы с использованием онтологии предметной области // In Proc. XII-th Int. Conf. KDSBulgaria, Varna, 2006. P. 127-132.