«РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И КОМПЛЕКСА ПРОГРАММНЫХ СРЕДСТВ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ НА ОСНОВЕ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ ...»

Министерство образования и наук

и Российской Федерации

Федеральное государственное бюджетное образовательное учреждение высшего

профессионального образования

«Московский авиационный институт (национальный исследовательский университет)»

На правах рукописи

Сологуб Глеб Борисович

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И КОМПЛЕКСА

ПРОГРАММНЫХ СРЕДСТВ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ НА

ОСНОВЕ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ

05.13.18 — математическое моделирование, численные методы и комплексы программ 05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель доктор физико-математических наук, профессор Пантелеев Андрей Владимирович Москва —

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. ПОСТРОЕНИЕ ФРЕЙМОВЫХ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ

УЧЕБНЫХ ДИСЦИПЛИН И ЗНАНИЙ СТУДЕНТОВ

1.1 Метод построения фреймовых семантических моделей предикатных частей учебных дисциплин

1.2 Метод построения персонифицированных фреймовых семантических моделей предикатных частей учебных дисциплин....... 1.3 Выводы

2. ПОСТРОЕНИЕ БАЙЕСОВСКИХ СЕТЕЙ ДЛЯ МОДЕЛИРОВАНИЯ И

ЭКСПЕРТНОЙ ДИАГНОСТИКИ ЗНАНИЙ СТУДЕНТОВ

2.1 Метод построения структуры байесовской сети на основе фреймовой семантической модели

2.2 Моделирование методики эксперта — рекуррентный алгоритм автоматического обучения параметров байесовской сети

2.3 Автоматизация экспертной диагностики знаний — алгоритм апостериорного оценивания вероятностей в байесовской сети ............. 2.4 Выводы

3. КОМПЛЕКС ПРОГРАММ ДЛЯ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ

ЗНАНИЙ

3.1 Архитектура и функциональность программного комплекса.......... 3.2 Структуры данных для хранения и обработки семантических моделей

3.3 Компонентная модель теста и алгоритм тестирования

3.4 Методика работы и пользовательские интерфейсы в средстве автора

3.5 Методика работы и пользовательские интерфейсы в средстве тестируемого

3.6 Программный интерфейс и работа серверного приложения........... 3.7 Выводы

4. ПРИМЕНЕНИЕ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙ...... 4.1 Разработанные системы имитационного тестирования знаний по математическим дисциплинам

4.2 Методика экспертной диагностики знаний на основе построения семантических моделей при компьютерном тестировании ................. 4.3 Проведенные тестирования знаний

4.4 Выводы

ЗАКЛЮЧЕНИЕ

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

ПРИЛОЖЕНИЯ

П.1 Свидетельство о регистрации средства автора

П.2 Свидетельство о регистрации средства тестируемого

П.3 Свидетельство о регистрации серверного приложения................. П.4 Протокол проверки результатов автоматизированной диагностики знаний студентов

ВВЕДЕНИЕ

Актуальность исследования В настоящее время в инженерном образовании, в том числе, при подготовке специалистов для аэрокосмической отрасли, осуществляется переход на образовательные стандарты нового поколения, включающие усиленные квалификационные требования на основе компетентностной модели.

Согласно этим стандартам, высшее учебное заведение обязано гарантировать качество подготовки, в том числе, путем разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников.

Оценка качества обучения должна включать текущий контроль успеваемости и промежуточную аттестацию обучающихся, причем конкретные формы и процедуры текущего и промежуточного контроля знаний по каждой дисциплине, в том числе, тесты и методы контроля, разрабатываются вузом самостоятельно [96].

При разработке оценочных средств для контроля качества изучения модулей, дисциплин, практик должны учитываться все виды связей между включенными в них знаниями, умениями, навыками, позволяющие установить качество сформированных у обучающихся компетенций по видам деятельности и степень общей готовности выпускников к профессиональной деятельности [96].

Поэтому возникает насущная необходимость в разработке новых методов и средств контроля знаний, соответствующих указанным требованиям.

Выполнение этой практической задачи сопряжено с решением ряда теоретических проблем в области интеллектуальных обучающих и тестирующих систем и смежных областях компьютерного обучения и искусственного интеллекта.

История исследований и мотивация Первым устройством для автоматизации тестирования считается механическая машина, созданная С. Пресси в 1926 г., которая отображала студенту отпечатанные карточки с вопросами в заданном преподавателем порядке, позволяла выбирать ответы из числа предложенных по схеме множественного выбора и регистрировала число правильных ответов [60].

Впоследствии механизм подачи карточек был дополнен рычажком, который позволял отображать очередную карточку с вопросом только после правильного ответа на предыдущий вопрос, и был обнаружен обучающий эффект, который достигался при использовании таких машин.

Однако, широкого распространения эти устройства не получили вплоть до появления в 50-х годах 20-го века революционных работ Б. Ф. Скиннера и Н. Краудера и начала серийного производства машин, реализующих программированного обучения. В это время в науке и технике впервые был разработан подход к обучению в форме вопросов и ответов, элементы которого встречаются уже в диалогах Сократа.

Метод линейного программированного обучения предполагал подачу последовательности с регулярным подкреплением в виде элементарных вопросов, подразумевающих единственно верный ответ, который должен быть сконструирован учащимся.

Гарантированная успешность такого обучения содержала в себе и главную проблему этого подхода: в нём не были предусмотрены средства обработки неправильных ответов обучаемого, исправления его ошибок и устранения недопонимания.

В противоположность линейным программам, разветвленные программы состояли из сравнительно больших порций учебного материала и предполагали индивидуальную траекторию обучения. Ответ учащегося осуществлялся в них путем выбора из предложенных альтернатив, а в случае неверного выбора предоставлялись подробные разъяснения.

Однако и разветвленные программы были не свободны от ряда недостатков, связанных с предопределенностью подачи информации и невозможностью контролировать трудность и степень усвоения материала для конкретного учащегося.

Несмотря на это, в 60-х годах теория программированного обучения активно развивалась, в том числе и трудами отечественных ученых П. Я. Гальперина, Н. Ф. Талызина, Л. Н. Ланды, А. М. Матюшкина и др.;

осуществлялись эксперименты по внедрению её результатов в систему среднего и высшего образования.

В это же время Г. Паск, основываясь на кибернетическом подходе, предложил рассматривать поведение обучаемого как самоорганизующуюся систему, а обучение как процесс управления, направленный на стабилизацию системы «человек-машина», и разработал теорию адаптивных обучающих машин, способных анализировать реакцию обучающегося и подстраиваться под его индивидуальные особенности, поддерживая оптимальный уровень трудности материала на каждом шаге обучения [41]. На 70-е годы пришёлся пик исследований в области адаптивного обучения, однако в серийное производство такие машины так и не были запущены из-за отсутствия доступной технологической базы.

К концу 70-х годов интерес к программированному обучению в значительной мере снизился, в отличие от самой практики составления тестов в качестве проверочных заданий, которая прочно закрепилась в западных стандартах обучения.

Еще в 60-е годы в психометрике были разработаны два вероятностных подхода к составлению, оцениванию и анализу тестов: классическая теория тестов (М. Р. Новик, Ф. М. Лорд) и т.н. Item Response Theory (Г. Раш).

В рамках классической теории тестов были предложены статистические критерии для оценки достоверности результатов тестирования, в то время как Item Response Theory предоставила модели и методы прогнозирования корректности ответа на вопрос в тесте конкретным испытуемым.

Однако настоящий бум автоматизированных тестов начался лишь с появлением персональных компьютеров в 80-е годы 20-го века. С этих пор и до настоящего времени в образовательной среде главенствуют две тенденции: во-первых, осуществляется простой перевод накопленных бумажных тестов и обучающих материалов в электронную форму с сохранением традиционных методик обучения и контроля знаний, во-вторых, разрабатываются всё более сложные обучающие системы, в которых воплощаются современные достижения искусственного интеллекта и машинного обучения.

В этом противопоставлении «обычных» компьютерных тестов, которые принципиально не изменились со времён машины Пресси, и интеллектуальных обучающих систем видится одна из проблем современного процесса информатизации высшего образования в России.

С одной стороны, общедоступные компьютерные программы для создания и проведения тестов, как правило, лишены средств моделирования и анализа знаний конкретных студентов по заданным темам и выполняют лишь функцию оценивания. С другой стороны, для применения интеллектуальных обучающих систем необходим полный перевод всего процесса обучения в соответствующую компьютерную среду, что даже в нашу эпоху тотальной компьютеризации зачастую не представляется возможным в силу целого ряда методических, административных и экономических причин.

Идея имитационного тестирования знаний В качестве выхода из такой ситуации представляется разумным создание интеллектуальной системы тестирования, не претендующей занять место преподавателя, но берущей на себя часть его функций, связанных с диагностикой текущих знаний студентов.

Процесс традиционного тестирования знаний можно описать следующим образом. Преподаватель опрашивает студента по некоторой методике и формирует модель знаний студента. После этого он сравнивает построенную модель с моделью учебной дисциплины и осуществляет диагностику знаний в соответствии с некоторой методикой оценивания.

Эти процессы, происходящие в сознании преподавателя, можно попытаться перенести в специальную компьютерную среду. Для этого необходимо разработать методы и средства автоматизированного построения модели учебной дисциплины и модели знаний студента, а также разработать механизмы имитации методики тестирования и оценивания каждого конкретного преподавателя.

Для формального описания учебной дисциплины и представления знаний студента можно использовать фреймовые семантические модели.

Методика тестирования может быть задана в виде некоторого списка решающих правил, описывающих логику выбора следующего задания в тесте. Для имитации методики оценивания предлагается применить методы искусственного интеллекта, в частности, методы на основе байесовских сетей.

программных средств, с которыми смогут работать преподаватели и студенты через локальную сеть или Интернет.

Целью диссертационной работы является разработка методов и программных средств имитационного сетевого компьютерного тестирования знаний на основе семантических моделей.

Задачи исследования Разработать методы построения фреймовых семантических моделей учебных дисциплин и знаний студентов.

Разработать методы и алгоритмы построения байесовских сетей для моделирования и диагностики знаний студентов, в частности, метод построения структуры сети, а также алгоритмы автоматического обучения параметров и апостериорного оценивания вероятностей в таких байесовских сетях.

Разработать комплекс программ для имитационного сетевого компьютерного тестирования знаний на основе семантических моделей, в частности, разработать архитектуру программного комплекса и функциональность входящих в него программных средств; структуры данных для хранения и обработки семантических моделей; модель теста и алгоритм имитационного тестирования знаний; реализовать разработанные методы и алгоритмы построения семантических моделей и имитационного тестирования знаний в виде ряда программных и пользовательских интерфейсов для построения и визуализации семантических моделей, формирования тестов, проведения тестирований и отображения их результатов.

Разработать системы имитационного тестирования по ряду математических дисциплин, в частности, построить семантические модели учебных дисциплин, сформировать тесты, разработать методику диагностики знаний, провести пробные тестирования и построить семантические модели знаний студентов.

Объектом исследования является математическое и программное обеспечение автоматизированного контроля знаний студентов.

Предметом исследования являются математические модели, методы и программные средства, предназначенные для автоматизации создания компьютерных тестов, проведения сетевых тестирований и диагностики знаний тестируемых.

Область исследования Согласно паспорту специальности 05.13.18 «Математическое моделирование, численные методы и комплексы программ»:

объектов и явлений;

— реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента;

интерпретации натурного эксперимента на основе его математической модели;

моделирования.

Согласно паспорту специальности 05.13.11 «Математическое и компьютерных сетей»:

— модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем;

— человеко-машинные интерфейсы; модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения.

Методологическая и теоретическая основа исследования Теоретическую основу исследований составили научные труды отечественных и зарубежных ученых в области моделирования знаний и искусственного интеллекта (М. Минский, С. Рассел, Д.А. Поспелов, В.В. Семенов), байесовских сетей (Д. Перл, Ф. Йенсен, А.Л. Тулупьев, П. Брусиловский, Б.П. Вульф, А.В. Пантелеев, Т.А. Летова, А.В. Наумов, А.И. Кибзун) и тестирования знаний (Г. Раш, А. Бирнбаум, В.С. Аванесов, А.В. Агибалов).

Для решения поставленных задач использовались современные математической статистики, искусственного интеллекта, машинного обучения, информатики и объектно-ориентированного программирования.

математического аппарата, сравнением с результатами других авторов и экспериментальной проверкой.

Научная новизна Разработаны методы построения древовидных фреймовых семантических моделей учебных дисциплин и знаний студентов, позволяющие сформировать иерархическую структуру знаний по учебной дисциплине и описать владение темами, обладание элементарными компетенциями, умение выполнять задания и оценки правильности выполнения заданий и их элементов для конкретного студента.

байесовской сети на основе фреймовой семантической модели знаний студента, который позволяет описать в виде байесовской сети вероятностные взаимосвязи между элементами этой модели.

Разработан рекуррентный алгоритм автоматического обучения параметров байесовской сети с булевыми случайными элементами и древовидной структурой, позволяющий выполнять последовательное обновление значений параметров сети в процессе экспертного оценивания.

оценивания вероятностей для байесовской сети с булевыми случайными элементами и древовидной структурой, линейный по времени и памяти, который позволяет оценивать владение темами, обладание элементарными компетенциями и умение выполнять задания для тестируемого студента.

имитационного сетевого компьютерного тестирования знаний и функциональность входящих в него программных средств.

Разработаны компонентная модель теста и соответствующий алгоритм тестирования, которые позволяют реализовать линейные тесты с фиксированной структурой, адаптивные тесты с ветвлениями, имитировать очный экзамен с заданием дополнительных вопросов.

знаний на основе построения семантических моделей при сетевом компьютерном тестировании, которая позволяет имитировать методики тестирования и оценивания знаний конкретным преподавателем.

Практическая значимость и внедрение результатов для автоматизации создания компьютерных тестов, проведения сетевых тестирований и диагностики знаний тестируемых. Разработаны системы тестирования для промежуточного и итогового контроля знаний студентов по следующим дисциплинам высшей математики: «Математический анализ»

оптимизации и численные методы». Кроме того, разработана система тестирования для входного контроля знаний абитуриентов по теме «Элементарная математика». Построены семантические модели знаний, включающие 1237 постановок задач по 50 главам и разделам указанных учебных дисциплин.

Разработанный программный комплекс внедрен в учебный процесс для тестирования знаний студентов по математическим дисциплинам;

внедрен в рабочий процесс ООО «Информационные технологии гражданской характеристик специалистов; засвидетельствовано актами внедрения.

Апробация результатов Результаты работы докладывались и обсуждались на следующих научных конференциях: 7-й международной конференции «Авиация и космонавтика — 2008» (Москва, 2008 г.), VI Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (Москва, 2009 г.), 2-й Всероссийской конференции ученых, молодых специалистов и студентов «Информационные технологии в авиационной и космической технике-2009» (Москва, 2009 г.), 8-й международной конференции «Авиация и космонавтика — 2009»

(Москва, 2009 г.), 52-й научной конференции МФТИ — Всероссийской молодёжной научной конференции с международным участием (Долгопрудный, 2009 г.), VII Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (Москва, 2010 г.), научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2010» (Москва, 2010 г.), конкурсе научно-технических работ и проектов «Молодежь и будущее авиации и космонавтики — 2010» (Москва, 2010 г.), научно-практической конференции студентов и молодых ученых МАИ «Инновации в авиации и космонавтике — 2011» (Москва, 2011 г.), Fifth Russian Young Scientists Conference in Information Retrieval (Санкт-Петербург, 2011 г.), 4-й Всероссийской мультиконференции по проблемам управления «МКПУ — 2011» (Дивноморское, 2011 г.), 54-й научной конференции МФТИ «Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе»

(Долгопрудный, 2011 г.), Международной научно-методической ИНФОРИНО-2012 (Москва, 2012 г.), Московской научно-практической конференции «Инновации в авиации и космонавтике — 2012» (Москва, 2012 г.), IX Международной конференции по неравновесным процессам в соплах и струях (Алушта, 2012 г.).

Работа победила в конкурсе научно-исследовательских работ студентов фундаментальных и прикладных естественных и технических наук в современном информационном обществе» в 2011 г.

Исследования выполнены, в том числе, в рамках работы научнообразовательного центра «Математические методы оптимизации и идентификации аэрокосмических систем и летательных аппаратов», как часть работ по Государственному контракту 02.740.11.0471 в рамках Мероприятия 1.1 Федеральной целевой программы «Научные и научнопедагогические кадры инновационной России» на 2009—2013 гг.; а также в рамках Межвузовской комплексной работы по развитию и внедрению инновационных технологий в образовании (МКР ИТО) в 2009—2011 гг.

Публикации Результаты исследования опубликованы в 27 печатных работах, из которых 6 статей в журналах, входящих в Перечень ВАК РФ, а также в отчетах по НИР. Получено 3 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем диссертации Диссертация состоит из введения, 4 глав с выводами, заключения, списка литературы (из 97 источников) и 4 приложений. Объем диссертации составляет 130 м.п.с.

1. ПОСТРОЕНИЕ ФРЕЙМОВЫХ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ

УЧЕБНЫХ ДИСЦИПЛИН И ЗНАНИЙ СТУДЕНТОВ

используются два вида моделей: модель учебной дисциплины, которая должна определять состав требуемых знаний и взаимосвязи между отдельными фрагментами учебного курса, и модель знаний студента, которая должна отражать представления системы о составе и уровне текущих знаний конкретного студента [22].

Простейшей моделью учебной дисциплины является оглавление, которое представляет собой древовидную структуру тем. Глубина такого дерева учебного курса потенциально не ограничена. В зависимости от структуры и содержания учебного курса оно может включать до 5 уровней иерархии (дисциплина, разделы, подразделы, главы, параграфы) и более, причем детализация разных частей курса может быть различной.

Для моделирования учебной дисциплины можно применять различные виды моделей, например, продукционные модели [32, 58], фреймовые модели [33, 49], модели на основе онтологий [44], семантических сетей [97], а также их всевозможные комбинации [42, 47, 48].

Построение модели знаний студента можно осуществить с помощью двух различных подходов: оверлейное моделирование и стереотипное моделирование [39]. Оверлейные модели описывают знания студента как подмножество всех знаний по учебной дисциплине. Стереотипные модели описывают классификацию пользователей по стереотипам.

В настоящей работе используются положения кибернетической компьютерной технологии обучения [64]. Согласно этой теории, обучение представляет собой информационный процесс формирования знаний у субъекта обучения под управлением преподавателя.

Семантической моделью предметной области называют формальное представление её смыслового содержания на заданном уровне знания. Таким образом, обучение можно представить как перенос семантической модели учебной дисциплины из сознания преподавателя или информационного пространства в сознание обучаемого.

Тестирование (или диагностика) знаний представляет собой сравнение модели учебной дисциплины с моделью знаний студента, устанавливает уровень достигнутых знаний и обеспечивает организацию обратных связей в процессе обучения.

В традиционных методах обучения процесс контроля знаний осуществляет преподаватель. Модель знаний студента формируется в его сознании на основе сравнения результатов выполнения студентом учебных заданий с правильными результатами, соответствующими модели учебной дисциплины, сформированной также в его сознании.

В интеллектуальной системе тестирования построение и сравнение семантических моделей должно осуществляться автоматически.

Для формального описания семантических моделей знаний оказывается возможным применить фреймовый аппарат семантического программирования [64].

Полное формализованное описание языка представления знаний для семантического программирования содержится в работе [63]. В нём используется три типа элементарных фреймов: классификационные фреймы, смысловые связки и директивные фреймы.

Классификационные фреймы имеют имя и набор возможных значений.

Они позволяют упорядочивать ключевые понятия предметной области по категориям, которым соответствуют имена фреймов. Директивный фрейм представляет собой инструкцию для пользователя на проведение какого-либо действия. Смысловая связка содержит сказуемое, подлежащее (входной аргумент) и дополнения (выходные аргументы), образуя каркас предложения на естественном языке.

Указанные фреймы могут быть иерархическими, отражая древовидную семантическую структуру предметной области. Возможные значения фреймов могут объединяться логическими операциями конъюнкции и дизъюнкции. Элементарные фреймы объединяются во фразы, совокупность которых представляет собой семантическую модель на естественном языке.

Вариант фреймовой семантической модели учебной дисциплины для компьютерной обучающей системы описывается в работе [49]. В нём выделены два типа фреймов: фрагментные и целевые, каждый информационный фрагмент описывается в виде экземпляра фрагментного фрейма, детализация ограничивается уровнем параграфов учебного курса.

Для эффективной реализации контроля знаний в компьютерной системе тестирования необходимо включить в семантическую модель учебной дисциплины помимо тем учебного курса сами тестовые задания, их структуру, а также элементарные компетенции, которые ими проверяются.

1.1 МЕТОД ПОСТРОЕНИЯ ФРЕЙМОВЫХ СЕМАНТИЧЕСКИХ

МОДЕЛЕЙ ПРЕДИКАТНЫХ ЧАСТЕЙ УЧЕБНЫХ ДИСЦИПЛИН

Описание предикатной части учебной дисциплины Будем считать, что информация и сообщение являются первичными неопределяемыми понятиями. Информация передается посредством сообщения.

Данные – это закодированное сообщение.

Структура данных – это описание типа данных, включающее функции создания и работы с элементами этого типа.

Знания – это информация, позволяющая создавать новую информацию.

Фрейм – структура данных для представления совокупности знаний.

Профессиональная компетенция – это способность заниматься профессиональной деятельностью определенного рода. В современных образовательных стандартах профессиональные компетенции формируются из знания конкретных тем, умения решать определенные задачи, владения заданными методами и навыками [96].

Учебной дисциплиной называется совокупность знаний, по которой осуществляется обучение в соответствии с образовательной программой.

Темой (учебной дисциплины) называется обособленная совокупность знаний, объединенных по смыслу. Темы могут быть произвольной общности (предмет, раздел, глава, параграф и т.п.).

в соответствии с оглавлением учебного пособия или учебной программой.

Знания по теме – это знания, принадлежащие теме. Владеть темой или знать тему – это значит владеть знаниями по теме.

Задачей (по теме) называется поручение студенту с помощью некоторых исходных знаний по теме создать другие знания по теме, называемые правильным ответом (задачи).

Задачи также составляются преподавателем.

Студент в результате решения задачи может создать некоторые знания по теме, называемые ответом задачи. По определению, правильный ответ – это частный случай ответа задачи.

Кодом ответа будем называть закодированное сообщение, передающее ответ задачи, а формой ответа – способ кодирования этого сообщения или его части.

Предикатным заданием (по теме) будем называть задачу, для которой заданы такие формы ответа и известен такой метод решения задачи, что код правильного ответа существует и является единственным.

Под выполнением задания будем подразумевать решение поставленной задачи с указанием кода правильного ответа.

Здесь и далее по тексту под заданиями всюду будем подразумевать только предикатные задания в смысле данного определения.

Элементарной компетенцией (студента) (для заданного класса предикатных заданий) будем называть его способность применять знания по теме для решения заданий из этого класса.

элементарные компетенции в смысле данного определения.

Классы предикатных заданий задаются преподавателем так, чтобы совокупность элементарных компетенций для них соответствовала профессиональным компетенциям, определенным в образовательном стандарте.

совокупность тем по данной учебной дисциплине, предикатных заданий по данным темам и элементарных компетенций студента для классов данных предикатных заданий.

Будем говорить, что тема Ti включает тему T j (или компетенцию С k ), принадлежат и теме Ti. Тема Ti, в таком случае, называется родительской темой по отношению к теме T j (или компетенции С k ).

Предполагается, что темы могут находиться на произвольной глубине вложенности, у каждой компетенции или темы может быть не более одной родительской темы, каждая тема может включать любое количество тем и компетенций.

Будем говорить, что задание проверяет компетенцию, если для выполнения задания необходимо обладание этой компетенцией.

компетенцию, а каждая компетенция может проверяться произвольным количеством заданий.

Структура предикатных заданий Структурным элементом задания будем называть обособленный набор текстов и/или директив, объединенных по смыслу и входящих в сообщение, посредством которого передается задание. Под директивой здесь подразумевается указание на проведение определенного действия.

Можно выделить следующие типы структурных элементов заданий:

заголовок, произвольный текст, помощь, примечание, единственный выбор, множественный выбор, ввод значения, слоты, палитра.

Будем рассматривать следующие формы ответа: 1) выбор одного значения из n предложенных вариантов (единственный выбор); 2) выбор (множественный выбор); 3) ввод значения (ввод ответа); 4) подстановка в каждый из k слотов одного значения из палитры – набора n предложенных вариантов (установление соответствия).

Каждой форме ответа, описанной в конкретном задании, поставим в соответствие один или несколько семантических элементов задания – переменных, принимающих те или иные значения, из которых формируется код ответа.

Форме ответа «единственный выбор» сопоставим один семантический элемент задания, область возможных значений которого совпадает с множеством предложенных вариантов.

Форме ответа «множественный выбор» сопоставим n семантических элементов задания (по числу предложенных вариантов), каждый из которых будет иметь область возможных значений {выбран, не выбран}.

Форме ответа «ввод ответа» сопоставим один семантический элемент задания, областью возможных значений которого является множество текстов, возможно специального вида. Например, в случае ввода числа форма ответа может подразумевать ввод десятичной дроби с разделителем запятая и округлением до заданного количества знаков после запятой.

семантических элементов задания (по числу слотов), областью возможных значений каждого из которых будет являться палитра из n предложенных вариантов.

Для каждого семантического элемента задания можно указать верное значение, т.е. значение, которое входит в код правильного ответа. Все остальные значения будем называть неверными значениями.

Будем говорить, что семантический элемент правильно заполнен, если он принял верное значение.

Пример 1. Рассмотрим типовое задание по курсу «Теория оптимизации и численные методы» (рис. 1).

Рисунок 1. Семантические и структурные элементы задания В этом задании можно выделить 5 структурных элементов: текст E 1, заголовки E2 и E4, множественный выбор E3 и единственный выбор E5, а также 5 семантических элементов: S1, S2, S3, S4 с областью возможных значений {выбран, не выбран} и S5 с областью возможных значений {(0;0),(1;1),( 1 ; 1 ),( 1 ; 1 )}. При этом S1 и S2 имеют верное значение «не выбран», S3 и S4 имеют верное значение «выбран», а S5 имеет верное значение (0;0).

Параметром задания называется переменная, входящая в описание задачи и принимающая определенное значение при формировании задания.

Задачи вычислительного характера могут содержать числовые параметры. Часто применяется детерминированная параметризация по номеру студента, группы, факультета. Кроме того, одни параметры могут вычисляться по заданной формуле в зависимости от значений других параметров той же задачи. Параметры могут генерироваться случайным образом. В этом случае область возможных значений параметров задается их списком или диапазоном. В примере 1 задание имеет два числовых параметра: a и b.

Фреймовое описание семантической модели предикатной части учебной дисциплины На основе рассмотренной вербальной модели построим формальное описание семантической модели предикатной части учебной дисциплины на языке фреймов (листинг 1).

Листинг 1. Формальная фреймовая семантическая модель предикатной части учебной дисциплины.

a — включает структурные элементы задания:

b — включает семантические элементы задания:

a — имеет область возможных значений:

b — имеет область возможных значений:

Фреймы тем, компетенций, заданий, их элементов и параметров представляют собой фреймы-связки. Они заполняются по слотам следующих друг за другом смысловых связок. При невозможности заполнения слот пропускается.

Такая фреймовая модель легко может быть расширена или перестроена для отображения дополнительных элементов иерархической структуры знаний и их качественных и количественных признаков.

Построение фреймовой модели для конкретной учебной дисциплины в программной системе тестирования осуществляется автоматически в процессе работы преподавателя.

Пример 2. Рассмотрим фрагмент фреймовой семантической модели предикатной части учебной дисциплины «Теория оптимизации и численные методы» (рис. 2).

Рисунок 2. Фрагмент фреймовой семантической модели предикатной части учебной дисциплины «Теория оптимизации и численные методы»

На рисунке слева представлена часть иерархической структуры учебного курса, включающая темы различной общности (от дисциплины T1 и его двух основных разделов T48 и T51 до глав T70 и T71), элементарные компетенции C75 и C76, задания Q268 и Q270, семантические элементы задания S268_0_1 и S268_0_2. Справа приведен текст нескольких соответствующих фреймов.

МЕТОД ПОСТРОЕНИЯ ПЕРСОНИФИЦИРОВАННЫХ

ФРЕЙМОВЫХ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ ПРЕДИКАТНЫХ ЧАСТЕЙ

УЧЕБНЫХ ДИСЦИПЛИН

Описание тестирования и его результатов Семантическую модель знаний студента будем представлять в виде персонифицированной модели предикатной части учебной дисциплины.

Построение этой модели осуществляется в процессе тестирования.

Тестирование представляет собой проведение независимых испытаний, в которых различные студенты последовательно выполняют задания, формируемые и предлагаемые преподавателем или (программной) системой тестирования.

формировании задания. При выполнении задания студентом семантические элементы задания принимают верные или неверные значения. Таким образом, каждый семантический элемент задания получает оценку правильности.

Методически важной задачей тестирования является определить, владеет ли тестируемый студент темой, к которой относится это задание, обладает ли он компетенцией, которая проверяется этим заданием, умеет ли он выполнять такие задания. По результатам тестирования преподаватель или система тестирования строит оценки владения темами, обладания компетенциями и умения выполнять задания для данного студента.

Такие оценки в зависимости от методики оценивания могут быть двузначными (да/нет), могут иметь частотно-вероятностный характер или принимать значения по балльной шкале.

Указанные оценки будут являться параметрами формальной персонифицированной семантической модели предикатной части учебной дисциплины. Будем строить эту модель методом наследования на основе фреймовой семантической модели предикатной части учебной дисциплины.

Метод наследования является расширением метода оверлейного моделирования и предполагает, что новая фреймовая модель: 1) сохраняет все фреймы исходной модели и их слоты; 2) может расширять исходную модель за счет добавления новых фреймов и слотов.

Фреймовое описание персонифицированной семантической модели предикатной части учебной дисциплины Построим формальное фреймовое описание семантической модели предикатной части учебной дисциплины для конкретного студента методом наследования (листинг 2). Полужирным шрифтом выделены новые фреймы и слоты модели.

Листинг 2. Формальная персонифицированная фреймовая семантическая модель предикатной части учебной дисциплины.

b — имеет оценку обладания компетенцией:

a — включает структурные элементы задания:

b — включает семантические элементы задания:

d — имеет оценку умения выполнять задание:

a — имеет область возможных значений:

d — имеет полученную оценку правильности:

b — имеет область возможных значений:

K4 := K5 := K6 := K7 := K8 := Построение фреймовой семантической модели для конкретного студента в программной системе тестирования осуществляется автоматически в процессе тестирования.

Пример 3. Рассмотрим фрагмент персонифицированной фреймовой семантической модели предикатной части учебной дисциплины «Теория оптимизации и численные методы» (рис. 3).

Рисунок 3. Фрагмент персонифицированной фреймовой семантической модели предикатной части учебной дисциплины «Теория оптимизации и Из рисунка видно, что набор фреймов тем, компетенций, заданий и их семантических элементов в семантической модели для конкретного студента наследуется от семантической модели для учебной дисциплины (пример 2).

Вместе с тем, каждый фрейм получает новые слоты, содержащие полученные в результате тестирования оценки.

Разработан метод построения фреймовых семантических моделей предикатных частей учебных дисциплин, который позволяет описать иерархическую древовидную структуру знаний, состоящую из набора тем произвольной вложенности, элементарных компетенций, предикатных заданий, их параметров, структурных и семантических элементов.

Разработан метод построения персонифицированных фреймовых семантических моделей предикатных частей учебных дисциплин, который позволяет описать оценки владения темами, обладания компетенциями, умения выполнять задания и оценки правильности заполнения семантических элементов заданий конкретным студентом.

2. ПОСТРОЕНИЕ БАЙЕСОВСКИХ СЕТЕЙ ДЛЯ МОДЕЛИРОВАНИЯ И

ЭКСПЕРТНОЙ ДИАГНОСТИКИ ЗНАНИЙ СТУДЕНТОВ

семантические модели представляют собой формальное декларативное описание структуры знаний и компетенций студентов, пригодное для представления в машиночитаемом виде и компьютерной обработки (см. пункт 3.2 главы 3).

Однако указанные модели не отражают механизм оценивания знаний конкретным преподавателем. Для решения этой задачи предлагается на их основе строить модели знаний студентов в виде байесовских сетей.

Байесовская сеть (доверия) — это ациклический ориентированный граф, в котором каждая вершина (узел сети) представляет n -значную переменную, дуги обозначают существование непосредственных причинноследственных зависимостей между соединенными переменными, а сила этих зависимостей количественно выражается в виде условных вероятностей, сопоставленных каждой из переменных [24].

графических моделей. Строгое формальное определение и теория байесовских сетей доверия построены и развиты в трудах [94, 24, 13, 95].

Модели на основе байесовских сетей в последние годы активно используются при разработке компьютерных обучающих и тестирующих средств, особенно западными исследователями [3, 6, 19, 21, 25, 30].

Так, в работе [19] рассматривается задача моделирования знаний при адаптивном тестировании студентов по заданной дисциплине A. Структура учебного курса предполагает разбиение дисциплины на главы T1,...,Ts, а каждой из глав Ti, в свою очередь, соответствует набор понятий Ci1,...,Cini.

Тестирование включает набор P1,..., Pr тестовых заданий, каждое из которых может требовать владения одним или несколькими понятиями. В свою очередь, владение каждым из понятий может быть необходимым для выполнения одного или нескольких тестовых заданий.

Для моделирования знаний в этой работе используется байесовская сеть с бинарными переменными, сопоставленными главам, понятиям и заданиям. Условные вероятности для переменных Ci1,...,Cini задаются преподавателем, для переменных T1,..., Ts и A строятся на основе взвешенных сумм вкладов родительских узлов, а для переменных P,..., Pr — с помощью дискретизации модифицированной трёхпараметрической логистической функции [19].

К недостаткам этой модели можно отнести следующие: 1) вложенность дерева знаний ограничена только 3 уровнями: дисциплина, главы, понятия; 2) моделируются только простейшие виды тестовых заданий с единственным значением верно/неверно; модель не описывает элементарные компетенции, позволяющие выполнять те или иные задания; 4) установление параметров байесовской сети осуществляется непосредственно преподавателем; 5) структура байесовской сети содержит допустимые ненаправленные циклы, которые могут быть смежными по ребрам, — в этой ситуации стандартные методы апостериорного оценивания могут оказаться вычислительно неэффективными [13, 95], а предложенные эвристики обесценивают саму идею использования байесовской сети.

Другие исследователи либо вовсе не описывают иерархическую структуру знаний, а моделируют только взаимосвязи между наборами тестовых задач и правил их решения [30], в лучшем случае, формализуя ход решения самих задач [7], либо строят алгоритмы автоматического формирования структуры байесовской сети на основе имеющихся данных [18].

Автору известны лишь два случая применения байесовских сетей для моделирования знаний в работах российских исследователей. В работе [43] структура байесовской сети для моделирования знаний строится на основе множества единиц знаний S и двух заданных на нем бинарных отношений:

отношения включения U и отношения предшествования W, причем, ациклическим орграфом. Эта модель не описывает сами тестовые задания и соответствующие им компетенции, а оценки знаний строятся только лишь на основе косвенных свидетельств, полученных в процессе тестирования.

В работе [97] структура байесовской сети для моделирования знаний строится на основе семантической сети предметной области, узлы которой обозначают концепты предметной области, тестирования и информационной поддержки, а дуги обозначают зависимость, объединение, включение или принадлежность. Однако в этой работе не описан сам процесс формирования ациклического орграфа из произвольной семантической сети (механизмы кластеризации и удаления циклов) и не обеспечена эффективность апостериорного оценивания вероятностей в байесовской сети.

2.1 МЕТОД ПОСТРОЕНИЯ СТРУКТУРЫ БАЙЕСОВСКОЙ СЕТИ НА

ОСНОВЕ ФРЕЙМОВОЙ СЕМАНТИЧЕСКОЙ МОДЕЛИ

Формирование структуры байесовской сети предлагается осуществлять на основе предложенной персонифицированной фреймовой семантической модели предикатной части учебной дисциплины.

Фрагмент этой модели может быть представлен в виде графа, где T1,...,TN — темы, C1,...,CM — элементарные компетенции, Q1,...,Q K — семантические элементы заданий (рис. 4).

Подграф, содержащий задания и их структурные элементы, описывает семантику человеко-машинного взаимодействия при тестировании, в то время как подграф, содержащий темы, элементарные компетенции, задания и используемую для анализа и оценивания результатов тестирования. Второй из указанных подграфов можно использовать в качестве основы для построения структуры байесовской сети.

Рисунок 4. Представление фрагмента семантической модели предикатной Рассмотрим тестирование, в котором выбранный наугад студент из числа студентов, обучающихся у одного и того же преподавателя, выполняет все задания Q1,...,Q K. В результате тестирования каждый из семантических элементов заданий S1,...,SL принимает верное или неверное значение.

Преподаватель по результатам тестирования осуществляет экспертную диагностику знаний студента, то есть, выступая в качестве эксперта, некоторым способом оценивает, умеет ли студент выполнять каждое из заданий Q1,...,Q K, обладает ли каждой из элементарных компетенций C1,...,CM, проверяемых этими заданиями, владеет ли он каждой из тем учебной дисциплины T1,...,TN.

Из всех видов оценок, введенных в пункте 1.2 главы 1, будем рассматривать только двузначные оценки, а именно: оценки ti {,} для каждой из тем Ti, i 1,...N ; оценки c j {,} для каждой из компетенций C j, j 1,...M ;

k 1,...K ; оценки sl {,} для каждого из семантических элементов S1,...,SL, l 1,...L.

{ : (t1,..., t N, c1,..., cM, q1,..., qK, s1,..., sL )}, состоящее из всех возможных векторов полученных оценок, и алгебру событий A { A : A }.

Рассмотрим следующие пары противоположных событий, являющихся l 1,...L.

пересечений некоторых из указанных событий Ti, Ti, C j, C j, Q k, Q k, Sl.

Это утверждение можно сформулировать на языке математической логики и доказать по теореме о приведении к СКНФ [94].

Введем двузначные переменные T1,...,TN, C1,..., CM, Q1,..., QK и S1,..., S L формируемой байесовской сети как функции, заданные на рассмотренных Каждой из введенных переменных поставим во взаимно-однозначное соответствие узел формируемой байесовской сети. Будем отождествлять каждый узел с соответствующей ему переменной и обозначать его так же.

Предположим, что владение родительской темой непосредственно влияет на владение темами и обладание компетенциями, которые она включает; обладание компетенцией непосредственно влияет на умение выполнять задания, которые её проверяют; умение выполнять задание непосредственно влияет на правильность заполнения семантических элементов этого задания.

Расставим соответствующие дуги между узлами байесовской сети.

Узел, из которого исходит дуга в данный узел, будем называть родительским узлом или родителем данного узла. Переменную T1, не имеющую родительского узла, будем называть корневым узлом.

структура байесовской сети является ориентированным деревом (ордеревом) (рис. 5).

Рисунок 5. Обобщенная структура байесовской сети для моделирования В процессе испытаний мы получаем свидетельства о том, какие значения принимают семантические элементы заданий. По результатам испытаний преподаватель строит экспертные оценки владения темами, обладания компетенциями, умения выполнять задание. Поэтому переменные S1,..., S L называются наблюдаемыми переменными, а T1,..., TN, C1,..., CM и Q1,..., QK — скрытыми переменными.

Все наблюдаемые переменные данной байесовской сети являются листьями построенного ордерева.

Булевым случайным элементом (байесовской сети) будем называть переменную байесовской сети со значениями в {0;1}, являющуюся дискретной случайной величиной X, для которой заданы условные где p X и p X — некоторые константы для данной переменной X, 0 pX В случае переменной, не имеющей родителей, в этом определении полагаем pX pX pX, а вместо условных вероятностей рассматриваем маргинальную вероятность (вероятность при пустом условии).

Будем считать, что все введенные переменные T1,..., TN, C1,..., CM, и S1,..., S L являются булевыми случайными элементами, т.е.

Q1,..., QK случайными величинами указанного вида, заданными каждая на своем пространстве элементарных событий Qk {Qk,Qk }, Sl {Sl,Sl } и имеющими каждая свои константы pTi, pTi, pC j, pC j, pQk, pQk, pSl, pSl, не зависящие от конкретного студента и определяемые только методикой оценивания конкретного преподавателя.

Будем считать, что все случайные величины T1,..., TN, C1,..., CM, Q1,..., QK и S1,..., S L являются зависимыми.

На элементах алгебры A зададим конечно-аддитивную вероятностную меру P следующим образом.

Пусть для любых двух непересекающихся множеств A и B из A верно P(A B) P(A) P(B).

Положим P() 1, P(T1 ) P1 (1) pT1. Для каждой переменной A байесовской сети, родителем которой является переменная B этой сети, положим P(A | B) PA|B (1|1) pA и P(A | B) PA|B (1| 0) p(0).

Рассмотрим произвольное пересечение событий такое, что в него по одному разу входит каждое из событий Ti, C j, Q k, Sl или противоположных к ним. Положим для такого пересечения P(T1...TN C1...CM Q1...Q K S1...SL ) P(T1 ) P(Ti | pa(Ti )) P(C j | pa(C j )) P(Qk | pa(Qk )) P(Sl | pa(Sl )), где A обозначает любое событие из пары противоположных событий A и A, а pa(A) обозначает входящее в рассматриваемое пересечение событие, на котором определена переменная, являющаяся родителем переменной A.

Последняя формула является вариантом общего свойства байесовских сетей (правила декомпозиции) и различными авторами полагается верной по определению, либо выводится из определенных требований к графовой структуре байесовской сети, которым, в частности, удовлетворяет структура в виде ордерева [13, 24, 94].

С учетом свойств введенных событий Ti, Ti, C j, C j, Q k, Q k, Sl, Sl, этого оказывается достаточно для вычисления P(A) для любого другого события A из A с помощью формулы полной вероятности, формулы Байеса и других стандартных соотношений [94].

Введенная тройка (, A, P) задает вероятностное пространство в случае тестирования и экспертной диагностики знаний одного студента.

Введенные величины pT1 для корневого узла и p A и p A для каждого узла A из остальных узлов байесовской сети называются параметрами этой сети. Далее в пункте 2.2 текущей главы обсуждаются способы задания этих величин и предлагается рекуррентный алгоритм автоматического обучения параметров сети.

Задача автоматизации экспертной диагностики знаний студента ставится следующим образом: для каждой из рассмотренных скрытых переменных байесовской сети нужно оценить условную вероятность того, что она принимает значение 1, при заданных значениях наблюдаемых переменных. Эта задача решается далее в пункте 2.3 текущей главы.

Байесовская сеть для конкретной учебной дисциплины, сформированная изложенным способом, может содержать сотни и даже тысячи узлов.

Пример 4. Рассмотрим структуру байесовской сети для моделирования знаний студентов по курсу «Теория оптимизации и численные методы»

(рис. 6).

Рисунок 6. Структура байесовской сети для моделирования знаний студентов по курсу «Теория оптимизации и численные методы»

Древовидная структура сети включает узлы, соответствующие темам, 55 элементарным компетенциям, 289 заданиям и 524 семантическим элементам. В центре рисунка расположен корневой узел ордерева, от которого разветвляются поддеревья разделов и частей учебного курса.

Заметим, что ордерево имеет достаточно большую глубину (до 10 уровней вложенности).

В целях использования таких байесовских сетей для автоматизации экспертной диагностики знаний студентов в сетевой компьютерной системе тестирования далее разрабатываются эффективные вычислительные алгоритмы оценивания параметров сети и апостериорного оценивания вероятностей скрытых переменных сети.

МОДЕЛИРОВАНИЕ МЕТОДИКИ ЭКСПЕРТА —

РЕКУРРЕНТНЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО ОБУЧЕНИЯ

ПАРАМЕТРОВ БАЙЕСОВСКОЙ СЕТИ

По определению байесовской сети каждому узлу сети должен быть соответствующей переменной при всех возможных значениях родителей маргинальной вероятности [95].

В байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево, каждый узел, кроме корневого, имеет единственного родителя. Поэтому, если сеть содержит d узлов, то для неё требуется задать 2d 1 параметров: оценку маргинальной вероятности pR P( R 1) для корневого узла R, а также оценки условных вероятностей остальных узлов X, в зависимости от значения pa( X ) — родителя узла X.

Остальные оценки вероятностей однозначно по ним восстанавливаются при помощи соотношений [94]: P( X 0 | pa( X ) 1) 1 P( X 1| pa( X ) 1), Значения указанных параметров можно получить, используя один из двух принципиально различных подходов.

непосредственно на основе экспертной оценки. Так, в работе [19] условные вероятности для правильных ответов на тестовые задания при заданных значениях владения знаниями оцениваются на основе IRT-моделей [9], параметры которых определяет преподаватель.

Другой подход основан на использовании одного из методов автоматического обучения параметров байесовской сети по имеющимся статистическим данным [10]. В рассматриваемом случае такими данными будут являться результаты проведенных тестирований, а именно, полученные значения правильности заполнения семантических элементов, а также экспертные оценки умения решать задачи, обладания компетенциями и владения темами для конкретных студентов, проходивших тестирования.

Такой вариант представляется более разумным для рассматриваемой задачи, поскольку в этом случае от преподавателя не требуется задавать ни сами условные вероятности для переменных байесовской сети, ни какиелибо другие косвенные параметры нашей модели. Его задача сводится к стандартной оценке результатов учащегося: владеет/не владеет, обладает/не обладает, умеет/не умеет.

осуществляется в компьютерной системе тестирования, работающей в сети Интернет, а байесовская сеть по конкретной учебной дисциплине может содержать тысячи узлов. Это накладывает серьезные ограничения на использование вычислительных ресурсов. Кроме того, обучение параметров байесовской сети должно осуществляться поочередно по запросу преподавателя после выполнения им экспертной оценки для выбранного студента.

В связи с этими соображениями ставится задача разработать наименее ресурсоемкий рекуррентный алгоритм поэтапного обучения параметров сети.

байесовской сети по результатам тестирования и экспертной диагностики знаний студентов из некоторой обучающей выборки.

Рассмотрим любую из переменных T1,..., TN, C1,..., CM, Q1,..., QK, S1,..., S L байесовской сети из пункта 2.1 текущей главы; обозначим её за X.

Рассмотрим серию независимых испытаний, в каждом из которых всякий раз различный выбранный наугад студент из числа студентов, обучающихся у одного и того же преподавателя, проходит тестирование, а преподаватель осуществляет экспертную диагностику его знаний. Тогда в результате каждого испытания переменная X (а если у X есть родитель, то и pa( X ) ) принимает одно из значений 1 или 0.

В случае корневого узла нас интересует оценка маргинальной вероятности p X, а для всех остальных узлов нам нужно получить оценки условных вероятностей p X и p X. Пусть p X) обозначает любую из этих величин, интересующую нас в каждом конкретном случае.

В случае оценивания p X обозначим за N общее число испытаний (равное числу различных студентов). В случае оценивания p X или p X будем рассматривать те N испытаний, в которых родительский узел принимал значения 1 или 0, соответственно.

Число наблюдений из N, в которых X приняла значение 1 (при заданном значении родителя, если он есть), является случайной величиной Z, имеющей биномиальное распределение: PZ ( z ) CN ( pX) ) z (1 pX) ) N z, где По допущению, сделанному в пункте 2.1 текущей главы, p X) является константой для данной переменной X, не зависящей от конкретного студента, а определяемой только методикой оценивания конкретного преподавателя.

Отпустим это ограничение и введем непрерывную случайную величину Y, принимающую некоторое значение y pX) из отрезка [0;1] для каждого из студентов, проходивших тестирование в рассматриваемой серии испытаний.

Будем исходить из допущения, что случайная величина Y имеет бетараспределение с некоторыми параметрами и. Тогда её априорная По теореме Байеса апостериорная плотность случайной величины Y после N испытаний, в которых z раз переменная X приняла значение 1, Таким образом, апостериорное распределение случайной величины Y также является бета-распределением, но с параметрами z и N z, распределению, часто применяется на практике в качестве точечной байесовской оценки [10]. Эту величину мы и будем использовать в качестве оценки для p X).

Допустим, что параметры начального априорного бета-распределения случайной величины Y равны, т.е.. Тогда оценка pi вероятности того, что переменная X принимает значение 1, после первых i из N наблюдений будет вычисляться по формуле аддитивного сглаживания:

где — произвольный коэффициент сглаживания, а xi — число тех наблюдений из i, в которых X принимала значение 1.

апостериорный байесовский риск и полный средний квадрат ошибки [17, 14, 12, 8, 4, 10]. Разными авторами рассматривались различные способы её обоснования [59, 31].

Известны ситуации, когда указанные предположения об априорном распределении случайной величины Y заведомо неверны. Так, например, частота частот встречаемости слов естественного языка не подчиняется закону бета-распределения [5].

В рассматриваемом случае мы не располагаем никакой априорной информацией о распределении Y и считаем выдвинутые допущения уместными. В проведенных экспериментах наблюдалась относительная стабилизация оценок параметров байесовской сети по формуле (1) при достижении сравнительно небольших объемов обучающей выборки (30- студентов, см. пункт 4.3 главы 4).

Замечание 1. В случае вычисления оценки маргинальной вероятности для узла без родителей величину N в формуле (1) полагаем равной количеству всех наблюдений, в которых получены свидетельства о значении вероятностей для остальных узлов в число N будем включать только те наблюдения, в которых родительские узлы принимали заданные значения.

Запишем рекуррентную формулу аддитивного сглаживания:

где Ei равно значению переменной X в i -м наблюдении.

Утверждение 1 (о рекуррентной формуле аддитивного сглаживания).

При любом числе наблюдений рекуррентной формуле (2) совпадает с оценкой по формуле аддитивного сглаживания (1).

Доказательство. Проведем доказательство методом математической Утверждение 1 позволяет построить следующий алгоритм пошагового обновления значения заданного параметра байесовской сети с булевыми случайными элементами (алгоритм 1).

Алгоритм 1. Рекуррентное оценивание одного параметра байесовской сети с булевыми случайными элементами.

1. Устанавливаем счётчик свидетельств N : 0 и задаем начальную 2. Если при очередном наблюдении получено свидетельство о том, что переменная X приняла значение 1 или 0 при заданных значениях родителей, положим E : 1 (или E : 0, соответственно).

3. Инкрементируем значение счётчика свидетельств: N : N 1.

4. Вычисляем значение оценки параметра по рекуррентной формуле:

где — коэффициент сглаживания.

5. При каждом получении свидетельства повторяем шаги 2 – Рекуррентная формула (3) из алгоритма 1 соответствует формуле (2) из утверждения 1.

Алгоритм 1 описывает схему оценивания только одного заданного Для оценивания значений всех параметров сети необходимо хранить по два отдельных счетчика свидетельств для каждой переменной сети.

Построим рекуррентный алгоритм оценивания параметров байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево.

Пусть проведен ряд независимых испытаний, в которых некоторые переменные сети принимали значения 1 или 0; N X и N X — число наблюдений, в которых переменная X сети принимала значение 1 и 0, соответственно; xi(1) и xi(0) — число тех наблюдений, в которых переменная X принимала значение 1, из первых i наблюдений, в которых переменная pa( X ) (родитель узла X ) принимала значение 1 и 0, соответственно; ri — число тех наблюдений, в которых переменная R (корневой узел) принимала значение 1, из первых i наблюдений, в которых получено свидетельство о значении корневого узла.

Оценки параметров сети по формуле аддитивного сглаживания будут иметь вид:

где — произвольный коэффициент сглаживания.

Запишем рекуррентные формулы:

где ER i равно значению переменной R в i -м наблюдении; E X j равно значению переменной X в j -м наблюдении или EX j pX, если в j -м значению переменной X в k -м наблюдении или EX k pX наблюдении свидетельства о значении X не получено.

Утверждение 2 (о рекуррентном оценивании параметров байесовской сети).

по рекуррентным формулам (7), (8) и (9) совпадают с соответствующими оценками (4), (5) и (6) по формуле аддитивного сглаживания.

утверждение 1 с учетом замечания 1 к оцениванию параметров: p R для корневого узла R, p X и p X для произвольного дочернего узла X.

Утверждение 2 позволяет построить следующий алгоритм, который при получении очередной порции свидетельств о значениях переменных сети осуществляет рекурсивный обход всего дерева и обновляет значения всех параметров сети (алгоритм 2).

Алгоритм 2. Рекуррентное оценивание параметров байесовской сети с ориентированное дерево.

1. Для каждого из узлов сети устанавливаем счетчики свидетельств 2. При поступлении порции свидетельств о значениях некоторых переменных сети, каждой переменной X, в отношении которой получено свидетельство о том, что она приняла значение 1 или 0, соответственно).

инкрементируем счётчик свидетельств N RER ) : N RER ) 1 и обновляем значение параметра p R по формуле:

4. Для каждого дочернего узла X рассмотренных на предыдущем шаге узлов, если на шаге 2 задана величина E X для узла X, инкрементируем счётчик свидетельств N XEX ) : N XEX ) 1 и, если на шаге 2 задана величина E P для родительского узла P, обновляем значение параметра p XEP ) по формуле:

5. Повторяем шаг 4, пока не обойдем рекурсивно все узлы ориентированного дерева.

6. Повторяем шаги 2–5 при каждом поступлении очередной порции свидетельств о значениях переменных сети.

Рекуррентные формулы (10) и (11) из алгоритма 2 соответствуют формулам (7), (8) и (9) из утверждения 2.

Критерием окончания работы алгоритма 2 является стабилизация значений оценок параметров или прекращение поступления свидетельств.

Результатом работы алгоритма 2 является набор установленных значений оценок всех параметров байесовской сети.

В процессе тестирования порции свидетельств о значениях узлов сети поступают по результатам пробных тестирований студентов и оценки их знаний преподавателем. С ростом числа наблюдений оценки параметров стабилизируются, т.е. сеть обучается методике оценивания преподавателя.

Пример 5. Рассмотрим фрагмент байесовской сети для моделирования знаний студентов по курсу «Теория оптимизации и численные методы»

(рис. 7).

Рисунок 7. Априорные оценки вероятностей переменных фрагмента байесовской сети для моделирования знаний студентов по курсу «Теория Из рисунка видно, что узлы байесовской сети соответствуют фреймам персонифицированной семантической модели из примера 3. Справа на рисунке приведены рассчитанные по алгоритму 2 априорные оценки вероятностей для соответствующих узлов сети, т.е. оценки параметров представленного фрагмента байесовской сети.

Построенные изложенным способом априорные (дотестовые) оценки вероятностей переменных сети далее используются для получения апостериорных (послетестовых) оценок.

2.3 АВТОМАТИЗАЦИЯ ЭКСПЕРТНОЙ ДИАГНОСТИКИ ЗНАНИЙ —

АЛГОРИТМ АПОСТЕРИОРНОГО ОЦЕНИВАНИЯ ВЕРОЯТНОСТЕЙ

В БАЙЕСОВСКОЙ СЕТИ

по результатам испытаний. В предложенной модели на основе байесовской сети в качестве таких оценок будут выступать апостериорные оценки условных вероятностей для каждой из скрытых переменных T1,..., TN, C1,..., CM и Q1,..., QK при полученных значениях наблюдаемых переменных S1,..., S L.

Будем считать, что если в результате работы описанного в предыдущем пункте алгоритма на обучающей выборке студентов достигнута стабилизация оценок параметров сети, то эти оценки можно использовать в качестве априорных оценок для апостериорного оценивания условных вероятностей скрытых переменных сети.

В общем случае для произвольной байесовской сети, все параметры комбинации значений переменных сети по правилу декомпозиции [13, 94], а при поступлении свидетельств о наборе значений, полученных некоторыми комбинации значений других переменных в сети, используя теорему Байеса (по правилу декомпозиции со свидетельствами [94]).

Такой подсчёт вероятностей неэффективен в вычислительном плане, переменных в байесовской сети растет экспоненциально в зависимости от количества узлов сети.

Однако, для случая байесовской сети, имеющей древовидную структуру, с дискретными переменными, принимающими n возможных значений, разработан эффективный механизм апостериорного оценивания вероятностей, линейный по времени и памяти [24].

Он основан на том, что в каждый момент времени каждый узел сети имеет всю информацию, необходимую для оценивания условной вероятности соответствующей переменной, а при получении свидетельства о значении какого-либо узла этот узел отправляет сообщения об этом изменении соседним узлам. Далее эта информация передается по цепочке и в каждом узле пересчитываются условные вероятности.

Пусть X — узел сети, имеющий единственного родителя U и являющийся родителем m других узлов Y1,..., Ym. Пусть заданы все параметры байесовской сети, т.е. каждому узлу X сопоставлена матрица условного распределения вероятностей P( x | u ), где x и u — наборы возможных значений n -значных переменных X и U, соответственно.

В следующих формулах (12), (13), (14), (15), (16), (17) и (18), в соответствии с обозначениями, принятыми в [24], произведения векторов являются покомпонентными (используется произведение Адамара [50]), матричные произведения записаны в виде сумм по повторяющемуся индексу, знаки транспонирования опущены, а все векторы имеют одинаковую размерность n и не различаются как строки или столбцы.

В процессе апостериорного оценивания, когда узел X активируется для расчета условной вероятности, он одновременно получает векторное сообщение X (u ) от узла U и векторные сообщения Y j ( x) от каждого из узлов Y j. При этом вычисляется новое сообщение X (u ), которое посылается узлу U :

а также набор сообщений Y j ( x ), которые посылаются каждому из узлов Y1,..., Ym :

где 1 — нормирующий фактор, который вычисляется из равенства:

Полученные сообщения используются, чтобы вычислить значение для узла X :

где а 2 — нормирующий фактор, который вычисляется из равенства:

Так происходит распространение вероятностной информации через промежуточный узел X. Для корневого узла, листьев и получивших свидетельство узлов расчет ведется особым образом. Для каждого листа ордерева X, не получившего свидетельство, в качестве ( x) используется единичный вектор. Для каждого узла X, получившего свидетельство о том, что он принял j-е значение, в качестве ( x) используется вектор с 1 в j-й позиции и 0 в остальных. Для корневого узла R в качестве (r ) используется его маргинальная вероятность.

В случае байесовской сети с булевыми случайными элементами все рассмотренные векторные величины являются двумерными. Более того, далее будет доказано, что вместо векторных величин (13) и (17) достаточно использовать только их первые компоненты (скаляры).

Пусть получен набор E свидетельств о значениях переменных сети и для каждого узла X сети заданы параметры p X и p X.

Пусть каждый узел X сети передает двумерное векторное сообщение X (u ) (0) своему родителю U и скалярные сообщения — первые компоненты X Y j векторов Y j ( x ) — каждому из своих детей Y1,..., Ym, т.е.

каждый узел X сети получает сообщение U X от своего родителя U и сообщения (0) от каждого из своих детей Y1,..., Ym.

в байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево).

Доказательство. Для вектора X (u ) аналогично равенству (14) можно Таким образом, вторая компонента вектора (17) в рассматриваемом случае может быть вычислена из первой. Обозначим компоненты вектора ( x) за X и X, а компоненты векторов Y ( x) за Y(1) X и Y(0) X. Тогда Тогда P( X | E ) компоненты вектора X (u ) за X U и X U. Тогда по формуле (12) апостериорного оценивания вероятностей в процессе рекурсивного обхода дерева байесовской сети (алгоритм 3).

Алгоритм 3. Апостериорное оценивание вероятностей в байесовской сети с булевыми случайными элементами, структурой которой является ориентированное дерево.

Пусть сеть проинициализирована, т.е. заданы все параметры: p R для корневого узла R, а также p X и p X для каждого узла X из остальных.

Пусть E — набор полученных свидетельств о значениях переменных сети.

1. Каждому узлу X, в отношении которого получено свидетельство о том, что соответствующая переменная X приняла значение 1 или 0, получившему свидетельство, ставим в соответствие величины 2. Каждый узел X, для которого на предыдущем шаге получены величины X и X, посылает своему родителю U сообщение:

3. Для каждого узла X, который на предыдущем шаге получил сообщение, если он к этому моменту получил сообщения (0) от всех своих детей Y1,..., Ym, вычисляем величины:

Если на этом шаге не были вычислены величины R и R для корневого узла, то возвращаемся к шагу 2.

4. Корневому узлу R ставим в соответствие величину R pR. Кроме того, вычисляем для него значение условной вероятности:

5. Каждый узел X, для которого на предыдущем шаге получена величина X, посылает каждому из своих детей Y1,..., Ym сообщения:

6. Для каждого узла X, который на предыдущем шаге получил сообщение U X от своего родителя U, если в отношении X не получено свидетельство, вычисляем величину:

а также вычисляем значение условной вероятности:

Если на этом шаге не были вычислены условные вероятности для Результатом работы алгоритма 3 является набор значений условных вероятностей P( X | E ), вычисленных для каждого узла байесовской сети, не получившего свидетельство. Дополнительные вероятности вычисляются из условия нормировки: P( X | E) 1 P( X | E).

свидетельства о значениях наблюдаемых переменных (семантических элементов S1,..., S L ). Алгоритм 3 позволяет на каждом шаге тестирования обновлять условные вероятности в сети в соответствии с полученными данными и формировать вероятностную картину, характеризующую скрытые переменные байесовской сети (умение решать задачи, обладание компетенциями и владение темами) для тестируемого студента.

Важная особенность алгоритма 3 состоит в том, что он позволяет при расчёте условных вероятностей использовать не только явные свидетельства о значениях наблюдаемых узлов сети, но и косвенные свидетельства, т.е.

информацию, полученную вне байесовской сети, из других источников.

дополнительных листьев (виртуальных узлов) байесовской сети. Для каждого виртуального узла Y величины Y, Y и условные вероятности вообще не вычисляются. Тем не менее, узел Y передает родительскому узлу X сообщение (0), которое представляет собой косвенное свидетельство о вероятности X, и алгоритм продолжает выполняться с шага 3.

Это означает, что при использовании этого алгоритма для диагностики знаний с помощью байесовской сети для конкретного студента можно использовать не только его собственные результаты, полученные при тестировании, но и любые другие косвенные свидетельства, например, оценки, полученные с помощью коллаборативной фильтрации на основе результатов прошедших тестирований других студентов.

Пример 6. Рассмотрим фрагмент байесовской сети для моделирования знаний студентов по курсу «Теория оптимизации и численные методы»

(рис. 8).

Рисунок 8. Результаты апостериорного оценивания вероятностей для фрагмента байесовской сети для моделирования знаний студентов по курсу «Теория оптимизации и численные методы»

Справа на рисунке приведены рассчитанные по алгоритму 3 оценки условных вероятностей для скрытых узлов из того же фрагмента байесовской сети, что и в примере 5. Эти оценки характеризуют умение решать задачи, обладание компетенциями и владение темами для конкретного студента, в соответствии с полученными результатами тестирований.

Следует отметить, что условные вероятности переменных, полученные в процессе тестирования с использованием предложенной модели, нельзя трактовать непосредственно как вероятности владения студентом соответствующими совокупностями знаний. Формально, речь идет об оценке вероятности того, что преподаватель по результатам тестирования определит, что студент владеет этими знаниями.

Фактически, в данном случае система тестирования моделирует конкретного преподавателя, а байесовская сеть отражает его методику оценивания знаний.

Несмотря на кажущуюся ограниченность, этот подход представляется разумным способом воплотить многолетний опыт преподавания дисциплин высшего образования в виде интеллектуальной системы компьютерного тестирования.

байесовской сети на основе фреймовой семантической модели, который позволяет описать в виде байесовской сети взаимосвязи между владением темами, обладанием компетенциями, умением выполнять задания и правильностью заполнения семантических элементов заданий.

Сформулированы и доказаны утверждения о рекуррентной формуле аддитивного сглаживания и о рекуррентном оценивании параметров байесовской сети. Разработан рекуррентный алгоритм автоматического обучения параметров байесовской сети с булевыми случайными элементами и древовидной структурой, позволяющий выполнять последовательное обновление значений параметров сети в процессе экспертного оценивания.

Сформулировано и доказано утверждение об апостериорном оценивании вероятностей в байесовской сети с булевыми случайными элементами. Разработан модифицированный алгоритм апостериорного оценивания вероятностей для байесовской сети с булевыми случайными элементами и древовидной структурой, линейный по времени и памяти, который позволяет оценивать владение темами, обладание компетенциями и умение выполнять задания для тестируемого студента.

3. КОМПЛЕКС ПРОГРАММ ДЛЯ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ

ЗНАНИЙ

В настоящее время существует множество тестирующих систем по различным областям знаний и достаточно ограниченный набор средств их разработки.

Большинство таких средств предоставляют возможность создания преподавателю, администрирования пользователей и учебных групп.

Часть из них представляют собой комплексные обучающие системы, предназначенные, в основном, для создания компьютерных учебных курсов и дистанционного обучения.

Некоторые обладают сравнительно удобным визуальным интерфейсом для формирования заданий и вопросов, построения тестов, и только очень немногие позволяют создавать сложные адаптивные тесты в соответствии с заданной методикой тестирования.

программных продуктов:

исходными кодами;

дорогие коммерческие системы дистанционного обучения;

контроля знаний;

организаций.

Компьютерные средства из последней категории, как правило, являются узкоспециализированными под конкретную предметную область и/или методику контроля знаний. Проанализировать все их достоинства и труднодоступности.

Из числа доступных и распространенных систем 1-й категории можно выделить OLAT [23], Moodle [20] и Sakai [26], 2-й категории – AuthorWare [2], WebTutor [65], Доцент [62], 3-й категории – Test Maker [27], МастерТест [93] и OpenTEST2 [52].

В результате сравнения указанных программных средств по достаточно большому набору параметров выяснилось, что ни одно из них не удовлетворяет в полной мере рассматриваемым требованиям (см. табл. 1).

Таблица 1. Сравнение программных средств создания тестов и проведения Программный продукт Простая установка и внедрение Русскоязычная документация Различные варианты оценивания Визуальный редактор вопросов Редактор математических формул Ограничения по времени в тесте Совместная работа преподавателей и студентов через локальную сеть или Интернет Для систем 1-й категории характерна сложность установки, внедрения и использования, необходимость знаний в области программирования и системного администрирования для настройки под конкретные технические условия и требования предметной области. Кроме того, их возможности по созданию тестов достаточно ограничены, хотя и могут быть расширены путём разработки собственных дополнительных модулей. Достоинство этих использования в академических целях) и кросс-платформенными.

Основной недостаток систем 2-й категории – крайне высокая цена, делающая их доступными только для крупных организаций. Однако, в эту цену обычно включена комплексная поддержка со стороны производителя, включая внедрение, настройку и обучение персонала.

Программные продукты 2-й и 3-й категории являются, как правило, проприетарными разработками с ограниченной лицензией на использование, что «загоняет» потребителя в рамки имеющейся в них часто недостаточной функциональности и предложенного обслуживания.

Обыкновенные линейные тесты с простыми формами ответа не вполне отвечают требованиям всесторонней проверки знаний, как студентов высших учебных заведений, так и квалификационных характеристик отраслевых специалистов.

Больше всего это касается естественно-математических дисциплин, особенностью которых является тесная взаимосвязь понятий, тем и разделов учебного курса, а главным критерием обучения — умение решать задачи различного характера и уровня сложности.

Эти особенности принуждают разрабатывать различного рода адаптивные, нелинейные методики тестирования с более разнообразными видами заданий и формами ответа и более совершенными алгоритмами оценивания.

В данной работе решается задача создания комплекса программ для имитационного тестирования знаний, позволяющих каждому преподавателю реализовать свою собственную методику тестирования и систему оценивания в компьютерных тестах. Для выполнения этой задачи необходимо в этом программном обеспечении реализовать алгоритмы и методы моделирования знаний, предложенные в предыдущих главах.

3.1 АРХИТЕКТУРА И ФУНКЦИОНАЛЬНОСТЬ ПРОГРАММНОГО

КОМПЛЕКСА

С учетом результатов выполненного выше анализа сформулированы принципы создания компьютерной среды для тестирования знаний, которые можно представить в виде следующего ряда требований к разрабатываемому программному обеспечению.

Функциональные требования.

Т1. Наличие средств формирования и редактирования семантических моделей учебных дисциплин, состоящих из тем, компетенций и заданий, в частности, наличие инструмента для импортирования дерева курса из оглавления учебника.

Т2. Наличие визуального редактора вопросов с возможностью набора математических формул и вставки мультимедийного контента.

Т3. Возможность конструировать задания с различными типами постановки задачи и формами ответа, в частности, задания на ввод ответа, выбор одного или нескольких вариантов из альтернатив, установление соответствия, подстановку значений в слоты, а также комбинированных заданий.

Т4. Возможность составления задач с параметрами, значения которых в процессе тестирования для каждого студента случайным образом генерируются из заданного списка или диапазона, приравниваются номеру факультета, группы, студента или вычисляются по заданной формуле в зависимости от значений других параметров.

фиксированной структурой, адаптивных тестов с ветвлениями в зависимости от ответа тестируемого, тестов для самоконтроля с подсказками, а также тестов, имитирующих очный экзамен с возможностью ответа на дополнительные вопросы для уточнения оценки.

Т6. Возможность гибкой настройки процесса тестирования, в частности, установления ограничений по времени, числу задаваемых вопросов, порядку выдачи вопросов и задания шкал оценивания.

Т7. Возможность формирования структуры байесовской сети для моделирования знаний студентов и наличие средств автоматического обучения параметров байесовской сети.

Т8. Наличие средств просмотра результатов тестирований и ответов на вопросы с указанием ошибок тестируемого и правильного ответа, как в процессе тестирования, так и по его окончании.

Т9. Возможность экспертной диагностики знаний студентов путем апостериорного оценивания вероятностей переменных байесовской сети и наличие средств просмотра и редактирования построенных байесовских семантических моделей знаний студентов.

Т10. Возможность распечатки тестовых заданий для организации «бумажных» тестов при отсутствии технической возможности проведения компьютерного тестирования.

Т11. Возможность одновременного прохождения тестов различными студентами и наблюдения за ходом тестирований преподавателями с помощью программных средств через локальную сеть или Интернет.

Нефункциональные требования.

Т12. Простой, интуитивно-понятный интерфейс.

Т13. Наличие русскоязычной документации.

Т14. Легкость установки и обновления программных средств.

Т15. Платформонезависимость программных средств.

Т16. Масштабируемость и простота модификации интерфейса и функциональности системы.

Т17. Минимизация объема данных, передаваемых по сети.

Т18. Высокая скорость обработки данных в реальном времени.

компьютерам студентов и преподавателей.

Т20. Использование при разработке бесплатных свободно распространяемых средств.

Т21. Обеспечение безопасности, разграничения прав доступа и защиты от взломов.

Разработка программного комплекса имитационного тестирования знаний осуществлялась в соответствии с вышеизложенными требованиями.

Для выполнения требований Т11 и Т17, в основу архитектуры программного комплекса положена модель сетевого клиент-серверного взаимодействия с помощью асинхронных вызовов по технологии AJAX [53] (см. рис. 9).

В состав комплекса входит три программных средства: серверное приложение (СП), средство автора (СА) и средство тестируемого (СТ), каждое со своей базой данных (БД СП, БД СА, БД СТ).

В средстве автора реализован интерфейс для выполнения описанных функций Т1–Т11, а серверное приложение обеспечивает взаимодействие с базой данных и осуществляет управление процессами создания тестов и проведения тестирований. Средство тестируемого предоставляет интерфейс для прохождения тестов студенту и реализует функциональные требования Т11 и Т8.

Рисунок 9. Архитектура комплекса программ для имитационного Серверное приложение представляет собой CGI-приложение, написанное на языке программирования PHP и выполняющееся на сервере тестирования. Средство автора и средство тестируемого разработаны на языках HTML, CSS и JavaScript по технологии Adobe Air [1].

Выбор указанных технологий и средств разработки обеспечивает выполнение нефункциональных требований Т12, Т14–Т16, Т18–Т21.

В частности, на языках HTML и CSS отдельно описаны структура использованием стандартных компонентов web-документов.

Для повышения информативности и визуальной привлекательности в оформлении информационных блоков и элементов управления использован свободно распространяемый набор пиктограмм FamFamFam Silk icons [11].

формирования дистрибутивов программных средств и унифицированные механизмы их установки и обновления [1].

Приложения Adobe Air выполняются в специальной среде, которая может быть установлена в любой операционной системе на любом современном компьютере и требует приемлемых аппаратных ресурсов [1].

Внутренняя среда исполнения Adobe Air обеспечивает защиту от взлома и безопасность сетевого взаимодействия и работы с локальными ресурсами [1].

Ядро среды Adobe Air содержит движок WebKit для отображения webстраниц и оптимизированный интерпретатор языка JavaScript, обеспечивающий быстрое выполнение сценариев [1].

Все использованные технологии и средства являются бесплатными и свободно распространяемыми.

База данных серверного приложения реализована в реляционной СУБД MySQL. Базы данных клиентских приложений представляют собой локальные хранилища данных в формате JSON [15].

При клиент-серверном взаимодействии осуществляется передача данных в виде JSON-объектов без дополнительных преобразований.

3.2 СТРУКТУРЫ ДАННЫХ ДЛЯ ХРАНЕНИЯ И ОБРАБОТКИ

СЕМАНТИЧЕСКИХ МОДЕЛЕЙ

Описанные в главах 1 и 2 семантические модели имеют древовидную иерархическую структуру с потенциально неограниченной глубиной вложенности элементов. В реляционной базе данных хранение таких объектов затруднено в связи со сложностью поддержания ссылочной целостности [28].

В данной работе задача эффективного хранения и обработки построенных семантических моделей решается путем их декомпозиции на два уровня общности.

Первый, более общий уровень описывает структуру дерева учебного курса, в частности, состав и взаимосвязь тем, компетенций и заданий.

На втором уровне описывается структура и характеристики каждого задания (рис. 10).

Рисунок 10. Декомпозиция семантической модели на два уровня общности.

Для формального описания этих структур данных используется формат JSON. В частности, каждая совокупность знаний описывается в виде объекта, содержащего поля id и name, значениями которых являются идентификатор и название соответствующей совокупности знаний.

Кроме того, объекты, соответствующие темам, могут содержать поля themes и competences, значениями которых являются списки объектов тем и компетенций, относящихся к данной теме.

Объекты, соответствующие компетенциям, могут содержать поле questions, проверяющих данную компетенцию.

Каждое задание описывается объектом, содержащим список его структурных и семантических элементов. Каждый элемент задания описывается в виде объекта, содержащего поля type и content, значениями которых являются тип и содержание соответствующего элемента.

В реляционной базе данных серверного приложения указанные JSON-структуры хранятся и модифицируются целиком, что обеспечивает их целостность при транзакциях.

В средстве автора осуществляется создание и редактирование этих структур с помощью встроенных инструментов языка программирования JavaScript.

КОМПОНЕНТНАЯ МОДЕЛЬ ТЕСТА И АЛГОРИТМ

ТЕСТИРОВАНИЯ

Традиционные формы контроля знаний, например, по математическим дисциплинам, включают контрольные работы, курсовые работы и экзамены.

Контрольные работы обычно включают несколько небольших заданий по одной общей теме и ограничены по времени продолжительностью одного занятия. Курсовая работа подразумевает выполнение одной или нескольких достаточно больших задач по учебной дисциплине в течение всего курса обучения. На очном экзамене, с одной стороны, обычно предоставляется возможность подготовиться, ответив на теоретические вопросы и решив задачи из экзаменационного билета; с другой стороны, при ответе преподаватель может задать ряд дополнительных вопросов для корректировки оценки.

Для того чтобы перенести все эти виды контроля знаний в компьютерную форму с сохранением их естественных особенностей, необходимо разработать достаточно гибкую модель теста, позволяющую включать в тестирование наборы вопросов и заданий разного объема и сложности, задавать или снимать ограничения на время выполнения теста или отдельных заданий.

Кроме того, методика устного опроса конкретного преподавателя может быть достаточно сложной. Логика формирования последовательности вопросов может быть нелинейной, адаптивной, т.е. каждый следующий вопрос может задаваться в зависимости от ответа на предыдущий вопрос.

Для проведения таких компьютерных опросов необходима возможность формирования адаптивных тестов [29].

Также проводятся домашние проверочные работы для самоконтроля.

Компьютерная реализация таких работ может содержать помощь или подсказки при выполнении заданий. В таких тестах полезно учитывать пользование помощью при выборе следующего задания.

Одна из проблем проверки знаний состоит в том, чтобы исключить возможность несамостоятельного выполнения заданий (списывания).

Традиционно эта проблема решается за счет формирования нескольких вариантов (для контрольных и курсовых работ) или билетов (в случае экзамена). В компьютерном тестировании эта проблему можно решить проще и эффективнее, если каждое задание в тесте будет формироваться случайным образом по определенному плану.

Для решения указанных проблем предлагается строить модель теста следующим образом.

Компонентом теста называется совокупность K (QK, RK, t K ), где QK — фиксированное подмножество заданий учебной дисциплины, RK — набор правил выбора следующего задания, t K — время выполнения задания (может быть не задано).

Тестом называется совокупность список компонентов теста, T — время, отведенное на прохождение теста (может быть не задано); q — число выполненных заданий, достаточное для завершения теста; h — возможность пользования встроенной помощью при выполнении заданий; a — возможность ответить на дополнительные вопросы для уточнения оценки.

При тестировании первое задание выбирается системой случайным образом из списка заданий первого компонента теста. После выполнения каждого задания применяются правила выбора следующего задания, описанные в текущем компоненте теста. Завершается тест по достижении заданного количества выполненных заданий, по окончании отведенного времени или после ответа на дополнительные вопросы.

фиксированный переход от одного компонента теста к другим, так и характеристик ответа тестируемого.

Пример 7. Простейшее правило выбора следующего задания можно задать так: «Выбрать случайным образом задание из компонентов K 2, K3, K 4 ». Можно задавать адаптивные правила выбора следующего задания, например: «Если семантический элемент задания S1 принял неверное значение, выбрать случайным образом задание из компонентов K 2, K 3, если семантический элемент задания S 2 принял неверное значение — из компонента K 4, в противном случае — из компонента K 5 ». В случае построения тестов для самоконтроля можно учитывать использование использовалась помощь, выбрать случайным образом задание из компонентов Алгоритм 4. Имитационное тестирование знаний по компонентной модели теста.

1. Устанавливаем в качестве текущего компонента теста K : K1.

Инициализируем множество выданных заданий Qshown :.

2. Если QK \ Qshown, ищем такой компонент теста, для которого в противном случае устанавливаем его в качестве текущего 3. Выбираем случайным образом задание из множества QK \ Qshown, параметров задания (если есть) и выдаем задание тестируемому 4. Если задано ограничение t K на время выполнения задания и тестируемый не выдал ответ за это время, фиксируем ответ для текущего задания как пустой и выставляем оценки «неверно»

каждому семантическому элементу задания.

5. Если задано ограничение T на время прохождения теста, а тестируемый не успел выполнить заданное количество заданий q за это время, фиксируем ответ для текущего задания как пустой, выставляем оценки «неверно» каждому семантическому элементу задания и завершаем тестирование.

правильности заполнения семантических элементов заданий.

7. Если Qshown q и при этом a false, завершаем тестирование.

8. Если Qshown q и при этом a true, предлагаем тестируемому ответить на дополнительные вопросы, если он отказывается, завершаем тестирование.

9. На основании правил RK устанавливаем следующий компонент теста K и возвращаемся к шагу 2.

Предложенная модель теста позволяет описать различные виды тестов, в частности, линейные тесты с фиксированной структурой и адаптивные тесты с ветвлениями в зависимости от ответа обучаемого.

Пример 8. Пусть требуется построить простейший тест, содержащий 10 случайных вопросов из некоторого пула имеющихся вопросов по заданной теме учебной дисциплины.

Сформируем один компонент теста, включающий все имеющиеся вопросы. Запишем правило выбора следующего вопроса как переход к тому же самому компоненту. Установим ограничение в 10 заданий в тесте.

Пример 9. Пусть требуется сформировать компьютерный аналог контрольной работы, содержащей 5 контрольных заданий, каждое по определенной теме учебного курса.

Сформируем 5 компонентов теста, в каждый из которых поместим несколько вариантов задания по соответствующей теме или задание с параметрами, значения которых генерируются при тестировании. Для каждого компонента запишем правило фиксированного перехода к следующему компоненту. Установим ограничение по времени прохождения теста в 2 академических часа и на количество заданий, равное 5.

возможностью ответа на дополнительные вопросы для уточнения оценки.

Установим минимальное количество в 4 выполненных задания для завершения теста. Сформируем 2 компонента теста, в каждый из которых поместим набор теоретических вопросов по одному из двух крупных разделов учебного курса, соответственно. Сформируем еще 2 компонента, содержащие практические задания по указанным разделам. Настроим линейный переход от одного компонента к другому. Сформируем еще несколько компонентов теста, в которые включим дополнительные вопросы.

Установим для каждого из них ограничение времени ответа в 5 минут.

Настроим правила перехода от одного компонента к другому, в зависимости от ответа тестируемого. Разрешим ответы на дополнительные вопросы.

Установим ограничение по времени прохождения теста в 2 академических часа.

3.4 МЕТОДИКА РАБОТЫ И ПОЛЬЗОВАТЕЛЬСКИЕ ИНТЕРФЕЙСЫ

В СРЕДСТВЕ АВТОРА

3.4.1 Авторизация и активация аккаунта преподавателя При запуске средства автора отображается форма авторизации в системе. При нажатии на ссылку «Получить пароль» эта форма сменяется на форму активации аккаунта (рис. 11).

Рисунок 11. Интерфейс авторизации и активации аккаунта преподавателя.