«Снитюк В.Е., Юрченко К.Н. Интеллектуальное управление оцениванием знаний Монография Черкассы 2013 2 Интеллектуальное управление оцениванием знаний ББК 32.815 C. 53 УДК 004.896 ISBN 978-966-2200-28-7 Снитюк В.Е., Юрченко ...»

4. Какой, на взгляд студента, должна быть лекция преподавателя? (Профессиональной - 0,2; содержательной - 0,2;

веселой - 0,3; с примерами - 0,2; с анекдотами - 0,1).

5. Кто из Нобелевских лауреатов внес наибольший вклад в науку? (Капица - 0,1; Бор - 0,2; Резерфорд - 0,2; Алферов Тесла - 0,4).

Шаги алгоритма определения компетентности будут такими. Поскольку существуют сложности с изображением трехмерной матрицы, ответы экспертов сведем в 5 двухмерных таблиц.

С использованием экспертного опроса формируем матрицу (табл. 3.4).

Вычисляем элементы последовательности треугольных матриц Tj, j 1, 5 для каждого вопроса:

122 Интеллектуальное управление оцениванием знаний Находим матрицы с обратными элементами Глава 3. Класификация вопросов для контроля знаний Все матрицы T j, j = 1, 5 складываем. Получим матрицу Нормируем значения матрицы T, выполняя деление всех ее элементов на сумму (в данном случае 212). Получим Находим значения компетентности экспертов (невзвешенные): 1 0,11 0,18 0,06 0,35, (складываются элементы матрицы T H, среди соответствующих индексов которых есть 1, т.е.( t21, t31, t41 ); 2 0,11 0,25 0,1 0, 46; 3' 0,18 0,25 0,29 0,72;

Нормируя значения компетентностей, получим:

Компетентности экспертов будут такими:

Вопросы четвертого типа.

Необходимо определить уровни компетентности экспертов по географии. Задано четыре вопроса, ответами на которые будут числа. Предположим, что интервалы для возможных ответов не назначены.

1. Какое количество островов принадлежат к Новозеландскому архипелагу?

124 Интеллектуальное управление оцениванием знаний 2. Сколько материков есть на Земле?

3. Назовите количество климатических зон на Земле.

4. Назовите количество морей на Земле.

5. Какая длина экватора Земли?

Ответы экспертов сведены в табл. 3.5.

Формируем последовательность треугольных матриц для каждого вопроса. Элемент t21 рассчитывается как ((45-30)/(45Получим Вычисляем матрицы с обратными элементами Глава 3. Класификация вопросов для контроля знаний Сумма матриц T5k будет такой:

Нормированная матрица Далее вычислим абсолютные значения уровней компетентности 1 0,39; 2 0,48; 3 0,56; 4 0,55. Нормируя их, получим относительные уровни компетентности 1 0,2;

Вопросы пятого типа.

Необходимо определить уровни компетентности четырех экспертов по финансам. Задано четыре вопроса, ответы на которые представимы в виде интервалов:

1. В каком интервале должен находиться дефицит государственного бюджета Украины?

2. В каком интервале должна находиться величина заработной платы молодого специалиста по информационным технологиям?

3. В каких пределах должно находиться значение государственного долга Украины в процентах от ВВП?

4. Спрогнозируйте интервал колебаний курса доллара в 2013 году?

Ответы экспертов сведены в табл. 3.6.

126 Интеллектуальное управление оцениванием знаний Возможные варианты ответов на вопросы Формируем последовательность треугольных матриц для каждого вопроса. Покажем, как рассчитать элемент t21 матрицы T1. Получим t21 (min{3,4} max{1,2}) (min{3, 4} - max{1,2}) ( ).

Далее вычисляем элементы и формируем матрицы T5k по формуле (3.33):

Сумма матриц T5k будет такой:

Находим абсолютные значения уровней компетентности 1 5,14; 2 8,19; 3 5,27; 4 7,42. Нормируя их, получим относительные уровни компетентности Глава 3. Класификация вопросов для контроля знаний Рассмотрим случай, когда ЛПР указывает варианты ответов. Необходимо определить уровни компетентности пяти экспертов. Задано пять вопросов, ответы на которые являются интервалами:

1. В каких пределах будут осуществлены инвестиции в проект сложной технической системы (СТС) (грн)?

2. Через какое время будет выполнено проектирование СТС (месяцы)?

3. Какая прибыль ожидается в первый месяц функционирования СТС (грн)?

4. Через какое время от начала функционирования СТС возникнет необходимость в модернизации (месяцы)?

5. Каким будет количество работающих на предприятии (чел.)?

Возможные варианты ответов и ответы экспертов сведены в табл. 3. Возможные варианты ответов на вопросы вета перта по формуле (3.33):

128 Интеллектуальное управление оцениванием знаний Сумма матриц T5k будет такой:

Далее находим абсолютные значения уровней компетентности 1 1,17; 2 5,83; 3 4,75; 4 7,17; 5 3,32.

Нормируя их, получим относительные уровни компетентности 1 0,053; 2 0,26; 3 0,21; 4 0,32; 5 0,15. Если, например, ЛПР считает, что уровень его компетентности относится к уровню компетентности группы экспертов как 2:3, и при этом он а рriori назначил экспертам уровни компетентности 1 0,05; 2 0,05; 3 0,1; 4 0,2; 5 0,6, то окончательные уровни компетентности находим по формуле Вопросы шестого типа.

Необходимо определить уровни компетентности пяти экспертов. Задано три вопроса, ответами на которые являются нечеткие интервалы:

1. В каких пределах финансирование научных исследоГлава 3. Класификация вопросов для контроля знаний ваний на промышленном предприятии (ПП) является оптимальным?

2. Какие сроки будут оптимальными, по мнению эксперта, для ввода ПП в эксплуатацию?

';

3. Какая прибыль ожидается в первый год функционирования ПП?

Ответы экспертов сведены в табл. 3.8.

Значения w6, k 1,3 получены по формуле (3.34). Далее вычисляем элементы и формируем матрицы T6k Получим матрицы, элементы которых являются обратными к элементам T6k и просуммируем их Находим абсолютные значения уровней компетентности 1 29,15; 2 48,4; 3 29,35; 4 45,2; 5 24. Нормируя их, получим относительные уровни компетентности 1 0,16; 2 0,27; 3 0,17; 4 0,26; 5 0,14. Если, например, ЛПР считает, что уровень его компетентности относится к уровню компетентности группы экспертов как 2:3, и при этом он a priori назначил экспертам уровни компетентности 130 Интеллектуальное управление оцениванием знаний дущем случае, окончательные уровни компетентности выi 2 il ) 4 0,24; 5 0,32.

Вопросы седьмого типа.

Необходимо определить уровни компетентности четырех экспертов. Задано четыре вопроса, ответами на которые являются слова-синонимы (или слова, близкие по значению):

1. Совокупность способов достижения цели называется (методологией – 0,6, технологией – 0,3, методикой – 0,1, метоГлава 3. Класификация вопросов для контроля знаний дом - 0).

2. Назовите синоним к слову «альтруизм» (доброта – 0,1, гуманность – 0,1, человечность – 0,1, бескорыстность – 0,5, щедрость – 0,2).

3. Научно-практическая методология исследования сложных систем называется (системным подходом - 0,2, системным анализом - 0,8, системной технологией - 0, системным бизнесом - 0).

4. Профессионализм руководителя определяется (знанием дела - 0,4, умением быстро реагировать на нестандартные ситуации - 0,3, умением работать с персоналом - 0,1, порядочностью - 0,1, способностью к креативу - 0,1).

С помощью экспертного опроса формируем табл. 3.9.

Формируем последовательность треугольных матриц Tj, j 1, 5 для каждого вопроса:

Вычисляем матрицы с обратными элементами 132 Интеллектуальное управление оцениванием знаний Все матрицы Tj, j 1, 5 складываем. Получим матрицу Нормируем значения матрицы T, выполняя деление всех ее элементов на сумму (в данном случае 119,45). Получим Находим значения компетентности экспертов (невзвешенные):

1 0,26 0,19 0,14 0,59, (складываются элементы матрицы T H, среди соответствующих индексов которых есть 1, т. е. t21, t31, t41 );

2 0,26 0,16 0,15 0,57; 3 0,19 0,16 0,09 0, ( t31, t32, t43 ); 4 0,14 0,15 0,09 0,38.

Нормируя значения компетентностей, получим:

Глава 3. Класификация вопросов для контроля знаний Компетентности экспертов будут такими:

РЕЗЮМЕ

Предложено алгоритм определения компетентности экспертов на базе аксиомы несмещенности, согласно которой более компетентным считается тот эксперт, расхождение суждений которого с суждениями других экспертов минимально. Выполнена классификация вопросов анкеты для ее автоматизированной обработки и создания модели для определения меры близости ответов экспертов.

Реализация процедуры определения компетентности экспертов является эффективной только при использовании автоматизированной системы, что связано с обработкой значительного количества матриц большого размера. Предложенный метод не претендует на абсолютность как и все другие методы оценки субъективных характеристик [10, 131], а предложенная классификация вариантов постановки задачи является далеко не полной.

134 Интеллектуальное управление оцениванием знаний

ОБЪЕКТИВИЗАЦИЯ И ОПТИМИЗАЦИЯ

КОНТРОЛЯ ЗНАНИЙ

4.1. Необходимые условия построения эффективных интеллектуальных систем профессиональной подготовки Традиционные экспертные системы базируются на реализации логических выводов "если A1, то B1 или если A2, то B2 " и т.д. Такие схемы, чаще всего, имеют некоторую информационную избыточность, связанную с семантическими или логическими связями, которые существуют между предусловиями Ai и заключениями Bi. Кроме того, составляющие элементы правил могут иметь иерархическую структуру и поэтому отпадает необходимость анализировать условия нижнего уровня, если ответ на предусловия высшего уровня является негативным.

Любая АСОКЗ является эффективной лишь тогда, когда она способная адекватно реагировать на действия конкретного обучаемого, отвечающего на вопрос. Эта реакция должна предусматривать самоорганизацию как структуры логической схемы задач, так и наполнения информационной базы. Синергетический эффект, который будет достигнут в результате реализации таких процедур, обеспечит оптимальную работу обучаемого и преподавателя в процессе оценивания знаний.

Вместе с тем, необходимо заметить, что необходимым условием построения эффективных АСОКЗ является композиция знаний экспертов в трех предметных областях: педагогике, компьютерных науках и теории принятия решений.

Сегодня объединение знаний всех трех направлений как атрибут одного специалиста является довольно редким. И именно поэтому "канонических" систем АСОКЗ в ближайшем будущем не ожидается, что не является причиной прекращения работ по созданию новых и использованию существующих АСОКЗ. Мы движемся, к сожалению, медленно, в Глава 4. Объективизация и оптимизация контроля знаний направлении создания информационного общества на первом этапе и к "обществу без границ" - на втором, что будет ускорять развитие дистанционного образования и использование автоматизированных систем контроля знаний как в высшей, так и в средней школе.

Существующие автоматизированные системы, используемые при обучении в школах, университетах и в системе профессионального образования, а также при оценивании знаний преимущественно ориентированы на задания тестового характера. Ответы на задания такого типа имеют тип „Да-Нет, иногда необходимо выбрать один правильный ответ из нескольких предложенных. Очевидно, что задания таких типов не исчерпывают всего многообразия вопросов и задач, которые могут быть заданы лицу, знания которого оценивают, при устной или письменной форме контроля.

Пытаясь приблизить компьютерное обучение и контроль знаний к другим формам обучения и контроля знаний, в [157] предложено использовать вопросы разных типов, в зависимости от ответов. Конечно, при таком разнообразии заданий обязательно возникает проблема формализации и приведения оценок ответов к одной шкале, что, за исключением вопросов последнего типа, и сделано в [157]. К приведенной классификации вопросов необходимо добавить еще и такие, ответами на которые является указание правильной последовательности (объектов, процессов, действий и т.п).

Заметим, что такая классификация вопросов является достаточно полной и вопросы других возможных типов могут быть сведены к уже предложенным.

Вышеприведенная композиция вопросов имеет все признаки слабоструктурированности, поскольку имеет как количественные, так и качественные составляющие [87]. Для ее анализа необходимо использовать технологии искусственного интеллекта [6], доминирующими из которых в АСОКЗ являются продукционные правила [182] и элементы теории нечетких множеств [3, 9]. Отметим, что в своей диссертационной работе Д.А. Шаров предложил модели для оценки вопросов открытого типа (т.е. те, ответы на которые являются содержательными и вводятся с клавиатуры) на основе синоИнтеллектуальное управление оцениванием знаний нимической близости ответов [178]. Напомним, что использование синонимов для оценки ответов было предложено одним из авторов настоящей монографии ранее [148, 157].

Продолжая обсуждение аспектов реализации АСОКЗ необходимо обратить внимание на интеграцию подсистем обучения и контроля знаний, их взаимосвязь и взаимозависимость. В большинстве современных систем эти подсистемы функционируют отдельно и независимо одна от другой. Такая независимость приводит к неэффективному контролю знаний, увеличению времени на его проведение. В то же время наличие взаимосвязи между подсистемами контроля и обучения позволило бы автоматически формировать задания, проводить обучение по результатам контроля знаний, контроль знаний по окончанию обучения и определять адаптивную стратегию обучения, что является одним из аспектов создания эффективных ИСПП.

Эффективной будем называть такую ИСПП, в которой обучение и контроль знаний проходят за минимально возможное время (T ), причем обеспечивается их полнота (C ), а также отсутствие или минимальное присутствие информационной избыточности (Lv ) или недостаточности (Lu ) и максимально возможная объективизация полученных результатов (Ob ).

Известно, что численным выражением эффективности является критерий эффективности K. Решение задачи поиска максимального значения критерия эффективности связано с формализацией и оптимизацией указанных выше понятий: полноты, информационных избыточности и недостаточности, объективизации результатов. Предваряя формализацию, отметим, что традиционными в обучении являются два подхода. В первом из них излагается проблема, далее определяются задачи, решение которых приводит к решению проблемы. На следующих этапах формируются модели и определяются методы решения задач. Заканчивается обучение изучением инструментальных средств, моделированием и анализом полученных результатов. Такой подход к обучению называется проблемно-ориентированным.

Глава 4. Объективизация и оптимизация контроля знаний Для второго подхода (восходящего) характерно изучение задач, моделей, методов из определенной проблемной области. Далее показываются задачи, которые могут быть решены с использованием изученных методов, а также соответствующий инструментарий. Приводят список проблем, для решения которых могут применяться такие модели, методы и средства и, возможно, в качестве примера приводится решение одной из таких проблем. Заметим, что в современных учебных курсах присутствие элементов этих двух подходов возможно в завуалированной форме.

Предположим, что имеет место нисходящий подход к изучению определенного учебного курса (например, основ некоторой теории). Известно, что примерная структура изложения учебного материала в этом случае будет такой:

. Подробное представление такой схемы имеет графоподобную структуру. Каждый отдельный факт (узел графа) назовем информационной единицей графа. Количество всех информационных единиц составляет информационную мощность фактов графа Pr. Заметим, что ребра графа представляют отношения между вершинами графа (включения, использования и т.п.). Ребра графа вместе с их информационной нагруженностью определяют информационную мощность структуры графа PS pi wi, где pi – ребра графа, wi – их информационная нагруженность. Важным параметром является интерпретируемость фактов и отношений между ними. Отображая ее на граф, получим интерпретационную мощность графа как функцию от информационной мощности фактов и структуры графа Тогда полнота изучения курса определяется показателем 138 Интеллектуальное управление оцениванием знаний где i – номер обучаемого. Желаемое значение P i должно быть близким к единице, но ЛПР может устанавливать величину отклонения такую, что Проектируя процесс обучения и контроля знаний, предполагаем графоподобное представление учебного материала и такое же представление множества вопросов. Устранение информационной недостаточности – процедура, предполагающая выполнение некоторой обязательной последовательности заданий. Так, например, в базе знаний могут содержаться вопросы Q1 ={В каких задачах необходимо решать квадратные уравнения?} и Q2 ={Как решается квадратное уравнение?}. Очевидно, что области значений ответов на эти вопросы различны и вопросы должны находиться на одном уровне иерархии. Переход на следующий уровень зависит от ответов на оба эти вопросы, что является одним из способов устранения информационной недостаточности. Формально считаем, что коэффициент, указывающий на уровень взаимозависимости вопросов, kq kq (Q1, Q2 ) 0 и он указывает на непересекаемость областей значений возможных ответов на Q1 и Q2 Еще один способ – отражение в базе знаний вопросов, в которых присутствуют все факты, отношения между фактами и их интерпретация.

Информационная избыточность возникает вследствие неправильной реализации структуры процесса контроля знаний, особенно для тех вопросов, которые имеют kq 0.

Рассмотрим два вопроса: Q3 ={Приведите формулу для вычисления дискриминанта квадратного уравнения} и Q ={Опишите метод решения квадратного уравнения}. Очевидно, что Q3 и Q4 не являются вопросами одного уровня иерархии. Обозначим 1, если обучаемый дал правильный ответ на вопрос Q, A(Q) 0, в противном случае.

Тогда в процессе контроля знаний возможны ситуации, Глава 4. Объективизация и оптимизация контроля знаний приведенные в табл. 4.1. В ней также приведены значения меры уверенности в выполнении того или иного продукционного правила и указано на необходимость перехода от одного вопроса к другому. Очевидно, что только в первых и последних двух случаях может быть осуществлен переход от одного уровня иерархии ко второму, причем эти переходы не равноценны. В первом случае имеем восходящий переход к следующему уровню иерархии и продолжению контроля знаний, во втором – переходим на нижний уровень с целью уточнения знаний и выполняем соответствующие записи в базе знаний, которую далее используем для составления учебного плана. Информационную избыточность будем считать преодоленной, если в случаях R3 R6 не осуществляются переходы Q3 Q4 и Q4 Q3, а принимается необходимое решение.

Возможные варианты ответов на вопросы ID пра- Продукционное пра- Мера уве- Переход Еще один аспект создания эффективной ИСПП – это объективизация результатов контроля знаний. Осуществить ее возможно за счет автоматизированной обработки ответов, их приведения к одной шкале и получения интегрального результата. В [157] приведены модели оценок разных типов вопросов, а в [148] предложена формула для расчета интегрального показателя.

140 Интеллектуальное управление оцениванием знаний 4.2. Восходящая и нисходящая схемы контроля знаний.

Эффективная ИСПП, имея вышеизложенные атрибуты, должна быть еще и адаптивной системой. В ней необходимо предусмотреть процедуры досрочного прекращения контроля знаний в случае неполучения правильного ответа на один или несколько ключевых вопросов, а также процедуры предложения более «трудных» вопросов по мере получения правильных ответов. Заметим, что важной задачей является формализация соотношений между уровнем сложности вопросов, уровнем их комплексности, принадлежности к разным темам и уровнями иерархии, на которых они находятся.

На нижнем уровне графа вопросов рационально размещать простые вопросы о свойствах объектах и процессов. На верхних уровнях должны быть обобщающие вопросы, получение ответов на которые предусматривает не только интегральные знания, но и умение их применить к решению новых задач.

Граф вопросов содержит три макроуровни:

– творческий, предполагающий знание теоретического материала и умение решения новых задач;

– воспроизведения, на котором находятся вопросы на знание теории и воспроизведение процесса решения задач;

– декларативный, содержащий вопросы на знание основных теоретических положений учебного курса.

Каждый из уровней может содержать несколько подуровней. Кроме горизонтальной структуры в графе вопросов присутствует и вертикальное разделение, с помощью которого чаще всего выделяются темы учебного курса.

Обсуждая далее методологические аспекты построения эффективных ИСПП, и, в частности, реализацию принципа адаптивности, отметим следующие доминантные положения (аксиомы):

– адаптивные технологии позволяют реализовать учащемуся индивидуальную траекторию обучения;

– нет смысла предлагать легкие задания подготовленному учащемуся в излишнем количестве, поскольку они снижают мотивацию к учебе;

Глава 4. Объективизация и оптимизация контроля знаний – трудные задания, симметрично, нерационально предлагать «слабым» учащимся по той же причине.

Известны три варианта адаптивного тестирования [35, – всем учащимся в начале тестирования даются задания средней трудности и затем, в зависимости от ответов, каждому определяется задание сложнее или легче;

– контроль знаний начинается с любого уровня сложности заданий и далее итерационно приближается к реальному уровню сложности, соответствующему уровню знаний;

– существует база знаний, с вопросами, распределенными по уровням сложности. При правильном ответе следующее задание выбирается из группы более сложных заданий, при неправильном – из более «легких».

Датский математик Г. Раш ввел меру «логит» для сопоставления сложности заданий и уровня знаний [20, 21, 30], которая легла в основу теории адаптивного контроля знаний. Главная идея заключалась в том, что при правильном ответе следующим был более сложный вопрос, при неправильном – менее сложный.

Анализируя вышеизложенные аксиомы и варианты, заметим, что они не всегда справедливы, если имеет место интеграция систем обучения и контроля. Рассмотрим некоторую формальную схему, использование которой позволит учесть их недостатки и реализовать адаптивность как обучения, так и контроля. Пусть Q(i, j, k, mk, l, ) – вопрос, имеющий i -й уровень сложности, находящийся на j -м уровне графа вопросов (логической схемы), относящийся к k -й теме ( mk -й ветке) и имеющий показатель интегральности l (число l указывает на количество тем, знание которых необходимо для правильного ответа на вопрос), – интегрирующий показатель, в котором учтены неуказанные выше факторы, допускающие, в свою очередь, декомпозицию.

Пусть количество уровней сложности вопросов равно I, количество уровней графа – J, количество тем учебного курса – K, количество подтем – M k, максимальный показатель интегральности, в общем случае, совпадает с количеством 142 Интеллектуальное управление оцениванием знаний тем и равен L. Такие характеристики имеют свои приоритеты. Наиболее приоритетной является интегральность вопроса, далее – его принадлежность теме, подтеме. Наименьший приоритет имеют сложность и уровень иерархии, на котором находится вопрос. Учитывая, что ответы на вопросы оцениваются по разным алгоритмам, будем считать, что на вопрос получен правильный ответ, если оценка ответа min, где min – минимально достаточное значение оценки.

Выполняя ориентацию структуры процесса обучения на конечного пользователя (обучаемого) на первом этапе необходимо выполнить предварительный контроль знаний.

Предложим две схемы такого контроля: восходящую и нисходящую. Восходящая схема реализуется посредством следующей последовательности шагов (алгоритма):

задан вопрос низшего уровня иерархии, минимальной сложности и интегральности, принадлежащий к первой ветке первой темы).

Шаг 2. Задать вопрос Q(i, j, k, m k, l, ), где определяется дополнительно, Vk 0 (суммарная негативная оценка вопросов по k -й теме).

Шаг 3. Если T (Q(i, j, k, m k, l, )) 1, то U U 1 (количество вопросов, на которые получены правильные ответы), (Q(i, j, k, m k, l, )) (формируемая оценка, в которой учитывается и сложность вопроса) i i g(i,U, ), j j h( j,U, ) (индексы следующего вопроса, к которому будет осуществлен переход с учетом предыдущих результатов).

Шаг 3.1. Если U Umax или max, то перейти на шаг 5.

Шаг 3.7. Если k K, то перейти на шаг 5.

Глава 4. Объективизация и оптимизация контроля знаний где (i, j, mk ) – негативная оценка ответа на вопрос, в которой учтено сложность вопроса, уровень его иерархии и ветку темы, к которой принадлежит вопрос.

на шаг 3.

Vk 0 и перейти на шаг 3.

Шаг 4.4. Если V Vmax, то перейти на шаг 5.

Шаг 4.6. Если k K, то перейти на шаг 5.

Шаг 5. Определение результатов контроля знаний в зависимости от значений V,U, и составление плана обучения.

Нисходящий алгоритм содержит такие шаги:

(нулевые значения указывают на неопределенность или игнорирование соответствующих переменных).

Шаг 2. Задать вопрос Q(i, j, k, m k, l, ) (вопрос имеет интегральный характер).

Шаг 3.1. Если max, то переход на шаг 8.

Шаг 3.2. Если k K, то перейти на шаг 8, иначе – на шаг 2.

Шаг 5. Задать вопрос Q(i, j, k, m k, l, ) (вопрос неинтегрального характера).

Шаг 6.1. Если max, то перейти на шаг 8.

144 Интеллектуальное управление оцениванием знаний Шаг 6.2. Если mk Mk, то перейти на шаг 5.

Шаг 6.4. Если k K, то перейти на шаг 5, иначе – на шаг 8.

Шаг 7.2. Если mk Mk, то перейти на шаг 6.

Шаг 7.4. Если k K, то V V Vk и перейти на шаг 2.

Шаг 8. Определение результатов контроля знаний в зависимости от значений V, и составление плана обучения.

И в первом, и во втором случае в базу знаний записывается информация о каждом заданном вопросе и ответе обучаемого. В зависимости от ответов составляется план и проводится дальнейшее обучение. Предложенный подход имеет адаптивный характер, поскольку сгенерированный учебный план не содержит лишних фрагментов обучения, в то же время в плане предусмотрено изучение вопросов, определенных в процессе предварительного тестирования, и на том уровне, который необходим учащемуся или предложен учащимся.

В предложенных алгоритмах присутствует понятие сложности вопроса. Отметим, что первичное значение сложности задается преподавателем, экспертом или ЛПР. В процессе тестирования сложность каждого заданного вопроса динамически изменяется и записывается в базу знаний (об этом подробно в главе 5). Если обучаемый отвечает на вопрос правильно, то сложность вопроса уменьшается, в противном случае – увеличивается. Решение об изменении сложности вопроса принимается по окончанию процесса тестирования автоматически в зависимости от общего уровня знаний обучаемого.

4.3. Построение логической схемы контроля знаний Глава 4. Объективизация и оптимизация контроля знаний Интеллектуализация современных систем обучения и контроля знаний должна предусматривать реализацию отслеживания уровня знаний в динамике, что повысит мотивацию обучаемых. Важно разработать оптимальную структуру вопросов и заданий. Предлагаем реализовывать ее в виде графов типа «И-Или». Еще одним важным шагом к объективизации процессов обучения и контроля знаний является автоматическое или с минимальным присутствием преподавателя формирование базы знаний, содержащей, в первую очередь, контрольные вопросы и задания. Использовать в этом процессе рационально онтологии [55] учебных курсов.

Создание онтологий – трудоемкий процесс, но, как было указано раньше, и его можно автоматизировать, осуществив на первом этапе поиск наиболее употребительных существительных и отношений между ними в электронных конспектах лекций и учебниках.

Одним из подтипов ИСПП являются системы профессиональной подготовки, которые, в отличие от традиционных АСОКЗ и, исходя из алгоритмов их функционирования, можно назвать многокритериальными. В случае профессиональной подготовки на общую оценку уровня подготовленности обучаемого оказывают влияние не только уровень его знаний, ни и приобретенные умения, и навыки. Формально это может выражаться во времени, потраченном на прохождения контроля знаний, выполнении правильной последовательности операций, теоретической минимизации негативных последствий принятых решений и т.п.

В эффективных ИСПП должна реализовываться стратегия подготовки, заключающаяся в решении многокритериальной задачи оптимизации:

при наличии многочисленных ограничений, обусловленных особенностями предметной области и процесса оценивания, где – оценка, при формировании которой учитывается сложность вопроса, V – суммарная негативная оценка ответов на вопросы.

146 Интеллектуальное управление оцениванием знаний Критерии (4.5) имеют различную природу и в той или иной степени противоречат один другому. Заметим, что первые четыре критерия задаются внешней системой более высокого уровня иерархии, чем субъект контроля знаний.

Значения следующих двух критериев характеризуют уровень подготовки обучаемого, а последний критерий является дуальным и имеет место как при формировании структуры процесса контроля знаний, так и непосредственно при оценивании субъекта этого процесса.

Лицу, принимающему решения, эксперту, преподавателю необходимо находить компромисс, который будет решением задачи оптимизации где E – интегральный критерий, vmax, tmax Получить решение многокритериальной задачи (4.5) можно, реализуя и используя приведенные выше методологические аспекты создания ИСПП. Результатом должны стать знаниеориентированные системы, базисом которых является адекватный и рациональный подход к формированию структур процесса обучения и контроля знаний.

ИСПП являются интегральными системами обучения и контроля знаний. Процессы обучения и контроля знаний являются взаимосвязанными и взаимозависимыми. Такой вывод по отношению к ИСПП базируется на том, что по результатам изучения определенного учебного курса осуществляется контроль знаний, а по его результатам определяется объем и структура учебного материала, который необходимо изучить, что является аспектом реализации принципа адаптивности.

Предположим, что учебный курс состоит из тем Thi, i 1, m. Тогда на нулевом (верхнем) уровне логической схемы контроля знаний [189] находится процедура расчета оценки, на первом уровне – вопросы (возможно, задачи), коГлава 4. Объективизация и оптимизация контроля знаний торые являются достаточно сложными и ответы на которые требуют интегрированных знаний из нескольких тем (рис. 4.1). Второй уровень содержит вопросы, в которых интегрированы знания из двух тем. Третий уровень образуют вопросы только одной из тем, но сравнительно сложные. Такая иерархия на аналогичных принципах продолжается до самого низшего уровня, на котором находятся вопросы тестового характера из одной из тем.

Обучаемому задаются вопросы в соответствии с приведенной схемой, которая является "И-Или" графом, по нисходящему или восходящему алгоритму. Еще одним основным элементом процесса контроля знаний является база данных, содержащая вопросы, ответы и их атрибуты:

N – номер вопроса (вопросы нумеруются слева направо и сверху вниз в соответствии с графом вопросов или логической схемой контроля знаний);

ID – формулировка вопроса;

Ai – поля, содержащие потенциальные ответы, i 1,25. Очевидно, что в отношении вопросов, ответом на которые являются "Да" или "Нет", таких полей два.

Если нужно выбрать один вариант из нескольких, то стоит ограничиться семью полями, но такое заключение не является окончательным и указанное количество полей не является принципиальным; третий случай сводится ко второму; если ответом является число, то поле будет только одно; при ответе-интервале – полей два; если ответ – нечеткий интервал, то первое поле укажет на тип функции принадлежности, другие поля будут содержать значения ее параметров, наибольшее их количество – пять в случае трапециеподобной функции принадлежности; если ответ - слово, то полей 7; если ответом будет предложение, то поле будет одно. Двадцать пять полей нужно, если есть необходимость в выборе одного или нескольких ответов, которыми являются трапециеподобные нечеткие величины (каждая из них является пятипараметрической);

148 Интеллектуальное управление оцениванием знаний Глава 4. Объективизация и оптимизация контроля знаний Bi – баллы за ответы на каждый из вопросов, i 1,7 ;

Nimax – максимальное количество уровней иерархии в логической схеме контроля знаний;

Di – номер темы учебного курса, i 1, l ;

N i – номер уровня иерархии, на котором находится вопрос;

– зарезервированная область, содержащая поля для отображения позиции вопроса в общей структуре вопросов;

H – сложность вопроса (число от 0 до 1);

Gi – коэффициенты, указывающие на значимость вопроса при определении профессиональных знаний и навыков обучаемого в одной из десяти профессий, i 1,10.

Конечно, такая структура базы данных является неполной, поскольку она должна содержать информацию о процессе прохождения контроля знаний обучающимся; статистику его ответов; элементы отчета, который будет формироваться по результатам контроля, и атрибуты будущего плана обучения. Поскольку ИСПП является адаптивной системой, то одним из ее атрибутов является корректировка значение параметра сложности каждого из вопросов. Как следствие, в основе функционирования ИСПП должна лежать база знаний, содержащая правила вывода, определяющие необходимую корректировку.

4.4. Модели определения профессиональной Особенностью, которую нужно учитывать при разработке и использовании ИСПП, является определение способности обучаемого к определенному виду профессиональной деятельности. Предположим, что количество видов деятельности равно L. Отвечая на вопросы Qi, которые непосредственно относятся к i -му виду профессиональной деятельности, i 1, L, будущий специалист пытается максимизировать соответствующую целевую функцию Fi max. Вместе с тем, необходимо учитывать, что специалист, кроме отличных 150 Интеллектуальное управление оцениванием знаний знаний в узкоспециализированной области, должен обладать знаниями и в смежных областях, что можно выразить рядом ограничений типа K ij I i (Q j ) C ij, j 1, L, j i, где I i (Q j ) – уровень знаний в области Q j специалиста в области Qi, C ij - некоторая положительная константа, которая определяет уровень знаний (например, суммарное количество баллов за ответ на вопрос или интегральная оценка).

Таким образом, получив матрицу K ( K ij )i, L1, можно сделать вывод о компетентности обучаемого в той или иной области; определить вид профессиональной деятельности, к которому наиболее склонен обучаемый, а также то, действительно ли он является специалистом, исходя из выполнения заданных ограничений. Если соответствующие ограничения не выполняются или значение целевой функции является недостаточным, то значения элементов матрицы являются вспомогательным фактором при разработке стратегии и тактики учебного процесса. Заметим, что использование соответствующей ИСПП может быть ориентированным на решение двух задач: определение уровня подготовленности обучаемого к выполнению одного или нескольких видов профессиональной деятельности и целенаправленное установление уровня подготовленности обучаемого как специалиста в определенной предметной области.

Рассмотрим еще один подход к определению профессиональной подготовленности обучаемых. Предположим, что существует L видов профессиональной деятельности. Необходимо определить уровень профессиональной подготовленности обучаемых относительно каждого из этих видов [185, 186]. Соответствующие выводы необходимо сделать по результатам контроля знаний из d предметов. В базе данных находится m вопросов, m L, m d.

Будем считать, что обучаемый наилучшим образом подготовлен к i -му виду профессиональной деятельности, если Глава 4. Объективизация и оптимизация контроля знаний де j – общая оценка ответов на вопросы, относящиеся к j му виду деятельности. Будем учитывать, что специалист, кроме отличных знаний в узкоспециализированной области, должен иметь необходимый уровень знаний и в смежных областях, что особенно актуально, например, для оперативноспасательной службы. Такие требования выражаются рядом ограничений типа где C j – некоторая положительная константа, которая определяет минимально достаточный уровень знаний вопросов, относящихся к j -му виду деятельности (суммарное количество баллов за ответ на вопрос или интегральная оценка). Задача (5.6)-(4.7) описывает простейший случай определения профессиональной направленности обучаемых. На практике ее формулировка значительно сложнее, а решение находят с использованием экспертных заключений.

Рассмотрим модели знаний в виде продукционных правил, которые далее используем для определения профессиональной пригодности специалистов оперативноспасательной службы:

если i {1,2,..., L} i i, то B, если i {1,2,..., L} i i & k I i k k, то Ai, i {1,2,..., L}, если i {1,2,..., L} i i & k I i k k, то Bi, i {1,2,..., L}, где – минимальное пороговое значение оценки ответов на вопрос, относящийся к j -му виду деятельности как основИнтеллектуальное управление оцениванием знаний ному;

k – минимальное пороговое значение оценки ответов на вопросы, относящиеся к k -му виду деятельности как дополнительному;

I i – множество индексов, определяющих наборы дополнительных видов деятельности для i -го основного вида деятельности;

B – консеквент, который означает, что обучаемый не пригоден к выполнению ни одного из видов профессиональной деятельности;

Bi – консеквент, который означает, что обучаемый не пригоден к выполнению i -го вида профессиональной деятельности;

Ai – консеквент, который означает, что обучаемый пригоден к выполнению i -го вида профессиональной деятельности.

Лицо, принимающее решение, формирует логическую схему для определения профессиональной направленности обучаемого, осуществляя такие шаги:

Шаг 1. Определить, какие учебные дисциплины принадлежат к основным для определения направленности на выполнение определенного вида деятельности и по каким дисциплинам будет определяться решение задачи (4.6).

Шаг 2. Определить, какие учебные дисциплины принадлежат к дополнительным и по каким дисциплинам будет проверяться выполнение ограничений (4.7).

Шаг 3. Сформировать продукционные правила, указывая пороговые значения j и k.

Шаг 4. Сформировать заключения относительно каждого обучаемого.

Важным этапом в определении профессиональной направленности обучаемого является расчет оценок ответов на вопросы. Предположим, что обучаемый отвечает на все m вопросов, количество обучаемых – n. Вследствие оценивания ответов получим матрицу оценок V {vij }in1 m1 (V1,V2,...,Vd ), где Глава 4. Объективизация и оптимизация контроля знаний дисциплины, p 1, d. Итоговая оценка знаний каждой дисциплины рассчитывается как отношение суммы полученных оценок к максимально возможной сумме и она принадлежит отрезку [0,1]. Если для определения профессиональной направленности к j -му виду деятельности необходимо знание нескольких учебных дисциплин, то оценки суммируются и нормируются аналогично.

В случае, когда профессиональная направленность определяется путем адаптивного контроля знаний, необходимо предусмотреть большее количество вопросов для каждого обучаемого для того, чтобы уменьшить вероятность ошибки. Принципиальных отличий при обычном и адаптивном контроле знаний с целью определения профессиональной направленности обучаемых нет.

Таким образом, по приведенным выше продукционным правилам делается вывод о компетентности обучаемого в той или иной области, определяется вид профессиональной деятельности, к которому он наиболее склонен, а также то, действительно ли он является специалистом, исходя из выполнения заданных ограничений. Если соответствующие ограничения не выполняются или значение целевой функции является недостаточным, то значения элементов матрицы оценок будут вспомогательным фактором при разработке стратегии и тактики учебного процесса. Заметим, что использование соответствующей ИСПП может быть ориентированным на решение двух задач: определение уровня подготовки обучаемого к выполнению одного или нескольких видов профессиональной деятельности и целенаправленное установление уровня подготовленности обучаемого как специалиста в определенной предметной области.

Рассмотрим особенности определения профессиональной подготовленности сотрудников оперативноИнтеллектуальное управление оцениванием знаний спасательной службы. К основным направлениям профессиональной подготовки специалиста относятся знания теоретических основ организации и управления деятельностью противопожарной службы, параметров характеристик пожаров и горения, последствий техногенных или экологических катастроф, умения определить уровень пожарной безопасности здания или сооружения, оценить безопасность людей при пожаре, управлять силами и средствами пожаротушения.

На практике будущими специалистами оперативноспаса-тельной службы изучаются такие дисциплины: «Пожарная тактика (ПТ)», «Организация пожарнопрофилактической работы (ОППР)», «Пожарная техника (ПТХ)», «Газодымозащитная служба», «Организация работы с кадрами (ОРК)», «Охрана труда», «Организация службы и подготовки (ОСП)». По результатам контроля знаний и вышеприведенным продукционными правилам осуществляется определение профессиональной подготовленности в направлении перспективного занятия таких должностей:

- начальник караула, - инспектор отдела, - специалист сектора по работе с персоналом, - специалист отдела по вопросам реагирования на чрезвычайные ситуации, - специалист отдела материально-технического обеспечения, - специалист режимно-секретного сектора, - инспектор отдела организации службы и мобилизационной работы, - специалист отдела организационно-контрольной работы, - инспектор отдела комплектования и прохождения службы, - специалист отдела социально-гуманитарной работы, - инспектор сектора связей с общественностью и средствами массовой информации.

Рассмотрим задачу определения профессиональной направленности специалистов оперативно-спасательной службы. В отличие от нейросетевого метода определения профессиональных компетенций [107], результат использования которого не позволяет интерпретировать структуру Глава 4. Объективизация и оптимизация контроля знаний процесса решения, продукционные модели допускают полное понимание как решения, так и способа его получения.

Путем экспертного анализа определено, знание каких учебных дисциплин и насколько влияют на профессиональные качества специалистов. В табл. 4.2 приведены коэффициенты, которые указывают важность знания того или иного учебного курса для профессиональной деятельности на определенной должности. Подсвечены серым цветом ячейки, соответствующие смежным областям знаний, и такие учебные курсы считаются дополнительными. Эксперимент проводился в группе из 35 человек. Поскольку осуществлялось адаптивный контроль знаний, то, в среднем, обучаемому задавались 23-25 вопросов, исходя из дополнительного условия, что по каждой дисциплине должно быть задано не менее 4-х вопросов. Результаты контроля знаний первых одиннадцати обучаемых приведены в табл. 4.3. Оценками служат проценты от максимально возможной оценки, которую мог бы получить обучаемый за знание учебной дисциплины.

Для того, чтобы определить приоритеты профессиональной направленности обучаемых, формируем маску для оценок ответов. В частности, ЛПР установлено такое соответствие коэффициентов табл. 4.1 и оценок табл. 4.2: 0,5 - 90, 0,4 Осуществляя анализ ответов (табл.

4.2) и используя указанную маску и рассмотренные ранее модели, получим следующие выводы:

1. Должность начальником караула в будущем мог бы занять специалист № 6.

2. Профессиональных способностей к занятию должности инспектора отдела не проявил ни один из обучаемых, лучшие, но не достаточные знания нужного направления проявил обучаемый № 11.

3. Профессиональных способностей к занятию должности специалиста сектора по работе с персоналом также не выявил ни один из обучаемых, лучшие, но не достаточные знания нужного направления показал обучаемый № 9.

4. Должность специалиста отдела по вопросам реагирования на чрезвычайные ситуации мог бы занять обучаемый № 4.

156 Интеллектуальное управление оцениванием знаний Коэффициенты приоритетности знаний учебных дисциплин для занятия должностей в оперативно-спасательной службе по роботе с персоналом вопросам реагирования материально-технического обеспечения но-секретного сектора ганизации службы и мобилизационной организационноконтрольной роботы комплектования и прохождения службы социально-гуманитарной работы связей с общественностью и СМИ Глава 4. Объективизация и оптимизация контроля знаний Таблица результатов контроля знаний

№ ОСП ПТ ОППР ПТХ ОРК

5. Должность специалиста отдела материально-технического обеспечения могли бы занять обучаемые № 6, 9, 10, 11.

6. Должность специалиста режимно-секретного сектора могли бы занять обучаемые № 2, 6, 9, 11.

7. Должность инспектора отдела организации службы и мобилизационной работы мог бы занять обучаемый № 6, близкие к нужному уровню, но не достаточные знания показал обучаемый № 9.

8. Должность специалиста отдела организационноконтрольной работы мог бы занять обучаемый № 9, близкие к нужному уровню, но не достаточные знания проявил обучаемый № 2.

9. Должность инспектора отдела комплектования и прохождения службы мог бы занять обучаемый № 9, близкие к нужному уровню, но не достаточные знания показал обучаемый 10. Профессиональных способностей к занятию должности специалиста отдела социально-гуманитарной работы не проявил ни один из обучаемых, лучшие, но не достаточные знания нужного направлении показал обучаемый № 9.

158 Интеллектуальное управление оцениванием знаний 11. Должность инспектора сектора связей с общественностью и средствами массовой информации могли бы занять обучаемые № 2 и 9.

12. Обучаемые № 1, 3, 5, 7, 8 имеют низкие знания, не позволяющие им в будущем занять любую из указанных должностей.

4.5. Элементы структуризации учебного материала как следствие процесса контроля знаний Процесс оценивания уровня профессиональной подготовленности не является самоцелью. Он нужен для определения профессиональной направленности обучаемых, минимизации негативных последствий принятых решений в будущем, а также для оптимизации процесса обучения, особенно, если обучение происходит самостоятельно или дистанционно. Контроль знаний, в свою очередь, проводится с разной целью: для предварительного оценивания, для определения промежуточных результатов, для результирующего оценивания и т.п. По его результатам принимается решение о целесообразности дальнейшего обучения, повышения уровня знаний, прекращения обучения. С целью оптимизации процесса обучения необходимо осуществлять структуризацию учебного материала.

Элементарной единицей является блок учебного материала (БУМ). В случае обучения каждого конкретного специалиста необходимо определить план его обучения по результатам контроля знаний. Считаем, что база данных содержит помимо составляющих контроля знаний еще и учебные материалы, возможно мультимедийного характера. Каждый БУМ должен иметь коэффициент приоритетности и статус.

Значение приоритетности указывает, насколько БУМ является актуальным для изучения специалистом, статус указывает на то, изучен ли этот БУМ; возможно, он изучается или никогда не изучался. Блок учебного материала с наивысшим уровнем приоритетности выбирается для изучения первым.

Обозначим приоритетность [0,1], где 1 соответствует наиболее высокому приоритету, 0 означает, что БУМ Глава 4. Объективизация и оптимизация контроля знаний изучено или изучать его нет необходимости, или желания, или на вопросы, релевантные данному БУМ, уже определенное количество раз не получены правильные ответы. Статус {1,2,3}, где 1 означает, что БУМ ранее не изучался, 2 изучается, 3 - изучен (на все релевантные вопросы получены правильные ответы).

Обозначим: ID – идентификатор вопроса; T – тема, к которой относиться вопрос; T1, T2, T3 – подтемы, к которым относится вопрос; p – сложность вопроса; t – время ответа; Ev – оценка ответа на вопросы; N – количество неудачных попыток правильно ответить на вопрос; ID _ B – идентификатор БУМ, к которому относится вопрос; m – количество вопросов. Структура таблицы базы данных будет такой:

Метод для определения приоритетности БУМ будет иметь следующие шаги:

Шаг 1. Для всех вопросов ( i 1, m ) выполнить инициализацию таблицы базы данных ( DB1 ), положив Дополнительно обозначим (кортежи базы данных DB2 ):

ID _ BO – идентификатор БУМ; Q _ BO – количество вопросов, которые относятся к БУМ ID _ BO ; ID _ QO – вопросы, относящиеся к БУМ ID _ BO ; pO – общая сложность вопросов, относящихся к БУМ ID _ BO. Структура второй таблицы:

Шаг 2. Для всех БУМ ( j 1, k ) выполнить действия:

выполнить действия:

На шагах 1 и 2 выполнена инициализация баз данных, установлено, сколько и какие вопросы принадлежат к каждому 160 Интеллектуальное управление оцениванием знаний БУМ.

Шаг 3. Задать вопрос, номер вопроса записать в массив Q _ A, в базу данных DB1 записать t (i ), Ev (i ). Если Ev (i ) 0, Шаг 4. Для всех БУМ ( j 1, k ) выполнить действия:

Шаг 4.1. Для вопросов ( i 1, Q _ BO( j ) ) выполнить действия:

Шаг 4.2. Если на все вопросы, относящиеся к некоторому БУМ, даны правильные ответы, то ( j ) 3. Приоритетность такого БУМ равна единице.

Сделаем промежуточные выводы. Пусть N max – максимальное количество неудачных попыток ответить на вопрос.

Вопросы, на которые ранее получены правильные ответы, при дальнейшем контроле знаний не задаются. Если БУМ считается изученным или имеет нулевую приоритетность, то релевантные ему вопросы задавать не нужно.

В случае N j N max j -й вопрос не задается, осуществляется предупреждение обучаемого о превышении количества неудач-ных попыток ответить на вопрос. Если он выбирает программу обучения самостоятельно, то БУМ, относящийся к программе, необходимо упорядочить по убыванию приоритетности и изучение БУМ необходимо осуществлять от наибольшего значения к наименьшему. В случае индифферентного отношения обучаемого к процессу обучения программу ему необходимо предлагать, исходя из значения приоритетности БУМ.

Шаг 5. Для всех БУМ ( j 1, k ) выполнить действия:

Шаг 5.1. Для вопросов ( i 1, Q _ BO( j ) ) выполнить действия:

Глава 4. Объективизация и оптимизация контроля знаний Если получены правильные ответы на один или несколько вопросов, относящихся к БУМ, но не все релевантные вопросы заданы, то статус БУМ двойка, а приоритетность будет уменьшена. Если получены неправильные ответы на один или несколько вопросов, относящиеся к БУМ, то его статус и приоритетность будет увеличены.

Если не было задано ни одного вопроса, относящегося к БУМ, то его статус 1, приоритетность – 0,5. Таким образом, наиболее приоритетным является тот БУМ, релевантные которому вопросы были наиболее сложными для обучаемого, и на них он ответил неправильно. На следующем уровне иерархии находятся БУМ, релевантные к которым вопросы не заданы вообще, далее - БУМ, на релевантные к которым вопросы получены правильные ответы, но не все вопросы заданы, или не на все вопросы получены правильные ответы.

Последними являются те БУМ, которые полностью изучены, или БУМ, для которых достигнуто предел неправильных ответов на релевантные вопросы.

В случае, когда обучаемый самостоятельно формирует план обучения, возникает проблема оценки знаний, поскольку именно специалист определяет, какую тему или подтему изучать. Возможен случай задания обучаемым также уровня знаний, которого он хотел бы достичь, изучая определенный материал. Структурная схема контроля знаний изображена на рис. 4.2.

162 Интеллектуальное управление оцениванием знаний

Q Q Q Q Q Q Q Q Q Q Q Q

Q Q Q Q Q Q Q

Глава 4. Объективизация и оптимизация контроля знаний На схеме предусмотрена иерархическая структура вопросов, причем некоторые вопросы относятся непосредственно к уровню категорий или подкатегорий, они имеют интегральный характер. Иерархическая схема контроля знаний имеет четыре уровня:

Считаем, что в каждом контуре количество вопросов известно ( N 0, N1, N 2, N 3 ) и в каждом контуре известно количество вопросов в каждой из трех групп (малой, средней и значительной сложности), т.е. известны величины N 0, N 0, N 0, что корневая вершина категории (подкатегории) может иметь и вопросы, и подкатегории.

Пусть необходимо определить знание вопросов из подкатегории Sc1. Известно, что количество вопросов в Sc1 равно N1 100. Малой сложности вопросов N1 40, средней N1c 30, значительной сложности N1 30. Обучаемый выбрал для тестирования 30 вопросов малой сложности ( M1 30 ).

Не имеет значение, где находились вопросы:

относились к корневой Sc1 вершине;

относились к категориям Sc2, Sc2, Sc2 или к одной из них, или к двум.

Метод определения оценки содержит такие шаги:

Шаг 1. Привести сложности всех вопросов Sc1 к [0, 1]-шкале.

Шаг 2. Найти общую сложность всех вопросов Sc1 : Z bi.

Шаг 3. Найти общую сложность всех вопросов малой сложности Z bi.

Шаг 4. Найти общую сложность вопросов малой сложности, на которые были получены правильные ответы Z bi.

164 Интеллектуальное управление оцениванием знаний Шаг 5. Оценка знания подкатегории рассчитываются по формуле 100%.

РЕЗЮМЕ

В связи с развитием глобальной сети и движением к информационному обществу получает распространение дистанционная форма образования и онлайн-обучение. Их атрибутом является удаленный контроль знаний. Разрабатываются системы, предназначенные для сопровождения процессов обучения «в течении жизни». За границей уже созданы системы, которые адаптируются к психологическому состоянию обучаемых. В Украине и России такие исследования еще впереди, хотя за границей к их созданию имеют отношение и выходцы из этих стран.

Первые экспертные системы появились сразу же после разработки первых языков программирования. Через тридцать лет их использование приобрело промышленный характер, а еще через двадцать лет системы такого типа, но ориентированные на обучение и контроль знаний, стали обязательным атрибутов высших и средних учебных заведений. И не более двух десятков лет прошло с тех пор, как компьютерные системы разрабатываются и используются в профессиональной подготовке различного типа: для обучения государственных служащих, водителей, пилотов, для подготовки специалистов аварийно-спасательных служб и т.п.

Каждая из таких систем имеет свои особенности реализации и в каждой, в зависимости от предметной области, реализован свой алгоритм оценивания подготовки обучаемых. В большинстве случаев желательно иметь многокритериальные оценки качества и процесса, и результата обучения.

Осуществляя реализацию автоматизированных систем обучения и контроля знаний, зачастую забывают о методологических основах как процессов обучения и контроля, так и разработки таких систем. Именно такие основы и предложены в настоящей главе, их реализация позволить создавать поГлава 4. Объективизация и оптимизация контроля знаний настоящему эффективные интеллектуальные системы обучения и профессиональной подготовки, обладающие всеми соответствующими атрибутами.

Важной составляющей таких процессов является осуществление разработки логической схемы проведения процесса обучения и контроля знаний с учетом их взаимозависимости. Одной из наиболее трудоемких задач является автоматизация процесса формирования вопросов, исходя из материалов учебников или электронных конспектов, с учетом их важности, интегральности и сложности. Важную роль в этом процессе играют онтологии учебных курсов и на создание методологических основ, а также общих принципов их построения направлены дальнейшие исследования. Второй задачей, решение которой необходимо для разработки эффективных интеллектуальных систем обучения и профессиональной подготовки, является формализация построения логической схемы контроля знаний и ее отображение на структуру процесса обучения. Решение указанных задач позволит объективизировать процесс обучения и контроля. Их составляющими элементами являются задачи формирования структуры базы данных системы, которая реализована на принципе адаптивности, а также корректировка сложности вопросов в процессе контроля знаний.

Если процедура формирования онтологии уже выполнена и логическая схема контроля как соответствие структуры курса и онтологии построена, то тем самым обеспечивается полнота вопросов относительно отражения знания учебной дисциплины, а использование логической схемы минимизирует избыточность контроля и является оптимизированной процедурой.

Глава 6. Проектирование систем профессиональной подготовки

ЭЛЕМЕНТЫ АДАПТИВНОЙ

ТЕХНОЛОГИИ ОЦЕНИВАНИЯ

Со временем все большее количество дисциплин преподается с использованием компьютерной техники. В связи с этим возникает необходимость создания соответствующих методологических основ организации учебного процесса и проведения контроля знаний. Одной из основных его проблем является обеспечение адаптивности и объективизации оценивания.

В чем заключается адаптивность современных автоматизированных систем оценивания уровня знаний обучаемых? В первую очередь, в уменьшении «волюнтаристского» влияния преподавателя или ЛПР на процесс оценивания, составляющей чего является объективизация уровня сложности задаваемых вопросов, а также в динамической корректировке сложности контрольных вопросов в режиме реального времени. Основной принцип: после окончания процесса тестирования корректируется уровень сложности вопросов в зависимости от правильности данных ответов и общей оценки обучаемого. Возникает и сопутствующая задача: исследовать, рационально ли после окончания контроля знаний всего пула обучаемых проводить пересчет оценок с учетом измененной сложности вопросов?

При адаптивном контроле знаний в зависимости от правильности полученного ответа задается следующий вопрос увеличенной или уменьшенной сложности. В зависимости от уровня подготовленности обучаемого осуществляется пересчет сложности вопроса. Поскольку ЛПР в начале контроля знаний такие уровни устанавливает единолично, другая задача заключается в проверке адекватности логической схемы тестирования. Третья задача, которая рассматривается, – разработка метода корректировки сложности вопросов.

Предлагается также решение задачи двухкритериального оценивания и соответствующие модели определения уровня знаний, а также корректировки сложности вопросов.

Глава 5. Элементы адаптивной технологии оценивания 5.1. Технология определения адекватности логической схемы тестирования Предположим, что определение уровня профессиональной подготовленности осуществляется при наличии определенной информации. В частности, известен средний уровень успеваемости каждого обучаемого j, j 1, n, где n – количество обучаемых, j 0;1. Для подавляющего количества случаев, учитывая требования Болонского процесса, j 0,6.

В начале контроля знаний ЛПР определяет для каждого вопроса его сложность pi 0;1, i 1,m, где m – количество вопросов. Считаем, что вопрос Qk, для которого pk 0; 0,33, является легким, если pk 0,33;0,66, то вопрос имеет среднюю сложность, если pk 0,66 – вопрос сложный.

Сделаем упрощающее предположение о том, что каждому обучаемому задаются все вопросы теста, и тогда он может получить максимальную оценку, равняющуюся единице.

Практически оценка обучаемого определяется по формуле Очевидно, что при отсутствии технологии определения адекватности сложности вопросов можно было бы остановиться на такой схеме. Для предварительного анализа находим абсолютное и относительное отклонения Исходя из значений величин AV j и BVj, ЛПР делает вывод о соответствии такой схемы оценивания уровню знаний 168 Интеллектуальное управление оцениванием знаний конкретного обучаемого.

Объективизацию соответствующего вывода можно осуществить, вычислив и проанализировав средние величины Для оптимальной схемы оценивания и определения уровня сложности вопросов необходимо, чтобы С другой стороны оценить адекватность сложности каждого отдельного вопроса можно, выполнив анализ ответов на него всех обучаемых.

ij 1, если j -й обучаемый дал правильный ответ на i -й вопрос, и ij 0, в противном случае. Для каждого вопроса находим Результаты анализа выражений (5.5) указывают на адекватность уровня сложности вопроса. Близость qi к нулю свидетельствует о том, что оценка сложности вопроса ЛПР является адекватной. Заметим, что записанное выражение для qi является рациональным в случае равномерного распределения уровней успеваемости каждого обучаемого на отрезке [0;1]. На практике это предположение не выполняется и тогда имеем модифицированное выражение в котором учтено распределение уровня успеваемости обучаемых. Таким образом, выражения (5.1) и (5.2) позволяют Глава 5. Элементы адаптивной технологии оценивания сделать предварительные выводы о соответствии схемы оценивания уровню знаний группы обучаемых и адекватности сложности вопросов, определенных ЛПР.

5.2. Метод корректировки уровня сложности вопросов в режиме реального времени Современные мировые тенденции ориентируют разработчиков ИСПП на создание систем, ориентированных на определенную модель пользователя [10, 61, 72]. Адаптивность в таких системах реализуют, изменяя сложность вопросов и подбирая их состав таким, чтобы оптимальным образом определить уровень знаний и пробелы в изучении некоторых вопросов и тем. Адаптивные механизмы программируются до начала использования ИСПП и являются неизменными в течение всего жизненного цикла программного обеспечения. В то же время, очевидно, что в зависимости от того, каким является начальный уровень подготовки обучаемых, и какими будут их способности к обучению, зависит и динамика уровня сложности вопросов и их последовательность.

Поэтому рациональной будет коррекция уровня сложности в режиме реального времени в зависимости от того, насколько правильный ответ дал обучаемый на соответствующий вопрос. Важно заметить, что уровень коррекции должен зависеть от общего уровня знаний обучаемого. Очевидно, что принципиальные решения необходимо принимать в случаях, когда неправильный ответ дает обучаемый, имеющий отличный уровень знаний, и правильный ответ – обучаемый, имеющий значительный проблемы в процессе обучения.

Перед контролем знаний возможны два случая:

- значения сложностей вопросов заданы;

- значения сложностей вопросов являются неизвестными.

Рассмотрим первый случай. Пусть сложности вопросов заданы и сложность i -го вопроса pi (0,1]. Рационально осуществлять модификацию pi, исходя из оценки ответа обучаемого на i -й вопрос, а также полученной итоговой оценки пройденного контроля знаний.

170 Интеллектуальное управление оцениванием знаний Предположим, что ЛПР назначено начальные баллы сложности вопросов, которые принадлежат к логической схеме контроля знаний, обозначим их pi0, i 1, m. Учитывая то, что технология оценивания является адаптивной, необходимо осуществить корректировку сложности вопросов и учитывать проведенную корректировку при определении итоговой оценки. При этом будем базироваться на нескольких эвристиках.

Эвристика 1. Если обучаемый дает правильный ответ, то сложность вопроса уменьшается, и наоборот.

Эвристика 2. Динамика значения уровня сложности зависит от количества обучаемых, знания которых контролируются, а также от суммарной оценки каждого из них.

Эвристика 3. Если обучаемый со сравнительно высокой суммарной оценкой дает правильный ответ, то сложность вопроса уменьшается на меньшее значение, чем в случае, когда правильный ответ дает обучаемый с низшей суммарной оценкой.

Эвристика 4. Если обучаемый со сравнительно высокой суммарной оценкой дает неправильный ответ, то сложность вопроса увеличивается на большее значение по сравнению со случаем, когда неправильный ответ дает обучаемый с низшей суммарной оценкой.

Эвристика 5. Значение минимальной сложности вопроса должно быть большим нуля.

Эвристика 6. Значение максимальной сложности вопроса должно быть не большим единицы.

Таким образом, после проведенного контролю знаний каждого обучаемого автоматически активизируется демон [61], процедура, согласно которой происходит перерасчет сложности вопросов и запись новых значений сложности в базу данных.

Предположим, что оцениваются знания n обучаемых, количество вопросов – m. Коррекция сложности вопросов производится по формуле Глава 5. Элементы адаптивной технологии оценивания где pij – сложность i -го вопроса при контроле знаний j -го обучаемого, f i – некоторая функция, в соответствии со значением которой осуществляется коррекция сложности i -го вопроса, pi0 – начальная сложность вопроса, d j 1 – итоговая оценка ответов ( j 1) -го обучаемого, d j 1 0,1, Z – некоторая величина, зависящая от величины отклонения данного ответа от правильного, i 1, m, j 1,n. Как следует из формулы (5.7), коррекция уровня сложности вопроса производится сразу же после контроля знаний каждого обучаемого, т.е. в режиме реального времени.

Рассмотрим отдельные варианты формулы (5.7) в применении к вопросам различного типа.

1. Вопросы с ответами типа «Да» или «Нет». В этом случае коррекция сложности вопроса осуществляется по формуле pij pij 1 f i1 ( pi0 , m, d j 1, (правильный ответ)), (5.8) где ( A) – функция-индикатор, Заметим, что при построении функции f i1 необходимо придерживаться ограничений 0 pij 1 i 1, m, j 1, w. Один из вариантов формулы (5.8) будет таким:

pij ( pij 1 d j 1 (1 pij 1 )) (неправильный ответ) Очевидно, что для формулы (5.9) выполнены эвристики (1)Вопрос, где один ответ выбирается из нескольких вариантов, а правильность каждого из них оценивается баллом (для i -го вопроса вектор баллов v ( v1, v2,..., vk ), причем 0 vi i 1, k ). Тогда коррекцию значения сложности осуществляем по такой формуле:

172 Интеллектуальное управление оцениванием знаний где f i 2 – некоторая функция, aij 1 – балл за ответ ( j 1) -го обучаемого на i -й вопрос, arg max vl – максимальный балл за правильный ответ, k2j 1 – коэффициент, в значении котоj 1 j рого учтено влияние отклонения (max vl ai ) на изменеl 1, k ние значения сложности вопроса.

Один из вариантов формулы (5.10) будет таким:

Формула (5.11) открыта для внесения уточняющих коэффициентов и может быть использована для предварительных расчетов.

3. Вопрос, где несколько ответов выбираются из многих вариантов. Как и в предыдущем случае, ответам присвоены баллы v1, v2,..., vk, значительное количество которых является нулями.

Тогда значение сложности соответствующего вопроса корректируем таким образом:

бранные варианты ответов, h n – количество указанных правильных ответов, h н – количество неправильных ответов, k3j – корректирующий коэффициент, значение которого определяется соотношением правильных и неправильных ответов.

4. Вопрос, где ответом является число. Для того, чтобы определиться с направлением коррекции сложности вопроса такого типа необходимо указать в базе данных три параметра: z * – значение правильного ответа, [ zb, ze ] – отрезок, на котором должно находиться значение ответа обучаемого. Тогда Глава 5. Элементы адаптивной технологии оценивания сложность корректируется по формуле:

где k4j 1 – коэффициент, при помощи которого определяется направление и величина изменения сложности вопроса в зависимости от значения соотношения z z* zb za. Чаще всего, если значение частного меньше 0,5, то сложность вопроса увеличивается, в противном случае – уменьшается. На усмотрение ЛПР возможны и другие варианты.

5. Вопрос, где ответом является интервал. Для определения направления и величины коррекции в базе данных должны быть заданы концы отрезка – правильного ответа.

Формула для коррекции сложности будет такой:

где [ z1, z2 ] – отрезок, указанный обучаемым, [ zb, ze ] – отрезок – правильный ответ, k5j 1 – коэффициент, который определяет направление и величину коррекции сложности в зависимости от величин 6. Сложнее всего корректировать вопросы, ответами на которые являются нечеткие величины, заданные функциями принадлежности. В первом приближении достаточно выполнить дефаззификацию, например, центроидным методом и, получив таким образом четкие числа, воспользоваться функцией из п. 4.

7,8. Если ответы на вопросы являются словами или словосочетаниями, то процедура коррекции сводится к приведенной в п. 2. Если ответом является предложение, то коррекцию сложности при сегодняшнем уровне интеллектуализации вычислительных средств необходимо осуществлять экспертным путем.

Вернемся к априорной информации о сложности вопроИнтеллектуальное управление оцениванием знаний сов. Пусть начальные значения коэффициентов сложности вопросов заданы ЛПР, экзаменатором или экспертом. Тогда в процессе оценивания знаний, реализуя случайный порядок обучаемых, получим колебания значений уровня сложности.

Эвристика 7. Предполагая бесконечное количество обучаемых, делаем вывод о сходимости значения уровня сложности вопроса к постоянному значению.

Заметим, что в вышеприведенных формулах предполагается учет влияния начального значения уровня сложности на весь дальнейший процесс его коррекции. Безусловно, от этого предположения можно отказаться, но только в том случае, если ЛПР дав начальные установки, стремится устраниться от дальнейшего активного участия в процессе оценивания. Выбор того или иного варианта зависит от экзаменатора и внешних обстоятельств.

Возможна ситуация, когда экзаменатор не может определить сложность вопросов с достаточной точностью. В таком случае начинать контроль знаний не следует, поскольку первые экзаменуемые получат значительно смещенные оценки.

На помощь здесь может прийти моделирование. Экзаменатор, скорее всего, знает распределение учащихся, исходя из их учебных успехов (например, среднего балла в зачетной книжке). Если это не так, то можно воспользоваться различными дополнительными эвристиками, одна их которых указывает на то, что количество отличников составляет 20% от общего количества учащихся, количество учащихся на «хорошо» – 20% от оставшихся и т.д.

В соответствие с распределением учеников разыгрываем случайные значения, которые отвечают правильным или неправильным ответам, и осуществляем коррекцию значений сложности ответов. Такой подход приводит к объективизации процесса оценивания как в целом, так и его начального этапа, в особенности, когда значения сложности вопросов носят сильно субъективизированный характер.

Если значения сложности вопросов не известны, то достаточно положить pi0 0,5, i 1,n и выполнить рассмотренные выше шаги.

Глава 5. Элементы адаптивной технологии оценивания Выражения (5.8)-(5.14) являются основой реализации процедур-демонов, в процессе выполнения которых корректируются значения сложности вопросов. Изменение значений сложности вопросов является той задачей, решение которой позволяет объективизировать процесс оценивания уровня знаний обучаемого и определить уровень его профессиональной подготовленности.

Обучаемого оценивают по различным критериям.

ИСПП отличаются от АСОКЗ, используемых в высших и средних учебных заведениях, многокритериальностью оценивания. В частности, в системе МЧС (ГСЧС) при помощи ИСПП оценивается не только уровень знаний того или другого учебного курса, а и скорость принятия решений.

Считаем необходимым оценивать также способность обучаться, поскольку от этой характеристики зависят профессиональные качества обучаемого, в первую очередь способность перенимать передовой опыт и адекватно реагировать на непредвиденные обстоятельства в критических условиях.

Способность обучаться также можно оценивать интегральным численным параметром, значения которого будет указывать на количество попыток прохождения контроля знаний, времени изучения соответствующего учебного материала и количества неправильных ответов на вопросы из базы данных. Его коррекцию рационально осуществлять, базируясь на вышеуказанных принципах и выражениях (5.8)Заметим, что коррекцией рассмотренных параметров не исчерпывается весь перечень процедур, которые используются в адаптивных ИСПП.

Рассмотрим случай закрытого контроля знаний, при котором все вопросы имеют тестовый характер (первый тип).

При таком контроле знаний предлагается несколько ответов к каждому вопросу, один из которых является правильным.

176 Интеллектуальное управление оцениванием знаний Пусть тест содержит n вопросов, каждый из которых имеет начальную сложность (заданную ЛПР) pi, i 1, n. Тогда оценка j j -го обучаемого определяется приведенным выше способом. При коррекции сложности вопросов будем учитывать:

pij – сложность i -го вопроса для j -го обучаемого, d j – итоговая оценка за тест j -го обучаемого.

Согласно формуле коррекции (6.8) сложность вопроса изменяется после окончания тестирования каждого обучаемого. Выполним конструктивное построение формулы коррекции. При этом воспользуемся эвристиками 3 и 4 (см. п.

5.2).

Предположим, что обучаемый дал правильный ответ.

Сложность вопроса необходимо уменьшить на величину x (рис. 5.1) Рис. 5.1. Коррекция в случае правильного ответа Значение x находим, составив соотношение поскольку по первой эвристике отношение значения смещения к уровню сложности вопроса соответствует отношению уровня некомпетентности обучаемого ко всей длине отрезка [0;1]. Тогда для случая правильного ответа формула коррекции будет такой:

Заметим что формула (5.16) является корректной, поскольку pij 1 (1 d j 1 ) является величиной неотрицательной. ЗначеГлава 5. Элементы адаптивной технологии оценивания ние сложности вопроса никогда не выйдет за границы отрезка [0,1], поскольку Если ответ обучаемого неправильный, то сложность вопроса необходимо увеличить на значение y (рис. 5.2).

Рис. 5.2. Коррекция в случае неправильного ответа Аналогично первому случаю составляем соотношение поскольку приращение y находится в пределах от 0 до 1 pij 1 и соответствующее соотношение является уровнем компетентности d j 1, деленном на максимально возможное его значение. Тогда Выражение для коррекции сложности вопроса будет таким:

Формула (5.20) также является корректной, поскольку Формулы (5.16) и (5.20) являются выражениями для коррекции сложности вопросов в режиме реального времени.

Это означает, что коррекция сложности вопросов будет происходить сразу же после тестирования каждого обучаемого.

178 Интеллектуальное управление оцениванием знаний Заметим, что ЛПР не обязательно задает начальный уровень сложности вопросов. Достаточно разыграть значения сложности вопросов с помощью генератора случайных чисел на отрезке [0, 1] с равномерным распределением.

Не исключается, что после проведения контроля знаний итоговые оценки j необходимо пересчитать, но уже для откорректированных уровней сложности вопросов.

5.4. Модели для определения корректности оценок и адаптации сложности вопросов Рассмотрим вопросы второго типа, для которых правильный ответ выбирается из нескольких. Предположим, что для каждого из m вопросов есть ki ответов, где i 1, m. Вектор возможных ответов на каждый вопрос отвечает вектору балki значение vil указывает на уровень правильности ответа. Если vil 0, то l -й ответ является абсолютно неправильным. Очевидно, что vil 1 l 1, ki i 1, m, поскольку тогда имел бы место случай с ответами типа «Да-Нет».

Известны сложности вопросов для контроля знаний pi 0,1, i 1, m. Оценка j -го обучаемого определяется в случае вопросов второго типа так:

де vij – бал за ответ j -го обучаемого на i -й вопрос, j 1, n, n – количество обучаемых.

Зная уровни успеваемости обучаемых j, j 1, n и вычислив j, можно определить адекватность логической схемы оценивания уровня знаний каждого обучаемого [187, 188].

Глава 5. Элементы адаптивной технологии оценивания В начале контроля знаний ЛПР задает сложности вопросов.

Очевидно, что в таком случае сложности вопросов являются субъективизированными. Ранее уже предложено осуществлять адаптацию значений сложности вопросов в режиме реального времени. Соответствующая процедура в случае вопросов второго типа имеет некоторые особенности. В частности, из всех ответов только один является наиболее правильным и ему отвечает максимальная оценка. Среди других ответов есть частично правильные и абсолютно неправильные.

Поэтому необходимо осуществить преобразование оценок к 0,1 -шкале Абсолютно правильным является ответ, для которого viq 1.

Только в этом случае значения сложности i -го вопроса необходимо уменьшить. Рационально применить выражение для коррекции сложности вопросов с ответами типа «Да-Нет», поскольку правильным есть только один ответ. Выражение для коррекции будет таким:

где pi – значение сложности i -го вопроса, которое устанавj ливается после прохождения тестирования ( j 1) -го обучаемого, d j 1 – итоговая оценка за весь тест ( j 1) -го обучаемого. Очевидно, что в этом случае сложность вопросов уменьшается. Сложнее будет случай, когда преобразованное значение viq 0;1. Поскольку абсолютно правильный ответ не получен, то сложность вопросов необходимо увеличивать. Осуществим соответствующее преобразование по формуле где viq – значение, преобразованное по (5.22), которое отвечаИнтеллектуальное управление оцениванием знаний Рассмотрим вопросы третьего типа, то есть такие, для которых выбирается несколько ответов из многих. Соответствующие баллы такие же, как и в случае вопросов второго типа. При контроле знаний обучаемый может выбрать только правильные ответы ( vil 0), только неправильные ответы ( vil 0), или и такие, и другие.

Предположим, что ответы на i -й вопрос упорядочены по уменьшению баллов, т.е. vi ( vi 1, vi 2, viz, viz1,..., viki ), где vij 0. Таким образом, количество правильных ответов bp z, количество неправильных – bq ki z.

Если заданы только вопросы третьего типа, то оценка обучаемого определяется по формуле В формуле (5.26) второе слагаемое определяет штраф за выбор неправильных ответов. Коррекцию сложности вопросов третьего типа осуществим, исходя из таких соображений.

Абсолютно правильным будем считать ответ, соответствуюz i 1, m. В этом случае коррекцию осуществляем по формуле (5.24).

Если ответ не является абсолютно правильным, то возможны такие случаи:

1. Выбраны только варианты, отвечающие vil 0, т.е.

Глава 5. Элементы адаптивной технологии оценивания 2. Выбраны только варианты, для которых vil 0, т.е.

3. Выбраны варианты с правильными и неправильными ответами, т.е. l :vil 0 и q : vil 0.

Поскольку во всех трех случаях ответ не является абсолютно правильным, а возможно, является неправильным, сложность вопросов будет увеличена. Таким образом, в первом случае коррекция осуществляется по формуле Если указаны только неправильные ответы, то коррекцию выполним так:

Третий случай является универсальным и тогда коррекция происходит по формуле К четвертому типу принадлежат вопросы, ответами на которые являются числа. Обозначим ответ, который дает обучаемый – z, правильный ответ – z *. Для того, чтобы иметь возможность оценки ответа обучаемого, ЛПР указывает отрезок максимальной рациональной длины [a, b]. Абсолютно правильным является ответ z z*.

182 Интеллектуальное управление оцениванием знаний Если заданы только вопросы четвертого типа, то оценка обучаемого может быть определена по формуле Если на i -й вопрос ( j 1) -й обучаемый дал правильный ответ, то корректировка сложности i -го вопроса осуществляем по формуле (6.24). Если же zi zi*, то корректировку сложности вопросов выполняем так:

где zi – ответ ( j 1) -го обучаемого на i -й вопрос (число), i 1, m, j 1, n. Очевидно, что максимальная коррекция осуществляется в случае ответа, максимально отдаленного от условие чаще всего не выполняется в т.ч. и вследствие смещенности правильного ответа zi от середины отрезка [ ai,bi ]. Скорректируем формулу (5.30) и получим такое выражение:

В пятом случае ответом на вопрос является интервал.

Обозначим ответ обучаемого – [ z1,z2 ], правильный ответ – [ a,b ]. Тогда есть такие возможные варианты (рис. 5.3):

Глава 5. Элементы адаптивной технологии оценивания Рис. 5.3. Варианты возможных ответов – интервалы 5.3d);

Выше было указано, что определение уровня знаний и корректировки уровня сложности зависит от величин L([ z1, z2 ] [ a,b]) и L(([ z1, z2 ] [a, b]) /([ z1, z2 ] [a, b])), где L( A) – длина отрезка А.

Первый вариант указывает на абсолютно правильный ответ, второй – на абсолютно неправильный, третий, четвертый и пятый варианты определяют частично правильные ответы. Если заданы только вопросы пятого типа, то оценка обучаемого осуществляется по формуле j 1, n. Как и в предыдущих случаях, коррекция сложности вопросы для абсолютно правильного ответа ( j 1) -го обучаемого на i -й вопрос осуществляется по формуле (5.24). Для всех других вариантов ответов коррекция сложности вопроса осуществляется итеративно по формуле 184 Интеллектуальное управление оцениванием знаний Формула (5.34) является корректной, поскольку вследствие коррекции уровень сложности вопроса не превышает единицы. Кроме того, максимальный уровень коррекции будет отвечать случаю абсолютно неправильного ответа.

Для вопросов шестого типа ответами являются нечеткие множества с соответствующими функциями принадлежности. Как известно, чаще используются треугольные, трапециеподобные и гауссовские функции принадлежности, которые определяются некоторой совокупностью параметров.

Рассмотрим такие случаи детальнее.

1. Предположим, что функция принадлежности является симметричной и треугольной (рис. 5.4). Обозначим ее ( x ), max ( x) 1, где – область определения функции. Поx скольку ( x ) является симметричной, то она определяется двумя параметрами – c и a, где с является координатой проекции вершины треугольника на ось абсцисс, a – длина полстороны основания треугольника.

Пусть функция ( x) ( x, c,a) является правильным ответом, а обучаемый определил ответ ( x, c1,a1 ). Такие функции принадлежности ограничивают области – треугольники D и D1. Если заданы только вопросы шестого типа, то оценка обучаемого определяется по формуле j 1, n, где S () – площадь области. Так, для случая, изображенного на рис. 5.4с, оценка обучаемого будет такой:

Рис. 5.4. Варианты ответов – треугольные функции принадлежности На рис. 5.4а изображен вариант, который является абсолютно правильным ответом, и коррекцию сложности вопроса в этом случае осуществляем по формуле (5.24). Если ответ будет абсолютно неправильным (рис. 5.4b) или частично неправильным (рис. 5.4с–5.4f), то коррекцию выполняем по формуле:

186 Интеллектуальное управление оцениванием знаний Известно, что трапециеподобная функция принадлежности определяется пятью параметрами, т.е.

(x) (x, m, m,,, h) [75]. Если параметр высоты h имеет одинаковое значение и для ответа обучаемого, и для правильного ответа, то можно воспользовавшись формулами (5.24), (5.35) и (5.37). Если же высоты будут разными, то для определения оценки обучаемого и коррекции уровня сложности вопроса необходимо использовать дополнительные соображения и не исключено, что выполнять взвешенную дефаззификацию.

В отличие от вышерассмотренных функций, областью определения гауссовской функции принадлежности есть интервал [ ;) и она имеет два параметры, т.е.

(x) ( x, x, ). Площадь, ограниченная такими функциФормулы ями принадлежности, известна и равна (5.24), (5.35) и (5.37) для такого случая являются применимыми. Определенную сложность для анализа составляет случай, когда среднеквадратические отклонения, определяющие функции принадлежности ответов обучаемого и правильных ответов, значительно отличаются, поскольку тогда возникают проблемы определения площади сечения S ( D1 D).

В вопросах седьмого типа ответами являются слова или словосочетания. Для обучаемого предлагается выбрать один из нескольких вариантов. Правильность всех ответов определяется векторами vi ( vi 1, vi 2,..., vki ), где ki – количество ответов на i -й вопрос.

Среди всех ответов существует один ответ, такой, что vil 1, все другие q 1, 2,..., ki,q l. Если для q -го ответа viq 0, то это означает, что такой ответ синонимически или содержательно близок к l -му ответу, а балл viq указывает на меру близости. Пронормировав баллы так, чтобы выki ренной раньше (вопросы второго типа).

Глава 5. Элементы адаптивной технологии оценивания Последний тип вопросов – вопросы, ответами на которые являются предложения. В таком случае определение оценки обучаемого, как и коррекция сложности вопросов для современного уровня интеллектуализации и автоматизации процесса контроля знаний еще не может быть осуществлено. Тогда ЛПР выполняет эти процедуры лично. Результаты его оценивания обучаемого и коррекция сложности вопросов впредь считаются известными.

5.5. Модели контроля знаний с учетом критерия времени Значительное количество специалистов работает в критических условиях, особенностью которых является необходимость принятия решений за минимальное время, поскольку следствием неправильных и несвоевременных решений есть неспасенные человеческие жизни, значительный материальный ущерб, а в некоторых случаях экологические и техногенные катастрофы. Именно поэтому критерий минимизации времени принятия решений является одним из определяющих при установлении уровня профессиональной подготовленности. В вышеприведенных моделях единственным критерием является правильность ответа на вопрос.

Модифицируем их таким образом, чтобы в выводах относительно оценок специалистов при корректировке сложности вопросов учитывались два таких критерия.

Соответствующие выводы будут зависеть от следующих факторов:

– на вопрос получен правильный, неправильный или частично правильный ответ;

– ответ получен за отведенное время, с превышением лимита времени, не получен вообще;

– при оценивании не учитываются вопросы и ответы, если время превышено, или учитываются с применением функции штрафа.

Рассмотрим наипростейший вариант оценивания знаний. Пусть задаются все вопросы учебной дисциплины или некоторой темы, содержащиеся в базе данных. Ответы специалистов на них могут быть правильными или неправильИнтеллектуальное управление оцениванием знаний ными. Предположим, что ЛПР считает правильным не учитывать неправильные ответы и ответы, полученные с превышением временных ограничений. Тогда оценка знаний специалиста рассчитывается по такой формуле:

j 1, n, где t k – время ответа j -го специалиста на k -й воj прос, T k – максимально возможное время ответа на k -й вопрос.

Оценивание по формуле (5.38) не позволяет провести анализ структуры и последствий, неполученных за ограниченное время ответов. Поэтому, предлагается за полученные правильные ответы, но с превышением отведенного времени оценку знаний и умений специалиста уменьшать. Соответствующая формула со штрафной функцией будет такой:

j 1, n, где k k ( pk ) – коэффициент, который определяет величину штрафа за несвоевременный, но правильный ответ. Очевидно, что в случае правильного ответа, который получен с превышением временного ограничения, штраф должен быть тем большим, чем меньшей является сложность вопроса. Один из возможных вариантов: k k (1 pk ), где k – нормирующий коэффициент, значение которого априори определяется ЛПР. Для корректности коэффициента штрафа необходимым является выполнение неравенства Очевидно, что и коррекцию сложности вопросов необхоГлава 5. Элементы адаптивной технологии оценивания димо осуществлять, исходя из времени получения ответа.

Формулу (5.7) модифицируем к такому виду:

где Ti – нормативное время ответа на вопрос. Выше было показано, что в случае закрытого тестирования и правильного ответа сложность вопроса уменьшается и корректировка осуществляется по формуле (5.16). Если правильный ответ получен в отведенное время, то сложность вопроса уменьшится таким образом:

Другой случай имеет место, если ответ получен правильно, но с превышением временного лимита. В таком случае ЛПР необходимо определить приоритетность правильного ответа и его своевременного получения. Возможны два случая:

- сложность вопроса будет уменьшена (в некоторых случаях с учетом времени получения ответа), что отвечает более высокому приоритету правильности ответа и вопросам, где время играет второстепенную роль;

- сложность вопроса увеличится, что имеет место для вопросов, где время является главным фактором.

В первом случае корректировка сложности вопроса будет осуществляться по формуле:

где 1 – коэффициент уменьшения сложности.

Он определяется, исходя из того, что при увеличении времени ответа сложность вопроса уменьшается на меньшее значение. Предположим, что, задавая Ti, ЛПР не ограничивает обучаемого (в допустимых границах) во времени ответа или указывает максимальное время Tmax (время контроля знаний или для одного вопроса – время контроля знаний, разделенное на количество вопросов). Определение коэффициента 1 осуществляем, исходя из необходимости выИнтеллектуальное управление оцениванием знаний полнения ограничения: 1 (0,1). Если время на ответ счиtij 1 1, будет сведена к такой:

Если ЛПР ограничивает максимальное время ответа, то выражение для корректировки сложности вопроса приобретет вид Коэффициенты 1 в формулах (5.43) и (5.44) удовлетворяют вышеприведенным ограничениям, а сами формулы являются корректными.

Во втором случае сложность вопроса одновременно надо уменьшить, поскольку получен правильный ответ, и увеличить, вследствие превышения временного лимита его получения. С учетом таких аспектов базовая формула для корректировки сложности вопроса будет такой:

где 2 – коэффициент увеличения сложности вопроса. Его определение базируется на выполнении ограничений Кроме того, большее время ответа будет обуславливать увеличение сложности вопроса на большее значение. При Глава 5. Элементы адаптивной технологии оценивания (5.45) перепишем таким образом:

Если ЛПР ограничивает время ответа, задавая Tmax, то коэффициент 2 определяем, исходя из того, что при Рассмотрим случай, когда ответ является неправильным и полученным с превышением лимита времени. Тогда корректировку сложности вопроса осуществляем по формуле, аналогичной (5.21), с учетом времени ответа Очевидно, что чем большим есть время ожидания ответа, тем большим должно быть увеличение сложности вопроса. В таком случае неправильность ответа является более приоритетной, чем ее несвоевременность. Поэтому, для нормирующего коэффициента необходимым является выполнение 3 d (1 pi ), где – коэффициент, значения которого находим как решение неравенства 192 Интеллектуальное управление оцениванием знаний Тогда, при tij 3 0. Таким условиям удовлетворяет коэффициент сложности вопроса будет такой:

Если ЛПР задано Tmax, то, используя аналогичный вывод, получим такую формулу:

По полученным формулам (5.38)-(5.51) осуществляется корректировка сложности вопросов для случая, когда в процессе контроля знаний задаются все вопросы из базы данных, имеющие закрытый характер.

Рассмотрим вопросы второго типа и модели для оценивания знаний специалистов и корректировки сложности вопросов. Используя (5.23) и по аналогии с (5.38) оценка знаний специалиста за ответы на вопросы второго типа определяется таким образом:

Глава 5. Элементы адаптивной технологии оценивания Если на вопросы получен правильный ответ в отведенное время или с превышением временного лимита, то корректировка сложности для вопросов всех типов осуществляется по формулам (5.40)-(5.47).

В случае неправильного ответа на вопросы второго типа и превышения отведенного лимита времени его получения корректировку осуществляем с учетом (5.26) и (5.48) по такой формуле:

Коэффициент 4 определяется аналогично коэффициенту 3 из (5.47). При этом должно выполняться неравенство коэффициент, значение которого находим, решая неравенство при tij Ti 4 0. Используя способ определения 3, получим выражение для определения коэффициента 194 Интеллектуальное управление оцениванием знаний и формулы для корректировки сложности вопроса, если максимальное время ответа на вопрос не задано или задано ЛПР, соответственно, Ответы на вопросы третьего типа оцениваются по формуле Аналогично осуществляется вывод формул для корректировки сложности вопросов третьего типа. Ниже приведены выражения, которые соответствуют случаю выбора правильных и неправильных ответов типа (5.30) Глава 5. Элементы адаптивной технологии оценивания Формулы для оценивания ответов на вопросы других типов и корректировки сложности вопросов получаем аналогично вышеприведенным.

В частности, корректировку сложности вопросов четвертого типа осуществляем так:

где Другие формулы не приводим из-за их громоздкости.