МЕТОДИЧЕСКОЕ

ПОСОБИЕ

«Адаптивное компьютерное тестирование»

разработано Центром образовательных коммуникаций и тестирования

профессионального образования г.Москва

2

СОДЕРЖАНИЕ

1 Компьютерное адаптивное тестирование

1.1 Обоснование необходимости перехода к компьютерному адаптивному тестированию

1.2 Разделение процесса тестирования на 2 этапа

2 Порядок разработки тестов

3 Особенности АСТ

3.1 Требования к структуре Банка тестовых заданий (БТЗ)

3.1.1 Пример 1

3.1.2 Пример 2

3.2 Формы Заданий, поддерживаемые АСТ

3.2.1 Задание открытой формы

3.2.2 Задание закрытой формы

3.2.3 Установить соответствие

3.2.4 Установить правильную последовательность

3.3 Воспроизведение на экране заданий и способы ответа на них

3.3.1 Общие положения

3.3.2 Задание закрытой формы

3.3.3 Задание открытой формы

3.3.4 Задание на установление соответствия

3.3.5 Задание на установление порядка

3.4 Технология тестирования В АСТ

4 Рекомендации по разработке тестовых заданий

4.1 Основные принципы составления заданий.

4.2 Наиболее часто встречающиеся ошибки в построении заданий

4.2.1 Формулировка заданий в форме вопроса

4.2.2 В дистракторах присутствуют повторяющиеся слова или словосочетания...... 4.2.3 Дистракторы содержат подсказки

4.2.4 Наличие слов «любое», «и то и другое», «ОБА» в качестве дистракторов....... 4.2.5 Многословность и сложность изложения

4.2.6 Формулировка задания не соответствует его форме

4.2.7 Один из дистракторов сильно отличается от других

5 Требования к оформлению материала:

5.1 Содержательная часть

5.1.1 Описательная часть

5.1.2 Тестовые задания

5.1.3 Перечень тестов, формируемых на основе представленного тестового материала ……………………………………………………………………………………… 6 Подготовка материала в WinWord

6.1 Структура заданий

6.1.1 Открытая формы заданий

6.1.2 Закрытая форма заданий

6.1.3 Установление правильной последовательности

6.1.4 Установление соответствия

6.2 Правила оформления заданий

6.2.1 Общие для все форм

6.2.2 Открытая формы заданий

6.2.3 Закрытая форма заданий

6.2.4 Задание на установление порядка

6.2.5 Задание на соответствие

6.3 Примеры оформления

6.3.1 Пример 1

6.3.2 Пример 2

6.3.3 Пример 3

1 КОМПЬЮТЕРНОЕ АДАПТИВНОЕ ТЕСТИРОВАНИЕ

1.1 ОБОСНОВАНИЕ НЕОБХОДИМОСТИ ПЕРЕХОДА К КОМПЬЮТЕРНОМУ

АДАПТИВНОМУ ТЕСТИРОВАНИЮ

Контроль уровня учебных достижений студентов основан на дидактических измерениях. В традиционном понимании дидактическое измерение есть ни что иное, как анализ и преобразование преподавателями ответов экзаменующихся на задачи или вопросы различной меры трудности. В смысловом отношении результат измерений содержит оценку (традиционно отметку) совокупности ответов студентов, которая отображается на шкалу отдельного преподавателя. Поскольку каждый преподаватель имеет собственную шкалу оценивания, измерения такого рода будут всегда субъективными. Для устранения субъективизма дидактических измерений иногда прибегают к групповому контролю, когда уровень учебных достижений студента оценивается сразу несколькими преподавателями, а отметка формируется экспертным путем. Это в определенной степени повышает объективность оценивания, но приводит к резкому возрастанию учебной нагрузки профессорско-преподавательского состава института. Более того, даже при экспертном подходе к проверкам достижений невозможно избежать ошибок, которые связаны с ограниченным числом вопросов, предъявляемых экзаменующемуся. В результате субъективизма и ограниченного числа вопросов ошибка в установлении уровня учебных достижений на экзамене достигает 38%.

Следующим этапом повышения эффективности дидактических измерений явился переход к тестированию – «бумажному», «аппаратному», «компьютерному». Каждый из этих способов обладает как своими достоинствами, так и недостатками, но основной целью любого из этих способов является получение оценки уровня достижений студента с заданной верностью или точностью. Точность полученной в результате тестирования оценки можно достигнуть за счет повышения информативности (различающей мощности) всех заданий теста или увеличения количества заданий, перекрывающие все допустимые уровни подготовки тестируемых. Повышение информативности теста – путь наиболее эффективный и реализуется за счет внедрения адаптивных процедур тестирования.

Наверное, нет необходимости доказывать преимущество компьютерного тестирования, однако отметим некоторые моменты:

оценивание результатов тестирования осуществляется мгновенно, автоматически фиксируется и сохраняется на длительное время;

возможность формирования достаточно большого количества вариантов теста, которое ограничено лишь размером банка тестовых заданий;

возможность реализации удобных процедур ввода, модификации тестовых материалов;

возможность формирования тестов, различных по уровню обученности испытуемых;

возможность управления как содержимым теста, так и стратегией проверок в ходе тестирования;

отсутствует необходимость в бумажных носителях и листах ответа. Это скорее важно не с точки зрения экономии средств (бумага, множительная техника, подготовленный персонал, технические средства сканирования листов ответа, программное обеспечение для сканирования и распознавания результатов, занесение результатов для дальнейшей обработки и хранения), а скорее – обеспечения секретности (надежности, безопасности), так как подготовка бумажных вариантов теста требует достаточно большого времени и доступа определенного количества обслуживающего персонала, что может служит утечкой информации до начала процесса тестирования;

нет необходимости в синхронизации процесса тестирования для группы испытуемых.

Каждый тестируемый выбирает самостоятельный темп работы с тестом;

при компьютерном тестировании легко ввести временные ограничения или временное отслеживание процесса тестирования, что трудно осуществимо при бумажном тестировании; это позволяет учитывать психомоторные аспекты тестируемого.

использование мультимедийных компонент и графических изображений высокого качества (объем, цвет) доступные при компьютерном тестировании обеспечивает правильное и быстрое восприятия содержания задания, а с психологической точки зрения снимает напряжение с тестируемого;

повышается эффективность тестирования: уменьшается время тестирования (до 50% по сравнению с бумажной формой тестирования) для достижения того же уровня надежности оценивания, что ведет к уменьшению усталости тестируемого во время сеанса тестирования, что также является важным показателем в результатах тестируемых.

Необходимо отметить, что все вышеперечисленные преимущества достижимы лишь при правильной организации технологии компьютерного тестирования и наличия программных средств, их реализующих. В настоящее время еще активно используются программные оболочки, которые не могут обеспечить всех указанных преимуществ.

Адаптивное тестирование применялось и для технологий бумажного тестирования, однако активное развитие оно получило с широким внедрением компьютерного тестирования.

Необходимо отметить, что существуют различные алгоритмы и технологии КАТ, в дальнейшем мы ориентируемся на продвинутые технологии КАТ.

Основной особенностью КАТ является то, что тестовая последовательность формируются в процессе тестирования в соответствии с уровнем достижений каждого конкретного индивида, динамически оцениваемого (а в лучшем случае и прогнозируемого) в процессе, а не по окончании тестирования. В результате можно говорить о том, что:

каждый конкретный тест уникален и не был ранее опубликован, что также повышает его секретность (и надежность);

эффективность КАТ выше обычного компьютерного тестирования, так как трудность предъявляемых заданий стремиться соответствовать уровню достижений тестируемого, следовательно, повышается информативность теста и быстрее достигается заданная точность оценивания результата, что также может сократить длительность теста;

КАТ позволяет распознавать не только испытуемых со средним уровнем достижений, но и дает возможность выявить наиболее яркие, выдающиеся личности.

Перечисленные достоинства КАТ в совокупности с преимуществами вообще компьютерного тестирования обуславливают обоснованность перехода к КАТ для оценки уровня учебных достижений студентов.

Следует отметить некоторые ограничения использования КАТ:

Технические параметры компьютеров могут ограничивать возможности:

o реализации алгоритмов адаптивного тестирования, o формирования и ведения большого объема банка тестовых заданий, на основе o реализации форм, графических и мультимедийных компонент тестовых КАТ требует точной калибровки заданий по мере трудности. Для каждого индивида формируется индивидуальный тест, состоящий их некоторого множества заданий, являющимся подмножеством всего банка тестовых заданий. Получаемые каждым тестируемым оценки сильно зависят от точности оценивания характеристик каждого задания, ему предъявленного. Поэтому для получения как можно более точных характеристик заданий необходимы большие выборки – Тест должны пройти от до 2000 испытуемых. Поэтому использование КАТ иногда недопустимо для локально разрабатываемых тестов.

Слабая оснащенность компьютерной техникой и локальными сетями является преградой для развития КАТ. Использовать КАТ как стандартную практику возможно в организациях (учебных заведениях), обладающих достаточным парком компьютерной техники и возможностью сбора достаточно большого объема статистики или возможностью приобретения такого банка для использования

1.2 РАЗДЕЛЕНИЕ ПРОЦЕССА ТЕСТИРОВАНИЯ НА 2 ЭТАПА

В соответствии с концепцией, предложенной проф.В.Васильевым, процедура оценивания уровня учебных достижений осуществляется в два этапа.

На первом этапе в результате тестирования происходит разделение испытуемых на классы, т.е. определяется класс обученности (образ) каждого студента. Этот этап носит название классификации. Количество классов обычно равно 3, в соответствии с полученными оценками: «удовлетворительно», «хорошо», «отлично». Студенты, не попавшие ни в один из классов, получают оценку «неудовлетворительно». Здесь тестируемым предъявляются тестовые задания различной меры трудности и осуществляется структурная адаптация тестирующих воздействий. В зависимости от принятой в учебном заведении системы оценивания количество классов может быть другим. Но при этом необходимо отметить, что с увеличением количества классов понижается точность оценивания. На этапе классификации устанавливается исходный уровень обученности каждого образа.

На втором этапе – рациональной аттестации - вычисляется действительный уровень учебных достижений студента, т.е. происходит уточнение состояния обученности студента.

В процессе тестирования на данном этапе испытуемому предъявляются только те задания, которые соответствуют его исходному уровню знаний, полученному в результате классификации (на первом этапе).

В результате разделения процесса тестирования на два этапа повышается верность оценивания.

Рекомендуется эти два этапа разносить во времени, так как известно, что с увеличением времени работы (а для испытуемого тестирование пока еще остается работой в экстремальных условиях с повышенной психоэмоциональной нагрузкой) у тестируемого накапливается усталость, обуславливающая появление ошибок и как следствие, снижается верность оценивания уровня учебных достижений.

Еще одним преимущество такого подхода к организации процесса тестирования заключается в том, что при использовании адаптивных алгоритмов тестирования точнее достигается заданная валидность теста. Большинство алгоритмов КАТ основываются на IRT-теории, которая допускает, что вся информация, необходимая для отбора заданий, представлена от одного до трех параметров, описывающих трудность задания для индивидов с различными уровнями достижений. В некоторых случаях при адаптивном тестировании не уделяется должного внимания ровному (включения заданий всех уровней трудностей) прохождению по всем темам или умениям. Устранить этот недостаток КАТ позволяет разбиение процесса тестирования на два этапа.

Существенными отличительными чертами компьютерного адаптивного тестирования (КАТ) являются: идеализация объекта измерений (студента) с представлением его в виде некоторой математической модели (Раша или Бернбаума) и оценка числовых значений параметров этой модели. При дидактических измерениях уровня достижений следует различать три вида ошибок: ошибку моделирования объекта, ошибку обработки заключений тестируемого на требование тестовых заданий, ошибки при установлении экспертами меры трудности тестовых заданий.

Ошибки моделирования объекта измерений состоят в том, что принимаемая модель неполностью отображает состояние обученности тестируемого. Мы будем полагать, что принятая в системе КАТ модель Раша полностью описывает процесс оценивания уровня достижений.

Ошибки, допускаемые при конструировании тестовых заданий преподавателями должны быть устранены экспертами на этапе сертификации и также исключаются нами из рассмотрения. Заметим, что в системе КАТ этот вид ошибок автоматически корректируется системой в процессе параметрической адаптации (на этапе рациональной аттестации).

Ошибки, порождаемые поведением тестируемых, присутствуют во всех видах дидактических измерений, носят случайный характер и делятся на две категории:

нормальные и аномальные. Нормальные ошибки возникают под воздействием на тестируемого многих факторов, а их распределение в силу действия предельной теоремы для сумм близко к нормальному. Следует помнить, что в соответствии с теорией IRT мера трудности тестовых заданий должна соответствовать уровню обученности тестируемого. В противном случае возникают аномальные ошибки, которые могут принимать большие значения и искажать результаты тестовых испытаний.

Для исключения аномальных ошибок в системах КАТ применяются структурная адаптация, когда мера трудности тестирующих воздействий приспосабливается системой к качеству заключений каждого объекта. При этом в тестирующей системе формируется модель конкретного объекта, которая и характеризует исходный уровень достижений индивида. Это и есть этап классификации объектов, когда каждый из них относится системой КАТ к заданному образу (отличников, хорошистов, троечников).

На этапе классификации тесты формируются из тестовых заданий различной меры трудности (допускается использование не только адаптивных алгоритмов, но и апробированных тестов, формируемых в строгой последовательности заданий, случайным образом, по возрастанию меры трудности), а число предъявляемых тестовых заданий должно быть не менее 100. Задания должны проектироваться в виде кратких суждений, причем среднее время формирования тестируемым заключения на одно тестовое утверждение не должно превышать 1,5 минут. Оценка достижений тестируемого отображается на 100бальной шкале.

Процедура классификации соответствует проведению текущих (модульных, рубежных) проверок и может осуществляться в локальной или глобальной вычислительной сети без участия преподавателя. При использовании адаптивных алгоритмов испытуемый работает в свободном режиме со свойственной только ему траекторией построения собственной модели (исходного класса обученности).

Второй этап тестовых испытаний (рациональная аттестация) необходим для установления действительного уровня учебных достижений каждого конкретного испытуемого.

Поскольку исходный уровень обученности был установлен на первом этапе тестовых проверок, система будет предъявлять испытуемому тестовые задания, мера трудности которых строго соответствует его уровню обученности. Этот этап соответствует процедуре проведения промежуточных проверок – семестровых экзаменов. Число заданий в тесте для испытуемого с различным исходным уровнем обученности должно быть не менее 80. Оценка достижений испытуемого отображается на 100-бальной шкале. Верность полученной оценки при выполнении указанных выше условий составит величину 0,85. Для увеличения верности отображения состояния обученности испытуемого необходимо увеличивать число заданий в тесте.

Рациональная аттестация испытуемых проводится в локальной вычислительной сети в присутствии преподавателя или администратора или лаборанта.

Шкала оценивания устанавливается априорно и не изменяется в течение учебного года. Это позволяет объективно сравнивать уровень учебных достижений студентов на различных факультетах или в различных группах.

После проведения текущей и промежуточной проверок результаты тестовых испытаний выводятся на печать. Ошибочные заключения каждого тестируемого на требования тестовых заданий хранятся в системе КАТ не менее пяти лет.

2 ПОРЯДОК РАЗРАБОТКИ ТЕСТОВ

1. Формулировка цели создания теста и выбор результата проверки (на какой стадии педагогического контроля будет использоваться, будет основным средством контроля или вспомогательным, каков уровень освоения информации будет оцениваться, необходимость тестирования интеллектуального фона и т.д.).

Организационные мероприятия:

Принятие решения о создании программно-дидактических тестов по конкретному курсу обучения, отдельно взятой дисциплине. В решении Ученого Совета института должна быть зафиксирована информация: цели создания семейства тестов, курс Создание авторского коллектива по разработке тестовых материалов.

В том случае, когда в составе авторского коллектива отсутствуют специалисты, знакомые с основами компьютерного тестирования, необходимо организовать курсы по обучению участников авторского коллектива основам составления тестов и тестовых заданий.

Создание Экспертной комиссии по оценке качества тестовых материалов. В состав комиссии должны входит профессионалы предметной области.

2. Структурирование учебного материала в соответствии с поставленными целями тестирования.

3. Разработка спецификации банка тестовых заданий.

4. Разработка авторским коллективом тестовых заданий (или подбор материала из готовых заданий). Количество разрабатываемых заданий должно превышать предполагаемую длину теста (планируемое количество заданий в тесте) как минимум в 10 раз. При проектировании заданий необходимо учитывать равномерное распределение заданий по структуре, трудности и важности материала.

5. Разработка композиции теста и оценка его валидности.

6. Экспертиза теста и тестовых заданий. Выработка рекомендаций по доработке тестовых материалов или принятие решения о готовности тестовых материалов для дальнейшей работы (ввода заданий в автоматизированный банк данных).

7. Формирование и заполнение банка тестовых заданий.

8. Тщательная проверка правильности ввода информации. При необходимости выполнить коррекцию.

9. Задание параметров генерации теста, исходя из целей тестирования. На основе одного банка тестовых заданий может быть сформировано несколько тестов, отличающихся не только составом заданий, но и параметрами тестирования (временные ограничения, длина теста, способ оценивания результата, включение материала различной направленности и т.д.). Задать предварительную шкалу оценивания.

10. Экспериментальная проверка теста и анализ результатов тестирования с целью предварительной оценки качества заданий и коррекции шкалы оценивания результатов тестирования. Экспериментальное тестирование рекомендуется проводить на среднестатистической (по уровню успеваемости) группе студентов.

11. На основании результатов экспериментального тестирования выполнить:

модификацию заданий (коррекция содержательной части задания);

изменить (если возникает необходимсоть) шкалу оценивания;

коррекцию параметров генерации теста.

12. Сертификация тестовых материалов

3 ОСОБЕННОСТИ АСТ

Банк тестовых заданий может быть структурирован по нескольким критериям:

Принадлежность к теме По признаку проверяемых знаний.

3.1 ТРЕБОВАНИЯ К СТРУКТУРЕ БАНКА ТЕСТОВЫХ ЗАДАНИЙ (БТЗ)

БТЗ должен быть структурирован по тематике. Структура БТЗ может быть многоуровневой. Каждое тестовое задание может иметь маркировку только одного элемента каждого уровня структуры.

Тематическая структура БТЗ должна строго соответствовать своему назначению и отвечать заданной величине содержательной валидности.

3.1.1 Пример 1.

Английский язык 1. Grammer 1.1 Глагол to be 1.2 глагол have 1.3 глагол do 1.4 Местоимения (притяжательные и личные в объектном падеже.

1.5 Вопросительные предложения и способы ответа на них.

1.6 Безличные предложения 1.7 местоимения some, any и их производные.

1.8 способы выражения отрицания 1.9 Степени сравнения прилагательных 1.10 Построение отрицательных предложений 1.11 построение вопросительных предложений.

2. Vocabluary 2.1 подбор английских лексических соответствий русским словам 2.2 подбор русских лексических соответствий английским словам 2.3 подбор нужного лексического элемента в контексте 2.4 выбор соответствующего предлога в контексте 3.1.2 Пример 2.

Физика I. Молекулярная физика. Тепловые явления I.1. Основы молекулярно-кинетической теории I.2. Тепловые явления I.3. Жидкости и твердые тела II. Основы электродинамики II.1. Электростатика II.2. Законы постоянного тока II.3. Магнитное поле. Электромагнитная индукция III. Колебания и волны III.1. Механические колебания и волны III.2. Электромагнитные колебания и волны III.4. Элементы специальной теории относительности IV. Квантовая физика IV.1. Световые кванты IV.2. Атом и атомное ядро

3.2 ФОРМЫ ЗАДАНИЙ, ПОДДЕРЖИВАЕМЫЕ АСТ

В тестовом материале должны присутствовать задания всех форм (открытой, закрытой- с одним или нескольким выбором, на соответствие, на установление порядка) Тестовое задание должно быть сформулировано и представлено в определенной форме.

Системой поддерживается четыре формы тестовых заданий. Используемая форма тестового задания определяется содержанием учебного материала.

Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения. Инструкции по вводу тестируемым заключения на требования ПДТЗ должны визуализироваться только при специальном вызове (нажатии одной или комбинации нескольких клавиш).

Элементы тестового задания могут содержать текст, формулы, графические изображения, мультимедийные компоненты.

Обязательно соблюдение единого стиля оформления заданий, входящих в один тест. На экране во время предъявления заданий из теста не должно присутствовать никаких графических и мультимедийных элементов, не имеющих прямого отношения к пониманию содержания тестового задания.

3.2.1 Задание открытой формы Требует сформулированного самим обучаемым ответа. Имеет вид неполного утверждения, в котором отсутствует один элемент. Обычно тестируемый подставляет число или слово (возможно устойчивое словосочетание, состоящее не более чем из двух слов). Требование к данному тесту - четкая формулировка задания, требующая однозначного ответа.

3.2.2 Задание закрытой формы Выбрать ответ из предложенных. Состоит из неполного утверждения с одной вакансией и множества элементов, один или несколько из которых являются правильными заключениями (ответ). Испытуемый определяет правильный ответ из данного множества. Чтобы уменьшить угадывание, количество элементов в предлагаемом множестве должно превышать количество верных (желательно на 3 или 4).

3.2.3 Установить соответствие Выбрать из двух приведенных множеств объектов пары. Имеет вид двух групп элементов.

Испытуемый должен связать каждый элемент первой группы с одним элементом из второй группы. Рекомендуется дополнить вторую группу несколькими однотипными элементами, несвязанными с первой группой.

3.2.4 Установить правильную последовательность словосочетания, предложения, формулы, рисунки и т.д.). Дано множество неупорядоченных объектов, необходимо установить их верную последовательность.

3.3 ВОСПРОИЗВЕДЕНИЕ НА ЭКРАНЕ ЗАДАНИЙ И СПОСОБЫ ОТВЕТА НА НИХ

Обязательно соблюдение единого стиля оформления заданий, входящих в один тест. На экране во время предъявления заданий из теста не должно присутствовать никаких графических и мультимедийных элементов, не имеющих прямого отношения к пониманию содержания тестового задания.

3.3.1 Общие положения Во время тестирования на экране монитора располагается только одно тестовое задание. Все элементы задания одновременно отображаются на экране монитора.

Форма задания узнаваема и не требует дополнительных пояснений по способу ввода тестируемым заключения. Инструкции по вводу тестируемым ответа визуализируются при нажатии изображения подсказки в крайнем левом нижнем углу экрана.

Способ ввода ответа прост и удобен. Введенный тестируемым ответ отображается на экране монитора и понятен тестируемому.

Элементы тестового задания могут содержать текст, формулы, графические изображения, мультимедийные компоненты. Аудио компоненты и видеофрагменты при визуализации тестового задания представляются в виде условного общепринятого и понятного тестируемому графического символа и активизируются тестируемым щелчком мыши.

Количество активаций аудио и видеофрагментов может быть ограничено автором теста при создании тестового задания.

3.3.2 Задание закрытой формы Система поддерживает задания: выбор одного правильного ответа, выбор нескольких правильных ответов.

При каждом предъявлении тестового задания порядок расположения элементов из множества допустимых ответов изменяется. Элементы группы не маркируются С левой стороны каждого элемента из множества допустимых ответов располагается графическое изображение логического идентификатора, состояние которого тестируемый изменяет при выборе ответа щелчком мыши. Индикация выбора одного или нескольких элементов из множества ответов осуществляется изменением состояния логических идентификаторов, располагаемых перед выбранным (выбранными) ответом (ответами).

3.3.3 Задание открытой формы В задании открытой формы отсутствует один ключевой элемент. В качестве одного ключевого элемента может быть число, слово или словосочетание. На месте ключевого элемента при визуализации задания система проставляет многоточие. Вводимые значения отображаются на экране на месте многоточия и/или в специальном поле, расположенном в нижней части экрана под заданием.

3.3.4 Задание на установление соответствия Задание должно состоять из двух групп элементов и формулировки критерия выбора соответствия. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы). При каждом предъявлении порядок следования элементов группы изменяется. Количество элементов в группах может быть различным. Максимально допустимое количество элементов в одной группе равно 7.

Элементы первой группы маркируются в порядке их представления. Маркировка второй группы осуществляется автоматически тестирующей программой на основе действий испытуемого. До тех пор, пока испытуемый не пометить все пары задания, клавиша «Готово» будет недоступной.

1. Максимально допустимое количество пар (включая неполные) не должно превышать 2. Количество полных пар должно быть не менее двух 3. Количество неполных пар не должно составлять более 50 от общего числа пар 3.3.5 Задание на установление порядка При каждом предъявлении тестового задания порядок расположения элементов задания должен изменяться. Элементы не маркируются, могут располагаться как вертикально, так и горизонтально.

Для ввода ответа используется технология последовательной пометки щелчком мыши каждого элемента, при этом у элемента автоматически визуализируется номер, соответствующий порядку пометки. Порядок пометки можно отменить с любого пункта до нажатия клавиши «Готово». До тех пор, пока испытуемый не пометить все пары задания, клавиша «Готово» будет недоступной.

3.4 ТЕХНОЛОГИЯ ТЕСТИРОВАНИЯ В АСТ

С точки зрения технологии проведения сеансов тестирования АСТ обеспечивает тестируемому следующие возможности:

неоднократно пропускать задание; пропущенное задание вновь предъявляется тестируемому после предъявления всех последующих в тесте заданий; если время, отведенное на тест, закончилось, то все пропущенные задания засчитываются как задания с неверными ответами;

исправлять введенное значение до момента подтверждения окончания ввода ответа;

подтвердить окончание ввода ответа; после подтверждения окончания ввода ответа, задание вновь не предъявляется и исправить введенный ответ невозможно;

самостоятельно устанавливать параметры информационного освещения процесса тестирования: отображение длительности (или оставшегося времени) тестирования, количества предъявленных (или оставшихся для предъявления) заданий;

по окончании тестирования немедленно просмотреть результат: полученную оценку, длительность тестирования, общее количество заданий в тесте, количество предъявленных заданий, количество заданий с верными и неверными ответами.

в любой момент вызвать на экран монитора инструкцию по способу ввода ответа.

Инструкция отображает информацию о способе ввода ответа на задание именно и только той формы, которая представлена в данный момент на экране дисплея.

4 РЕКОМЕНДАЦИИ ПО РАЗРАБОТКЕ ТЕСТОВЫХ ЗАДАНИЙ

4.1 ОСНОВНЫЕ ПРИНЦИПЫ СОСТАВЛЕНИЯ ЗАДАНИЙ.

ПДТЗ должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность.

Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией. В тексте задания исключаются повторы и двойное Используйте задания с однозначными ответами. В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.

В тексте тестового задания не должно быть сленга (исключая случая составления теста специально для целей, связанных со знанием этих слов).

Следует избегать обобщающих слов, таких как: «всегда», «иногда», «никогда».

Формулировка тестового задания не должна начинаться с предлога, частицы, союза.

Избегайте использования очевидных, тривиальных формулировок при составлении тестовых заданий. Проверяйте, чтобы каждое ТЗ имело отношение к конкретному факту, принципу, умению, знанию, т.е. обладало достаточной важностью для включения в тест. Все тестовые задания должны быть связаны с целями обучения Избегайте потери времени. Этого можно достичь следующими способами:

o Используйте в тесте только столько ТЗ, сколько необходимо для достижения всех целей тестирования. Т.е. при тестировании вашей целью должно являться не количество тестовых заданий, а отражение всех целей тестирования.

o Не пытайтесь “обхитрить” студента любым путём. Исключайте ТЗ и ответы (в закрытой форме, например), если их можно оценить, как “обманные”.

o Тщательно продумывайте формулировку ТЗ, чтобы избежать дублирования o В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы.

Избегайте взаимосвязанных заданий, где содержание одного задания подсказывает Избегайте непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:

o Ассоциативные слова и определения (например, в ТЗ закрытой формы использование одинаковых жаргонных фраз или слов в формулировке ТЗ и в o Систематическое повторение некоторых черт правильного ответа. (например, в ТЗ закрытой формы правильным чаще является ответ наиболее длинным по При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.

Задания на установление соответствия:

o Задание необходимо сформулировать так, чтобы все содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора справа (внизу экрана).Для каждого столбца желательно ввести определенное название, обобщающее все элементы столбца.

o Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца;

В задании на установление правильной последовательности четко формулируется критерий упорядочивания. Необходимо использовать такие слова

4.2 НАИБОЛЕЕ ЧАСТО ВСТРЕЧАЮЩИЕСЯ ОШИБКИ В ПОСТРОЕНИИ ЗАДАНИЙ

4.2.1 Формулировка заданий в форме вопроса.

Что содержится в файле с расширением obj? Файл с расширением obj содержит:

4.2.2 В дистракторах присутствуют повторяющиеся слова или словосочетания Из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст заданий а) в локальных сетях со б) в локальных сетях с шинной в) в локальных сетях с смешанной топологией.

В каком многопрограммном режиме Диалоговые системы функционируют в работы функционируют так называемые режиме … а) в режиме пакетной обработки; разделения времени б) в режиме разделения времени; реального времени в) в режиме реального времени.

Нарушение целостности базы данных Нарушение целостности базы данных может может возникнуть при выполнении: возникнуть при выполнении операций:

1. корректирующих операций корректирующих Средняя плотность населения Москвы Средняя плотность населения Москвы (тыс.чел./кв.км.) находится в пределах.... находится в пределах... тыс.чел./кв.км.

5-6 тыс.чел./кв.км 7-8 тыс.чел./кв.км 9-10 тыс.чел./кв.км 11-12 тыс.чел./кв.км 4.2.3 Дистракторы содержат подсказки Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.) Как было неправильно:

Поименованная совокупность взаимосвязанных данных, находящихся под управлением СУБД называется ….

Ответ: База данных а) процессор, память, внешние устройства; процессор б) системный блок, дисплей, принтер, в) комплекс технических и программных дисплей 1.Знание того, что системный блок является неотъемлемой частью ПК определяет правильный выбор 2. Второй подсказкой является неоднородность дистракторов: внешние устройства – обобщающее название и принтер – частный случай внешних устройств.

3. Задание все-таки для школьников, а не остаточные знания студентов 4.2.4 Наличие слов «любое», «и то и другое», «ОБА» в качестве дистракторов Схему обработки данных можно изобразить Схему обработки данных можно изобразить Правильный ответ - «иллюстративной графики». Трудно понять, что означает слово «любое» (особенно при перемешивании элементов в группе допустимых ответов).

Происходит умышленное «сбивание с толку», задание можно считать «обманным».

4.2.5 Многословность и сложность изложения.

Выберите из перечисленных ниже Системами типа OLAP являются хранимые характеристик те, которые относятся к данные:

1. оперативные 2. охватывающие большой период времени, 3. детализированные 4. агрегированные 4.2.6 Формулировка задания не соответствует его форме Отношение имеет несколько вероятных Отношение имеет один простой вероятный ключей и несколько не ключевых атрибутов. ключ, несколько составных вероятных Один из вероятных ключей - простой, остальные - составные. При данных условиях гарантированно Укажите максимальную НФ, про которую гарантированно можно сказать, что она соблюдается при данных условиях. Ответ: 1, первая Выбрать один из следующих вариантов ответов:

Ответ: Формулировка задания ориентирована на закрытую форму, а ввод ответа ориентирован на открытую форму задания.

Как было неправильно:

Расставьте этапы проектирования баз данных Последовательность этапов проектирования 2. инфологическое или концептуальное даталогическое Ответ: 2-1- Формулировка задания ориентирована задание на соответствие, а ввод ответа предусматривает открытую форму задания.

Система автоматически их перемешает. А ввод ответа осуществляется «прощелкиванием» элементов в нужной последовательности 4.2.7 Один из дистракторов сильно отличается от других К какому поколению языковых средств Генераторы экранных форм относятся к … относятся генераторы экранных форм: поколению языковых средств 6. это вообще не языковое средство Вариант ответа №6 отличается от остальных.

для вариантов ответов используются целые числа. В этом случае лучше использовать открытую форму заданий.

5 ТРЕБОВАНИЯ К ОФОРМЛЕНИЮ МАТЕРИАЛА:

Тестовые материалы передаются в Центр компьютерного тестирования в электронном и распечатанном виде. Твердая бумажная копия должна быть обязательно подписана всеми авторами тестового материала с указанием даты составления и передачи, листы скреплены и пронумерованы.

Содержание материала, независимо от вида его представления, должно быть оформлено по соответствующим правилам.

Тестовые материалы условно можно разделить на три части:

Описание структуры материала (см. Информационная карта ПДТМ) Описание тестовых заданий Описание тестов.

5.1 СОДЕРЖАТЕЛЬНАЯ ЧАСТЬ 5.1.1 Описательная часть (*-необязательный):

Наименование дисциплины семестры обучения перечисляются через запятую структура тестового материала многоуровневый список 5.1.2 Тестовые задания Тестовые задания (ТЗ) должны быть расположены в соответствии со структурой материала, пронумерованы и содержать следующую информацию (*-необязательный):

*Имя ТЗ *принадлежность к ядру знаний *ограничение времени заключения в мин., значение 0 соответствует тому, что при Непосредственно содержание задания с указанием верного заключения В тестовом материале должны присутствовать задания всех форм (открытой, закрытой- с одним или нескольким выбором, на соответствие, на установление порядка) 5.1.3 Перечень тестов, формируемых на основе представленного тестового (*-необязательный):

Наименование теста Область использования Специальности, группы, семестры обучения Ограничение теста по времени Содержание теста Перечисление разделов структуры тестового Допустимость использования справочных материалов, учебников, вспомогательных программ *информация во время Количество заданий, длительность тестирования, тестирования результат ответа на задание, итоговый результат Правильные ответы помечать сразу же по тексту материала, после задания или в теле задания, а не в отдельном файле. Перемешивание элементов задания осуществляется автоматически системой Если используются пронумерованнные ссылки на разделы, то обязательно должен быть список этих разделов с той же самой нумерацией.

6 ПОДГОТОВКА МАТЕРИАЛА В WINWORD

6.1 СТРУКТУРА ЗАДАНИЙ 6.1.1 Открытая формы заданий Компоненты задания Формулировка задания Содержание задания.

Эталонные заключения (ответы) – все допустимые заключения, которые являются правильными.

6.1.2 Закрытая форма заданий Компоненты задания:

Формулировка задания Содержание задания.

Группа заключений (ответов), среди которых обязательно есть один или несколько верных. Количество верных обязательно меньше количества всех заключений (желательно более чем в 2 раза) 6.1.3 Установление правильной последовательности Компоненты задания:

Формулировка задания Группа элементов для упорядочения Ф ормулиро вка зада ния гр уппа элементов для упо рядочени я 6.1.4 Установление соответствия Компоненты задания:

Формулировка задания 1-ая группа элементов 2-ая группа элементов

6.2 ПРАВИЛА ОФОРМЛЕНИЯ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ

6.2.1 Оформление структуры тестовых заданий Оформление Накопителя Тестовых Заданий должно сопровождаться служебными символами:

F1: (Наименование Накопителя Тестовых Заданий) F2: (Авторы Накопителя Тестовых Заданий) F3: (Область применения НТЗ) F4: (раздел, подраздел, тема) указывается структура ТЗ V1: {Название раздела} V2: {Название подраздела} V3: {Название темы}, (если отсутствует раздел и подраздел, то тема оформляется V1: ) 6.2.2 Символ V1(2)(3) ставятся при каждом новом разделе (подразделе), (теме) без возрастания.Общие для все форм Все тестовые задания должны быть сгруппированы по теме в соответствии со спецификацией тестового материала.

Наименование темы o должно предшествовать группе заданий, входящих в нее o набрана шрифтом Times New Roman 14pt, жирный; отцентрировано, располагаться в отдельном параграфе (отдельной строчкой) Шрифт - Times New Roman 12pt Каждое задание начинается с новой строки со слов I: «{{ ххх}} авторское имя; KT=n; MТ=k;».

I:

- признак начала нового задания ххх – порядковый номер задания авторское имя - любое наименование задание n – класс (уровень трудности) (хор,отл,удовл) k – значение меры трудности ( в диапазоне 0,01 до 1) Значение параметров KT и МТ могут отсутствовать. Однако ключевые слова (выделены жирным шрифтом) и разделяющие их знак «;» должны сохраняться.

S:

- указатель начала формулировки тестового задания Рисунки выполняются в любом графическом редакторе. Формулы – встроенный в WinWord редактор формул – Equation.

Если используется панель рисования Microsoft Word, то необходимо использовать функцию «вставка рисунка Microsoft Word» и уже в ней оформлять рисунок.

Каждая компонента задания рассматривается как отдельный фрагмент. Поэтому при оформлении нельзя вставлять в один объект несколько компонентов. Например, каждое заключение закрытой формы задания есть формула. Необходимо для каждого заключения создать свой объект Equation.

Формулировка задания – текст, не превышающий 255 символов. Обычно отображает инструкцию. Может быть пустым - если задание узнаваемо по форме и нет необходимости отображать инструкцию к заданию 6.2.3 Открытая форма заданий каждый правильный вариант ответа располагается в отдельной строке (параграфе) и перед ним проставляется знак +: (плюс и двоеточие). Если задание содержит только текстовую информацию, то на месте ключевого слова ставится сочетание символов: ###.

Для того, чтобы не учитывались возможные грамматические ошибки в середине слова на месте сомнительной буквы следует поставить знак *. Чтобы не учитывалось окончание слова его надо заменить сочетанием символов - #$#.

6.2.4 Закрытая форма заданий каждый элемент из группы заключений располагается в отдельной строке (параграфе), перед правильным заключением проставляется знак +: (плюс и двоеточие), а перед дистрактором (правдоподобным ответом ) – знак: – (минус и двоеточие).

перед элементами из группы заключений не проставляется нумерация, так как при предъявлении заданий, эти элементы перемешиваются.

6.2.5 Задание на установление порядка перед каждым из группы элементов для упорядочения проставляется порядковый номер и знак «:» (двоеточие) – 1:

Порядок следования элементов в группе правильный. Система самостоятельно перемешает элементы для ввода 6.2.6 Задание на соответствие элементы следуют правильными парами перед каждым из первой группы элементов проставляется символ L, порядковый номер пары и знак : (двоеточие) – L1:

перед каждым из второй группы элементов проставляется символ R, порядковый номер пары и знак : (двоеточие) – R1:

Если пара неполная, то служебные символы проставляются все равно.

6.3 ПРИМЕРЫ ОФОРМЛЕНИЯ 6.3.1 Пример I: {{ 434 }} ТЗ № 1-1 КТ=; МТ=0.7;

S: Тождествами являются выражения:

6.3.2 Пример

ВВЕДЕНИЕ В ПСИХОПАТОЛОГИЮ И ПАТОПСИХОЛОГИЯ

I: {{ 195 }} ТЗ - 1) КТ=; МТ=;

S: Правильная хронологическая последовательность событий:

1: создание психологической лаборатории Крепелином во Франции 2: открытие экспериментальной психологической лаборатории Бехтеревым в Казани 3: открытие психологической лаборатории Корсаковым в Москве 4: разработка Бернштейном и Россолимо методик экспериментально - психологического исследования больных с психическими расстройствами 5: издание первого учебника по медицинской психологии Кречмером 6: разработка Мясищевым экспериментальных психологических методов изучения нарушений эмоций I: {{ 196 }} ТЗ - 39) КТ=; МТ=;

S: Нарушения памяти в порядке возрастания их степени выраженности:

1: Гипомнезия 2: Амнезия 3: Корсаковский синдром 4: Прогрессирующая амнезия 6.3.3 Пример I: {{ 28 }} элст-8 КТ=; МТ=;

S: Положительно заряженный шарик свободно падает в однородном электрическом поле, направленном параллельно поверхности земли.

Начальная скорость шарика равна 0. Траектория движения шарика имеет вид:

ЗАДАНИЯ ОТКРЫТОЙ ФОРМЫ

I: {{ 29 }} Динамика-18 КТ=; МТ=;

Через 0,1сек после выстрела из двухстороннего пружинного пистолета расстояние между «снарядами» составит... м.

+: 0, +: 0. +: 7/ I: {{ 2 }} КТ=; МТ=;

S: Фамилия автора законов движения планет - ###.

+: Кеплер I: {{ 3}} КТ=; МТ=;

S: Согласно гипотезе ### излучение света происходит не непрерывно, а дискретно.

+: План#$# (в данном случае предусмотрены варианты написания в разных падежах – Планк, Планка) I: {{ 1}} КТ=; МТ=;

Частица с нулевой массой покоя, часть света - ###.

+: ф*тон (предусмотрено возможное ошибочное написание, например – «фатон»)

ЗАДАНИЯ НА СООТВЕТСТВИЕ

I: {{ 27 }} динамика-16с КТ=; МТ=;

S: На грузовом автомобиле перевозят контейнер по горизонтальной дороге. Соответствие между движением автомобиля и состоянием силы трения покоя, действующей на контейнер:

L1: набирает скорость, двигаясь с постоянным ускорением R1: постоянна и направлена по направлению скорости L2: набирает скорость, двигаясь с возрастающим ускорением R2: возрастает и направлена по направлению скорости L3: набирает скорость, двигаясь с убывающим ускорением R3: убывает и направлена по направлению скорости L4:

R4: равна нулю L5:

R5: постоянна и направлена против направления скорости I: {{ 31 }} ТЗ № 25[копия] КТ=; МТ=;

S: Мальчик бросил мяч массой 100 г вертикально вверх и поймал его в точке бросания. Мяч достиг высоты 5 м. Работа силы тяжести равна...

L1: на всем пути R1: L2: при движении мяча вверх R2:

- 5 Дж L3: при движении мяча вниз R3: 5 Дж L4:

R4: 10 Дж Оформление заданий с помощью служебных символов.

F1: (Наименование Накопителя Тестовых Заданий) F2: (Авторы Накопителя Тестовых Заданий) F3: (Область применения НТЗ) F4: (раздел, подраздел, тема) указывается структура ТЗ V1: {Название раздела} V2: {Название подраздела} V3: {Название темы}, (если отсутствует раздел и подраздел, то тема оформляется V1: ) Символ V1(2)(3) ставятся при каждом новом разделе (подразделе), (теме) без возрастания.

{Пример оформления задания закрытого типа} I: – {указатель начала задания} S: – {указатель начала формулировки задания} -: – {неверный вариант ответа} +: – {правильный вариант ответа} Пример:

S: Моральное сознание включает элементы +: теоретическое обоснование нравственных норм +: личностные мотивы, принципы, ценности –: законы, нормы и правила, принятые в обществе -: поступки людей -: оценки людей {Пример оформления задания открытого типа} I: – {указатель начала задания} S: – {указатель начала формулировки задания; на месте пропущенного ответа должен быть знаки ###} +: {Правильный вариант ответа} Для исключения грамматических или орфографических ошибок ввода можно использовать символы:

* – система не учитывает введенную на этом месте букву #$# – система не учитывает окончания слова Пример:

S: Измеряемый индикатор достижения цели называется ###.

+: критерием +: Кр*т*р*ем +: Кр*т*р#$# {Пример оформления задания на упорядочение} I: – {указатель начала задания} S: – {указатель начала формулировки задания} Дается правильная последовательность со специальными символами:

1: {первый элемент правильной последовательности} 2: {второй элемент правильной последовательности} 5: {пятый элемент правильной последовательности} Пример:

S: Правильная последовательность дней недели 1: понедельник 2: вторник 3: среда 4: четверг 5: пятница 6: суббота 7: воскресенье {Пример оформления задания на соответствие} I: – {указатель начала задания} S: – {указатель начала формулировки задания} L1: {первый элемент первого множества} L2: {второй элемент первого множества} L3: … L4: {четвертый элемент первого множества} L5: {пустой элемент первого множества} R1: {первый элемент второго множества, соответствующий первому элементу первого множества} R2: {второй элемент второго множества, соответствующий второму элементу первого множества} R3: … R4: {четвертый элемент второго множества, соответствующий четвертому элементу первого множества} R5: {элемент второго множества не соответствующий никакому элементу первого множества} Пример:

S: Соответствие между странами и их столицами L1: Россия L2: Китай L3: Япония L4: Франция L5:

R1: Москва R2: Пекин R3: Токио R4: Париж R5: Томск Примеры верного и неверного составления тестовых заданий.

НЕВЕРНО ПРАВИЛЬНО

Главные части микроскопа: …. Главные части микроскопа: ….

объектив и окуляр Ферменты - это органические вещества, Ферменты - это органические вещества, механическую обработку пищи механическую обработку пищи ускорение химических реакций ускорение химических реакций Мелкие рачки, которыми питается кит мелкие рачки, которыми питается кит Совокупность организмов, совокупность организмов, населяющих неспособных противостоять переносу противостоять переносу течениями Мелкие рыбки, живущие в океане.

По вине человека на Земле уменьшается доля Доля … в атмосфере уменьшается на Земле Из сердца рыбы к органам тела идет кровь: Кровь … идет из сердца рыбы к органам тела.

Средняя плотность населения Москвы Средняя плотность населения Москвы (тыс.чел./кв.км.) находится в пределах.... находится в пределах... тыс.чел./кв.км.

5-6 тыс.чел./кв.км 7-8 тыс.чел./кв.км 9-10 тыс.чел./кв.км 11-12 тыс.чел./кв.км