«Пензенский государственный педагогический университет имени B. Г. Белинского Кафедра английского языка УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС ПО ДИСЦИПЛИНЕ СОВРЕМЕННЫЕ СРЕДСТВА ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ 0503030 Иностранный ...»

Функция успеха для тестового задания - функциональная зависимость, указывающая вероятность правильного выполнения задания в зависимости от характеристик этого задания (уровня трудности и др.) с одной стороны и уровня подготовленности испытуемого с другой. Определяет модель тестирования для дихотомических заданий.

Характеристическая функция заданного уровня подготовленности испытуемых - функция характеристик заданий теста, полученная из функции успеха для тестового задания при фиксированном значении заданного уровня подготовленности испытуемых.

Характеристическая функция заданных параметров тестовых заданий функция одного переменного уровня подготовленности участников тестирования, полученная из функции успеха для тестового задания при фиксированных значениях характеристик заданий.

Шкала - упорядоченное множество действительных чисел (индексов), соответствующих ряду возможных значений измеряемой величины.

Шкала нормализованная с постоянным шагом - порядковая шкала, индексы которой соответствуют равноудаленным значениям стандартной нормальной переменной zeN(0;1)с некоторым шагом z (например, десятибалльная шкала с z=0,5).

Шкала нормализованная стандартная - нормализованная шкала типа N (0;1), тестовый балл по которой пропорционален стандартной нормальной переменной с нулевым математическим ожиданием и единичной дисперсией.

Шкала нормализованная типа N (математическое ожидание µ, дисперсия) порядковая шкала, полученная в результате преобразования эмпирического распределения частот первичных баллов к модельному нормальному распределению N (математическое ожидание µ, дисперсия), где математическое ожидание µ, и дисперсия- параметры шкалы. Тестовый балл по такой шкале определяется отклонением от математического ожидания в единицах стандарта.

Шкала нормализованных процентилей - порядковая шкала, тестовый балл, по которой соответствует квантилям нормального распределения, в частности, квантилям стандартной нормальной переменной с нулевым математическим ожиданием и единичной дисперсией.

Шкала первичных процентилей - порядковая шкала, тестовый балл испытуемого, по которой определяется соответствующей квантилью эмпирического распределения частот первичных баллов участников тестирования.

Шкала процентная - порядковая шкала, тестовый балл испытуемого, по которой прямо пропорционален первичному баллу соответствующего участника тестирования (в частности, равен первичному баллу, выраженному в процентах).

Шкалирование - определенный метод решения комплекса вопросов, связанных с выставлением каждому испытуемому тестового балла по единой шкале вне зависимости от того, в какой группе и над каким вариантом теста он работал.

3. Развитие понятия валидности и надежности теста При проведении тестирования учитываются три критерия качества теста:

надежность, валидность, объективность.

Надежность - определение степени погрешностей в педагогической оценке, в вычислении истинного значения оценки. В последнее время получил распространение экспертный опрос, когда студента оценивают 2-3 и более преподавателей, и посредством коррелирования результатов появляется возможность надежности оценки.

Валидность теста - соответствие форм и методов контроля его цели.

Объективность - критерий, в котором сочетаются надежность, валидность плюс ряд аспектов психологического, педагогического, этического, ценностного характера.

Понятие валидности (перевод слова с английского valid годный, пригодный) трактуется довольно широко.

В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы.

Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.

Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов.

В этом случае обычно берутся оценки, выставляемые испытуемому преподавателямиэкспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности. Следует заметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения.

Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль.

К традиционным тестам относятся тесты гомогенные и гетерогенные.

Гомогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по одной учебной дисциплине. Легко видеть, что в своей основе определение гомогенного теста совпадает с определением традиционного теста.

Гомогенные тесты распространены больше других. В педагогике они создаются для контроля знаний по одной учебной дисциплине или по одному разделу объемной учебной дисциплины (например, физики или информатики). В гомогенном педагогическом тесте не допускается использование заданий, выявляющих другие свойства. Наличие последних нарушает требование дисциплинарной чистоты педагогического теста. Ведь каждый тест измеряет что-то заранее определенное.

представления испытуемых в данной науке. Одна из трудностей такого измерения заключается в том, что знания информатики изрядно сопряжены с математическими.

Поэтому в тесте по информатике экспертно устанавливается уровень математических знаний, используемых при решении информативных заданий. Превышение принятого уровня приводит к смещению результатов; по мере превышения последние все больше начинают зависеть не столько от знания информатики, сколько от знания другой науки, математики. Другой важный аспект - стремление некоторых авторов включать в тесты не столько проверку знаний, сколько умение решать информативные задачи (читать программы и д.т.), вовлекая, тем самым, интеллектуальный компонент в измерение подготовленности по информатике.

Гетерогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам.

Нередко в такие тесты включаются и психологические задания для оценки уровня интеллектуального развития. Обычно гетерогенные тесты используются для комплексной оценки выпускника школ, оценки личности при приеме на работу и для отбора наиболее подготовленных абитуриентов при приеме в вузы. Поскольку каждый гетерогенный тест состоит из гомогенных тестов, интерпретация результатов тестирования ведется по ответам на задания каждого теста (здесь они называются шкалами) и кроме того, посредством различных методов агрегирования баллов делаются попытки дать общую оценку подготовленности испытуемого.

Целесообразность адаптивного контроля вытекает из необходимости рационализации традиционного тестирования. Каждый учитель понимает, что хорошо подготовленному ученику нет необходимости давать легкие и очень легкие задания.

Потому что слишком высока вероятность правильного решения. К тому же, легкие материалы не обладают заметным развивающим потенциалом. Симметрично, из-за высокой вероятности неправильного решения нет смысла давать трудные задания слабому ученику. Известно, что трудные и очень трудные задания снижают учебную мотивацию многих учащихся. Нужно было найти сопоставимую, в одной шкале, меру трудности заданий и меру уровня знаний. Эта мера была найдена в теории педагогических измерений. Датский математик Г. Раск назвал эту меру словом "логит". После появления компьютеров эта мера легла в основу методики адаптивного контроля знаний, где используются способы регулирования трудности и числа предъявляемых заданий, в зависимости от ответа учеников. При успешном ответе следующее задание ЭВМ подбирает более трудным, при неуспешном – легким.

Естественно, этот алгоритм требует предварительного опробования всех заданий, определения их меры трудности, а также создания банка заданий и специальной программы. Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования до, примерно, 5 - 10 минут Адаптивное тестирование позволяет обеспечить компьютерную выдачу заданий на оптимальном, примерно 50%-ом уровне вероятности правильного ответа, для каждого ученика. В западной литературе выделяется три варианта адаптивного тестирования. Первый называется пирамидальным тестированием. При отсутствии предварительных оценок всем испытуемым дается задание средней трудности и уже затем, в зависимости от ответа, каждому испытуемому дается задание легче или труднее; на каждом шаге полезно использовать правило деления шкалы трудности пополам. При втором варианте контроль начинается с любого желаемого, испытуемым, уровня трудности, с постепенным приближением к реальному уровню знаний. Третий вариант - когда тестирование проводится посредством банка заданий, разделенных по уровням трудности. Таким образом, адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметрами трудности и дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Самая главная характеристика заданий адаптивного теста – это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных учащихся интересующего контингента. Слова "интересующего контингента" призвано представлять здесь смысл известного в науке понятия более строгого понятия "генеральная совокупность". Распространенная у нас образовательная модель адаптивной школы Е.А. Ямбурга, исходит, по существу, из общих идей адаптивного обучения и адаптивного контроля знаний.

Истоки такого подхода можно проследить с момента возникновения педагогических трудов Коменского, Песталоцци и Дистервега, которых объединяют идеи природосообразности и гуманности обучения. В центре их педагогических систем был Ученик. Например, в малоизвестной у нас работе А. Дистервега "Дидактические правила" (Киев, 1870 г.) можно прочитать такие слова: "Преподавай сообразно природе... Учи без пробелов... Начинай преподавание с того, на чем остановился ученик... Прежде чем приступить к преподаванию, нужно исследовать точку исхода... Без знания того, на чем остановился ученик, невозможно порядочно обучить его".

Недостаточная информированность о реальном уровне знаний учеников и естественные различия в их способностях усвоить предлагаемые знания стали главной причиной появления адаптивных систем, основанных на принципе индивидуализации обучения. Этот принцип трудно реализуем в традиционной, классно-урочной форме.

Лекция 5. Тест как метод педагогического измерения 1. Классификации тестов 2. Процедура разработки тестов 3. Фактор времени в тестировании Современное понимание тестов и тестирования можно представить в виде трех уровней.

Первый – «бытовой» уровень. Здесь тест понимается как набор вопросов с вариантами ответов, который стоит в одном ряду с кроссвордами, головоломками и служит в большей степени для развлечения и удовлетворения познавательных интересов. Педагоги с таким пониманием тестирования считают тестирование очень ненадежным, ограниченным, а создание тестов простейшим делом.

Второй уровень понимания тестирования можно назвать «словарным».

В этом понимании выделяются основные составляющие понятия тестирования. При этом не учитываются особенности процедуры создания, использования и анализа, специфичные для той или иной сферы применения.

Для этого понимания характерны разночтения и противоречия в понятиях и определениях. Современное состояние развития тестологии находится именно на этом уровне: многие понятия до конца не определены, многие авторы трактуют по-разному одни и те же понятия и, в свою очередь, одно явление может иметь несколько названий. Это вполне естественный этап развития молодого научно-практического феномена, когда понятийный аппарат находится в стадии становления, а часть терминов и понятий иноязычны и в разных переводах приобретают отличающиеся значения.

Третий уровень понимания может быть назван научным. Он наиболее точен, учитывает особенности тестов и отражает требования к тестам, которые появляются в процессе развития и научного обоснования тестирования.

Все определения тестов подчеркивают то, что тест означает проверку, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста – это выявление личностных особенностей или приращений.

Первое, на чем надо остановиться, рассматривая классификацию тестов – это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные) и тесты, ориентированные на норму (нормативно-ориентированные).

Появившись как разные подходы к анализу результатов тестирования, отражающие разные основания для сравнения, сейчас эти два подхода определяют разницу на большинстве этапов создания теста.

При проверке минимально допустимого уровня знаний содержание заданий носит принципиально облегченный характер. Этот подход выработан для органов управления образованием, стоящих перед необходимостью в короткое время проверить состояние образования в большом количестве учебных заведений, и не позволить последним опускаться ниже предельно допустимого уровня требований (такими являются тесты на определение остаточных знаний). В таких случаях говорят о критериальноориентированной интерпретации результатов.

При критериально-ориентированной ориентации требуется несколько меньшее число заданий, посредством которых определяется – что испытуемый знает, а что не знает из заданного стандарта. Иначе говоря, здесь ответы оцениваются относительно не всей области требуемых заданий, а только из области, ограниченной конкретным стандартом или уровнем (критерием) знаний.

При нормативно-ориентированной интерпретации результатов задача определения точного объема и структуры освоенного учебного материала отступает на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».

используется для достижения определенной цели.

Понимание критериальной и нормативной ориентированности как разных подходов к интерпретации результатов можно найти у B.C.

Аванесова.

С точки зрения интерпретации результатов: «Для критериальноориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания ответы выводы о соответствии испытуемого заданному критерию».

«Для нормативно-ориентированной ориентации вывод достраивается рейтингом: задания ответы выводы о знаниях испытуемого рейтинг, понимаемый как вывод о месте или ранге испытуемого».

Описание этих двух подходов в своей схематичной форме вполне отражает смысл разницы в интерпретации.

Кроме приведенных подходов, тесты можно классифицировать по целому ряду оснований.

1. По процедуре создания могут быть выделены стандартизированные и не стандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности, как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

2. По средствам предъявления:

– бланковые (тесты «бумага и карандаш») с использованием тестовых бланков или тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

– предметные – в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

– аппаратурные – тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;

– практические – появившиеся относительно недавно, эти тесты сходны с известными у нас лабораторными работами, однако снабженные соответствующими инструкциями и имеющие тестовое оснащение;

– компьютерные.

Кроме этого в рамках компьютерного тестирования можно выделить еще адаптивные тесты – такие, в которых можно изменять параметры тестирования, адаптируя (приспосабливая) тест к разным условиям. В адаптивной системе тестирования (АСТ), разработанной Центром тестирования профессионального образования (ЦТПО), есть возможность изменять алгоритм предъявления заданий (строго последовательный, случайного выбора или по возрастанию сложности), изменять время, отводимое на каждое задание или весь тест, изменять способы оценивания и шкалу отметок в зависимости от процента выполненных заданий, изменять количество заданий в самом тесте. В этом есть смысл, поскольку большинство тестов предполагает предъявление конечного набора вопросов испытуемому и не предполагает зависимости от ответа на предыдущие вопросы.

Каждый из способов предъявления имеет свои плюсы и минусы.

Для нужд образования подходит любой из этих способов, при этом нужно помнить о том, что предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные в результате разных способов предъявления.

3. По направленности, т. е. по тому, что именно предполагается изучать с помощью данного теста:

– тесты интеллекта, выявляющие особенности последнего;

– личностные тесты, с помощью которых изучаются особенности личности испытуемого, помимо его интеллекта включая тесты мотивов (то же, что и тесты динамики), предназначенные для диагностики мотивационно-потребностной сферы личности, позволяющие определить, на что направлена активность индивидуума и каким образом осуществляется им саморегуляция поведения, тесты настроений и состояний, направленные на изучение временных состояний, таких, например, как эмоции;

– тесты достижений.

4. По характеру действий:

– вербальные (связанные с необходимостью произведения умственных действий – словесно-логические тесты, вопросники на проверку знаний, установление закономерностей и пр.);

– невербальные (практические), связанные с практическим манипулированием предметами – карточками, блоками, деталями.

5. По ведущей ориентации:

– тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время;

– тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи;

вышеперечисленных. В таких тестах представлены задачи различного уровня сложности, от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения большинства предлагаемых задач определенной группой обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения.

Эти тесты наиболее часто применяются на практике, к ним относится большинство тестов учебных достижений.

6. По степени однородности задач:

– гомогенные, имеющие, как правило, одну шкалу, которые позволяют оценить одно свойство или качество личности и включают задачи, сходные по характеру, но различающиеся конкретным содержанием;

– гетерогенные (многоразмерные), имеющие несколько шкал, которые позволяют оценить разнообразные характеристики личности и включают задания, отличающиеся и по характеру, и по содержанию.

7. По широте использования (только для тестов в системе образования).

Приведенная ниже классификация является сугубо эмпирической, однако практически достаточно значимой, поскольку в зависимости от широты предполагаемого использования зависит и уровень требований к качеству инструмента и важность этой разработки, и время подготовки:

– для использования преподавателем;

– для использования группой преподавателей или администрацией образовательного учреждения;

– для целей отбора и формирования групп;

– для аттестации обучающихся.