«Сьюзан М. Кейс Дэвид Б. Свэнсон Настоящее издание осуществлено в рамках Проекта “Российское партнерство в области медицинского образования с медицинскими школами и профессиональными организациями США” Проект ...»

Сьюзан М. Кейс

Дэвид Б. Свэнсон

Настоящее издание осуществлено в рамках Проекта “Российское партнерство в области

медицинского образования с медицинскими школами и профессиональными организациями США”

Проект финансируется из средств гранта,предоставленного Агентством Международного Развития

США / United States Agency for International Development( USAID).

Административное и финансовое руководство Проектом осуществляется Советом по Международным Исследованиям и Обменам США / International Research and Exchanges Board (IREX).

Участники Проекта с российской стороны:

• Казанский Государственный Медицинский Университет • Уральская Государственная Медицинская Академия • Челябинская Государственная Медицинская Академия Участники Проекта с американской стороны:

• Школа Медицины и Стоматологии Университета Рочестера,Рочестер,штат Нью-Йорк • Медицинская Школа Йельского Университета,Нью-Хэйвен,штат Коннектикут • Университет Штата Нью-Йорк, Сиракузский Центр Изучения Здоровья, Сиракузы,штат Нью-Йорк • Национальный Совет Медицинских Экзаменаторов США,Филадельфия,штат Пенсильвания Сьюзан М. Кейс Дэвид Б. Свэнсон Переводчик: Эмилия Боровик Редакторы перевода: Ирина Буллах, доктор педагогических наук Алексей Сироткин Марина Мруга

СОДЕРЖАНИЕ

РАЗДЕЛ II: СОСТАВЛЕНИЕ ВОПРОСОВ С ОДНИМ ЛУЧШИМ ОТВЕТОМ ДЛЯ ФУНДАМЕНТАЛЬНЫХ И

КЛИНИЧЕСКИХ НАУК

Глава 4. Содержание тестовых заданий: проверка умения применять знания фундаментальных наук..

ПРЕДИСЛОВИЕ

Данное руководство написано с целью помочь преподавателям кафедр улучшить качество вопросов множественного выбора, используемых на экзаменах. В руководстве дан обзор типов тестовых заданий (ТЗ), при этом особенно углублено рассматриваются традиционные форматы заданий с одним лучшим ответом и вопросы расширенного выбора. Дан обзор затруднений, связанных с техническими дефектами тестовых заданий, а также с их содержанием. Руководство также содержит базовую информацию, которая может помочь преподавателям оценить статистические показатели качества тестовых заданий после проведения теста. Также представлен обзор методики по установке критериев оценки результатов. Абсолютно не затронуты вопросы, касающиеся “конструирования” экзамена. Мы почти исключительно остановились на уровне тестовых заданий, оставив уровень планирования экзамена для другой книги.

Мы предполагаем, что руководство будет использоваться в первую очередь преподавателями базовых и клинических дисциплин медицинского Вуза. Приведенные примеры тестовых заданий предназначены для студентов медвузов, хотя общие подходы к написанию тестовых заданий могут использоваться при составлении экзаменационных вопросов для других уровней обучения.

Данное руководство отражает опыт, который мы накопили за последние 20 лет при разработке тестов и тестовых заданий. За этот период мы буквально слово за словом проработали десятки тысяч вопросов множественного выбора (MCQs) и провели семинары по составлению тестовых заданий для тысяч преподавателей, в том числе для авторов вопросов для экзаменов USMLE, NBME и для экзаменов по специальности, а также для преподавателей более 50 медицинских школ, которые составляют тестовые задания для своих собственных экзаменов. Каждый участник семинаров помогал нам оформить наши идеи относительно более качественного составления тестовых заданий, и мы думаем, что с годами научились лучше формулировать обоснования “что?” и “зачем?”. Мы надеемся, что данное руководство поможет выразить эти идеи.

ПРЕДИСЛОВИЕ РЕДАКТОРОВ ПЕРЕВОДА

Это предисловие было подготовлено, чтобы дополнить русский перевод необходимой информацией, поскольку изначально книга была предназначена для читателей, знакомых с системой медицинского образования в США.

Большинство студентов-медиков начинают обучение в медицинской школе в возрасте 22 лет после окончания 4-х летнего колледжа или университета. Обычно два первых года медицинской школы охватывают базисные биомедицинские науки (анатомию, гистологию, клеточную биологию, биохимию, физиологию, микробиологию, фармакологию, иммунологию, патологию и бихевиоризм). Третий и четвертый годы посвящены клиническим дисциплинам таким, как внутренняя медицина, хирургия, акушерство и гинекология, педиатрия, психиатрия и семейная медицина (общая практика). Около 98% выпускников медицинских школ непосредственно после их окончания поступают в одну из резидентских программ, являющихся в определенной степени аналогом клинической ординатуры и интернатуры в странах бывшего СССР.

Национальный Совет Медицинских Экзаменаторов США (National Board of Medical Examiners / NBME) с момента его основания в 1915 г. разрабатывает медицинские лицензионные экзамены. В настоящее время он также обеспечивает медицинские школы тестами по предметам в отдельных базисных и клинических дисциплинах. NBME является частной неправительственной организацией. Его штат составляет 250 человек и включает врачей, специалистов в области оценки знаний и технический персонал. В 1992 году NBME и Федерация Медицинских Советов Штатов США( Federation of State Medical Boards of the United States) приступили к внедрению совместной программы, Национальных Медицинских Лицензионных Экзаменов США ( United States Medical Licensing Examinations/ USMLE).

USMLE - это экзамены, состоящие из 3-х ступеней, обеспечивающие общепринятую процедуру оценки для соискателей лицензии на медицинскую практику. Каждая из ступеней являтся 2-х дневным экзаменом, проводимым по 2 экзаменационным буклетам в каждый из дней. Общее число вопросов, предлагаемых каждому экзаменуемому достигает 600-750. Время и процедура экзамена строго регулируются;

вопросы в буклетах не расположены в какой-либо определенной(предметной) последовательности. Экзамен каждой Ступени проводится в бланковой форме (формат “ответный лист- карандаш”). Каждый экзамен состоит только из вопросов множественного выбора и оценивает медицинские знания и навыки, являющиеся важными для оказания безопасной и эффективной помощи пациентам. Ступень I, обычно сдаваемая по завершению курса базисных наук, как правило, в конце второго года обучения в медицинской школе оценивает знание и понимание ключевых концепций базисных биомедицинских наук. Ступень II, сдаваемая обычно в последний год медицинской школы, оценивает медицинские знания и понимание клинических наук в степени, необходимой для оказания медицинской помощи под руководством старших коллег в течение последипломной(резидентской) программы обучения. Ступень III оценивает способность применять медицинские знания, необходимые для самостоятельной общемедицинской практики. Экзаменуемые обычно начинают подготовку к экзамену III Ступени по окончании первых шести месяцев резидентской программы.

Количество баллов и результат “сдал/не сдал” обычно сообщается студентам и их медицинским школам. Дополнительно, результат сообщается лицензионным органам штата с целью принятия решения о выдаче первичной лицензии на медицинскую практику. Несмотря на то, что лицензионные органы каждого штата могут устанавливать собственные правила для лицензирования врачей, все они в настоящее время рассматривают проходной балл USMLE как основную планку в лицензировании.

Вопросы для экзаменов по каждой из ступеней пишутся опытными преподавателями и клиницистами, являющимися признанными авторитетами в своих областях. Данные эксперты выбираются из академических кругов, практикующих врачей и сотрудников лицензионных органов штатов со всей территории США и Канады. Например, для создания вопросов II Ступени существуют 5 предметных комитетов (внутренняя медицина, акушерство и гинекология, педиатрия, психиатрия и хирургия). Каждый комитет состоит из членов; каждый из которых пишет по 50 вопросов в год. Каждый комитет собирается вместе на 3 дня ежегодно, чтобы рассмотреть все вопросы, написанные его членами. Каждый вопрос зачитывается вслух его автором, затем критикуется и, возможно, переписывается комитетом. Вопросы, имеющие соответствующее содержание, технически правильные и хорошо написанные одобряются для потенциального использования в экзамене. Затем председатели всех предметных комитетов работают совместно в течение трех дней. Для этой встречи готовится черновой вариант экзамена согласно точному описанию его содержания. Председатели читают вслух вопросы, написанные их комитетами и председатели остальных комитетов должны одобрить каждый вопрос в отдельности как соответствующий экзамену. Председатели обязаны найти другие вопросы взамен отклоненных коллегами. Двухступенчатый процесс рассмотрения вопросов обеспечивает рассмотрение каждого вопроса экспертами в отношении его точности и междисциплинарным комитетом в отношении его приемлемости. Участие всех этих людей в процессе построения экзамена помогает обеспечить представление в нем текущих научных концепций и широко представляет знания, считающиеся необходимыми для начала медицинской практики под руководством. Каждый начинающий создатель тестовых вопросов участвует в двухдневном семинаре, являющемся частью подготовки в написании высококачественных тестовых материалов; значительная часть материала, содержащегося в данной книге, используется в семинарах для начинающих.

Национальный Совет поддерживает строгую секретность экзаменов, предотвращающую доступ к тестовым материалам до их проведения. Меры безопасности обеспечиваются при возвращении тестовых буклетов в NBME сразу по завершении экзамена. NBME располагает очень сложными средствами анализа результатов экзамена на предмет “списывания” ответов или имевшегося преждевременного доступа к экзаменационным вопросам. NBME предпринимает соответствующие законные действия в случае выявления экзаменующихся, пытавшихся нарушить экзаменационный процесс.

В этом предисловии мы также хотели бы кратко описать некоторые из нововведений, принятых в настоящее время NBME с целью увеличения его возможностей в оценке, среди которых компьютерноадаптивное тестирование, компьютерная симуляция клинических ситуаций, с которыми может столкнуться врач и использование стандартных пациентов. Два первых метода предполагается включить в лицензионные экзамены в течение трех ближайших лет, а последний - в течение пяти.

Компьютерно-адаптивное тестирование может быть описано как компьютеризированный тест по вопросам множественного выбора. Тем не менее, метод отличается от других способов тестирования с применением компьютера в том, что компьютер отбирает или “выкраивает” выборку вопросов таким образом, чтобы адаптировать и соотнести последующие вопросы со способностью экзаменуемого дать правильный ответ на предыдущие.

Компьютерная симуляция клинических ситуаций позволяет экзаменуемому “вести” пациента, основываясь на представляемой различной информации. Таким образом может быть оценена способность экзаменуемого оказать помощь пациенту в условиях симулируемого (условного) хода времени, что предполагает назначение необходимых диагностических и лечебных процедур и оценку результатов этих действий по мере “развития” ситуации.

Стандартные пациенты используются для оценки навыков сбора анамнеза, физикального исследования и коммуникативных навыков экзаменуемых. Стандартные пациенты обучены “ играть “ определенное заболевание или состояние, следуя строгому сценарию и регистрировать все действия экзаменуемых в специальном бланке, служащем основой для подсчета результатов экзамена.

В 1994- 1995 годах экзамены с использованием стандартных пациентов были проведены в Екатеринбурге и Киеве. Они проводились совместно с Образовательной Комиссией для Иностранных Медицинских Выпускников (ECFMG) в рамках международного проекта и были положительно оценены коллегами из США, Испании и Израиля.

NBME любезно принял приглашение участвовать в нашем Проекте и в апреле 96 года в штабквартире NBME в Филадельфии был проведен семинар для представителей трех российских и двух украинских медицинских ВУЗов и представителей Министерств здравоохранения обеих стран. Семинар был посвящен методам стандартизированной оценки медицинских знаний, главной же темой были принципы написания тестовых вопросов, их качество и отбор. Стоит отметить, что указанные делегации были первыми представителями России и Украины, принятыми в NBME, а дискуссии проходили в теплой и дружеской атмосфере. Авторы представляемой монографии, доктора философии Сьюзан Кейс и Дэвид Свэнсон приняли активное участие в семинаре, в ходе которого и было принято решение о переводе и издании данного руководства для российских и украинских специалистов. Мы надеемся, что книга содержит очень полезную информацию, которая позволит преподавателям российских и украинских медицинских школ улучшить качество экзаменов на всех стадиях медицинского образования.

В данном разделе рассматриваются структурные тонкости, необходимые для написания высококачественных тестовых вопросов. В следующем разделе будут рассмотрены вопросы, связанные с содержанием тестовых заданий.

ГЛАВА 1. ВВЕДЕНИЕ

ВВЕДЕНИЕ

КОНТРОЛЬ - ВАЖНАЯ СОСТАВНАЯ ЧАСТЬ ОБУЧЕНИЯ

Контроль является крайне важной составной частью обучения; при правильном использовании он может содействовать достижению конечных целей обучения. Нельзя переоценить важность принятия решений о том, как и когда проводить оценку знаний и умений ваших студентов.

Первоначальной целью тестирования является обсуждение того, что вы считаете самым важным.

Тесты являются мощным стимулирующим фактором, и студенты будут учить именно то, что по их мнению будет оцениваться. Контроль также помогает восполнять пробелы в обучении, побуждая студентов к широкому самостоятельному чтению и активному участию в учебном процессе. Этот результат тестирования особенно важен при изучении клинических дисциплин, когда процесс обучения у студентов различен, что связано со различным спектром заболеваний у пациентов и особенностями отдельных клинических баз. Также данный результат может быть важен при изучении некоторых фундаментальных наук (например при проблемно-ориентированном обучении), когда образовательный опыт студентов отличается.

Так как тесты оказывают сильное влияние на процесс обучения студентов, необходимо разрабатывать такие тесты, которые будут способствовать достижению задач обучения. Введение контроля практических навыков заставляет студентов переходить из библиотеки в клинику, где они стремятся получить навыки врачебного осмотра; с другой стороны, введение тестов, оценивающих только запоминание изолированных фактов, заставляет студентов “зубрить” учебники. Данное руководство сфокусировано на том, как составлять высококачественные вопросы множественного выбора (MCQs), которые оценивают умение студентов интерпретировать данные и принимать решения, что, по нашему мнению, является важной составляющей клинических навыков.

Путь студентов к достаточным или даже отличным знаниям будет менее трудным, если они будут иметь постоянную информацию о своих достижениях в учебе.

ЦЕЛИ ТЕСТИРОВАНИЯ ЧТО ДОЛЖНО БЫТЬ ПРОВЕРЕНО?

Сообщить студентам, какой материал является Содержание экзамена должно соответствовать Создать у студентов мотивацию к обучению Оценка важных тем должна иметь больший вес, • Найти пробелы в знаниях, требующие коррекции • Определить окончательную оценку или принять решения о переводе на следующий курс Совокупность тестовых заданий должна быть • Найти слабые стороны учебной программы/учебного курса

ОТБОР ТЕСТОВЫХ ЗАДАНИЙ (ВЫБОРКА)

Целью любого контроля является возможность сделать выводы относительно навыков экзаменуемого - выводы, которые можно распространить с конкретных проблем (или случаев, или тестовых вопросов), включенных в экзамен, на более широкую сферу, из которой были выбраны случаи (или вопросы). Ясно, что контроль требует времени. Также ясно, что если вы уделяете больше времени одному виду деятельности, у вас останется меньше времени на остальные. Независимо от того, разрабатываете ли вы всеобъемлющий план оценки, или же решаете, что включить в конкретный тест, вы все равно столкнетесь с проблемой отбора материала. Результаты, полученные на выборке (отобранных тестовых заданиях), являются основой для оценки достижений в более широкой сфере, что и является конечной целью.

При работе с вопросами множественного выбора (MCQs), вам, во-первых, необходимо решить, что вы хотите включить в тест. Внимание, уделяемое проблеме, должно соответствовать ее относительной важности.

Для проверки вы должны выбрать темы и также выбрать навыки (например, постановку диагноза, решение о следующем этапе лечения); вы не можете спрашивать сразу обо всем. Результаты, полученные на выборке (отобранных тестовых заданиях), являются основой для оценивания достижений в более широкой сфере, что и является конечной целью. Характер выборки определяет степень воспроизводимости (надежности, обобщенности) и точности (достоверности, валидности) полученной оценки истинных знаний и умений. Если выборка нерепрезентативна (например, включает только кардиологические вопросы при контроле общемедицинских знаний), результаты экзамена будут недостоверными и не дадут возможности оценить ГЛАВА 1. ВВЕДЕНИЕ достижения в интересующей сфере. Если выборка слишком мала, результаты экзамена могут оказаться недостаточно стабильными, чтобы отразить истинные знания и умения.

При использовании тестов с вопросами множественного выбора (MCQs), почти всегда есть единственный “оценщик” (обычно компьютер) и серии или группы вопросов; чтобы сформировать выборку, необходимо отобрать подгруппы вопросов для использования в тесте. При других методах оценки знаний (устный экзамен, основанный на клиническом случае, экзамен со стандартными пациентами, письменный экзамен), выборка является гораздо более сложным процессом, потому что при любом методе, когда нельзя провести механическую оценку, требуется отбор по второму измерению - отбор “оценщика”. На таких экзаменах вы хотите узнать результаты ответов на разные вопросы (случаи) и хотите, чтобы оценка не зависела от личности экзаменатора. Поэтому вам необходимо осуществить выборку в обоих измерениях: одну в отношении вопросов или случаев, а вторую - в отношении экспертов или оценщиков. Вы должны произвести выборку по случаям (вопросам), поскольку ответ на один случай (вопрос) не является очень хорошим прогностическим показателем в отношении ответов на другие вопросы. Вам также необходимо произвести выборку по различным экспертам, чтобы минимизировать эффект жесткости или снисходительности преподавателя или действия других факторов, например, “эффект нимба”, что может вызвать проблему противоречивости оценок у разных оценщиков. При большой выборке пики и спады в результатах ответов, а также пики и спады у различных оценщиков усредняются.

Хотя в данном руководстве больше внимания уделяется вопросам множественного выбора (MCQs), мы считаем, что необходимо также использовать и другие методы контроля. Ни один из методов не может оценить сразу все интересующие умения и навыки.

В трех приведенных ниже работах более подробно обсуждаются вопросы формата тестовых заданий:

Case SM, Swanson DB. Ripkey DR. Comparison of items in five-option and extended-matching format for assessment of diagnostic skills. Academic Medicine.

1994; 69 (suppl): S1-S3.

Swanson DB, Case SM. Trends in written assessment: a strangely biased perspective. In: Harden R, Hart I, Mulholland H, eds., Approaches to Assessment of Clinical Competence. Norwich, England: Page Brothers; 1992:38-53.

Case SM, Downing SM. Performance of various multiple-choice item types on medical specialty examinations: types A, B, C, K and X. Proceedings of TwentyEight Annual Conference of Research in Medical Education (RIME). 1989:167-172.

ГЛАВА 1. ВВЕДЕНИЕ Хороший тестовый вопрос должен удовлетворять двум основным критериям. Во-первых, тестовый вопрос должен быть важным по содержанию. Это основополагающее условие, к которому мы обратимся далее в руководстве. Безусловно, содержание тестовых заданий является очень важным, но концентрироваться только на нем недостаточно. Тестовые задания, призванные оценивать критически важные знания, не будут выполнять своего назначения, пока они не будут иметь хорошую структуру. Необходимо избегать ошибок, от которых выигрывают опытные в тестировании студенты, а также избегать чрезмерной сложности. Это предпосылки того, что тестовые задания будут давать валидные результаты.

ВОПРОСЫ “ВЕРНО/НЕВЕРНО” В СРАВНЕНИИ С ВОПРОСАМИ С “ОДНИМ ЛУЧШИМ ОТВЕТОМ”

Все разнообразие вопросов множественного выбора можно разделить на две большие категории тестовых заданий: 1) требующие от экзаменуемого выбрать все подходящие ответы (Верно/неверно), и 2) требующие от экзаменуемого указать один ответ (один лучший ответ).

Каждая категория представлена несколькими специфическими форматами, указанными ниже:

Тестовые задания Формата “Верно/Неверно” требуют от экзаменуемых выбрать все верные варианты С (А/B/Оба/Ни один из вышеобозначенных) К (комплексные тестовые задания) Х (простые тестовые задания) Имитационные клинические задачи, типа Проблемы Ведения Пациента (РМРs) Тестовые задания форматов с одним лучшим ответом требуют от экзаменуемых выбрать один лучший ответ А (четыре или более вариантов ответа, отдельные тестовые задания или блоки) В (четыре или пять вариантов ответа для блока из 2-5 тестовых заданий) R (тестовые задания расширенного выбора в блоках по 2-20 тестовых заданий)

ГЛАВА 2. ФОРМАТЫ ТЕСТОВЫХ ЗАДАНИЙ МНОЖЕСТВЕННОГО ОТБОРА

КАТЕГОРИЯ “ВЕРНО/НЕВЕРНО”

Категории вопросов “Верно/Неверно” и “Один Лучший Ответ” ставят перед экзаменуемым совершенно разные задачи. Тестовые задания формата “Верно/Неверно” требуют от экзаменуемого выбрать все варианты ответов, которые “верны”. В таких тестовых заданиях экзаменуемый должен решить, где проводить разграничение: в какой степени ответ должен быть “верным”, чтобы выбрать его как “верный”.

Несмотря на то, что данная задача требует принятия дополнительного решения (по отношению к заданиям с одним лучшим ответом), это дополнительное решения может быть не связано с клиническими знаниями.

Слишком часто экзаменуемым приходится угадывать, что подразумевал составитель теста, так как варианты ответов не являются ни абсолютно верными, ни абсолютно неверными.

Следующий пример демонстрирует приемлемое с точки зрения структурного построения тестовое задание1 формата “верно/неверно”. Условие задания ясно, и варианты ответов либо абсолютно верны, либо абсолютно неверны без двусмысленности.

Что из нижеперечисленного наследуется по Х - сцепленному 1. Гемофилия А (классич. гемофилия) 2. Муковисцидоз 3. Мышечная дистрофия Дюшенна 4. Болезнь Тея-Сакса муковисцидозе (МВ) относятся:

1. Частота встречаемости МВ 1:2000. Оценивая первый вариант ответа, заметим, что частота 2. Больные МВ обычно умирают в встречаемости муковисцидоза не составляет точно 1:2000, подростковом возрасте. экспертам потребовалась бы дополнительная информация:

4. МВ наследуется по аутосомно- этнические группы? Изменение формулировки на “около 1:2000” По традиции, варианты ответов в заданиях формата “верно/неверно” обозначаются цифрами, а в заданиях с одним лучшим ответом - буквами.

Написанное в шутку, это тестовое задание формата “верно/неверно” иллюстрирует общую Путь к сердцу мужчины лежит через:

проблему - некорректно составленное условие задания. В зависимости от вашего мнения, варианты ответов № 1, 2 и 3 могут быть верными;

с другой стороны, №1, 2 и 3 варианты ответов могут быть неверными, тогда как №4 верен.

В данном примере туманная формулировка вариантов ответа является подсказкой для При клинической оценке хронических болей опытного в тестировании студента. Использование глагола “может” в вариантах ответа № 1, 2 и подсказывает, что они верны. Вариант ответа № угадать труднее, поскольку надо решить, что означает “обычно”? Исследования показали, что определение частоты явления столь туманным образом не дает однозначного ответа. Эксперты не смогли бы решить, является ли вариант ответа № верным или неверным.

Ошибки в этом тестовом задании менее заметны. Трудность заключается в том, что Дефект межжелудочковой перегородки у детей студент должен сделать предположение о серьезности заболевания, возрасте больного и предшествующем лечении. Разные предположения приведут к разным ответам, даже среди экспертов.

Обратите внимание, что во всех приведенных примерах тестовых заданий с дефектами, условие тестового задания неясно, варианты ответов содержат туманные термины, или варианты ответов верны лишь частично. В каждом случае группа экспертов испытывала бы затруднения при выборе правильного ответа.

ГЛАВА 2. ФОРМАТЫ ТЕСТОВЫХ ЗАДАНИЙ МНОЖЕСТВЕННОГО ОТБОРА

Поскольку экзаменуемые должны выбрать все “верные” варианты ответа, тестовые задания формата “верно/неверно” должны удовлетворять следующим требованиям:

• Условие задания должно быть ясным и недвусмысленным. Необходимо избегать использования неточных выражений типа “сопровождается”, “полезно для”, “важно для” и слов, являющихся подсказкой ­ “может” или “возможно”. Неопределенные термины типа “обычно” или “часто” не должны применяться.

• Варианты ответов должны быть либо абсолютно верными, либо абсолютно неверными; никакие оттенки недопустимы. Исключайте использование фраз и слов, перечисленных выше.

КАТЕГОРИЯ ВОПРОСОВ С ОДНИМ ЛУЧШИМ ОТВЕТОМ

В отличие от вопросов формата “верно/неверно”, вопросы с одним лучшим ответом (А-тип) точно определяют число вариантов ответа, которое нужно выбрать. Вопросы с одним лучшим ответом (А-тип) являются наиболее широко и часто используемым форматом вопросов множественного выбора. Они состоят из условия задания (клинической ситуации), вводного вопроса и серии из 5 вариантов ответа (обычно одного верного и четырех дистракторов - отвлекающих ответов). В следующем примере дано описание больного и экзаменуемого просят поставить наиболее вероятный диагноз.

Условие задания:

32-х летний мужчина в течение 4-х дней отмечает нарастающую слабость в конечностях. Был ранее здоров, но перенес респираторную инфекцию 10 дней назад. Температура 37,8°С, АД 130/80 мм.рт.ст, пульс 94/мин, ЧДД 42/мин. Дыхание поверхностное. У больного наблюдается симметричная слабость мышц обеих половин лица и проксимальных и дистальных мышц конечностей. Чувствительность сохранена.

Глубокие сухожильные рефлексы не вызываются; отмечаются сгибательные подошвенные рефлексы.

Вводный вопрос:

Какой из нижеперечисленных диагнозов является наиболее вероятным?

Варианты ответа:

A. Острый диссеминированный энцефаломиелит B. Синдром Гийена-Барре C. Миастения гравис D. Полиомиелит E. Полимиозит Заметьте, что неверные варианты ответа не являются абсолютно неверными. Варианты ответа можно представить следующим образом:

Несмотря на то, что неверные варианты ответа не являются абсолютно неверными, они все же менее правильны, чем эталонный ответ. Экзаменуемый должен выбрать “наиболее вероятный диагноз”. Все эксперты согласятся, что в данном случае наиболее вероятным диагнозом является ответ В. Также они согласятся, что остальные диагнозы тоже вероятны в какой-то степени, но менее, чем ответ В. Когда варианты ответа представляют собой однородную совокупность (в данном случае от “Наиболее Вероятного” до “Наименее Вероятного” диагноза), эти варианты не должны быть абсолютно неверными.

Данное тестовое задание имеет дефект. После Что из ниже перечисленного верно в чтения условия задания студент имеет совершенно отношении псевдоподагры?

неясное представление о сути вопроса. Чтобы найти “наилучший” ответ экзаменуемый должен решить, является ли вариант ответа А (“Чаще болеют женщины”) более или менее верным, чем вариант ответа В (“Редко встречается острая боль в суставе”). Это сравнение яблок и апельсинов. Чтобы разграничить относительную правильность вариантов ответа они должны быть однородны (гомогенны), в противном случае все варианты ответа должны быть стопроцентно верны или неверны.

Неверно

ГЛАВА 2. ФОРМАТЫ ТЕСТОВЫХ ЗАДАНИЙ МНОЖЕСТВЕННОГО ОТБОРА

В отличие от вариантов ответа в тестовом задании о псевдоподагре, варианты ответа в тестовом задании о синдроме Гийена-Барре гомогенны (все они являются диагнозами); знающие экзаменуемые могут расположить варианты ответа в одном измерении.

Хорошо построенные вопросы с одним наилучшим ответом удовлетворяют правилу “закрытых вариантов ответа” - возможности ответить на вопрос, не видя вариантов ответа. Такие вопросы могут использоваться для письменного экзамена.

ИТОГ ОБСУЖДЕНИЯ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ

Мы рекомендуем вам не использовать тестовые задания формата “Верно/Неверно”. Хотя многие авторы ТЗ считают, что тестовые задания данного формата писать легче, чем задания с одним лучшим ответом, мы обнаружили, что с ними больше проблем. При написании вопроса автор имеет в виду что-то определенное, а тщательный разбор написанных тестовых заданий показывает, что в них есть некоторые недостатки, незаметные автору. Часто различия между “верным” и “неверным” неясны, и не были редкостью ситуации, когда при последующем пересмотре менялся эталон ответа. В результате, при обсуждении тестовых заданий формата “Верно/Неверно” на встречах тестовых комитетов их приходится переписывать и исключать гораздо чаще, чем тестовые задания, написанные в других форматах. В некоторых случаях двусмысленность можно устранить, в других это сделать нельзя.

И, наконец, есть еще одна причина, гораздо более серьезная, чем вышеперечисленные. Мы обнаружили, что, исключая двусмысленность, мы вынуждены оценивать только запоминание отдельных фактов, а это то, чего мы активно избегаем. Мы нашли, что применение знаний, интеграция, синтез и умение принимать решение лучше оцениваются с помощью вопросов с одним лучшим ответом. NBME полностью прекратил использование тестовых заданий формата “Верно/Неверно” в своих экзаменах.

Мы также рекомендуем вам не использовать А-тип тестовых заданий, содержащих отрицание.

Наиболее проблемными являются тестовые задания, содержащие формулировки типа “Что из следующего верно, КРОМЕ“ и “Какое из следующих утверждений НЕ верно?” Такие вопросы имеют те же проблемы, что и формат “Верно/Неверно”: если варианты ответа невозможно расположить в одном измерении, экзаменуемые не могут определить ни “наименее”, ни “наиболее” правильный ответ. С другой стороны, в некоторых экзаменах мы иногда используем четко сфокусированные отрицательные тестовые задания А-типа с короткими (одно слово) вариантами ответа. Главным образом они выступают в качестве достаточно плохой замены тех тестовых заданий, которые требуют от экзаменуемого выбрать несколько ответов. Оптимальный формат тестовых заданий, который может использоваться для этой цели, - формат N-типа, при котором экзаменуемые должны выбрать “N” ответов, - обсуждается далее в этом руководстве.

В Приложении даны примеры форматов тестовых заданий, которые сейчас не используются в экзаменах NBME.

Данный раздел описывает два типа технических дефектов тестовых заданий: связанных с опытностью студентов в тестировании и безотносительной сложностью. Наличие дефектов первого типа облегчает некоторым студентам выбор правильных ответов. При этом студенты основываются только на своем опыте в тестировании. Данные дефекты обычно наблюдаются в тестовых заданиях, которые не сфокусированы и не удовлетворяют правилу “закрытых вариантов ответа”. При наличии дефекта в виде безотносительной сложности, вопрос становится трудным вне связи с оцениваемым параметром.

Целью данного раздела является представить типичные дефекты и помочь преподавателям исключить данные дефекты из своих вопросов, чтобы обеспечить равные возможности как для умудренных, так и для менее опытных в тестировании студентов. Вероятность правильного ответа на вопрос должна зависеть от уровня знаний экзаменуемого по оцениваемой теме и не должна зависеть от опыта студентов в тестировании.

ДЕФЕКТЫ, СВЯЗАННЫЕ С ОПЫТОМ В ТЕСТИРОВАНИИ

Грамматические подсказки: Один или более дистракторов грамматически не соответствуют условию тестового задания.

Так как авторы тестового задания 60-летний алкоголик доставлен полицией в стараются уделить большее внимание приемный покой в состоянии эпилептического правильному ответу, чем дистракторам статуса. После того, как вы убедились, что его (отвлекающим ответам), грамматические несоответствия чаще встречаются в последних. В данном примере опытные в тестировании студенты сразу исключат А и С варианты, так как они грамматически не совпадают с условием задания. Далее таким студентам останется выбрать только между вариантами ответа В, D и Е.

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

В данном тестовом задании варианты ответа А, В и С включают все возможности. Преступность Опытный в тестировании студент знает, что ответы А, В или С должны быть правильными, тогда как неопытный теряет время на обдумывание ответов D и Е. Часто авторы тестовых заданий добавляют ответы D и Е только для доведения числа вариантов до 5. В таких ситуациях авторы тестовых заданий могут не иногда они могут быть частично верными и смущать студентов, так как не могут быть расположены в одном измерении с ответами А, В и С. Данные дефекты часто встречаются в тестовых заданиях, содержащих варианты ответа:

“Повышается”, “Понижается” и “Остается на прежнем уровне”.

Абсолютные термины: использование таких терминов, как “всегда” или “никогда” в вариантах ответа.

В данном тестовом задании варианты ответа А, В и Е содержат термины, которые менее У больных с прогрессирующей деменцией типа категоричны, чем содержащиеся в вариантах С и D. Опытный в тестировании студент исключит варианты С и D из возможных, так как они менее вероятны из-за абсолютности утверждений.

Заметьте, что данный дефект не появился бы, если бы условие задания было сфокусировано, а варианты ответа короткими; дефект возникает тогда, когда глагол включается в варианты ответа, а не во вводный вопрос.

Длинный правильный ответ: правильный ответ длиннее, более конкретен или более полон, чем другие варианты ответа.

В данном тестовом задании вариант ответа С длиннее, чем все остальные варианты ответа; “Вторичное приобретение“ (получение тестовых заданий уделяют большее внимание правильному ответу, чем дистракторам. Поскольку вы преподаватель, то вы пишете длинные правильные ответы, содержащие дополнительную информацию, комментарии, предупреждения и т.д.

Иногда это бывает слишком выражено:

правильный ответ длиной в абзац, а дистракторы ­ только одно слово.

Повторение слов: слово или фраза из условия задания включены в правильный ответ.

В данном тестовом задании используется слово 58-летний мужчина, злоупотребляющий “нереальный” в условии задания и слово алкоголем и ранее госпитализировавшийся в “дереализация” в правильном ответе. Иногда слово психиатрическую больницу, растерян и повторяется только метафорически: условие задания упоминает костные боли, а правильный ответе начинается со слова osteo.

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

Тенденция к конвергенции: правильный ответ включает в себя наибольшее количество общих элементов из других вариантов ответа.

Дефект этого тестового задания менее заметен, чем в предыдущих примерах, но он часто встречается и заслуживает внимания. Дефект может быть нескольких видов. Основополагающим является то, что правильным ответом служит вариант, имеющей наибольшее сходство с остальными вариантами ответа; для правильного ответа не типично быть исключением. Например, в вариантах ответа, представленных цифрами, правильным ответом скорее всего будет среднее значение, а не крайние величины. В двойных вариантах правильным ответом скорее всего будет вариант, имеющий наибольшее сходство с дистракторами. Например, среди вариантов ответа “Карандаш и ручка”, “Карандаш и фломастер”, “Карандаш и кисточка”, “Ручка и маркер”, правильным ответом скорее всего будет “Карандаш и ручка” (что выявляется путем простого подсчета: “Карандаш” встречается 3 раза, “Ручка” - дважды, а другие варианты лишь по одному разу). Хотя это может показаться забавно, но данные дефекты возникают из-за того, что авторы тестовых заданий начинают с правильного ответа, а вариации с правильным ответом являются дистракторами. Таким образом правильный ответ и содержит наибольшее число общих элементов среди всех вариантов ответа;

неправильные ответы чаще являются исключе­ ниями, так как авторам тестовых заданий бывает Местные анестетики наиболее эффективны в трудно создать правдоподобные дистракторы. В приведенном примере опытный в тестировании студент исключит “анионную форму” как маловероятную; этот студент также исключит “снаружи нервной мембраны”. Таким образом студенту останется выбрать только между вариантами В и Е. Поскольку три из пяти вариантов ответа упоминают заряд, такой опытный студент выберет вариант В.

ДЕФЕКТЫ, СВЯЗАННЫЕ С ЧРЕЗМЕРНОЙ СЛОЖНОСТЬЮ

Варианты ответов являются длинными, сложными или двойными.

Данное тестовое задание иллюстрирует собой типичный дефект. Условие задания содержит посторонние сведения, и, что еще более важно, варианты ответов очень длинны и сложны. Выбор из данных вариантов ответа требует долгого и внимательного чтения в связи с большим количеством подробностей в каждом варианте. Это может привести к тому, что вместо оценки знаний мы будем оценивать скорость чтения. Заметьте, что данный дефект относится только к вариантам ответа. Существует много хорошо составленных тестовых вопросов, которые имеют длинное условие задания. Решение о размере условия задания должно приниматься в соответствии с целью тестового задания. Если его целью является оценка способности студента интерпретировать и синтезировать информацию, например, для постановки наиболее вероятного диагноза, тогда целесообразно, чтобы условие задания включало подробное описание пациента.

Комиссии по оценке работы коллег в некоторых организациях здравоохранения (НМО - Health Maintenance Organization) могут предпринять действия в отношении документов, подтверждающих образование и квалификацию врача, в защиту интересов участников НМО. Существует требование убедиться в том, что в ходе таких действий к врачу применяются надлежащие законные процедуры.

Что из следующего обязательно включается в надлежащие законные процедуры?

A. Соответствующее уведомление, суд, уполномоченный принять решение, возможность лично оспорить показания свидетелей против себя; и возможность представить доказательства в свою защиту.

B. Уведомление, беспристрастность участников, возможность услышать и лично оспорить показания свидетелей против себя.

C. Разумное и своевременное уведомление, беспристрастная комиссия, уполномоченная принять решение, возможность услышать свидетельства против себя и лично оспорить показания свидетелей и возможность представить доказательства в свою защиту.

Цифровые данные выражены бессистемно Когда используются цифровые варианты ответа, они должны быть расположены в порядке возрастания и быть выражены в едином формате (т.е. в виде отдельного числа или в виде диапазона чисел).

Путаница возникает, когда форматы цифровых данных смешиваются, и когда варианты ответа располагаются в нелогичном порядке или бессистемно.

В данном примере варианты ответа А, В и С После повторно перенесенного сальпингита выражены в виде диапазона, тогда как варианты D какова вероятность бесплодия у женщины?

и Е - точных процентные данные. Все варианты ответа должны быть либо в виде диапазона, либо в виде точных процентных данных; смешивать эти форматы не рекомендуется. Кроме того, вариант ответа С включает в себя D и Е, что почти несомненно исключает варианты D и Е из числа правильных ответов.

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

Использование в вариантах ответа неопределенных терминов, характеризующих частоту (напр., редко, обычно) Исследование показало, что неопределенные Выраженное ожирение в раннем подростковом термины, характеризующие частоту явления, даже экспертами не всегда понимаются одинаково.

Ниже в руководстве приведен более подробный анализ данного исследования.

Стилистическая неоднородность вариантов ответа; нелогичный порядок вариантов ответа.

Данное тестовое задание иллюстрирует При исследовании эффективности вакцины распространенный дефект. При этом варианты ответа длинные, а стилистика делает тестовое против определенного заболевания, а затем, в задание трудным и требующим времени для принятия решения о наиболее правильном ответе.

Обычно данный дефект можно устранить при внимательном редактировании. В данном конкретном тестовом задании вводный вопрос можно изменить следующим образом: “По какой из следующих причин невозможно сделать выводы из представленных данных?”. Варианты ответа можно отредактировать следующим образом: А.

“Не было наблюдения за невакцинированными детьми”; В. “Количество наблюдений слишком мало”; С. “Исследование включает только мальчиков”, а для D может быть написан новый вариант ответа.

Использование фразы “Ничего из вышеперечисленного” в качестве варианта ответа.

Фраза “Ничего из вышеперечисленного” является проблемной для тестовых заданий, где требуется принять решение, а варианты ответа не являются абсолютно верными или абсолютно неверными.

Если предполагаемый ответ заключен в одном из перечисленных вариантов ответа, то знающий студент сталкивается с дилеммой, поскольку он должен выбрать между очень подробным хорошим ответом и вашим собственным правильным ответом. Студент сам может придумать вариант ответа, который будет более правильным, чем предложенный вами. Использование фразы “ничего из вышеперечисленного” полностью изменяет тестовое задание на формат Верно/неверно; каждый вариант ответа должен оцениваться как более или менее верный по сравнению с множеством неуказанных ответов.

Условия задания излишне сложны или запутаны Иногда авторы тестовых Расположите родителей следующих детей с синдромом Дауна в заданий могут превратить порядке от наибольшего к наименьшему риску повторного рождения достаточно легкий вопрос в нечто настолько запутанное, что лишь очень отважный студент решится прочитать его. Данное тестовое задание является таким примером.

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

ОБОБЩЕНИЕ ТЕХНИЧЕСКИХ ДЕФЕКТОВ ТЕСТОВЫХ ЗАДАНИЙ

• Грамматические подсказки - один или более дистракторов грамматически не соответствуют условию задания • Логические подсказки - часть вариантов ответа исчерпывает все возможные варианты • Абсолютные термины - использование терминов “всегда” или “никогда” в некоторых вариантах ответа • Длинный правильный ответ - правильный ответ длиннее, более конкретен или более полон, чем другие варианты ответа.

• Повторение слов - слово или фраза из условия задания повторяется в правильном варианте ответа • Тенденция к конвергенции - правильный ответ имеет наибольшее сходство с элементами других вариантов ответа Дефекты, относящиеся к чрезмерной сложности • Варианты ответа являются длинными, сложными или двойными • Цифровые данные выражены бессистемно • Использование неопределенных терминов в вариантах ответа (напр., “редко”, “обычно”) • Стилистическая неоднородность вариантов ответа • Нелогичный порядок вариантов ответа • Использование фразы “Ничего из вышеперечисленного” в качестве варианта ответа • Условия задания слишком сложны или запутаны • Ответ на одно тестовое задание вытекает из ответа на предыдущее тестовое задание Общие указания по составлению тестовых заданий • Убедитесь, что на тестовое задание можно ответить, не глядя на варианты ответа, ИЛИ что варианты ответа на 100% верны или неверны.

• Включите в условие наибольшую часть информации из тестового задания; условие задания должно быть длинным, а варианты ответа короткими.

• Избегайте избыточной информации.

• Избегайте “запутанных” или слишком сложных тестовых заданий.

• Составляйте грамматически правильные и логически вытекающие из условия задания варианты ответа;

размещайте их в логическом или алфавитном порядке. Пишите правдоподобные дистракторы, имеющие приблизительно ту же длину, что и правильный ответ.

• Избегайте использования в вариантах ответа категоричных утверждений, типа всегда, никогда и все;

также избегайте неопределенных формулировок, типа обычно или часто.

• Избегайте тестовых заданий с отрицаниями (со словами кроме или не во вводном вопросе).

Если использование отрицания в условии задания необходимо, варианты ответа должны быть короткими, предпочтительно в одно слово.

И самое главное: Сосредоточьте внимание на важных моментах; не теряйте время на проверку знания тривиальных фактов.

ИСПОЛЬЗОВАНИЕ НЕОПРЕДЕЛЕННЫХ ТЕРМИНОВ В ЭКЗАМЕНАЦИОННЫХ ВОПРОСАХ

Хотя мы используем неоределенные термины в повседневной речи и при письме, они могут вызывать затруднения при использовании в экзаменационных тестовых заданиях. Во время исследования, проведенного в Национальном Совете Медицинских Экзаменаторов (NBME), 60 членов восьми тестовых комитетов, составляющие вопросы для экзаменов по различным медицинским специальностям, проанализировали список терминов, используемых в вопросах множественного выбора для выражения частоты явления, и попытались определить отрезок времени, который отражается каждым из этих терминов.

Результаты, приведенные ниже, показали, что эти термины не имеют устойчивого определения, которое было бы общепринято, даже среди самих авторов тестовых заданий. Средняя величина плюс-минус одно стандартное отклонение превышала 50% для более чем половины фраз. Например, в среднем, авторы тестовых заданий подразумевали под термином “часто” 65% встречаемости; две трети полагали, что это значение находится между 45-85%; а в действительности разброс мнений составил 15-95%. Особо следует заметить, что величины для термина часто перекрывались с величинами, характеризующими термин редко.

К правильным утверждениям о псевдоподагре формулировки вызывают более серьезные проблемы в тестовых заданиях формата верно/неверно (К-, С-. и Х-типы), чем в тестовых заданиях с одним лучшим ответом. Например, неопределенные термины являются основной проблемой в следующем тестовом задании формата верно/неверно:

В тестовом задании формата верно/неверно экзаменуемый должен решить, является ли каждый вариант ответа верным или неверным. Когда варианты ответа не являются абсолютно верными или неверными, экзаменуемые полагаются на свою собственную интерпретацию двусмысленных терминов или пытаются угадать, что же подразумевал под данным термином автор тестового задания. С другой стороны,ответы экзаменуемых могут отражать их личный стиль ответов (тенденцию предпочитать ответы “

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

верно” или “неверно”, если правильный ответ неизвестен). Данный стиль ответов может сильнее влиять на правильность ответов, чем знание экзаменуемым предмета. Это может быть одной из причин, почему тестовые задания формата верно/неверно имеют плохие результаты.

Перефразирование вариантов ответа с указанием конкретных цифр не улучшает ситуацию. Например, в приведенном примере изменение варианта ответа №1 следующим образом: “частота встречаемости среди женщин составляет 1:2000” не будет приемлемой модификацией. Частота встречаемости не составляет точно 1:2000, и поскольку диапазон не указан, экзаменуемые будут определять свой собственный диапазон: уже или шире, в зависимости от стиля ответов экзаменуемого. В тестовых заданиях формата верно/неверно приемлемым решением в случае с цифровыми вариантами ответа является или проведение сравнения (например, частота встречаемости выше, чем у остеоартроза), или указание диапазона (например, частота встречаемости находится между 1:1000 и 1:2000).

Проблемы, характерные для тестовых заданий формата верно/неверно, обычно не возникают в хорошо сформулированных тестовых заданиях с одним лучшим ответом (т.е., имеющих ясный вопрос и однородные варианты ответа). Например, следующий вопрос содержит неопределенный термин в условии тестового задания, но так как задание состоит в выборе одного наилучшего ответа, вопрос не является двусмысленным.

Какой из перечисленных лабораторных показателей обычно повышается у больных псевдоподагрой?

Однако при использовании неопределенных формулировок в вариантах ответа проблемы Больные псевдоподагрой испытывают боль возникают и в тестовых заданиях с одним лучшим ответом, как в приведенном примере.

Единственный путь еще больше запутать данное тестовое задание - это добавить пятый вариант ответа- ”ничего из вышеперечисленного”.

Данная диаграмма показывает распределение ответов по терминам, характеризующим частоту. Эти данные основаны на ответах 60 членов восьми тестовых комитетов. Горизонтальная линия в каждой клетке ­ средняя величина; клетки включают диапазон 50% ответов. Вертикальные линии продлеваются до наибольшей и наименьшей из указанных величин. Например, средним ответом для термина “часто” является 70%; половина опрошенных полагала, что “часто” находится между 45% и 75%; а диапазон всех ответов варьировал от 20% до 80%.

По материалам: Case SM. The use of imprecise terms in examination questions: how frequent is frequently? Academic Medicine. 1994:69 (suppl):S4-S6.

ГЛАВА 3. ТЕХНИЧЕСКИЕ ДЕФЕКТЫ ТЕСТОВЫХ ЗАДАНИЙ

В предыдущих главах представлены технические аспекты создания вопросов множественного выбора. Раздел II посвящен содержанию тестовых заданий.

ОСНОВНЫЕ ПРАВИЛА СОСТАВЛЕНИЯ ТЕСТОВЫХ ЗАДАНИЙ С ОДНИМ ЛУЧШИМ ОТВЕТОМ

• Каждое тестовое задание должно быть посвящено важной теме, т.е. распространенной или потенциально опасной клинической проблеме. Не тратьте время на вопросы, оценивающие знание тривиальных фактов. Ориентируйтесь на проблемы, с которыми можно встретиться в реальной жизни.

Избегайте тривиальных, “запутанных” или излишне сложных вопросов.

• Каждое тестовое задание должно оценивать способность применить знания, а не вспомнить изолированный факт. Условия тестовых заданий могут быть относительно длинными, тогда как варианты ответа должны быть короткими. Клинические ситуации являются хорошей основой для вопроса.

Для клинических дисциплин каждое тестовое задание должно начинаться с описания жалоб больного, за которым следует анамнез (включая длительность существования признаков или симптомов), физикальные данные, результаты диагностических исследований, начальное лечение, последующие данные и т.д.

Клинические ситуации могут включать только часть этой информации, но она должна быть представлена в данном конкретном порядке. Для фундаментальных дисциплин клинические ситуации могут быть очень короткими; “лабораторные ситуации” также приемлемы.

• Условие тестового задания должно ставить ясный вопрос, на который можно ответить, даже не видя вариантов ответа. Чтобы определить, достаточно ли сфокусирован вопрос, закройте варианты ответа, и посмотрите, ясен ли вопрос, и смогут ли экзаменуемые дать ответ, основываясь только на условии задания. Перепишите условие задания и/или варианты ответа, если экзаменуемые не смогут сделать этого.

• Все дистракторы (т.е., неправильные варианты ответа) должны быть гомогенны. Они должны относиться к той же категории, что и правильный ответ (например, все варианты ответа являются диагнозами, анализами, методами лечения, прогнозами, т.п.). Перепишите каждый дистрактор, который выпадает из выбранной категории. Избегайте использования “двойных вариантов ответа” (например, “сделать W и X”; или “выполнить Y, поскольку Z”). Такие “двойные варианты ответа” можно использовать, только если и правильный ответ, и все дистракторы являются двойными вариантами.

Перепишите двойные варианты ответа, чтобы сфокусировать их на одно понятие (действие, т.п.). Все дистракторы должны быть правдоподобны, грамматически последовательны, логически совместимы и приблизительно такой же длины, что и правильный ответ. Располaгайте варианты ответа в логическом порядке (например, в порядке возрастания (убывания) чисел) или в алфавитном порядке.

• Избегайте возникновения в заданиях технических дефектов, которые дают преимущество опытным в тестировании студентам, или приводят к чрезмерной сложности тестовых заданий.

НЕ пишите вопросы в форме “Какое из следующих утверждений справедливо?” или “Каждое из следующих утверждений справедливо, КРОМЕ”. Такие вопросы несфокусированы и имеют гетерогенные варианты ответа.

“Протестируйте” каждый написанный вопрос по пяти вышеуказанным правилам. Если вопрос прошел все пять, то он, скорее всего, хорошо сформулирован и сфокусирован на надлежащей теме.

СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ ФУНДАМЕНТАЛЬНЫХ НАУК

Традиционно тестовые задания классифицируются по мыслительному процессу, который необходим для ответа на вопрос (т.е. вспоминание, интерпретация, или решение проблемы; память, понимание или рассуждение). Считается, что тестовые задания на вспоминание проверяют знание отдельных фактов.

Тестовые задания на интерпретацию требуют от экзаменуемых обобщить некоторую информацию (часто представленную в виде таблицы или графика) или прийти к какому-либо заключению (например, к диагнозу).

Тестовые задания, оценивающие умение решать проблемы, представляют ситуацию и требуют от экзаменуемых предпринять некие действия (например, следующий шаг в ведении больного). Считается, что тестовые задания на интерпретацию и умение решать проблемы вовлекают навыки “более высокого порядка”, чем заучивание на память фактической информации.

К сожалению, мыслительные процессы, требующиеся для ответа на тестовое задание, бывает очень трудно определить, поскольку они зависят как от общей подготовки тестируемого, так и от содержания тестового задания. Например детский кардиолог или специалист по физиологии сердечно-сосудистой системы смог бы ответить на тестовое задание о кровотоке у пациента с ДМЖП не особо задумываясь над вопросом, а просто вспомнив ответ. Тогда как среднему экзаменуемому, сдающему 1 ступень экзамена (Step 1), может потребоваться продумать ответ с точки зрения основных принципов гемодинамики. Мыслительный процесс, вовлеченный в ответ на вопрос, варьирует от одного тестируемого к другому, затрудняя использование такого таксонометрического подхода.

Более простой и объективный подход к классификации тестовых заданий основывается на задаче, которая ставится перед экзаменуемым. Если тестовое задание требует, чтобы экзаменуемый студент пришел к заключению, сделал предсказание или выбрал порядок действий, то его можно классифицировать, как задание на применение знаний. Если тестовое задание проверяет только заучивание на память отдельных фактов (не требуя их применения), то оно классифицируется как задание на вспоминание. Все тестовые задания должны требовать применения знаний, позволяя оценить как объем информации, имеющейся у экзаменуемого, так и его умение использовать эту информацию.

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

вспоминание отдельного факта, и вопросом, оценивающим применение знаний.

Условие задания на вспоминание из области фундаментальных наук:

Какая область кровоснабжается посредством задней нижней мозжечковой артерии?

Условие задания на применение знания фундаментальных наук:

У 62-летнего мужчины развилась левосторонняя атаксия конечностей, синдром Горнера, нистагм и потеря болевой и температурной чувствительности на лице. В какой артерии вероятнее всего наблюдается окклюзия?

Общепринято использовать клинические ситуации в качестве условия в тестовых заданиях, оценивающих применение фундаментальных знаний для интерпретации клинических ситуаций. Например, вместо того, чтобы просить указать мышцы, иннервируемые черепно-мозговым нервом, опишите набор физикальных данных и попросите экзаменуемого определить наиболее вероятное место поражения. Вместо требования описать дыхательный ацидоз или алкалоз, укажите величины газов в артериальной крови (и другие данные больного, если необходимо) и попросите экзаменуемого подобрать наиболее вероятное патофизиологическое обоснование. Убедитесь, что студенты смогут ответить на вопрос, основываясь на понимании фундаментальных дисциплин; опыт ведения больных не должен требоваться.

“Лабораторные ситуации” также могут быть полезны при подготовке тестовых заданий на применение знаний. Такие тестовые задания представляют лабораторные исследования и требуют от экзаменуемых использовать свое понимание принципов фундаментальных наук для предсказания или объяснения результатов. Ситуации могут описывать классические опыты в области фундаментальных наук, либо они могут касаться менее известных или гипотетических ситуаций. Такие тестовые задания эффективно смещают фокус оценки со знания изолированных фактов на использование принципов фундаментальных наук для решения проблем.

Использование клинических (с описаниями больных) и лабораторных ситуаций для оценки применения знаний имеет несколько преимуществ. Во-первых, “внешняя валидность” экзамена значительно возрастает за счет использования тестовых заданий, ориентированных на “решение проблем”. Во-вторых, более вероятно, что тестовые задания будут фокусироваться на важной информации, нежели на тривиальной.

И в-третьих, такие ситуации помогают выявить тех экзаменуемых, которые запомнили большой объем фактической информации, но неспособны эффективно использовать ее.

• Проверяйте применение знаний, используя экспериментальные или клинические ситуации • Фокусируйте тестовые задания на тех ключевых концепциях или принципах, которые являются обязательными для всех экзаменуемых (их понимание и применение должно осуществляться без доступа к справочным материалам) • Проверяйте материал, который актуален для обучения на последующих клинического курсах, во время последипломной подготовки и позднее • Избегайте тестовых заданий, требующих только вспоминания отдельных фактов • Избегайте малодоступных или любопытных тем, которые не являются необходимыми Следующие два тестовых задания были написаны для оценки одной и той же темы. Мы рекомендуем, чтобы вопросы походили на второе тестовое задание, а не на первое.

Острая перемежающаяся порфирия является У ранее здорового 33-летнего мужчины появилась результатом дефекта в биосинтезе постоянная боль в животе, периодически B. кортикостероидов

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

ШАБЛОНЫ ТЕСТОВОГО ЗАДАНИЯ

Общую структуру тестового задания можно отразить с помощью шаблона. Обычно можно создать много тестовых заданий, используя один шаблон. Например, приведенный шаблон можно использовать для группы вопросов, относящихся к анатомии человека:

Больной (описание) не может (нарушение функции). Какая из следующих структур вероятнее Следующий вопрос написан по данному шаблону:

65-летний мужчина отмечает трудность вставания из положения сидя и распрямления туловища, однако он легко сгибает ногу. Какая из следующих мышц вероятнее всего повреждена?

A. (*) Большая ягодичная (Gluteus maximus) B. Малая ягодичная (Gluteus minimus) C. Мышцы, ограничивающие подколенную ямку D. Подвздошно-поясничная (Iliopsoas) E. Внутренняя запирательная (Obturator internus) Многие вопросы по фундаментальным дисциплинам могут быт представлены в форме клинической ситуации. Клинические ситуации могут включать некоторые или все из следующих компонентов:

Данные физикального обследования +/- Результаты диагностических исследований +/- Первоначальное лечение, последующие данные, и т.д.

ДОПОЛНИТЕЛЬНЫЕ ШАБЛОНЫ

• У больного (его описание) наблюдается (тип повреждения и его локализация). Какая из следующих структур вероятнее всего повреждена?

• У больного (его описание) наблюдается (данные анамнеза). Он принимает (лекарственные препараты).

Какой из следующих лекарственных препаратов является наиболее вероятной причиной (такого анамнеза, данных физикального обследования или лабораторных показателей)?

• У больного (его описание) выявляются (аномальные признаки). Какой (дополнительный) признак (симптом) поможет/помогут предположить у больного диагноз 1 (название заболевания),а не диагноз (название заболевания)?

• У больного (его описание) наблюдаются (симптомы и признаки). Такие данные предполагают, что заболевание является результатом (отсутствия или наличия) какого из следующих (ферментов, процессов)?

• Больной (описание) придерживается (специальной диеты). Какое из следующих состояний возникнет вероятнее всего?

• У больного (его описание) наблюдаются (симптомы, признаки или конкретное заболевание). Он получает следующий (лекарственный препарат; препарат из группы...). Препарат действует путем ингибирования какой из следующих (функций, процессов)?

• У больного (его описание) выявляются (аномальные признаки). Изменения каких из следующих (лабораторных данных) можно ожидать?

• Через (промежуток времени) после (события, например, поездки или приема определенной пищи) у (описание больного, группы людей) появились (симптомы, признаки). Какой из следующих (организмов, веществ) вероятнее всего будет найден при анализе (пищи)?

• После (процедуры) у больного (его описание) возникли(симптомы и признаки). Лабораторные исследования выявили следующие (данные). Что является наиболее вероятной причиной?

• Больной (описание) умер от (заболевания). Что вероятнее всего будет обнаружено при аутопсии?

• У больного наблюдаются (симптомы или признаки). Контакт с каким из (токсических веществ) является наиболее вероятной причиной?

• Каков наиболее вероятный механизм терапевтического воздействия данной (группы лекарственных препаратов) на больного с (заболеванием)?

• У больного выявляются (аномальные признаки), но (нормальные признаки). Каков наиболее вероятный диагноз?

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

ТИПЫ ВОПРОСОВ:

ПРИМЕРЫ ВВОДНЫХ ВОПРОСОВ И ВАРИАНТОВ ОТВЕТА:

Что из следующего является (аномальным)?

Варианты ответа могут включать локализацию поражений; перечень нервов; перечень мышц; перечень ферментов; перечень гормонов; типы клеток; перечень нейромедиаторов; перечень токсинов, молекул, сосудов, сегментов спинного мозга.

Какие из следующих данных наиболее вероятны?

Варианты ответа могут включать перечень лабораторных результатов; перечень дополнительных физикальных признаков; результаты аутопсии; результаты микроскопического исследования жидкостей, мышечной или суставной тканей; результаты анализа ДНК; сывороточные концентрации.

Что из следующего является наиболее вероятной причиной?

Варианты ответа могут включать перечень лежащих в основе механизмов заболевания; лекарственные препараты, которые могут вызвать побочные эффекты; лекарства или группы лекарственных препаратов; гемодинамические механизмы, вирусы, дефекты метаболизма.

Что из следующего следует назначить?

Варианты ответа могут включать лекарства, витамины, аминокислоты, ферменты, гормоны.

Что из следующего повреждено/в недостатке/не функционирует?

Варианты ответа могут включать перечень ферментов, механизмы обратной связи, эндокринные структуры, элементы диеты, витамины.

данным заболеванием?

СОСТАВЛЕНИЕ ВАРИАНТОВ ОТВЕТА

Неправильные варианты ответа в каждом вопросе Кто является основным автором Декларации называются дистракторами (отвлекающими Независимости?

ответами). Каждый дистрактор должен выбираться хотя бы некоторыми тестируемыми; поэтому каждый дистрактор должен быть правдоподобен и не должен выделяться, как явно неправильный.

Распространенные заблуждения и неверные обоснования являются хорошим источником правдоподобных дистракторов. Дистракторы прямо влияют на сложность вопроса.

В приведенном примере варианты ответа очень разные и Томас Джефферсон легко “вычисляется” как правильный ответ. Любой, кто немного знает историю Америки, сможет правильно ответить на вопрос.

В данном примере, вопрос стал более сложным; Кто является основным автором Декларации все варианты ответа правдоподобны для человека Независимости?

с ограниченными знаниями. Для некоторых областей знания варианты ответа типа приведенных в первом примере могут быть приемлемы; тогда как для других более подходящими могут быть варианты ответа из второго примера.

При составлении своих вариантов ответа убедитесь, что они:

ведении больного) • Неправильны или менее вероятны, чем правильный ответ • Правдоподобны и привлекательны для неинформированного экзаменуемого • Похожи на правильный ответ по конструкции и длине • Грамматически последовательны и логически совместимы с условием задания

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

ВНЕШНИЙ ВИД ТЕСТОВОГО ЗАДАНИЯ

Правильно сформулированное тестовое задание включает максимальную часть информации в условие задания; условие должно быть относительно длинным, а варианты ответа относительно короткими. Условие задания должно включать все имеющие значение факты; в вариантах ответа не должно быть дополнительной информации.

Правильно сформированное тестовое задание:

Длинное Условие Задания Короткое Условие Задания

ПРОБЛЕМНО-ОРИЕНТИРОВАННОЕ ОБУЧЕНИЕ И ИСПОЛЬЗОВАНИЕ КЛАСТЕРОВ КЛИНИЧЕСКОГО

СЛУЧАЯ

Многие медицинские школы переходят на проблемно-ориентированное обучение (PBL - ProblemBased Learning), как метод преподавания некоторых разделов фундаментальных дисциплин. Хотя подход каждой школы к PBL в чем-то индивидуален, характерным является использование письменных клинических ситуаций (проблем) при преподавании фундаментальных дисциплин. Данный метод создан для того, чтобы стимулировать изучение традиционных фундаментальных дисциплин (например, анатомии, физиологии, биохимии) с клинической точки зрения. Также акцентируется приложение принципов базисных наук к клиническим ситуациям. Обычно с материалом знакомятся при самостоятельном обучении, и он обсуждается в малых группах с преподавателем (наставником).

Учебные программы и курсы, построенные по принципу проблемно-ориентированного обучения (PBL), обычно акцентируются на учебном процессе, обучении тому, как учиться, ответственности студентов за свое собственное обучение и развитии умения учиться на протяжении всей жизни. Однако между программами имеются существенные различия, которые влияют на оценивание. Метод “Свободного Открытия” акцентируется на процессе обучения: студенты ответственны за определение того. что, когда и как изучать. Наиболее важным является обучение тому, как применять общие принципы в проблемноориентированных ситуациях; при этом инструкторы обеспечивают минимальное руководство, а студенты имеют максимальные возможности для исследования. Напротив, при методе “Направляемого Открытия”, составители учебной программы определяют конкретные учебные задачи для каждой проблемы, и эти задачи даются инструкторам, которые используют их для организации групповой дискуссии и обучения студентов.

Такие учебные программы могут иметь хорошую структуру и тщательно согласованную последовательность инструкций. Студенты могут знать или не знать структуру и конкретные задачи: их опыт может быть аналогичен опыту студентов, обучающихся по методу “Свободного Открытия”. На практике методы Свободного и Направляемого Открытия лучше всего представить как два конца одного ряда. Программы варьируют, и проблемы внутри программы также варьируют.

Оценка в программах, использующих метод “Свободного Открытия”, часто сосредотачивается на таких показателях процесса обучения, как умение направлять себя, мотивированность, умение прилагать усилия, умение решать проблемы, и отношение к обучению. Оценивание результатов обучения поистине проблематично, поскольку программа поощряет индивидуальный путь обучения каждого студента.

Использование традиционных тестов, в частности с вопросами множественного выбора, часто рассматривается как неприемлемый метод, так как он заставляет студентов “учиться для данного теста”, и таким образом мешает им самостоятельно определять материал к обучению и процесс его изучения.

При использовании метода “Направляемого Открытия” оценивание результатов обучения представляет меньшую проблему, так как одни и те же учебные задачи могут определять как процесс обучения (формирование и развитие проблемы), так и процесс контроля (создание теста). Чтобы достичь согласованности с целями учебной программы, оцениваться должно понимание студентом основных

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

механизмов здоровья, заболевания и лечения. Хорошо написанные тесты множественного выбора могут играть важную роль в оценке, если они оценивают применение знаний фундаментальных дисциплин для ведения больных. Тесты, использующие “кластеры клинического случая” - вопросы множественного выбора, относящиеся к одному описанию больного - особенно подходят для курсов, использующих проблемноориентированное обучение.

Ниже приведен пример простого “кластера клинического случая”. Он состоит из короткого описания случая, за которым следует группа из трех вопросов множественного выбора. Каждый вопрос затрагивает различные аспекты случая, рассматривая клиническую ситуацию с различных точек зрения. Подобно проблемно-ориентированному обучению, использование тестового материала с “кластерами клинического случая” направлено на изучение фундаментальных дисциплин таким образом, чтобы они были полезны при ведении больных.

У женщины 34 лет наблюдается выраженная диарея с водянистым стулом в течение последних четырех дней. Два месяца назад перенесла инфекционный мононуклеоз. Она применяет наркотики внутривенно; в крови обнаружены ВИЧ-антитела. При физикальном обследовании выявляется дегидратация и выраженная мышечная слабость.

1. Лабораторное обследование вероятнее всего обнаружит Дальнейшие исследования имеющейся C. повышение сывороточная концентрация HCO3поскольку ВИЧ (*) повышение сывороточной концентрации Na+ E. повышение рН сыворотки крови A. Биопсия толстой кишки для выявляения Giardia lamblia C. (*) инфицирует клетки с B. Посев из ротовой полости на Candida Albicans рецепторами CD- C. Биопсия двенадцатиперстной кишки для выявления Ent- D. инфицирует макрофаги E. (*) Анализ кала на выявление Cryptosporidium В дополнение к принципам, описанным выше в данном руководстве, существует еще два соображения, которые необходимо учитывать при составлении кластеров клинического случая. Во-первых, желательно избегать “подсказывания” - намеков на ответы на первые вопросы при чтении последующих.

Весьма вероятно, что студенты будут “забегать вперед” в поисках таких подсказок, поэтому автор тестовых заданий должен их избегать. Например, в кластере, описывающем больного с болью в грудной клетке, если первый вопрос затрагивает наиболее вероятную причину боли, а второй требует выбрать наиболее подходящее медикаментозное лечение, важно, чтобы каждый из диагнозов, относящихся к первому вопросу, имел “соответствующий” препарат во втором (и наоборот); в противном случае опытный в тестировании студент может исключить диагнозы (и лекарства) путем простого сравнения списков вариантов ответа.

Во-вторых, желательно избегать “сцепленности” - создания вопросов, в которых студенты должны знать ответ на один вопрос, чтобы ответить на другие. Исключение составляют случаи, когда проверяемая тема настолько важна, что автор тестовых заданий хочет, чтобы студенты получили либо все баллы, относящиеся к кластеру, либо ни одного. Приведенный ниже кластер, составленный д-рами Девидом Фелтеном и Ральфом Джозефовицем для итогового экзамена по курсу нейронаук на 1 курсе Рочестерского Университета, иллюстрирует один из способов, как избежать сцепленности.

Каждое из первых трех тестовых заданий сосредоточено на разных аспектах клинической картины, и, вероятно, студенты ответят правильно на одни и неправильно - на другие вопросы, получив “частичный зачет”. Последнее тестовое задание слегка зависит от предыдущих, поскольку для правильного ответа студентам требуется “представить общую картину”, но это целесообразно, учитывая его важность.

Одному преподавателю может быть сложно подготовить кластеры клинических случаев, в которых тестовые задания затрагивают информацию из нескольких фудаментальных дисциплин - это требует глубоких знаний. Один из способов справиться с такой проблемой, это использовать для подготовки тестового материала “командный подход”, подобный методу, применяемому для разработки проблем для проблемноориентированного обучения. Например, клиницист команды может подготовить описание больного, с которого начнется кластер, а также вопросы, относящиеся, к примеру, к патофизиологии. Преподаватели соответствующих фундаментальных наук могут составить тестовые задания, которые рассматривают различные аспекты клинической ситуации с точки зрения их дисциплины.

Использование материала такого рода, конечно, не ограничивается учебной программой и курсами, построенными по принципу проблемно-ориентированного обучения. Приемлемо подчеркивать клиническое приложение фундаментальных дисциплин при обучении, изучении и оценивании. С нашей точки зрения, это относится к большинству фундаментальных предметов - даже к тем, которые изучаются на первом курсе.

Данный пример по нейронаукам хорошо иллюстрирует, что и в традиционно преподаваемом курсе приемлемо проверять базовые знания анатомии и физиологии через призму помощи больным.

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

Женщина 58 лет в бессознательном состоянии доставлена в приемный покой после внезапной потери сознания в магазине. Родные отметили, что больная чувствовала себя хорошо утром того же дня, но жаловалась на головную боль, которая значительно усилилась за время пребывания в магазине. У больной имеется гипертония и фибрилляция предсердий, она принимает гипотензивные препараты и антикоагулянты в таблетках. АД=220/130 мм рт.ст., дыхание можно охарактеризовать как апноэ, чередующееся с глубоким и частым дыханием (гиперпноэ). Больная реагирует только на болевые раздражители разгибанием правой руки и ноги. Осмотр глазного дна показал отек диска зрительного нерва слева. Зрачки D/S =3,0/7,0, слева отсутствует реакция на свет. Взгляд преимущественно фиксирован влево. Отмечается диффузная гиперрефлексия (D>S) и двусторонний положительный симптом Бабинского.

1. 1. Расширенный ареактивный левый зрачок 3. Ее дыхание можно охарактеризовать как наиболее характерен для повреждения D. D. латерального коленчатого тела (corpus ge- E. атаксическое niculatum laterale) E. верхнего холмика(colliculus superior) 2. Правосторонние разгибательные рефлексы (ex- 4. Какой из следующих синдромов вклинения (herniatensor posturing) наиболее характерны для tion syndrome) наиболее характерен для такой левостороннего повреждения клинической картины?

A. большого мозга (telencephalon) A. цингулярная извилина под серп B. промежуточного мозго (diencephalon) B. (*)крючок височной доли в намет мозжечка Дополнительное обсуждение вопросов оценивания в проблемно-ориентированных курсах и учебной программе (PBL) можно найти в: “Strategies for Student Assessment”,a chapter by Swanson, Case and van der Vleuten in the Challenge of Problem-Based Learning (Boud and Feletti, editors, 1991, London, Kogan Page Ltd., 260-273).

ПРИМЕРЫ ТЕСТОВЫХ ЗАДАНИЙ ПО ФУНДАМЕНТАЛЬНЫМ ДИСЦИПЛИНАМ

1. Несколько смежных клеток помечено флуоресцентным 3. Во время операции, проводящейся под наркозом, у красителем, который не проникает через клеточные пациента ведется мониторинг РCO2 и рН артериальной мембраны. В эксперименте одна из клеток обработана крови. Пациент находится на ИВЛ и начальные величины светом, разрушающим краситель, но вскоре соответствуют норме (РCO2=40 мм рт. ст., рН=7,42). При флуоресценция красителя восстановилась. Наличие какой снижении вентиляции, что из нижеследующего будет из перечисленных структур между облученной клеткой и наблюдаться вероятнее всего?

ее флуоресцирующими соседями объясняет 2. У 30–летнего мужчины обнаружена потеря болевой и температурной чувствительности правой половины тела, начиная от шеи, и левой половины лица; частичный паралич мягкого неба, гортани и глотки слева;

левосторонняя атаксия. Данный синдром наиболее вероятно вызван тромбозом какой из следующих артерий?

A. Базальной B. Правой задней нижней мозжечковой C. (*) Левой задней нижней мозжечковой D. Правой верхней мозжечковой E. Левой верхней мозжечковой

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

5. У больного с постгепатитным циррозом печени 7. Лабораторное обследование 35–летнего мужчины с развилось быстрое увеличение размеров печени, отеками выявило нормальную сывороточную сопровождающееся ухудшением ее функции. концентрацию комплемента и повышенный сывороточный Сывороточная концентрация какого из следующих уровень холестерина. В анализе мочи белок 4+, 0– веществ наиболее вероятно будет изменена? эритроцитов в поле зрения и единичные гиалиновые 6. У первого ребенка резус-отрицательной 26–летней 8. Гены в бактериальной хромосоме имеют следующие женщины, ранее имевшей 2 выкидыша во втором связи при конъюгационной передаче: х и у - в 25% триместре беременности, наблюдается тяжелый гемолиз и случаев; у и z - в 50% случаев. Если порядок генов х–y–z, недостаточность кровообращения. Данное состояние приблизительно в каком проценте случаев х и z будут можно быть предотвратить лечением матери передаваться вместе?

беременности 9. Меню банкета включало жареного цыпленка, 11. Больной, наблюдаемый в приемном покое, не знает, картофель, жареный по–домашнему, горошек, какой сердечный препарат он принимает. ЧСС свыше шоколадные эклеры и кофе. В течение 2–х часов 80/мин., на ЭКГ интервал PR и комплекс QRS увеличены.

большинство обедавших почувствовало себя очень плохо: Пациент отмечает звон в ушах. Вероятнее всего, больной наблюдались тошнота, рвота, боль в животе и диарея. принимает Какой из микрорганизмов вероятнее всего будет 10. Лекарство Y имеет объем распределения 75 литров у 11. 8-летнего мальчика приходится уговаривать пойти в взрослых людей как молодого, так и более старшего школу, и часто во время пребывания в школе он жалуется возраста. У молодых клиренс составляет 15 л/час, 50% на сильные головные боли или боль в животе. Иногда из– которого осуществляется печенью, а 50% - почками. Для за этих жалоб мать вынуждена забирать его домой. По молодых схема приема - 100 мг каждые 6 часов. Какая из ночам он стремится спать с родителями. Когда они предложенных схем будет обеспечивать такой же настаивают, чтобы он спал в своей комнате, он говорит, постоянный уровень концентрации у людей старшего что у него в щкафу чудовища. Его жалобы и анамнез возраста, чей клиренс креатинина снижен в 2 раза по наиболее характерны для сравнению с молодыми, а функция печени не нарушена?

ГЛАВА 4. СОДЕРЖАНИЕ ТЕСТОВЫХ ЗАДАНИЙ: ПРОВЕРКА УМЕНИЯ ПРИМЕНЯТЬ ЗНАНИЯ ФУНДАМЕНТАЛЬНЫХ НАУК

Несмотря на продолжающиеся споры о приемлемости экзаменов с использованием вопросов множественного выбора, все три части Национального лицензионного экзамена в США в настоящее время состоят только из таких вопросов. В поиске оптимального инструмента оценивания NBME проводит непрекращающиеся исследования форматов тестовых заданий. В течение последних 25 лет эти исследования главным образом фокусировались на осуществлении проекта под названием Экзамен с Применением Компьютерной Техники (CBX - Computer Based Examination). В середине 70х определилось второе направление в исследовании - Стандартные Пациенты (SPs - Standardized Patients). Хотя эти проекты в настоящий момент находятся в стадии исследования, оба метода планируются к активному использованию в будущем. Как и другие формы более “реалистичного оценивания”, экзамены с применением компьютерной техники и стандартных пациентов, похоже, обладают значительными преимуществами по сравнению с экзаменами с использованием вопросов множественного выбора при оценке уровня клинической компетентности: они имеют хорошую внешнюю валидность и ставят перед экзаменуемым задачу в более правдоподобной и жизненной форме, чем вопросы множественного выбора. Однако имеются психометрические и практические проблемы, которые требуют доработки, прежде чем эти методы будут использоваться для лицензирования в Соединенных Штатах.

Наряду с продолжением работы над этими проектами, другие проекты и исследования направлены на улучшение формата вопросов множественного выбора. В результате этих исследований используемые сегодня вопросы множественного выбора отличаются от вопросов, применявшихся ранее. Вследствие проблем с содержанием заданий и по результатам психометрического анализа, задания формата верно/неверно больше не используются в лицензионных экзаменах (например, К-тип тестовых заданий - выбор нескольких верных вариантов ответа и С-тип тестовых заданий - А, В, Оба, Ни одного). Хотя большинство заданий в Ступени имеют традиционные пять вариантов ответа, как вопросы А-типа, так и вопросы расширенного выбора могут включать до 26 вариантов ответа, приближая экзаменуемого к свободному ненаправляемому выбору ответа.

За редким исключением, тестовые задания Ступени 2 лицензионного экзамена представлены в виде клинической ситуации с описанием больного, которая ставит адекватную для неопытного интерна задачу, например, постановку диагноза или принятие решения о следующем шаге в ведении больного. Эти тестовые задания требуют интерпретации и синтеза представленных данных; они также требуют приложения знаний к ситуациям, которые могут быть знакомы или незнакомы экзаменуемому в зависимости от его личного опыта.

Также используются блоки тестовых заданий, которые включают несколько вопросов, относящихся к одной и

ГЛАВА 5. СОДЕРЖАНИЕ ТЕСТОВОГО ЗАДАНИЯ: ОЦЕНКА СПОСОБНОСТИ ПРИМЕНЯТЬ ЗНАНИЯ КЛИНИЧЕСКИХ ДИСЦИПЛИН

той же клинической ситуации. Тестовые задания с использованием клинических ситуаций имеют преимущества за счет моделирования ситуаций, имея при этом меньше недостатков.

Существует несколько факторов, которые влияют на конструирование каждой Ступени экзамена и которые важны при принятии решения о том, что включить в Ваш экзамен. Как определяется целевыми задачами, система Медицинского Лицензионного Экзамена в США создана и существует только для общего лицензирования; Ступень 2, например, предназначена для оценки умения применять знания, требуемые для начала работы в первый год по окончании медицинской школы, независимо от специальности. Содержание экзамена, основанное на требованиях практики, а не на объеме изучаемого материала (если бы была возможность создать каталог этой информации), означает, что в экзамен могут включаться вопросы, которые в медицинских школах преподаются по-разному. И наоборот, темы, изучаемые в некоторых медицинских школах, могут не включаться в экзамен. В реальности существует тесная взаимосвязь между тем, что преподается и тем, что включается в экзамен, однако лицензионный экзамен предназначен быть независимым инструментом оценки того, что студенты должны знать, приступая к интернатуре, вне зависимости от того, преподавалось это или нет. Другой вопрос, интересующий отдельные школы, состоит в том, в какой степени в содержание экзамена приемлемо включать те или иные темы, которым “не учили” исчерпывающе. Например, Вам необходимо определить,в какой степени студенты должны быть ответственны за самостоятельное изучение материала,не включенного в лекции.

Второй сложный момент во 2 Ступени экзамена возникает из-за необходимости концентрироваться на тех знаниях, которые требуются для врача общей практики. В ответ на критические замечания, зачем нужен общепрактический экзамен в эпоху специализации, можно сказать, что лицензия на практику - это общая лицензия, а не лицензия на специальность. Это, по нашему мнению, обязывает экзамен быть общим.

Ориентация на подготовку врачей общей практики уменьшила число замечаний по этому поводу, что в какойто степени подтвердило предвидение NBME. Аналогичный вопрос, интересующий отдельные школы, это степень, в какой клиническое обучение должно концентрироваться исключительно на “своей” дисциплине, без попытки интеграции с другими. Другой вопрос, в какой степени клиническое обучение в медицинской школе должно выступать в качестве “пре-интернатуры”, а не представлять собой обзор тем, актуальных для всех практикующих врачей, вне зависимости от их специализации.

Концентрация внимания на вопросах, которые важны для всех студентов-выпускников, а не только для поступающих на ту или иную специальность, оказывает существенное влияние на содержание тестовых заданий Ступени 2 лицензионного экзамена. Например, комитет по хирургии, вероятнее всего напишет тестовые задания с клиническими ситуациями, в которых важное значение приобретает немедленное хирургическое вмешательство или принятие решения о госпитализации больного в хирургическое отделение.

Маловероятно, что будут написаны вопросы, касающиеся хирургических методик, знание которых не является обязательным для врачей нехирургических специальностей. Маловероятно, что комитет по акушерству и гинекологии составит тестовые задания по ведению нетипичной беременности с повышенным риском (даже если большинство студентов сталкивались с такими случаями в ходе своего клинического обучения). Вероятнее, будут написаны задания по диагностике внематочной беременности - то есть состояния, которое должен распознать каждый неопытный интерн вне зависимости от своей специальности. Тестовые задания по психиатрии вряд ли будут описывать стационарных психиатрических больных. Скорее всего, они будут оценивать умение дифференцировать психические и непсихические заболевания у больных со странным поведением. Все вопросы 2 Ступени экзамена должны быть одобрены всем комитетом по конкретной дисциплине; кроме того, они должны быть приняты председателями комитетов по всем другим дисциплинам. Такой анализ в пределах одной дисциплины с последующим междисциплинарным рассмотрением помогает достичь баланса содержания всего экзамена. При подготовке теста для ваших медицинских школ важно, чтобы тестовые задания были просмотрены другими сотрудниками вашей кафедры. Достаточно информативным, вероятно, будет просмотр тестовых заданий преподавателями других кафедр, хотя организация такой процедуры может обескуражить.

Кроме размышления о темах, которые важно включить в тестовые задания, Вам следует подумать, как структурно построить эти вопросы с тем, чтобы оценить несколько больше, чем простое вспоминание изолированных фактов. Традиционно, тестовые вопросы классифицировались как требующие воспоминания, интерпретации или решения проблемы (память, понимание и размышление) в зависимости от мыслительных процессов, требующихся для ответа на вопрос. “Вопросы на вспоминание” можно определить как вопросы, которые оценивают у экзаменуемых знание определений или изолированных фактов. “Вопросы на интерпретацию” требуют от экзаменуемых просмотреть некоторую информацию, обычно в форме таблицы или графика, и придти к заключению (например, диагнозу). “Проблемно-ориентированные вопросы” представляют ситуацию и требуют от экзаменуемых предпринять какие-либо действия (например, следующий шаг в ведении больного). Трудность такой классификации состоит в том, что мыслительные процессы, необходимые для ответа на вопрос, находятся в такой же зависимости от общей подготовки экзаменуемого, как и от содержания вопроса. Знатоки фактического материала могут просто “вспомнить” ответ, не прилагая никаких или почти никаких умственных усилий, тогда как другие должны продумать ответ на вопрос, исходя из фундаментальных принципов. Мыслительные процессы, вовлеченные в ответ на вопрос, специфичны для каждого экзаменуемого, и таким образом, затрудняют использование таксономического (классификационного) подхода.

При альтернативном подходе тестовые задания делятся на две категории: применение знаний или вспоминание изолированных фактов. Если вопрос требует от экзаменуемого придти к заключению, сделать прогноз или выбрать образ действий, он классифицируется как тестовое задание на применение знаний. Если вопрос оценивает только механическое запоминание отдельных фактов (не требуя их применения), он классифицируется как тестовое задание на вспоминание.

Другой способ рассмотрения тестовых заданий - Какие из следующих признаков наиболее это их подразделение на задания типа “сверху -вниз” или вероятны у больных с послеоперационной “снизу-вверх”. Вопросы типа “сверху-вниз” обычно легочной эмболией?

проверяют знание или запоминание. Они начинаются со

ГЛАВА 5. СОДЕРЖАНИЕ ТЕСТОВОГО ЗАДАНИЯ: ОЦЕНКА СПОСОБНОСТИ ПРИМЕНЯТЬ ЗНАНИЯ КЛИНИЧЕСКИХ ДИСЦИПЛИН

ссылки на заболевание, после чего задается вопрос о том, какие признаки можно обнаружить у больного. Эти вопросы построены по типу большинства учебников; экзаменуемый может просмотреть описание заболевания и найти ответ в одном абзаце. Дефект вопросов “сверху-вниз” заключается в том, что в клиническом отношении они сформулированы в обратном порядке. Больные редко называют врачу, какое у них заболевание, а затем спрашивают его, каковы у них симптомы и жалобы.

классифицируются как вопросы на применение знаний. Они структурно построены в более клинически реалистичной манере, например, представляя симптомы и требуя от экзаменуемого определить заболевание. Обычно для ответа на такой вопрос экзаменуемый должен уметь синтезировать информацию, изложенную на нескольких страницах учебника.

Использование тестовых заданий типа “снизу-вверх” с клиническими ситуациями в качестве условия тестового задания имеет несколько преимуществ. Во-первых, “внешняя валидность” экзамена существенно повышается за счет использования вопросов, которые требуют от экзаменуемых “решить” клиническую проблему. Во-вторых, более вероятно, что такие вопросы будут концентрироваться на важной информации, а не на тривиальной. В-третьих, эти вопросы помогают выявить тех экзаменуемых, которые запомнили достаточное количество фактической информации, но не в состоянии эффективно использовать эту информацию в приложении к клиническим ситуациям. Вопросы типа “снизу-вверх” в целом лучше подходят для экзаменов более высокого уровня.

Написание тестовых заданий на применение знаний в медицине относительно прямолинейно. Когда Вы описываете больного и задаете вопрос, относящийся к этому больному, Вы оцениваете умение применять знания. Единственный случай, когда использование клинической ситуации требует простого вспоминания отдельных фактов наблюдается тогда, когда ситуация описывает больного, идентичного тому, о котором студент читал раньше (например, Вы используете ситуацию с описанием больного из учебника или берете случай, обсуждавшийся на занятии).

• Проверяйте умение применять знания путем использования клинических ситуаций, требующих принятия решений при ведении больных • Фокусируйте тестовые задания на распространенных или потенциально катастрофических проблемах;

избегайте редких и маловероятных(заумных) случаев • Предлагайте клинические решения, которые можно ожидать от хорошо успевающего экзаменуемого • Избегайте клинических ситуаций, которыми занимается узкий специалист Тестовые задания должны концентрироваться на конкретных задачах, которые хорошо успевающий экзаменуемый должен уметь выполнять на следующем этапе обучения (например, поставить наиболее вероятный диагноз; указать, какие дополнительные лабораторные исследования должны быть назначены;

сформулировать следующие шаги в ведении больного; предположить наиболее вероятные дополнительные признаки). В каждой теме тестовые задания должны концентрироваться на проблемах, где делается наибольшее количество ошибок.

НАПИСАНИЕ ТЕСТОВЫХ ЗАДАНИЙ С ОДНИМ ЛУЧШИМ ОТВЕТОМ

Создание условия задания Подавляющее большинство тестовых заданий желательно писать, используя клиническую ситуацию.

Условие задания должно начинаться с представления проблемы больного, за которым следует анамнез заболевания (включая длительность проявления признаков и симптомов), результаты физикального и других диагностических исследований, начальное лечение, последующие данные и др. Ситуации могут включать только часть указанной информации, но ее следует представлять в указанном порядке. Условие тестового задания должно состоять из одной, четко сформулированной проблемы. Вводный вопрос условия задания должен быть ясным, с тем, чтобы экзаменуемый мог дать ответ, не глядя на варианты ответа. Выполнение правила “закрытых вариантов ответа” - существенный компонент хорошо составленного тестового задания.

Хорошее условие задания: Это условие задания дает достаточное количество информации, и ответить можно, не глядя на варианты ответа.