На правах рукописи

СНИГИРЕВА Татьяна Александровна

ОСНОВЫ КВАЛИТАТИВНОЙ ТЕХНОЛОГИИ ФОРМИРОВАНИЯ И

ДИАГНОСТИКИ СТРУКТУРЫ ЗНАНИЙ ОБУЧАЕМЫХ

13.00.01 – общая педагогика, история педагогики

и образования

Автореферат

диссертации на соискание ученой степени

доктора педагогических наук

Ижевск 2006

Работа выполнена на кафедре «Профессиональная педагогика»

ГОУ ВПО «Ижевский государственный технический университет»

Официальные оппоненты:

доктор педагогических наук, профессор Машарова Татьяна Викторовна доктор педагогических наук, профессор Казаринов Анатолий Сергеевич доктор педагогических наук, профессор Корнев Герман Петрович

Ведущая организация: ГОУ ВПО «Челябинский государственный педагогический университет»

Защита диссертации состоится «23» декабря 2006 г.

в «13.30» часов на заседании диссертационного совета Д 212.275.02 при Удмуртском государственном университете по адресу: 426034, г. Ижевск, ул.

Университетская, 1, корп. 6, ауд. 301.

С диссертацией можно ознакомиться в библиотеке Удмуртского государственного университета (г. Ижевск, ул. Университетская, 1, корп. 2) Автореферат разослан «20» ноября 2006 г.

Ученый секретарь диссертационного совета к. психол. наук, доцент Э.Р. Хакимов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования Современная государственная политика по обеспечению качества образования в России предусматривает решение целого комплекса проблем, стоящих перед учебными заведениями (школами, гимназиями, лицеями, институтами, академиями и т. д.), основными из которых являются: общие проблемы квалиметрии человека и образования, качество образования и его оценка на современном этапе в общемировом, европейском и отечественном контекстах, мониторинги качества образования разных уровней, проблемы создания современных диагностических и оценочных средств для итоговой и поэтапной аттестации и самооценки качества подготовки обучаемых в образовательных учреждениях общего и профессионального образования, квалиметрия тестовых технологий, проблемы оценки качества учебного процесса, а именно, оценки качества подготовки обучаемых.

Проблемами оценки качества подготовки обучаемых, разработкой Национальной системы оценки качества образования занимаются Центр оценки качества образования ИОСО РАО, лаборатория аттестационных технологий при Московском институте повышения квалификации работников образования, Федеральный центр тестирования, Федеральный институт педагогических измерений.

Путь к созданию системы оценки качества подготовки обучаемых многие исследователи видят в разработке теории научной организации педагогического контроля и использовании возможностей контрольно-измерительных материалов, в том числе и педагогических тестовых материалов, разработанных на основе методов теории моделирования и параметризации педагогических тестов – теории IRT.

Разработка новых моделей контроля качества образования (систем диагностического, текущего и итогового контроля) для оценки эффективности образовательного процесса и мониторинга состояния системы образования, включая экспертизу педагогической деятельности и диагностику развития личности в системе образования, являются приоритетными направлениями фундаментальных и прикладных исследований Российской академии образования.

В педагогической теории и практике появляются разнообразные подходы к оценке качества подготовки обучаемых (учащихся, абитуриентов, студентов и др.), в учебно-воспитательный процесс образовательных учреждений внедряются новые педагогические технологии контроля знаний, опирающиеся на современные информационные и телекоммуникационные возможности, а так же методики контроля знаний обучаемых на тестовой основе, в том числе единый государственный экзамен и другие педагогические инновации.

Проблему качества образования и его управления исследовали многие отечественные ученые: С.И. Архангельский, Ю.К. Бабанский, В.И. Байденко, Г.Д. Бухарова, Л.И. Гурье, Г.С. Ковалева, Г.П. Корнев, В.В. Краевский, В.С. Леднев, И.Я. Лернер, В.М. Полонский, Г.М. Романцев, Н.А. Селезнева, В.М. Соколов, А.И. Субетто, Н.Н. Тулькибаева, В.А. Федоров, Н.Е. Эрганова и другие. Идеи и результаты этих исследований служат теоретикометодологической и научно-методической базой для организации педагогического контроля в различных видах образовательных учреждений.

Диагностика знаний обучаемых – предмет исследований ряда отечественных и зарубежных ученых: В.С. Аванесова, В.П. Беспалько, В.В. Майера, Л.В. Макаровой, В.И. Михеева, А. Анастази, К. Ингенкампа, А. Бирнбаума, Б. Блума, Р. Гагна, Г. Раша, а также диссертационных исследований (И.М. Александров, О.Ю. Ефремов, Ю.Г. Кислякова, Л.В. Колясникова, О.В. Любимова, М.Г. Минин, Т.А. Родыгина, О.Ф. Шихова и др.).

Исследователи отмечают, что система педагогической диагностики, включенная в структуру учебно-воспитательного процесса, в настоящее время находится в стадии модернизации. Для осуществления процедур педагогической диагностики необходим комплекс педагогических контрольных материалов, разработанных на научной основе и отвечающих характеристикам объективности, надежности и валидности. Создание научно-обоснованных методов измерения качества знаний представляет определенные трудности, связанные с разработкой методического обеспечения процедур диагностики, обоснованием критериев оценивания, созданием стандартных процедур диагностики, разработкой измерительных шкал для оценки качества подготовки обучаемых. Методологические трудности дополняются еще и тем, что в исследованиях практически не рассматриваются методики диагностики структуры знаний обучаемых.

Все это позволяет обозначить в педагогической теории и практике следующие противоречия:

между неопределенностью или отсутствием единых критериев оценки качества подготовки обучаемых и необходимостью получения объективной оценки эффективности учебного процесса;

между необходимостью научного обоснования категории «структура знаний обучаемых» и отсутствием ее однозначного толкования в педагогической теории и практике;

между необходимостью диагностики структуры знаний обучаемых в различных типах образовательных учреждений и недостаточной разработанностью валидного и надежного инструментария для ее оценивания;

между необходимостью отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока и неразработанностью соответствующей технологии;

между потребностью в повышении качества контрольно-измерительных материалов с учетом требований ГОС, и недостаточной разработанностью технологии их создания, в том числе для диагностики структуры знаний обучаемых.

В контексте изложенного проблема исследования может быть сформулирована следующим образом: каким образом усовершенствовать методы формирования и диагностики структуры знаний обучаемых для повышения эффективности учебного процесса и объективности педагогического контроля и как повысить качество педагогических контрольных материалов, предназначенных для этих целей?

Недостаточная теоретическая разработанность проблемы, ее практическая значимость и актуальность обусловили выбор темы диссертационного исследования: «Основы квалитативной технологии формирования и диагностики структуры знаний обучаемых».

Цель исследования: разработать теоретико-методологические основы квалитативной технологии формирования и диагностики структуры знаний обучаемых.

Объект исследования: система педагогической диагностики знаний обучаемых в различных типах образовательных учреждений.

Предмет исследования: теория и технология формирования и диагностики структуры знаний обучаемых.

Ключевые понятия исследования:

квалитология – наука о качестве любых объектов или процессов; квалитология образования или образовательная квалитология – совокупность методов, направленных на обеспечение и контроль качества образовательного процесса;

квалитативная технология формирования и диагностики структуры знаний обучаемых – совокупность методов, разработанных на основе тезаурусного и квалиметрического подходов, с использованием тестовых измерителей, позволяющих проводить оценку качества подготовки обучаемых;

структура знаний – устойчивая и упорядоченная связь между знаниями определенного вида, соотнесенными с содержанием изучаемой учебной информации, классификатором знаний в рамках определенной модели обучения, характеризующаяся рядом параметров (обобщенность, «прочность», «полнота», многофункциональность, скорость «забывания» и др.) и определяемая в зависимости от категорий обучаемых и их подготовки в образовательном учреждении;

квалиметрический подход – метод педагогической квалиметрии, основой которого являются групповые экспертные оценки, учитывающие опыт специалистов – экспертов;

тезаурусный подход при диагностике структуры знаний обучаемых – метод, предполагающий выделение дескрипторов учебного предмета и сопряжение их с выбранной таксономической моделью уровней обученности.

Гипотеза исследования: повышение качества формирования заданной структуры знаний, объективность и эффективность ее диагностики возможно, если:

методологическими основами технологии формирования и диагностики структуры знаний обучаемых являются принцип системности знаний, тезаурусный и квалиметрический подходы;

при отборе педагогических контрольных материалов для диагностики структуры знаний обучаемых использовать квалиметрически обоснованный учебный тезаурус, сопряженный с таксономической моделью уровней обученности и классификатором знаний;

применять методы теории моделирования и параметризации при разработке педагогических контрольных материалов;

использовать квалитативную технологию диагностирования для совершенствования содержания и методики обучения.

В соответствии с предметом, целью и гипотезой исследования предполагается решить следующие задачи:

1) провести сравнительный теоретический анализ работ по проблемам формирования и диагностики структуры знаний, включая тестовые технологии;

2) обосновать определение и содержание категории «структура знаний обучаемых»;

3) разработать технологию отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока;

4) разработать методику формирования структуры знаний обучаемых на основе таксономической модели обученности;

5) обосновать концептуальную модель квалитативной диагностики и разработать алгоритм ее технологии;

6) разработать квалиметрическую технологию отбора педагогических контрольных материалов для диагностики структуры знаний обучаемых;

7) провести экспериментальную проверку эффективности и результативности разработанной технологии.

Теоретическую и методологическую основу исследования составляют теории и концепции:

• в области изучения структуры научных и учебных знаний обучаемых (П.Я. Гальперин, В.И. Гинецинский, В.С. Данюшенков, В.И. Загвязинский, Л.В. Загрекова, А.А. Зиновьев, Л.Я. Зорина, В.В. Краевский, И.Я. Лернер, М.Н. Скаткин, Н.Ф. Талызина и др.);

• в области таксономии целей образования (Б. Блум, В.В. Гузеев, М.В. Кларин, Д. Кратволь, В.Н. Максимова, Б. Масиа, В.П. Симонов и др.);

• в области педагогической квалиметрии (М.Л. Левицкий, В.П. Мизинцев, А.А. Мирошниченко, В.П. Панасюк, Л.Т. Турбович, В.С. Черепанов и др.);

• в области педагогической тестологии (В.С. Аванесов, А. Бирнбаум, К. Ингемкамп, А.Н. Майоров, Е.А. Михайлычев, Ю.М. Нейман, Г. Раш, А.О. Татур, В.А. Хлебников, М.Б. Челышкова и др.);

• в области педагогических технологий (В.П. Беспалько, О.В. Долженко, З.Д. Жуковская, А.С. Казаринов, Ю.Н. Семин, Т.В. Машарова, Н.Ф. Талызина, Ю.К. Чернова, М.А. Чошанов и др.).

Ведущей идеей исследования является использование методов образовательной квалитологии, педагогической квалиметрии и тезаурусного подхода для разработки технологии формирования и диагностики структуры знаний обучаемых.

При разработке квалитативной технологии формирования и диагностики структуры знаний обучаемых, ее концептуальных положений были использованы теоретические идеи Черепанова В.С.

Для решения поставленных задач применялись следующие методы исследования:

теоретический анализ и синтез при изучении литературных источников, при разработке концепции исследования, при обосновании квалитативной технологии формирования и диагностики структуры знаний обучаемых;

теоретические методы классификации, аналогии и системного анализа;

эмпирические методы анкетирования, наблюдения, тестирования;

методы экспертных оценок и педагогической квалиметрии;

вероятностно-статистические методы обработки результатов педагогического эксперимента.

Организация, база и этапы исследования. Опытно-экспериментальная работа осуществлялась на кафедре физики и химии Ижевской государственной медицинской академии и в 10-11-х лицейских классах медицинского направления Ижевской гимназии № 56.

Исследование проводилось в период с 1998 по 2006 гг.

На первом этапе (1998 – 2002) (подготовительном) – основной задачей являлось изучение проблемы диагностики структуры знаний обучаемых через анализ состояния существующей практики диагностики структуры знаний при преподавании курса медицинской и биологической физики в Ижевской государственной медицинской академии. В результате были сформулированы проблема и гипотеза исследования.

На втором этапе (2002 – 2004) (исследовательском) – осуществлялся анализ теоретических работ по теме исследования, разрабатывалась технология формирования и диагностики структуры знаний обучаемых на основе тестовых измерителей.

На третьем этапе (2004 – 2006) (опытно-экспериментальном) – происходила апробация квалитативной технологии диагностики структуры знаний на выборках студентов первого курса, обучающихся на кафедре физики и химии Ижевской государственной медицинской академии и учащихся лицейских классов медицинского направления Ижевской гимназии № 56, а также проводился статистический анализ и обобщение результатов исследования.

Научная новизна исследования заключается в следующем:

• разработаны концептуальные основы квалитативной технологии формирования и диагностики структуры знаний обучаемых как научного направления, обеспечивающего технологичность педагогического контроля за счет применения методов педагогической квалиметрии;

• предложен и обоснован соответствующий требованиям ГОС алгоритм формирования и диагностики «нормативной» структуры знаний, которые подлежат обязательному усвоению обучаемыми и последующему контролю со стороны образовательных учреждений;

• создана технология отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время на основе тезаурусного подхода;

• создана технология конструирования педагогических тестовых материалов для диагностики структуры знаний обучаемых в различных типах образовательных учреждений;

• разработана и обоснована методика оценки качества сформированной структуры знаний обучаемых (уровня сформированности структуры знаний, объема сформированных знаний, «полноты» структуры знаний, скорости «забывания» знаний, сопоставительного анализа уровня сформированности структуры и уровня усвоения знаний на основе критерия хи-квадрат).

Теоретическая значимость исследования состоит в том, что в нем:

• обоснованы концепция квалитативной технологии формирования и диагностики структуры знаний обучаемых и алгоритм ее разработки на основе тестовых измерителей;

• в педагогический категориальный аппарат введены понятия: таксономическая модель структуры знаний, учебный таксономический тезаурус, критерий сформированности уровня структуры знаний;

• уточнены и предложены методы количественного оценивания ряда понятий: «полнота» и «прочность» структуры знаний обучаемых, скорость «забывания» знаний, объем сформированных знаний, коэффициент усвоения знаний;

• обоснована концепция квалиметрического мониторинга структуры знаний обучаемых, основными критериями качества которого являются «полнота» структуры знаний (предметно-содержательный уровень); «прочность» знаний» (содержательно-деятельностный уровень);

• теоретически обоснованы авторские модели:

– структуры «нормы» для педагогического контроля;

– квалиметрического мониторинга структуры знаний обучаемых;

– таксономии структуры диагностируемых знаний;

– технологии диагностики структуры знаний обучаемых;

– формирования структуры знаний.

Практическая значимость исследования заключается в том, что содержащиеся в исследовании теоретические положения и выводы могут быть использованы в научных исследованиях, а также применены при диагностике и контроле знаний в различных типах образовательных учреждений.

Разработанная технология позволяет:

– создавать контрольно-измерительные материалы для диагностики структуры знаний обучаемых и применять их в учебном процессе для контроля и диагностики качества подготовки обучаемых;

– использовать результаты контроля и диагностики структуры знаний обучаемых для совершенствования содержания и методики обучения по конкретной учебной дисциплине.

Авторские учебно-методические пособия используются в учебном процессе учителями, преподавателями, учащимися старших классов и студентами.

Разработанная технология дает возможность конструировать педагогические контрольные материалы и тесты для диагностики структуры знаний обучаемых, которые могут быть использованы в процессе изучения любой учебной дисциплины.

Результаты исследования нашли отражение в монографиях, пособиях, серии статей, тезисах и материалах конференций, методических разработках.

Основные положения, выносимые на защиту:

1. Структура знаний определяется категорией обучаемых и их подготовкой в образовательном учреждении, соотносится с содержанием изучаемой учебной информацией, классификатором знаний в рамках определенной модели обучения и характеризуется рядом параметров (обобщенность, «прочность», «полнота», многофункциональность, скорость «забывания» и др.).

2. Технология отбора содержания материала на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока, разработанная на основе метода групповых экспертных оценок с использованием тезаурусного подхода позволяет повысить качество формирования структуры знаний обучаемых.

3. Концептуальная модель технологии диагностики структуры знаний обучаемых, включающая требования ГОС учебной дисциплины, цели диагностики, таксономическую модель структуры диагностируемых знаний, учебный таксономический тезаурус дисциплины, педагогические контрольные материалы, технические средства для диагностики, квалиметрический мониторинг структуры диагностируемых знаний, оценку качества сформированной структуры знаний обучаемых может быть разработана на основе тезаурусного и квалиметрического подходов, что позволяет обеспечить научность и технологичность процедуры.

4. Технология отбора педагогических тестовых материалов (ПТМ) для диагностики структуры знаний обучаемых, разработанная на основе метода групповых экспертных оценок, и включающая подготовительный этап, отбор содержания учебного материала, по которому составляются ПТМ, анализ и экспертизу теста, апробацию пробного теста, статистическую обработку результатов тестирования и анализ полученных данных, позволяет составлять ПТМ, не только учитывая требования ГОС учебной дисциплины, но и опыт ведущих специалистов (учителей, преподавателей и т.д.).

5. Методика диагностики структуры знаний обучаемых на основе тестовых измерителей, включающая несколько этапов (определение объема репрезентативной выборки, составление характеристики теста, вычисление метрологических показателей испытуемых и характеристик теста, оценка качества сформированной структуры знаний обучаемых, графическая интерпретация результатов диагностики, выводов и рекомендаций, определение уровней незнания обучаемых, оценка эффективности эксперимента) применима в любом типе образовательных учреждений для оценки качества подготовки обучаемых.

6. Качество сформированной структуры знаний обучаемых устанавливается с помощью ПТМ, разработанных методом групповых экспертных оценок, и удовлетворяющих ряду критериев качества (содержательность, репрезентативность структуры и ГОС, пригодность для диагностики уровней обученности и видов знаний).

Достоверность и обоснованность полученных результатов обеспечена исходными методологическими позициями, системным взглядом на проблему формирования и диагностики структуры знаний обучаемых, совокупностью методов теоретического и эмпирического исследования, их адекватностью цели и задачам исследования, разносторонним качественным и количественным анализом собранного фактологического материала, многолетней апробацией идей в различных видах образовательных учреждений.

Апробация работы и внедрение результатов исследования.

Диссертационное исследование выполнено в рамках научноисследовательской программы «Образование в Уральском регионе: научные основы развития и инновации» в соответствии с планом важнейших НИР Уральского отделения РАО на 1998-2006 гг. (разд. 3, п. 3.21 «Разработка теоретических основ и квалитативной технологии формирования и диагностики структуры знаний обучаемых»).

Материалы исследования были представлены на X-м и XI-м Всероссийских симпозиумах по квалиметрии человека и образования «Квалиметрия в образовании: методология и практика» (г. Москва, 2002, 2006); международных научно-практических конференциях: «Инновационные процессы в сфере образования и проблемы повышения качества подготовки специалистов» (г. Ижевск, 2005); «Психология и педагогика современного образования в России» (г. Пенза, 2006); «Парадигмы образования» (г. Ижевск, 2006);

«Интеллектуализация образования и компетентностный подход» (г. Воронеж, 2006); «Концептуальные модели нормирования качества образования в компетентностном формате» (г. Уфа, 2006); IV-й, V-й, VI-й и VII-й Всероссийских конференциях «Развитие системы тестирования в России» (г. Москва, 2002 – 2005); IV-й региональной научно-практической конференции «Образование в Уральском регионе: научные основы развития и инноваций»

(г. Екатеринбург, 2006); в сборнике научных статей по проблемам измерения в педагогике (г. Ижевск, 2003).

Основные положения и результаты исследования обсуждались на кафедре профессиональной педагогики Ижевского государственного технического университета.

Результаты исследования использовались в учебном процессе на кафедрах физики и химии Ижевской государственной медицинской академии, а также нашли применение на физическом факультете Удмуртского государственного университета, на кафедре профессиональной педагогики Ижевского государственного технического университета, на кафедре физики Ижевской государственной сельскохозяйственной академии, на кафедре психологопедагогических дисциплин филиала Глазовского государственного педагогического института им. Короленко, Ижевском педагогическом колледже, Ижевской гимназии № 56, Ижевском естественно-гуманитарном лицее «Школа 30», Гуманитарно-юридическом лицее № 86, муниципальной средней школе № 83 г. Ижевска, школах г. Глазова, г. Воткинска, сельских школах ряда районов Удмуртской Республики и др. организаций.

Структура диссертации включает введение, четыре главы, заключение, список литературы, включающий 311 наименований, из них 21 на иностранном языке, приложений. Работа содержит таблицы, рисунки, схемы, диаграммы, формулы.

ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность исследования, его проблема, цель, объект, предмет, гипотеза, задачи исследования, его методологическая и теоретическая база, методы и этапы, определяются научная новизна, теоретическая и практическая значимость, рассматриваются апробация и внедрение результатов исследования, представлены положения, выносимые на защиту.

В первой главе «Проблемы педагогической диагностики» проведен анализ состояния проблем педагогической диагностики и намечены пути их реализации на основе анализа работ отечественных и зарубежных исследователей. Описаны таксономические модели знаний (структуры знаний), учебных целей, элементов содержания учебного материала, уровней обученности, уровней усвоения учебного материала и т.д. Обозначены проблемы, связанные с определением качества образования (концепция А.И. Субетто), качества подготовки обучаемых по трем направлениям (теоретическом, практическом и научно-практическом подходов). Рассматриваются преимущества тестовых технологий как основы диагностики структуры знаний обучаемых.

Приводятся основные области применения экспертных методов в педагогических измерениях, в частности, метода групповых экспертных оценок (В.С. Черепанов).

На современном этапе развития образования в России особую актуальность приобретает проблема диагностики и оценки качества педагогической системы, в частности, оценка качества результатов обучения, диагностика структуры знаний обучаемых (СЗО). Повышение актуальности диагностических проблем связано с формированием Национальной системы оценки качества образования в России, введением государственных образовательных стандартов (ГОС) и единого государственного экзамена (ЕГЭ). Это предполагает развитие новых педагогических технологий, направленных на повышение качества формирования знаний обучаемых и разработку более эффективных и объективных форм, методов и средств диагностики сформированной СЗО.

Под структурой знаний в нашем исследовании понимается устойчивая и упорядоченная связь между знаниями определенного вида, соотнесенными с содержанием изучаемой учебной информации, классификатором знаний в рамках определенной модели обучения, характеризующаяся рядом параметров (обобщенность, «прочность», «полнота», многофункциональность, скорость «забывания» и др.) и определяемая в зависимости от категорий обучаемых и их подготовки в образовательном учреждении.

В диссертации показано, что существует множество попыток моделирования учебного процесса с использованием принципов таксономии с целью повышения эффективности учебного процесса.

В педагогической науке рассматривают различные таксономические модели, подробное описание которых приведено в работе. Это таксономии знаний (структуры знаний), учебных целей, элементов содержания учебного материала, уровней усвоения учебного материала и т.д. (В.С. Аванесов, Б. Блум, В.П. Беспалько, П.С. Ильюшин, В.Г. Королева, В.Н. Максимова, М.Н. Скаткин, В.П. Симонов, В.М. Соколов и др.).

Анализ источников показывает, что все авторы практически предлагают одни и те же уровни усвоения учебного материала, особенно хорошо это видно на примере трех первых уровней: «знание», «понимание», «применение». Единственное, что отличает эти уровни усвоения, – это различная их словесная интерпретация.

В диссертации приведено несколько определений качества образования и представлена иерархическая структура содержания качества образования в виде трех уровней (А.И. Субетто). Уровень «мета» – качество Доктрины и целей образования на страновом уровне; уровень «мезо» – качество целей образования, целей «политик качества» на региональном уровне и уровне образовательных учреждений; уровень «микро» – качество содержания знаний, профессиональных умений и навыков, интеллектуальных умений, образовательных технологий, дидактических систем.

Как показывает анализ исследований, дать однозначное определение понятию «качество образования» очень сложно. Для практических целей под качеством образования понимают «качественные изменения» в учебном процессе и в среде, окружающей обучаемого, которые можно идентифицировать как улучшение знаний, умений и ценностей, приобретаемых обучаемым по завершению определенного этапа.

Как результат сужения понятия «качество образования» возникает понятие «качество подготовки», которое можно рассматривать на различных уровнях: первый уровень – планирование обучения, когда определенные представления о планируемом качестве подготовки закладываются в образовательные программы по каждому предмету; второй – этап реализации образовательных программ в учебном процессе; третий – оценка качества результатов осуществленного учебного процесса.

При оценке качества результатов осуществленного учебного процесса в нашей стране роль предмета измерений традиционно отводится уровню и качеству подготовки обучаемых.

Уровень подготовки – это совокупность знаний, умений, навыков и представлений, освоенных обучаемыми на момент измерения.

Анализ работ отечественных исследователей (В.С. Аванесова, В.П. Беспалько, В.И. Гинецинского, А.А. Зиновьева, Л.Я. Зориной, В.В. Ильина, К. Ингенкампа, Н.Ф. Талызиной и др.) показывает, что традиционные формы педагогического контроля и оценки качества результатов обучения (устный и письменный контроль) не всегда бывают объективными, часто носят характер интуитивного оценивания и в большей степени зависят от субъективных факторов. Это требует пересмотра и усовершенствования традиционных видов педагогического контроля. Более надежной, оперативной и объективной формой педагогического контроля, по мнению многих исследователей, являются тесты.

Проблеме тестового контроля знаний посвящено большое число исследований во всем мире. Это работы: A. Agessi, A. Birnbaum, K. Bollen, R. Еbel, R. Glaser, L. Guttman, F. Lord, G. Rasch и др.

Анализ работ отечественных исследователей: В.С. Аванесова, В.П. Беспалько, З.Д. Жуковской, Е.Ю. Кардановой, А.Н. Майорова, Е.А. Михайлычева, Л.В. Макаровой, Ю.М. Неймана, А.И. Самыловского, А.О. Татура, В.А. Хлебникова, М.Б. Челышковой, Ю.К. Черновой и др. позволил выделить ряд достоинств и недостатков тестового контроля знаний.

Достоинство тестирования заключается в единообразии процедуры проведения и оценки выполнения задания, объективности контроля, сравнимости результатов, возможности использования сравнительных оценок, позволяющих ранжировать обучаемых по уровню имеющихся у них знаний, высокая дифференцированность оценки, возможность определения погрешности оценивания и т.д. Наряду с этим можно отметить сложность и трудоемкость разработки тестов и тестовых заданий, и в связи с этим, вероятность получения необъективных оценок в случае непрофессионально составленных тестов.

В настоящий момент в России идет процесс становления Национальной системы тестирования в области образования, ориентированной на вхождение в мировое образовательное пространство.

При этом возникают проблемы, связанные с развитием тестовых систем. Во-первых, это противоречие между необходимостью повышения качества подготовки обучаемых и невозможностью сделать это без создания тестовых систем, включающих материальные, организационно-педагогические, программно-педагогические и технические средства, в частности, различные педагогические тесты. Во-вторых, противоречие между необходимостью перехода к инновационному обучению и неподготовленностью преподавательского состава учебных заведений России к такой работе, в которой существенное место занимает тестовый контроль.

Вопросы развития тестовых технологий в образовании обсуждались на семи Всероссийских конференциях «Развитие системы тестирования в России» (1999 – 2006; г. Москва). Как показывает анализ работ конференций, одним из направлений повышения объективности, достоверности процесса оценивания является совершенствование качества измерений (привлечение к оцениванию экспертов, разработка алгоритмов оценивания заданий, применение квалиметрических шкал, рейтинговый контроль и т.д.).

Экспертные методы следует рассматривать в педагогике как один из возможных подходов к всестороннему изучению сложных педагогических проблем, в которых окончательное решение должен принять исследователь (ученый, учитель, методист). Под экспертными методами понимают алгоритмизированную процедуру получения коллективной оценки (качественной, количественной) педагогического объекта (процесса, явления) группой специально отобранных экспертов в области педагогики (В.С. Черепанов).

Необходимо отметить, что на основе метода групповых экспертных оценок (ГЭО) разрабатывалась квалитативная технология диагностики структуры знаний обучаемых.

Во второй главе «Научные основы когнитивной структурологии»

приводится концептуальная модель структуры «нормы» в педагогическом контроле, рассматривающая «нормы» содержания образовательной программы, «нормы» контрольно-диагностируемых материалов; модель квалиметрического мониторинга структуры знаний, включающая предметно-содержательный (мониторинг «полноты» структуры знаний) и содержательнодеятельностный уровни (мониторинг «прочности» знаний); таксономическая модель структуры диагностируемых знаний; фасетные модели обученности;

таксономическая модель структуры незнаний-неумений. Рассматриваются различные виды классификаторов знаний (дифференциального и интегрального типа). Приведен алгоритм формирования и диагностики «нормативной»

структуры знаний.

Разразившийся в последнее десятилетие социально-экономический кризис в стране поставил перед системой образования России ряд острых проблем. Одна общесистемная, касающаяся всех уровней образования проблема, – обеспечение и контроль качества образовательного процесса. На ее решение направлены усилия многих исследователей в области педагогики, которые пытаются за счет моделирования учебного процесса с использованием принципов структорологии, таксономии и нормологии повысить его качество и результативность.

Под когнитивной структурой в нашем исследовании понимается упорядоченная совокупность элементов учебной информации в виде слов или словосочетаний, характеризуемая семантической устойчивостью и контрастностью, которая включается в программу учебного предмета для изучения.

Основываясь на анализе педагогической литературы, в диссертации показано, что «нормой качества» образования называется выявленная, общепризнанная и документально зафиксированная система требований к качеству образования и действующих механизмов (регламентов) их обеспечения и реализации, соответствующих потребностям развития государства, общества и личности (А.И. Субетто).

Нормирование качества образования – процесс формирования норм качества с охватом всех «сфер деятельности», включая не только образовательный процесс, но и все процессы обеспечения – технологического, финансово-экономического, квалитативного, социально-психологического и т.д.

Процесс, сопряженный с процессом нормирования в образовании, называется стандартизацией. Закон «Об образовании» определяет государственный образовательный стандарт как гарантированный минимум содержания образования, обеспечивающий единое образовательное пространство в России.

В рамках проводимого исследования была разработана концептуальная модель структуры «нормы» в педагогическом контроле. Блоки модели, связанные общностью свойств, признаков, функций, имеют иерархическое строение.

За прошедшее десятилетие в системе образования России произошел целый ряд прогрессивных структурных и функциональных изменений. Одно из них – это введение в соответствии с законами Российской Федерации «Об образовании» (1992 г.) и «О высшем и послевузовском профессиональном образовании» (1996 г.) нормативной базы в виде системной совокупности государственных образовательных стандартов для всех звеньев и уровней образования (федерального, регионального, отраслевого для высшей школы, уровня образовательных учреждений и т.д.).

Образовательный стандарт есть форма закрепления социальной нормы в сфере образования, которая может включать в себя образовательную (норму содержания образования), гражданственно-правовую, нравственновоспитательную, норму физического развития в образовательном пространстве и профессиональную норму.

Государственный образовательный стандарт как «норма содержания образования» разделена на «нормы» содержания образовательной программы и «нормы» контрольно-диагностируемых материалов.

К «нормам» содержания образовательной программы относятся кодификаторы элементов содержания учебной дисциплины и учебные тезаурусы.

Кодификаторы – документы, составленные на основе обязательного минимума содержания общего основного и полного (среднего) образования, утвержденного министерством образования России.

Задачи оптимального структурирования, планирования учебного материала в соответствии с требованиями ГОС учебной дисциплины способны решить учебные тезаурусы, составление которых предполагает выделение дескрипторов учебного предмета, сопряжение их с выбранной таксономической моделью уровней обученности и классификатором знаний и способностей на основе метода ГЭО.

«Нормы» контрольно-диагностируемых материалов можно разделить на требования, которые предъявляет ЕГЭ, централизованное тестирование, итоговое тестирование, рубежный контроль знаний, текущий контроль знаний.

Важнейшей чертой, характеризующей российское образование последних лет, является попытка использовать современные технологии для оценки учебных достижений учащихся. Для этого используются механизмы централизованного тестирования и единого государственного экзамена. Объективная оценка учебных достижений при централизованном тестировании осуществляется стандартизованными процедурами, при проведении которых все учащиеся находятся в одинаковых (стандартных) условиях и используют примерно одинаковые по свойствам измерительные материалы.

Таким образом, нормирование в образовании – это процесс, основанный на структурировании объектов образовательного процесса, направленный на повышение качества учебного процесса.

В диссертации показано, что в процессе обучения важную роль играет так называемая обратная связь, т.е. та информация, которая поступает от ученика к учителю и свидетельствует о ходе учения, затруднениях и достижениях учащихся в овладении знаниями, развитии умений и навыков, познавательных и иных способностей, качеств личности в целом. На основе обратной связи возможна проверка, контроль, учет, оценка результатов учебной деятельности. Все эти действия входят в состав диагностики процесса и результатов обучения.

Оценка качества обучения (проверка качества обратной связи) осуществляется на основе квалиметрического мониторинга СЗО.

Анализ исследований показывает, что качество знаний рассматривается на нескольких уровнях. На предметно-содержательном уровне качество знаний может характеризоваться полнотой, обобщенностью и системностью;

на содержательно-деятельностном уровне – прочностью, мобильностью и действенностью. На содержательно-личностном уровне качество знаний должно отражать те свойства личности, которые она приобретает под влиянием воспитания.

Диагностировать одновременно все уровни качества знаний с помощью существующих методов педагогического контроля практически пока невозможно. В рамках проводимого исследования нужно выделить на предметносодержательном уровне основным критерием качества знаний – «полноту»

структуры знаний, которой соответствует определенный «уровень структуры знаний», на содержательно-деятельностном уровне – «прочность» знаний.

«Полнота» структуры знаний определяется необходимым и достаточным количеством градаций уровней умений и числом видов знаний, необходимых для учебной или иной деятельности обучаемого. Под «прочностью»

структуры знаний рассматривается результат запоминания, удержания в памяти, сохранение определенных видов знаний. Прочность знаний характеризует скорость «забывания» знаний, которая может быть определена теоретически или экспериментально.

Оценка «полноты» структуры знаний и «прочности» знаний обучаемых осуществляется на основе ПТМ, разработанных для диагностики СЗО.

В диссертации отмечается, что содержание любого предмета или дисциплины представляет собой набор учебных элементов (знаний, умений, навыков), которые предъявляются обучаемым, и которые должны быть подвергнуты контролю усвоения. Успех обучения заключается не только в выборе соответствующего учебного материала, на него влияет также целесообразное упорядочение материала. Принцип структурирования осуществляется через четкое деление целей и содержания обучения. Полнота контроля усвоения знаний определяется количеством основных элементов учебного материала, выносимых на проверку. Реализация этого положения возможна, если по каждому конкретному предмету будет составлена таксономическая модель структуры знаний.

Для повышения качества содержания ПТМ, соответствия их требованиям ГОС, определения полноты отображения материала образовательной программы при отборе содержания разработана таксономическая модель, в которой сопряжены виды диагностируемых знаний, соответствующие классы дескрипторов учебного предмета и уровень их усвоения. В табл. 1 модель приведена на примере медицинской и биологической физики.

Таблица 1. Таксономическая модель структуры знаний обучаемых При разработке модели для отбора диагностируемых знаний использовался классификатор знаний Б. Блума – Р. Гагна – В.С. Аванесова, уровень усвоения дескрипторов определялся на основании первых трех уровней таксономии Б. Блума (см. табл. 1). Модель является основой для учебного тезауруса медицинской и биологической физики, который разработан на основе метода ГЭО и определяет содержание ПТМ.

Наряду с таксономической моделью структуры диагностируемых знаний в диссертации приводится таксономическая модель структуры незнания, разработанная на основе фасетной модели Б.У. Родионова и А.О. Татура неосведомленность) IV (неумение применять знания) С4 (15) П4 (75) Б5 (60) М4 (37,5) Рис. 1. Таксономическая модель «незнаний - неумений»

В модели с I-го по VI-й – уровни «незнаний и неумений»; С – сверхпрограммный учебный материал; П – программный (по типовой программе или указанный в ГОС); Б – базовый, содержащий, например, федеральный компонент ГОС; М – минимальный (понятийный) аппарат, мировоззренческий блок); С1, С2, …П1, М6 – ячейки фасетной модели размером [ µ V ], где µ – число уровней «незнания», V – объем учебной информации изучаемой дисциплины.

В приведенной модели введены такие же градации изучаемого материала, как в модели Б.У. Родионова и А.О. Татура, но расположенные в обратном порядке: от «сверхпрограммного» до «минимального». Это объясняется тем, что незнание сверхпрограммного материала менее важно, чем незнание базового или минимального.

Такое расположение градаций для объема учебной информации (ее модулей) как и уровней «незнания» (от меньших пробелов знаний – I-й уровень – до значительных – уровни, расположенные выше) позволяет оценить рейтинг ( rij ) каждой ячейки фасетной модели для определения «штрафных санкций», например, штрафных баллов при применении рейтинговых систем учета знаний обучаемых (они выделены в модели жирным шрифтом). Штрафные баллы можно затем использовать для определения итогового рейтинга обучаемого (текущий, рубежный или итоговый контроль знаний).

В диссертации показано, что уровень знаний в значительной степени зависит от личных усилий и способностей, а также от психофизиологических особенностей личности обучаемых, в то время как структура знаний заметно отражает особенности организации учебного процесса, так как на формирование структуры знаний обучаемых в большей степени влияет умение преподавателя правильно построить программу подготовки и эффективно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях студентов, его умение внести моменты индивидуализации в массовый процесс.

Формируемый уровень структуры знаний – это совокупность базовых понятий, определений, фундаментальных законов, принципов, положений, теорий, которые обучаемый должен держать в оперативной памяти. Назовем их «нормативными» знаниями, соответствующими требованиям ГОС, которые подлежат обязательному усвоению обучаемыми и последующему контролю со стороны образовательных учреждений.

Качество подготовки обучаемых зависит от отбора содержания материала при формировании «нормативной» структуры знаний обучаемых на фиксированное учебное время курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока.

Предлагаемый нами алгоритм технологии отбора содержания учебного материала содержит следующие структурные блоки (рис. 2).

1 Требования ГОС учебной дисциплины 2 Рабочая программа экспертных 5 Составление и обработка анкет для отбора оценок содержания материала на фиксированное 6 Учебно-методические разработки содержания курса, семестра, раздела учебной дисциплины, лекции, практического занятия (семинара) или урока Рис. 2. Алгоритм технологии отбора содержания материала при формировании СЗО на фиксированное учебное время Организация технологии отбора содержания материала при формировании структуры знаний обучаемых на фиксированное учебное время по предложенному алгоритму обеспечивает выполнение системы принципов педагогического контроля.

В третьей главе «Квалитативная технология диагностики структуры знаний» приводятся концептуальная модель и алгоритм разработки технологии диагностики структуры знаний обучаемых. Описаны этапы технологии разработки, экспертизы, сертификации контрольно-измерительных материалов. Рассматривается модель формирования структуры знаний обучаемых и соответствующая ей методика. Подробно рассмотрены математические модели обработки результатов диагностики и приведена наглядная графическая интерпретация полученных результатов.

В современных условиях развития российского образования концепция оценки качества учебных достижений претерпевает заметные изменения, она затрагивает не только учащихся и студентов, но и педагогов, образовательные учреждения и всю систему образования в целом.

Качество учебных достижений непосредственно зависит от результативности учебного процесса: формирования структуры знаний и последующей диагностики СЗО.

Для описания методики формирования знаний разработана модель формирования структуры знаний обучаемых на основе таксономической модели (рис. 3).

Лекция ФП/Уi CР/Уi КЛ/Уi СФ/Уi СЗ/Уi АЛ/Уi АС/Уi ТФ/Уi ТМ/Уi ТП/Уi ………………….

Виды формируемых знаний / Уровень усвоения знаний (Уi; i = 1, 2, 3…..6) Рис. 3. Модель формирования структуры знаний обучаемых Виды знаний указываются на основании классификатора знаний по соответствующей учебной дисциплине, для составления которого можно использовать, например, классификатор знаний В.С. Аванесова.

Для определения уровня усвоения – модели, предложенные В.П. Беспалько, М.Н. Скаткиным, Б. Блумом или другими авторами (от 3-х до 6-ти уровней усвоения учебного материала). Количество видов формируемых знаний и выбор уровня их усвоения, устанавливаемых с помощью метода групповых экспертных оценок, зависит от требований ГОС, содержания и специфики преподавания учебной дисциплины, категории обучаемых и их подготовки в образовательном учреждении.

Для процедуры диагностирования разработана концептуальная модель технологии диагностики СЗО, которая учитывает требования ГОС по соответствующей дисциплине и цели диагностики, включает в себя таксономическую модель структуры диагностируемых знаний, учебный таксономический тезаурус, педагогические контрольные материалы, технические средства для диагностики, предусматривает квалиметрический мониторинг структуры диагностируемых знаний, а также оценку качества сформированной СЗО (рис.

4).

Таксономическая модель структун С Этические требования к диагностике Оценка качества сформированной структуры знаний обучаемых Рис. 4. Концептуальная модель технологии диагностики структуры знаний обучаемых Основным «инструментом» квалитативной технологии диагностики СЗО является тестовая форма контроля. Технология разработки ПТМ состоит из нескольких этапов. Важнейшими из них являются:

I. Подготовительный этап 1. Определение целей тестирования 2. Определение контингента обучаемых (учащиеся школ, учащиеся профессиональных училищ, студенты, абитуриенты и т.д.) 3. Определение ресурсных возможностей разработчика На данном этапе в основном определяется форма организации процедуры тестирования (компьютерное или на бумажных носителях) и способы анализа результатов тестирования.

4. Определение вида ПТМ (гомогенный или гетерогенный тест) 5. Наименование подхода к разработке ПТМ (нормативно-ориентированные, критериально-ориентированные или смешанные тесты) Разрабатываемые нами тесты для диагностики структуры знаний обучаемых – это смешанные тесты.

«Нормой», определяющей структуру теста, является требование ГОС по соответствующей учебной дисциплине. «Критерием» – уровень формирования структуры знаний в рамках выбранной модели обучения.

II.Отбор содержания учебного материала, по которому составляются ПТМ 1. Разработка таксономической модели структуры диагностируемых знаний 2. Построение информационно-семантической структуры учебной дисциплины (разработка учебного тезауруса дисциплины) 3. Разработка спецификации теста Основой для конструирования теста является спецификация, представленная таблицей – матрицей, в которой в одном столбце расположены виды диагностируемых знаний и соответствующие классы дескрипторов учебного тезауруса, а в другом – количество ТЗ по уровням сложности.

4. Составление тестовых заданий в соответствии со спецификацией, формирование теста При разработке теста составляются таксономические тестовые задания (тестовые задания, разработанные для диагностики соответствующего вида знаний на определенном уровне сложности), начальное число которых должно быть в 2-3 раза больше запланированного. В тест включаются задания различного вида (задания закрытой формы, открытой формы, задания на установление соответствия и т. д.). Выбор формы заданий зависит от целей тестирования и от содержания контролируемого материала. При создании отдельных вариантов тестов выдерживается их параллельность по структуре, содержанию, уровню сложности.

5. Анализ и экспертиза тестовых заданий Композиционное построение теста принималось после согласования с экспертами. Экспертиза теста заключалась в том, что эксперты (учителя, преподаватели) должны были оценить качество и количество разработанных ТЗ по уровням сложности для обеспечения содержательной валидности теста. Оценка валидности ТЗ в нашем исследовании осуществлялась на основании коэффициента точечно-бисериальной корреляции (rpbis ) и суммарного коэффициент корреляции (jl).

III. Анализ и экспертиза теста Оценка качества тестов () производится по формуле в которой учтены 5 критериев качества теста: его содержательность (S), репрезентативность структуры (R) и ГОС (G), пригодность для диагностики уровней обученности (L) и видов знаний (K); C1 C 5 – соответствующие коэффициенты «важности» критериев 1-5; их сумма должна быть равна единице (условие нормировки). Значения критериев 1-5 и их весовые коэффициенты определяются методом групповых экспертных оценок.

IV. Апробация пробного теста Апробация разработанного теста осуществляется на репрезентативной выборке, что обеспечивает получение достоверных результатов.

V. Статистическая обработка результатов тестирования (анализ полученных данных) Статистическая обработка результатов тестирования проводится на основе методов теории моделирования и параметризации ПТМ – теории IRT.

Практически все этапы технологии разработки ПТМ осуществляются на основе метода ГЭО.

В четвертой главе «Опытно-экспериментальная проверка эффективности квалитативной технологии диагностики структуры знаний обучаемых» рассматриваются вопросы формирования репрезентативной выборки. Приводится методика диагностики структуры знаний обучаемых.

Подробно описаны этапы валидизации контрольно-измерительных материалов. Представлена оценка эффективности эксперимента на основании определения объема сформированных знаний, уровня усвоения знаний (по В.П.

Беспалько), «полноты» структуры знаний, «прочности» знаний, скорости «забывания» знаний, сопоставительного анализа уровня структуры и уровня усвоения знаний на основе критерия 2. Представлены результаты диагностики уровней незнания базовых знаний по химии и результаты диагностики структуры знаний по физике студентов первого курса ИГМА.

Результативность разработанной технологии неоднократно подтверждалась исследованиями качества формируемой структуры знаний обучаемых на выборках студентов первого курса, обучающихся на кафедре физики, практически по всем изучаемым разделам: «Кинематика колебаний», «Волновые явления», «Механические свойства биологических тканей», «Тепловое излучение», «Рентгеновское излучение» и т.д., кафедре химии по теме «Базовые знания по органической химии» Ижевской государственной медицинской академии, а также выборках учащихся 10 – 11-х классов медицинского направления Ижевской гимназии № 56.

В соответствии с таксономической моделью структуры диагностируемых знаний в диссертации приведено описание и анализ основных видов диагностики структуры знаний обучаемых, который показывает, что в тестовом контроле диагностируются все виды знаний одновременно у всех обучаемых (учащихся, студентов) практически на всех уровнях усвоения дескрипторов.

Методика диагностики на основе квалитативной технологии состоит из нескольких этапов. Ниже представлено их описание на примере одного из проведенных исследований.

I. Определение объема репрезентативной выборки Объем выборки составил 140 случайно отобранных студентов первого курса, обучающихся на кафедре физики ИГМА из 520 обучаемых. Объем выборки рассчитан по формуле математической статистики (предельная ошибка репрезентативности = 0,05).

II. Составление характеристики теста:

1. Название диагностируемой дисциплины – медицинская и биологическая физика.

2. Название диагностирующего модуля – «Кинематика колебаний».

3. Тип контроля – текущий контроль знаний.

4. Диагностируемые уровни знаний: знание – ТЗ I-го уровня сложности ( LI = 10 ); понимание – ТЗ II-го уровня сложности ( LII = 11 ); применение – ТЗ III-го уровня сложности ( LIII = 9 ), где LI, LII, LIII – число ТЗ I, II и III-го уровней сложности.

5. Максимальное время тестирования каждого студента – 30 минут.

6. Количество заданий в тесте – 4 варианта по 30 ТЗ закрытого типа, распределенных по трем уровням сложности.

III. Вычисление метрологических показателей испытуемых и характеристик теста Метрологические показатели теста и испытуемых рассчитываются на основе матрицы тестовых результатов с использованием программы «R-LATENT» (авторы В.С. Аванесов, М.Б. Челышкова) и программного обеспечения, составленного на основе электронной таблицы «Microsoft Excel».

IV. Оценка качества сформированной структуры знаний обучаемых 1. Определение уровня сформированности структуры знаний по формуле где – критерий уровня сформированности структуры знаний; VI,VII,VIII – весовые коэффициенты ТЗ I, II и III-го уровней сложности, которые определяются на основе метода ГЭО; VI + VII + VIII = 1 (условие нормировки);

RI, RII, RIII – число правильных ответов на ТЗ I, II и III-го уровней сложности.

Оценка уровня сформированности структуры знаний (УСЗ) обучаемых производится на основании критерия. Если 0,9 1, это соответствует «полному» УСЗ; если 0,75 < 0,9 – «достаточному»; 0,5 < < 0,75 – «удовлетворительному»; 0,5 – «неудовлетворительному» УСЗ. Границы изменения критерия уровня сформированности структуры знаний установлены с помощью метода групповых экспертных оценок.

2. Построение диаграммы распределения студентов по уровню структуры знаний (рис. 5).

Рис. 5. Диаграмма распределения студентов по уровню структуры Анализ диаграммы показывает, каким образом (в процентном соотношении) распределены студенты по уровню структуры знаний.

3. Построение диаграмм формирования структуры знаний (I, II, III-го уровней сложности ТЗ (рис. 6)).

Уровень структуры Рис. 6. Диаграммы формирования структуры знаний Анализ диаграмм формирования структуры знаний показывает на снижение или повышение уровня знаний при ответах на ТЗ, диагностирующие определенные виды знаний на соответствующем уровне сложности. Эти изменения в структуре знаний обучаемых позволяют преподавателю выявить пробелы в усвоении диагностируемых знаний, в дальнейшем внести изменения или поправки в методику проведения практического занятия (урока).

4. Анализ качества сформированной структуры знаний на основе таксономической модели (табл. 2).

Таблица 2. Анализ качества сформированной СЗО (классификации) V. Графическая интерпретация результатов диагностики Графическая интерпретация данных диагностики позволяет наметить пути дальнейшего совершенствования теста, повысить его качество и объективность на основании исследования гистограммы тестовых результатов, информационной кривой теста, характеристических и информационных кривых заданий теста; получить дополнительную информацию о сформированности структуры знаний обучаемых на основании анализа индивидуальных кривых испытуемых; частотной характеристики теста, диаграмм формирования структуры знаний при ответах на ТЗ различной сложности.

VI. Выводы и рекомендации Результаты проведенного исследования показывают, что для данной выборки испытуемых средний уровень сформированности структуры знаний студентов по теме «Кинематика колебаний», соответствующий «знанию» составляет 0,78 – «достаточный» уровень структуры; «пониманию» – 0,65;

«применению» – 0,60 – «удовлетворительный» уровень структуры знаний (дисперсия у всех указанных величин не превышает 0,01 на уровне значимости = 0,05 ).

VII. Определение уровней незнания обучаемых На основании матрицы тестовых результатов, использования штрафных баллов таксономической модели «незнаний – неумений» была проведена оценка уровней незнания по базовому учебному материалу на кафедре химии ИГМА. Из общего числа студентов были сформированы две равнозначные выборки (n = 100): I-я выборка – состоявшиеся студенты (на период первых дней обучения в вузе); II-я выборка – те же студенты после изучения курса «Биоорганическая химия» перед сессией (через 5 месяцев) (табл. 3).

Таблица 3. Оценка уровней незнания по базовому учебному материалу VI (почти полное незнание, не узнавание непонимание ния) неприменение Штрафной балл k-го обучаемого на j-м уровне незнания ( Ш jk ) определялся на основании формулы где Ш j max – максимальный штрафной балл j-го уровня незнания; L j – число ТЗ, разработанных для j-го уровня незнания; W j – число неправильных ответов на ТЗ, проверяющие j-й уровень незнания.

где Ш j – средний штрафной балл выборки испытуемых на j-м уровне незнания; Pjk – относительная частота среднего штрафного балла на j-м уровне незнания.

Анализ табл. 3 указывает на снижение незнания по всем уровням.

VIII. Определение эффективности эксперимента Результат измерения можно назвать эффективным, если он дает максимум возможной информации при диагностике СЗО.

Эффективность эксперимента определена на основании оценки среднего объема сформированных знаний, средней «полноты» структуры знаний, средней скорости «забывания» знаний, уровня усвоения знаний (по В.П. Беспалько), сопоставительного анализа уровня структуры и уровня усвоения знаний обучаемых на основе критерия 2. На основе коэффициента структурированности данных определена надежность полученных тестовых результатов.

В табл. 4 приведена оценка средней скорости «забывания» знаний студентов первого курса (n = 100), обучающихся на кафедре физики с интервалом времени 1 месяц по теме «Механические свойства биологических тканей».

Таблица 4. Оценка средней скорости «забывания» знаний где ij – скорость «забывания» знаний; [мес-1]; Vik – объем сформированных знаний по i-й теме k-го обучаемого (после практического занятия); V jk – объем сформированных знаний с учетом фактора забывания знаний (через промежуток времени); t j – время забывания знаний.

где ij – средняя скорость «забывания»; Pk – относительная частота скорости «забывания» каждого испытуемого в исследуемой выборке.

Полученные данные о скорости «забывания» знаний дают возможность выявить пробелы в усвоении отдельных видов формируемых знаний.

Оценка среднего объема сформированных знаний, средней «полноты»

структуры знаний, средней скорости «забывания» знаний, уровня усвоения знаний позволяют судить о результативности проведенного исследования.

Все перечисленные критерии качества формируемой структуры знаний обучаемых определяются на основе матрицы тестовых результатов с помощью автоматизированной программы, разработанной на основе электронной таблицы Microsoft Excel.

В заключение диссертации обобщены результаты теоретического и эмпирического исследования, изложены основные выводы.

В приложениях работы приводятся понятийно-терминологический аппарат квалитативной технологии формирования и диагностики структуры знаний обучаемых, математический аппарат для обработки результатов эксперимента, образцы контрольно-измерительных материалов для диагностики структуры знаний обучаемых, варианты «нормативных» знаний.

По результатам исследования, выполненного на трех уровнях:

• методологическом – осмыслена сущность квалитативной технологии формирования и диагностики структуры знаний обучаемых и ее назначение в системе педагогического контроля знаний;

• теоретическом – определена концептуальная основа квалитативной технологии формирования и диагностики структуры знаний обучаемых в образовательных учреждениях;

• технологическом – разработана квалитативная технология формирования и диагностики структуры знаний обучаемых в различных типах образовательных учреждений, можно заключить, что цель его была достигнута, задачи решены.

Полученные теоретические и экспериментальные данные, анализ опытной работы подтверждает выдвинутую гипотезу и позволяет сделать следующие ВЫВОДЫ:

1. В ходе исследования выявлено, что проблема получения достоверных и сопоставимых данных о качестве подготовки обучаемых является актуальной и основополагающей в педагогическом контроле знаний. Для решения ее необходимо:

во-первых, создание эффективной педагогической технологии формирования и диагностики структуры знаний обучаемых – квалитативной технологии;

во-вторых, использование тезаурусного подхода при разработке технологии позволяет выделить дескрипторы учебного предмета, осуществить их сопряжение с выбранной таксономической моделью уровней обученности и классификатором знаний;

в-третьих, квалиметрический подход обеспечивает научность и технологичность процедуры за счет применения математического аппарата педагогической квалиметрии, а также позволяет составлять педагогические тестовые материалы, не только учитывая требования государственных образовательных стандартов учебной дисциплины, но и опыт ведущих специалистов (учителей, преподавателей и т.д.).

2. В ходе исследования установлено, что при разработке ПТМ для диагностики структуры знаний обучаемых необходимо использовать современные подходы к объективной оценке учебных достижений, диагностики структуры знаний обучаемых, которые предусматривают экспертизу ПТМ, проверку их надежности и валидности.

3. В диссертации показано, что разработанная квалитативная технология формирования и диагностики структуры знаний обучаемых, автоматизированная с помощью статистических программ обработки, позволяет:

• провести анализ методики формирования и диагностики структуры знаний обучаемых на основе таксономической модели;

• качественно оценить структуру знаний обучаемых на основании матрицы тестовых результатов;

• количественно оценить уровень сформированной структуры знаний обучаемых (полный, достаточный, удовлетворительный, неудовлетворительный) на основании критерия уровня сформированности структуры знаний;

• получить дополнительную информацию о сформированности структуры знаний обучаемых на основании интерпретации индивидуальных кривых испытуемых; частотной характеристики теста, диаграмм формирования структуры знаний при ответах испытуемых на ТЗ любого уровня сложности;

• наметить пути дальнейшего совершенствования ПТМ, повысить их качество и объективность на основании интерпретации гистограммы тестовых результатов, информационной кривой теста, характеристических и информационных кривых заданий теста.

. 4. Проведенная в диссертации оценка среднего объема сформированных знаний, средней «полноты» структуры знаний, средней скорости «забывания» знаний, уровня усвоения знаний (по В.П. Беспалько) позволяет определить эффективность проведенного эксперимента. Сопоставительный анализ уровня структуры и уровня усвоения знаний обучаемых на основе критерия хи-квадрат дополняет проведенное исследование качества подготовки обучаемых.

5. В диссертации показана возможность использования штрафных баллов таксономической модели «незнаний - неумений» для оценки уровней незнания по базовому учебному материалу для определения итогового рейтинга обучаемых (по результатам текущего, рубежного или итогового контроля знаний).

Основные положения и результаты исследования нашли отражение более чем в 50 публикациях автора, среди них:

1. Снигирева Т.А. Структура знаний обучаемых: концептуальнопрограммный подход / под ред. В.С. Черепанова. – Ижевск: Экспертиза, 2004. – 84 с. (с грифом Уральского отделения Российской академии образования) 2. Снигирева Т.А. Основы квалитативной технологии диагностики структуры знаний обучаемых / под ред. В.С. Черепанова. – М. – Ижевск: Исслед. центр проблем качества подготовки специалистов, Экспертиза, 2006. – 128 с.

II. Публикации в изданиях, включенных в реестр ВАК РФ 3. Снигирева Т.А. Технологии оценки качества структуры знаний обучаемых // Образование и наука. – 2005. – 6(36). – С. 30-37.

4. Снигирева Т.А. Диагностика «нормативной» структуры знаний // Интеграция образования. – 2005. – №4 (41). – С. 55-58.

5. Снигирева Т.А., Ворсина Е.В. Мониторинговые исследования при диагностике структуры знаний обучаемых // Интеграция образования. – 2005. – №1/2. – С. 20-24. (авт. 1/2) 6. Снигирева Т.А. Нормированная структура знаний // Школьные технологии. – 2005. – №2. – С. 124-127.

7. Снигирева Т.А. О формировании и диагностике структуры знаний учащихся по физике в профильных классах медицинского направления // Наука и школа. – 2006. – №7. – С. 24-26.

8. Снигирева Т.А. Оценка «прочности» структуры знаний обучаемых // Вестник ВГТУ. – Серия «Проблемы качества повышения специалистов». – Воронеж, 2006. – С. 37-40.

9. Снигирева Т.А. Интерпретация результатов диагностики структуры знаний обучаемых // Вестник ИжГТУ. – 2006. – №1(29). – С. 106-109.

10. Снигирева Т.А. Методика определения надежности тестовых результатов // Вестник ИжГТУ. – 2006. – №2(30). – С. 93-95.

III. Учебные пособия, методические разработки 11. Снигирева Т.А., Ворсина Е.В., Баранова Л.В. Учебный тезаурус курса медицинской и биологической физики. Механические колебания и волны: учеб.-метод. пособ. – Ижевск: ИГМА, 2006. – 32 с. (авт. 1/3) 12. Снигирева Т.А. Технология разработки педагогических тестовых материалов: науч.–метод. пособие / под ред. В.С. Черепанова. – Ижевск:

ИГМА, 2006. – 22 с. (с грифом Уральского отделения Российской академии образования) 13. Снигирева Т.А. Методика диагностики структуры знаний обучаемых на основе квалитативной технологии: науч.–метод. пособие / под ред. В.С.

Черепанова. – Ижевск: ИГМА, 2006. – 30 с. (с грифом Уральского отделения Российской академии образования) 14. Снигирева Т.А., Ворсина Е.В. О формировании структуры знаний обучаемых // Вопросы тестирования в образовании. – 2004. – № 9. – С. 82-90.

(авт. 1/2) 15. Снигирева Т.А. Квалитативная технология диагностики структуры знаний обучаемых // Педагогические измерения. – 2005. – № 1 – С. 50-54.

16. Снигирева Т.А. Методика диагностики структуры знаний обучаемых // Проблемы теории и методики обучения. – 2005. – № 9. – С. 114-117.

17. Снигирева Т.А. Таксономические тестовые задания для диагностики структуры знаний обучаемых // Вопросы тестирования в образовании. – 2005.

– № 14. – С. 32-38.

18. Снигирева Т.А. К вопросу о «нормативной» структуре знаний // Педагогические измерения. – 2005. – № 3 – С. 48-52.

19. Снигирева Т.А. Анализ качества сформированной структуры знаний обучаемых на основе таксономической модели // Вопросы тестирования в образовании – 2006. – № 17. – С. 78-83.

20. Снигирева Т.А., Комкова О.Г. Сравнительный анализ уровня обученности абитуриентов и студентов первого курса по предмету органическая химия // Вопросы тестирования в образовании. – 2006. – № 17. – С. 77- 83.

(авт. 1/2) V. Статьи в сборниках научных трудов и материалы научных 21. Снигирева Т.А., Черепанов В.С. Использование тезаурусного подхода при диагностике структуры знаний обучаемых // Развитие квалиметрии человека и образования: теоретические постановки и практика: материалы Х Всерос. симп. «Квалиметрия в образовании: методология и практика». Кн. – М.: Исслед. центр проблем качества подготовки специалистов, 2002. – С.

199-202. (авт. 1/2) 22. Снигирева Т.А. Результаты эксперимента при определении группового показателя обученности // Развитие квалиметрии человека и образования: теоретические постановки и практика: материалы Х Всерос. симп. «Квалиметрия в образовании: методология и практика». Кн. 2 – М.: Исслед. центр проблем качества подготовки специалистов, 2002. – С. 305-307.

23. Снигирева Т.А. Концептуальная модель технологии диагностики структуры знаний обучаемых // Проблемы квалиметрии образования и дидактической тестологии: сб. трудов направления «Измерения в педагогике».

– Ижевск: Изд-во ИжГТУ, 2003. – С. 63-67.

24. Снигирева Т.А. К вопросу о нормировании в образовании // Инновационные процессы в сфере образования и проблемы повышения качества подготовки специалистов: сб. материалов междунар. науч.-метод. конф. 30марта 2005 г. / под ред. А.А. Баранова, Г.С. Трофимовой. Т. I. – Ижевск:

«Удмуртский ун-т». – С. 406-409.

25. Снигирева Т.А. Диагностика формируемой структуры знаний на основе квалитативной технологии // Современные диагностические оценочные средства для аттестации качества образования и применение компьютерноинформационных технологий: материалы ХI Всерос. симп. «Квалиметрия в образовании: методология, методика, практика». Ч.3. – М.: Исслед. центр проблем качества подготовки специалистов, 2006. – С. 67-73.

26. Снигирева Т.А., Рябчикова М.С. О влиянии темперамента на уровень обученности учащихся // Концептуальные модели нормирования качества образования в компетентностном формате: сб. материалов междунар.

науч.-метод. конф. – Уфа, 2006. – №2. – С. 105-109. (авт. 1/2) VI. Тезисы докладов на научно-практических и научнометодических конференциях 27. Снигирева Т.А., Камашев Г.Я., Станкевич Т.Г. Результаты эксперимента по формированию и диагностики структуры знаний обучаемых на основе компьютерного тестирования // Развитие тестовых технологий в России: тез. докл. IV Всерос. науч.–метод. конф. / под. ред. Л.С. Гребнева – М.:

Центр тестирования МО РФ, 2002. – С. 295-296. (авт. 1/2) 28. Снигирева Т.А., Камашев Г.Я., Ворсина Е.В. Вопросы разработки КИМ-ов для оценки структуры знаний обучаемых // Развитие тестовых технологий в России: тез. докл. V Всерос. науч.–метод. конф. / под ред. Л.С.

Гребнева – М.: Центр тестирования МО РФ, 2003. – С. 187-188. (авт. 1/2) 29. Снигирева Т.А. Сравнительный анализ качества КИМ-ов для диагностики структуры знаний обучаемых // Развитие тестовых технологий в России: тез. докл. VI Всерос. науч.–метод. конф. / под ред. Л.С. Гребнева – М.: Центр тестирования МО РФ, 2004. – С. 52-53.

30. Снигирева Т.А. Анализ структуры знаний обучаемых на основе таксономической модели // Развитие тестовых технологий в России: тез. докл.

VII Всерос. науч.–метод. конф. – М.: Федеральный центр тестирования, 2005.

– С. 48-50.

31. Снигирева Т.А., Ворсина Е.В. Оценка «полноты структуры знаний»

обучаемых на основе тестового контроля // Развитие тестовых технологий в России: тез. докл. VII Всерос. науч.–метод. конф. – М.: Федеральный центр тестирования, 2005. – С. 51-52. (авт. 1/2) 32. Снигирева Т.А., Комкова О.Г. Методика оценки сформированного объема знаний обучаемых // Психология и педагогика современного образования в России: тез. докл. междунар. науч.-практ. конф. – Пенза, 2006. – С.

101-102. (авт. 1/2) 33. Снигирева Т.А. К вопросу о формировании базовой компетентности обучаемых // Парадигмы образования: тез. докл. междунар. науч.-практ.

конф. – Ижевск, 2006. – С. 325-326.

34. Снигирева Т.А. Методы формирования базовой компетентности обучаемых // Интеллектуализация образования и компетентностный подход:

тез. докл. междунар. науч.-практ. конф. – Воронеж, 2006. – С. 225-226.

35. Снигирева Т.А. К вопросу об измерении качества подготовки обучаемых // Образование в Уральском регионе: научные основы развития и инноваций: тез. докл. IV регион. науч.-практ. конф. – Екатеринбург: Изд-во РГППУ, 2006. – С. 306-308.

Типография ГОУ ВПО «Удмуртский государственный университет»

426034, Ижевск, ул. Университетская, 1, корп.4.