Министерство образования и наук

и Российской Федерации

федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Саратовский государственный социально-экономический университет»

На правах рукописи

Каюкова Инна Викторовна

РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И МОДЕЛЕЙ АНАЛИЗА

И ПРОГНОЗИРОВАНИЯ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ НА ОСНОВЕ

КОМПЕТЕНТНОСТНОГО ПОДХОДА

Специальность 08.00.13 – Математические и инструментальные методы экономики Диссертация на соискание ученой степени кандидата экономических наук

Научный руководитель доктор физико-математических наук, профессор Гусятников Виктор Николаевич Волгоград Оглавление Оглавление

Введение

Глава 1. Проблемы оценки качества обучения и подходы к ее решению

1.1 Качество обучения в Российской и международной системе образования

1.2 Подходы к определению качества образования согласно современным стандартам качества

1.3 Роль компетенций в системе оценки качества образования и проблемы оценки уровня компетенций

1.4 Возможности существующих оценочных средств при измерении уровня компетенций... Глава 2. Технологии тестирования в оценке качества образования при компетентностном подходе

2.1 Способы организации тестирования, обеспечение достоверности результатов.................. 2.2 Теория латентных переменных и модель Раша

2.3 Модернизация модели Раша для измерения отдельных характеристик компетенции....... Глава 3. Построение модели для оценки и прогнозирования уровня формируемых компетенций

3.1 Построение и анализ банка тестовых заданий

3.2 Измерение компетентности выпускников и механизмы взаимодействия вуза и работодателя

Заключение

Список использованных источников

Введение Актуальность темы исследования.

Образовательные процессы являются важной составной частью социальноэкономических общественных процессов, которые определяют успешность развития отдельных стран и регионов в наступивший период экономики знаний.

Важность этих проблем диктует необходимость коренных преобразований в системах образования ведущих стран мира. Одной из ключевых проблем образовательной системы, в том числе и российской, является повышение качества высшего образования. Важным этапом процесса модернизации высшей школы стал переход на компетентностный подход к оценке качества образования, который требует изменения существующих методов оценки качества обучения.

В настоящее время предложено множество содержательных идей, касающихся самого понятия компетенции и методов ее оценки. Однако проблема измерения уровня компетенций, формируемых в процессе обучения, до сих пор не имеет общепризнанного решения ни в нашей стране, ни за рубежом. Это связано с тем, что сама задача измерения компетенции не может быть решена в рамках только педагогической науки. Она является частью более общей задачи оценки качества трудовых ресурсов как фактора, влияющего на процессы социально-экономического развития, и в ее решении должны участвовать и работодатели, и государственные органы управления, и общественные организации, представляющие все общество. Такая неоднородность субъектов, участвующих в оценке качества образования, приводит к несогласованности предлагаемых методик и невозможности их системного применения. Следствием этого является отсутствие математических моделей для описания сложного и многогранного понятия компетенции, а также методологии измерения уровня компетенции студентов.

Степень разработанности темы исследования.

Различные подходы к исследованию проблемы качества подготовки специалистов раскрыты в трудах российских и зарубежных ученых:

Г.Г. Азгальдова, А.В. Гличева, Е.Н. Ефимова, Е.Н. Мелешко, А.Я. Савельева, А.И. Субетто, Н.Ф. Талызиной, Ю.Г. Татур, Р.А. Фатхутдинова, В.З. Ямпольского и других авторов.

Формирование современных представлений о принципах и подходах к управлению качеством связано с именами известных зарубежных исследователей:

Э. Демингом, Д. Джураном, К. Исикавой, Т. Конти, Ф. Кросби, А. Фейгенбаумом, Д. Харрингтоном и др. Большой вклад в разработку теории и практики управления качеством внесли российские ученые и практики: Ю.П. Адлер, И.Г. Венецкий, С.Д. Ильинкова, В.Ю. Огвоздин, В.В. Окрепилов и многие другие.

Результаты, связанные с проведением педагогического эксперимента, были В.И. Загвязинского, К.А. Краснянского, Дж. Стенли и др.

Внимание проблемам теории и методики педагогических измерений А.А. Большакова, В.И. Звонникова, Н.Ф. Ефремовой, В.М. Кадневского, Л.В. Караваевой, Т.И. Корчинской, В.А. Кушникова, А.Н. Майорова, А.С. Масленникова, Л.М. Поддубной, Б.У. Родионова, М.Б. Челышковой и др.

Положения современной теории тестов (Item Response Theory) и ее Е.Ю. Игнатьевой, Е.Ю. Кардановой, В.С. Кима, Ф. Лорда, А.А. Маслака, В.Г. Наводнова, Н.Н. Найденовой, Ю.М. Неймана, В.Ю. Переверзева, С.А. Позднякова, Г. Раша и др.

Цель исследования: Основной целью диссертационного исследования является анализ процессов оценки качества образования, построение математических моделей и разработка методов для количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения.

– раскрыть понятие качества образования с учетом требований всех заинтересованных сторон, сформировать наборов объективных показателей в рамках компетентностного подхода к оценке качества обучения;

– провести анализ существующих моделей количественной оценки качества обучения, адаптировать их для измерения и прогнозирования вероятности проявления отдельных составляющих компетенции;

– разработать методику оценки «правильности» профиля знаний студентов и проанализировать его связь с уровнем компетентности;

– построить модель для оценки уровня компетенции, формируемой в процессе обучения, на основе тестовых измерений;

– предложить инструменты для реализации механизма взаимодействия вуза и работодателя, позволяющие оперативно учитывать требования работодателей к качеству подготовки студентов.

Объектом исследования является высшее учебное заведение.

Предмет исследования – процессы управления качеством обучения и взаимодействия вуза и работодателя.

Область исследования.

Работа выполнена в соответствии с пунктом 1.9. Паспорта специальности 08.00.13 – «Математические и инструментальные методы экономики»:

«Разработка и развитие математических методов и моделей анализа и прогнозирования развития социально-экономических процессов общественной жизни».

Рабочая гипотеза исследования.

Основная гипотеза проведенного исследования состоит в том, что существует возможность объективной количественной оценки достигнутого уровня компетенций студента (проявляющихся только в практической деятельности выпускника) в ходе его подготовки, которая может быть реализована с использованием банков тестовых заданий, удовлетворяющих модели Раша, а также применением многомерной модели оценки уровня компетенций.

Теоретическую и методологическую основу исследования составили научные публикации российских и зарубежных учёных по вопросам качества образования, его оценки методом тестирования и измерения латентных переменных.

использованы методы системного анализа, математического планирования эксперимента, прикладной математической статистики, теории управления сложными информационными системами, латентных переменных. Также применяются общенаучные и общеэкономические методы исследования.

В качестве инструментальных средств использованы Microsoft Excel, Statistica и Winsteps, а также адаптивная среда тестирования АСТ-тест.

тестирований, проведенных на базе ФГБОУ ВПО «Саратовский государственный социально-экономический университет» (СГСЭУ), а также ведущих вузов поволжского региона.

Положения, выносимые на защиту:

1. Качество образования является сложным составным понятием, набор требований к которому, формируемый как совокупность требований различных групп потребителей образовательных услуг, можно объединить в три группы:

внутреннее качество (требования преподавателей, учащихся, вузов), внешнее качество (требования общества, требования государства в лице министерства образования) и качество при использовании (требования работодателей, выпускников).

2. Введение в модель Раша дополнительных параметров, основанных на экспертной оценке степени нестандартности и практической значимости каждого из тестовых заданий, позволяет выявить новые латентные характеристики личности обучаемого, связанные с его профессиональной компетентностью.

3. Разработанный алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования, позволяет дополнить характеристики компетенции, выявленные с помощью модернизированной модели Раша, сведениями о структуре знаний учащихся и степени ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения.

4. Предложенная методика оценки уровня компетенции как многомерного объекта, характеристиками которого являются способность решать трудные, нестандартные и практически важные задачи, уровень структурированности знаний, а также степень отклонения хода выполнения задания от идеальной траектории, позволяет количественно оценить и спрогнозировать уровень формируемой компетентности выпускника.

5. Разработанное программное средство, реализующее предложенную методику оценки уровня формируемых компетенций, является средством контроля текущего уровня сформированной компетенции, которое может встраиваться в существующие системы управления качеством образовательного процесса на оперативном уровне управления.

Научную новизну содержат следующие результаты исследования:

1. Уточнено понятие качества обучения, которое рассмотрено с точки зрения всех заинтересованных сторон в виде наборов показателей и в состав которого включены дополнительные показатели (соответствие профессиональным стандартам, уровень профессиональной квалификации и способность выпускников адаптироваться к условиям конкретного предприятия, соответствие потребностям рынка труда, уровень доступности образования, возможность повышать занятость, увеличивать НВП, снижать напряженность в обществе), связанные с внешней оценкой со стороны работодателей, выпускников и всего общества.

2. Модернизирована модель Раша для оценки качества обучения, путем введения в нее дополнительных параметров, характеризующих нестандартность заданий теста и их практическую значимость, что позволило использовать модель для прогнозирования вероятности проявления отдельных составляющих компетенции.

3. Разработан алгоритм оценки «правильности» профиля знаний при компетентностном подходе, включающий вычисление профиля Гуттмана для результатов тестирования на банке тестовых заданий, удовлетворяющих требованиям модернизированной модели Раша и процедуру сопоставления полученных показателей профиля с эталонными значениями.

4. Предложен новый подход к оценке уровня компетенции как многомерного объекта, характеристики которого определяются из нескольких показателей (способность решать трудные, нестандартные и практически важные задачи, структурированность знаний, правильность хода выполнения задания и т.д.), каждый из которых является проекцией этого объекта на соответствующую ось, что позволяет получить объективную и оперативную оценку уровня формируемой компетентности.

5. Разработана методика оценки компетенций, включающая систему экспертных оценок нестандартности и практической значимости тестовых заданий, реализующую механизм взаимодействия вуза и работодателя, позволяющая прогнозировать уровень формируемых компетенций в системе управления качеством образования.

предлагаемая методика позволяет измерить уровень компетенции студента с использоваться для оценки качества учебного процесса с использованием компетентностного подхода, а также прогнозировать профессиональную пригодность выпускника с точки зрения работодателя.

Апробация результатов исследования Основные положения диссертации обсуждены и получили апробацию в тезисах, статьях и выступлениях на международных и всероссийских научных «Современные модели исследования социально-экономических процессов:

Теория и Практика» (Саратов, 2009 г.), «Информационные технологии в общем образовании», «Актуальные проблемы и перспективы развития современной экономики и управления» (Саратов, 2010 г.), «Современные исследования в образования как фактор устойчивого развития региональной инновационной экономики», «Наука – бизнес – образование: проблемы и перспективы компетентностного взаимодействия» (Ульяновск, 2012 г.), «Экономическое прогнозирование: модели и методы» (Воронеж, 2013 г.), «Междисциплинарные исследования в области математического моделирования и информатики»

(Тольятти, 2013 г.).

Глава 1. Проблемы оценки качества обучения и подходы к ее решению 1.1 Качество обучения в Российской и международной системе образования Система образования играет в современном обществе ключевую роль, так как от нее напрямую зависит уровень социально-экономического развития страны, успешность ее национальной экономики, ее статус на международной арене.

Термин «экономика знаний», введенный в 1962 году Фрицем Махлупом, стал в последние годы часто использоваться как в научной, так и в общественнополитической литературе для обозначения современного этапа экономического развития общества. Появление данного термина обусловлено трансформацией западной и отечественной экономики и общества. Характерной чертой такого типа экономики, называемой экономикой знаний, является то, что главным фактором и движущей силой ее развития являются знания, носителями которых выступает человеческий капитал и та информационная среда, в которой он действует. Рост и конкурентоспособность данного типа экономики обеспечиваются непрерывной генерацией новых знаний, их распространением и использованием в форме высокотехнологичной продукции и услуг [, с.110].

Традиционные экономические теории, в основе которых лежат представления о главной цели экономического развития, состоящей в получении максимальных выгод из ограниченных ресурсов (природных, трудовых, физических ресурсов и капитала), утрачивают свою актуальность. Более важными для экономики становятся неограниченные по своей природе информация и знания, которые могут передаваться и приумножаться в ходе использования.

Таким образом, в современных условиях устойчивое развитие экономики находится в зависимости от стабильного создания, распространения и использования знания, что в свою очередь невозможно без развития человеческого капитала. Под человеческим капиталом понимается совокупность интеллектуальных способностей, знаний, профессионально значимых компетенций, мотиваций и морально-этических принципов, получаемых в процессе образования и практической деятельности человека.

Формирование экономики знаний и процесс глобализации влияют на структуру рынка труда, повышая зависимость успешного трудоустройства и эффективной профессиональной деятельности индивида от накопленного им человеческого капитала, важнейшую роль в формировании которого играет уровень и качество образования. В структуре рынка труда постоянно увеличивается доля людей интеллектуального труда, для которых важна профессиональная компетенция.

В таких условиях возникает необходимость перехода высшего образования от обучения преимущественно конкретным знаниям и навыкам и продуцированию информации к развитию творческого потенциала, формированию способностей к самообучению, готовности к обучению на протяжении всей жизни. Кроме того повышаются требования к эффективности образовательной системы. С одной стороны, она должна делать возможными национальные технологические инновации, внедрение иностранных технологий, анализ и оценку глобальных технологических тенденций. С другой стороны, высокий уровень образования населения должен создавать на национальном уровне предпосылки для развития «чувствительного к качеству» спроса на высокотехнологичную продукцию, что стимулирует разработку всё более инновационной продукции и технологических процессов.

Важно отметить, что роль образовательных учреждений в разработке качественных программ обучения в соответствии с меняющимися потребностями рынка труда крайне важна. В современных экономических условиях растёт осознание того факта, что рынок образовательных услуг должен стремиться к контролю и повышению их качества.

Потребитель такой услуги способен оценить её качество лишь через длительный промежуток времени после её потребления. Образовательное учреждение обладает несравнимо большей полнотой информации, полученной в ходе обучения. Некоторые исследователи даже говорят о том, что перед образовательными учреждениями встаёт задача прогнозирования тенденций развития рынка труда и адаптации образовательных программ в соответствии с ожидаемыми изменениями. [, с.37] международные исследования. Так, сравнительные исследования проводятся Международной ассоциацией по оценке учебных достижений IEA (International Association for the Educational Achievement) и Службой педагогического тестирования США (ETS – Educational Testing Service). Международные исследования помогают странам оценить эффективность функционирования собственных систем образования и сравнивать подготовку своих учащихся с международными стандартами. Сравнение может проводиться как по результатам тестирования учащихся, так и по тому, как планируемое на государственном уровне содержание образования усваивается учащимися в учебном процессе.

Проведение подобных исследований – процесс сложный и трудоемкий, обычно в нем принимают участие высокопрофессиональные коллективы стран участниц. Это позволяет проводить исследования на достаточно высоком уровне.

Например, в исследовании TIMSS принимали участие такие научноисследовательские центры как: Университет Британской Колумбии (Канада), Мичиганский университет (США), Службой педагогического тестирования ETS (США), Университет Осло (Норвегия), Российская академия образования (Россия), Вильнюсский университет (Литва) и др.

Важную роль в проведении международных исследований в области оценки качества обучения играет Международная ассоциация по оценке учебных достижений IEA – независимая организация, в которую вошли научные центры стран мира. Первые исследования IEA проводились совместно с ЮНЕСКО. IEA существует более 35 лет, за эти годы было более 15 исследований. Во многих странах проведенные IEA исследования дали толчок к проведению реформ образовательной системы или смены политики в сфере образования.

С 1991 года Россия является членом IEA и принимает активное участие во всех исследованиях проводимых этой организацией (TIMSS – международное исследование естественнонаучного образования, LES – исследование лингвистического образования, CIVIC – гуманитарного образования).

Известные международные организации, такие как ООН, ЮНЕСКО, ЮНИСЕФ, Всемирный банк, Международный институт образования, Совет Европы и др., поддерживают проведение международных исследований, поскольку они заинтересованы в получении информации о качестве и эффективности систем образования в разных странах. Ведь в современном меняющемся мире образование является одной из неизменных ценностей и именно уровень образования граждан будет определять конкурентоспособность страны в ХХI веке.

образования обусловлена сегодня многими причинами. Во-первых, глубокими теоретико-методологическими исследованиями в области понятийнотерминологического аппарата, позволяющими выстроить соотношение между понятиями «обучение, воспитание, развитие» и «образование», касающимися проблем совершенствования содержания образования. Во-вторых, опережением практических начинаний по вопросам создания учебных заведений нового типа, по внедрению различных инноваций, затрагивающих как содержательные, так и процессуальные аспекты деятельности учебных заведений. В-третьих, происходящими в обществе социально-экономическими изменениями, предъявляющими новые требования к выпускникам учебных заведений. Вчетвертых, развитие новой области научного знания – менеджмента в образовании, и внедрение управленческих технологий в деятельность учебных заведений. И, наконец, об остроте проблемы качества образования свидетельствует наметившаяся тенденция к снижению качества подготовки выпускников высшей школы.

В развитии и становлении понятия «качество образования» можно выделить несколько этапов. Первый – связан с попытками свести понятие «качество образования» к известным ранее понятиям или описать его через отдельные составляющие понятия образования и готовность выпускника к какой-либо деятельности. В этом случае понятие «качество образования» подменяется качеством усвоения и указываются его количественные характеристики или процент учащихся, получивших отличные и хорошие оценки. Попытка описать «качество образования» как степень развитости личности тоже не лишена недостатков, так как не только не дает механизма и способов оценивания соответствующих параметров развития, но и не учитывает опыт личности, как результат освоения содержания. Подход к понятию «качество образования» как степени готовности выпускника к жизни несостоятелен по той причине, что такие показатели могут быть определены спустя много лет. Поэтому подобный подход к описанию рассматриваемого понятия не дает ответа на вопрос о том, как оценить качество образования на момент окончания обучения и, тем более, в процессе обучения.

Еще один подход к оценке качества образования был сформирован на практике и рассматривает одну из двух ее трактовок – философскую или производственную. В философии эта категория не носит оценочного характера, в этом смысле «качество образования» показывает только отличие образования от других социальных явлений, систем и видов деятельности человека.

Ключевым понятием производственной трактовки понятия «качество образования» является понятие «качество продукции». Такой подход [, с.27] предполагает качество продукции соответствует наличию у нее двух признаков.

Во-первых, продукция должна иметь определенные свойства. Во-вторых, ценность товара или услуги должна оцениваться с точки зрения потребителя, а не производителя. Одним из недостатков такого подхода является отсутствие среди критериев качества образования – параметров развития личности в процессе образования, ее самобытности, культуры.

Третий подход к развитию понятия «качество образования» связан с анализом различных подходов к определению этого понятия на научных семинарах и конференциях. Результатом многолетних дискуссий стало соглашение о том, что довольно сложно, а может быть и невозможно, дать однозначное определение качеству образования.

Вместе с тем, до сих пор предпринимаются попытки дать такое определение этого понятия, которое можно было бы использовать в практических целях. Так, по мнению специалистов, для разработки теории и практики конструирования педагогических тестов нужно четкое понимание и различение терминов «качество подготовки», «уровень подготовки» и «качество образования».

качественным изменениям в процессе обучения, которые можно определить как увеличение знаний, умений и навыков, полученных обучаемым по завершении определенного этапа [, с.420]. Такой подход позволяет учитывать те процессуальные аспекты образования, которые проявляются в его результатах.

Однако использование данного определения применимо к текущей, но не к итоговой аттестации выпускников, поскольку предполагается сравнения начального и конечного состояния обследуемого объекта. Но остается открытым вопрос о том, с чем сравнивать результат обучаемого на момент выпуска.

Качество образования может рассматриваться с точки зрения его потребителей: отдельных обучающихся и абитуриентов, их родителей, преподавателей, работодателей, министерства, всего общества (рисунок 1).

Потребители преследуют различные цели и вкладывают в понятие «качество обучения» разное содержание. Рассмотрим требования и методы контроля каждого из них.

Функции государства по контролю качества в сфере образования реализуется через понятие аккредитации. Федеральная служба по надзору в сфере образования определяет аккредитацию как подтверждение уполномоченных органов соответствия подготовки специалистов в конкретном высшем учебном заведении заданным стандартам качества.

Работодател Рисунок 1. Потребители качества образования За стандарты качества в России приняты государственные образовательные стандарты (ГОС). Оценка качества подготовки осуществляется в форме контроля степени соответствия требованиям ГОС по конкретному направлению подготовки. Особенность существующих стандартов образования заключается в том, что они определяют перечень предметов, возможные их сочетания и содержат требования к компетенциям будущего специалиста.

Таким образом, в стандартах содержатся требования государства к качеству подготовки выпускников вузов. Однако критериев и методик для определения уровня обучения в стандартах не предложено. Основным результативным показателем качества подготовки остается требования положительной сдачи выпускниками итоговой государственной аттестации. В нее входят оценки, полученные на государственных экзаменах и после защиты выпускной квалификационной работы.

Такое требование в системе оценки качества разработано Национальным аккредитационным агентством в сфере образования (Росаакредагентство).

Безусловно, подобного рода оценка имеет субъективную составляющую и не является адекватной оценкой уровня готовности выпускника к успешной трудовой деятельности.

С 2003 года Росаккредагентством для оценки качества образовательных программ применяется технологии тестирования в сфере высшего профессионального образования посредством интернета. В основе этой методики были положены следующие критерия качества. Каждая дисциплина разбита на несколько обособленных дидактических единиц (ДЕ). Считается, что студент освоил ДЕ, если он успешно выполнил не менее 50% заданий. Если он освоил все ДЕ, то и дисциплина считается изученной. Подготовка по дисциплине удовлетворяет требованиям ГОС, если не менее 60% студентов освоили дисциплину.

Вторым субъектом, заинтересованным в повышении качества образования является работодатель. Предприятия заинтересованы, чтобы выпускники вузов имели достаточную профессиональную квалификацию. Принимая на работу хорошо обученный персонал, организация тем самым стремиться к снижению издержек на его переобучение, сокращение доли затрат на внутрифирменную подготовку в структуре себестоимости продукции и т.д. За счет этого увеличивается прибыль и рентабельность производства. От выпускников требуется умение соединять теорию с практикой и адаптироваться к конкретным условиям предприятия.

профессионально-квалификационная структура. Это означает, что важно учитывать не только качество специалистов, но и соотношение потребностей в них по каждой профессии, специальности и их фактический выпуск из вузов.

Некоторые работодатели разработали свои профессиональные стандарты, в которых устанавливаются требования к компетенциям специалистов в определенной предметной области. Однако в настоящее время подобного рода оценки не формализованы. Процесс носит случайный характер и, возникшие на рынке труда ситуации с избытком экономистов и одновременно недостатком высококвалифицированных специалистов в этой сфере, подтверждают это.

Общество предъявляет к высшему образованию следующие требования:

– образование должно быть доступным как по финансовому, так и по территориальному признаку;

– выпускники вузов должны повышать занятость и увеличивать НВП;

– профессиональное образование должно влиять на развитие гражданского общества, снижение напряженности в обществе и т.д.

Примером независимых общественных оценок качества образования могут быть концепции агентства «РейтОР», «Эксперт РА», НИУ ВШЭ, РИА Новости, ООО «Деловая Россия», издательского дома «Коммерсантъ», ЗАО «ИнформИнвест». Понятие качества образования согласно предложенной агентством «РейтОР» концепции трактуется как набор взглядов и мнений всех сторон, заинтересованных в образовательном процессе, по отношению к ресурсам, процессу и результату образования их требованиям.

Рейтинг вузов, составляемый агентством «Эксперт РА» строится на основе статистических характеристик образовательной и научной деятельности вузов и качественных показателей, характеризующих мнение основных заинтересованных групп: работодателей, преподавателей и администрации вуза, представителей научных кругов, а также студентов, выпускников и их родителей.

Сам рейтинг представлен в виде интегральной оценки качества подготовки выпускников вуза.

Издательский дом «Коммерсантъ» формирует свой собственный рейтинг вузов, опрашивая крупнейшие российские компании, которые принимают на работу молодых специалистов – выпускников вузов.

Национальный исследовательский университет «Высшая школа информационные материалы, относительно большинства вузов, в которые входят, в частности, стоимость обучения, сведения о среднем балле ЕГЭ абитуриентов, поступающих на различные формы обучения, средний и минимальный балл по различным направлениям подготовки и другие данные.

Деловой рейтинг высшего образования от ООО «Деловая Россия» при определении показателя учитывает степень взаимодействия работодателей с вузами и уровень заработной платы выпускников с учетом региональных различий. В целом данный рейтинг отражает оценку результатов деятельности вузов с точки зрения работодателей.

Свою независимую систему оценки качества обучения и формирования рейтинга вузов разработала компания ЗАО «Информ-Инвест», являющаяся дочерней структурой «Интерфакса». Предложенная система построена на основе следующих основных показателях: образовательная деятельность (вес в интегральной оценке – 0,2); научно-исследовательская деятельность (0,2);

социализаторская деятельность (0,15); международная деятельность (0,15); бренд вуза (0,15); общественное мнение о его деятельности (0,15).

Перспектива участия общества в управлении качеством образования видится в развитии социального партнерства органов управления и вузов с общественными организациями, формировании наблюдательных, попечительских и других советов.

Вуз является субъектом внутренней системы оценки качества образования.

За показатели качества администрация вуза принимает соотношение успеваемости, процент отчисленных, затраты на образовательный процесс, успешность дальнейшего трудоустройства выпускника.

В отдельную группу следует выделить требования преподавателей. Они предъявляют требования к академической подготовке студентов, то есть оценивают качество работы других преподавателей. Также преподавателей волнует результаты, как конкретного студента, так и отдельных групп.

Оцениваются такие качества студентов как умение применять знания на практике, нестандартное мышление и ответственность по отношению к учебному процессу.

Требования студентов и их родителей заключаются в том, чтобы полученные знания были актуальными, соответствовали требованиям к квалификации, приводили к получению престижной работы или к повышению дохода.

Таким образом, понятие «качество обучения» многогранно и определяется результатом переговоров всех субъектов по ожидаемым требованиям. Перед высшим образованием стоит сложная задача максимально учесть все эти требования, а перед государством – осуществить контроль и создать условия для повышения качества обучения.

Из всего вышесказанного следует, что проблема качества образования является актуальной для всех субъектов образовательного процесса и нуждается в управлении и контроле результатов обучения. У каждой группы потребителей свои требования и свои взгляды на качество образования. Поэтому нет и не может быть однозначного определения данного понятия.

1.2 Подходы к определению качества образования согласно современным Качество образования является сложным составным понятием. В ГОСТ Р ИСО 9001-2008 дается следующее определение качества. Качество – это весь объем характеристик продукта или услуги, которые относятся к их способности удовлетворять установленным или предполагаемым потребностям []. Это определение является общим для всех видов товаров и услуг. Однако его недостаточно для конкретных оценок качество обучения.

Видимо, для описания качества образования эффективным может быть подход, предложенный в стандарте ISO 9126 (ГОСТ 9126) для оценки качества программных средств. В этом стандарте изначально предлагается рассматривать понятие качества сложной системы, состоящим из 3 компонентов: внутреннее качество, внешнее качество и качество при использовании.

Если применить подобный подход к определению качества образования, то его можно представить в виде классификационного дерева, показанного на рисунке 2.

Рисунок 2. Классификация наборов показателей качества высшего образования В таблице 1 приведены результаты оценки отдельных наборов требований к качеству образования по отношению к четырем группам характеристик.

Требования определены компетентностному объективность измерительных общества государства учащихся вузов преподавателей работодателей Требования выпускников До недавнего времени традиционный подход к оценке качества образования соответствующих наборов требований существуют объективные метрики и госаккредитации в последние годы значительно повысилась роль внешнего измерительных средств для их оценки со стороны государства.

использовании, поскольку новый подход предполагает ориентацию на конечного потребителя, т.е. работодателя и выпускника.

При определении качества образования важно учитывать, что требования конечного пользователя к качеству должны в процессе валидации требований преобразовываться в требования к внешнему качеству, а затем на их основе должны формироваться требования к внутреннему качеству. В свою очередь, процессы, обеспечивающие реализацию требований к внутреннему качеству должны находить воплощение во внешнем качестве, которое в конечном итоге обеспечивает качество для пользователей.

Таким образом, все походы к оценке качества необходимо учитывать.

Внутреннее качество важно в процессе обучения для управления процессом образования на оперативном уровне. Внешнее качество – для определения качества подготовки специалистов и присвоения квалификационной степени.

Требования к качеству при использовании следует учитывать при составлении образовательных программ и стандартов.

образования, показывает, что для его полного понимания необходимо определить сформированы у обучаемых по окончанию образовательного процесса в учебном заведении. При этом характеристики образования должны представлять ценность не только с позиции вуза, но и для всех субъектов образовательного процесса.

Системы обеспечения и оценки качества деятельности высших учебных заведений, существующие сегодня в России и за рубежом используют существенно различающиеся подходы к управлению качеством, а также разные методы и наборы критериев. Тем не менее, в основе большинства систем управления качеством, используемых в настоящее время отечественными и зарубежными вузами лежат следующие стандартизованные модели систем менеджмента качества:

модель системы менеджмента качества, соответствующая стандарту ISO 9001:2000 (ГОСТ Р ИСО 9001 -2001);

модель всеобщего управления качеством (TQM) модифицированная для применения в сфере высшего образования;

модели, удостоенные премий Правительства РФ в области качества и конкурса Министерства образования РФ «Внутривузовские системы обеспечения качества подготовки, специалистов»;

модели, разработанные Центром исследований в области высшего образования (CHEPS) университета Твенте) и Ассоциацией университетов Нидерландов (VSNU);

совместная модель (Бельгия – Нидерланды) (HBO Expert Group);

модель, удостоенная американской национальной премии по качеству «Baldrige National Quality Award» в области образования;

модель эталонного тестирования, разработанная группой Австралийских университетов.

Можно выделить три основных подхода к оценке качества образования.

В соответствие с требованиями стандартов качества ISO 9001:2000, основным инструментарием обеспечения качества считается документированная система управления.

Работа по созданию и внедрению систем управления качеством на основе этих требований ведется в настоящее время во многих вузах России.

Согласно этому стандарту требуется:

идентифицировать процессы, произвести их корреляционный анализ, определить критерии и методы эффективной реализации процессов, обеспечить ресурсы и информацию для мониторинга, проводить мониторинг процессов, осуществлять совершенствование процессов.

Вторым подходом является модель всеобщего управления качеством (TQM). Она основана на глубоком анализе деятельности организации по производству продукции и услуг.

Концепция всеобщего управления качеством (TQM) определяет качество любого товара или услуги с позиций удовлетворенности потребителя. Основными принципами TQM являются:

– создание информационной базы;

– внедрение методов оценки удовлетворенности потребителей;

– оценки и измерения основных процессов;

– непрерывное улучшение этих процессов; самооценка деятельности.

TQM является всеобъемлющей философией деятельности организаций, акцентирующей постоянное стремление самой организации к ее непрерывному совершенствованию. Сущность TQM в приложении к высшему учебному заведению может быть сведена к трем идеям: определение качества образования с точки зрения потребителей этой услуги, постоянное улучшение эффективности работы вуза, совершенствование управленческой, административной системы вуза. При этом непреложными являются два основных принципа. Во-первых, клиенты, пользователи услуг, в данном случае студенты, выпускники и их работодатели, имеют наибольшее значение для деятельности вуза, так как без них нет бизнеса, без бизнеса – нет организации. Таким образом, главная цель высшего учебного заведения, как и любого производителя услуг, состоит в том, чтобы не только сохранить клиентов, но и расширить их число за счет высокого качества предоставляемой услуги.

TQM предъявляет требования к перестройке структуры методов управления в сторону создания качества. Методология TQM заставляет управляющих отказаться от централизованного управления и придать главное значение в принятии решений клиентам и служащим.

Согласно второму принципу необходимо добиться качества. Для этого следует извлекать, анализировать и применять информацию непосредственно с рабочих мест.

Управляющие, с точки зрения TQM, должны стать лидерами, которые постоянно совершенствует процесс. Организация будет иметь непрерывное улучшение продукции только тогда, когда они понимают, что все системы состоят из взаимозависимых частей и работают над тем, чтобы нацелить все эти части на достижение качества. Такой тип руководства необходим, чтобы гарантировать, что качество продукции постоянно улучшается и действительно удовлетворяет потребителей.

Началом сближения европейских систем образование можно считать середину 70-х годов. Продолжением этого процесса послужило подписание в 1999 году министерствами образования 29 европейских стран Болонской декларации. Основной целью этого процесса является создание единого европейского образовательного пространства. В качестве ключевого фактора успеха Болонского процесса выделяют качество образования, к которому предъявляется повышенное внимание.

Существует мнение экспертов, что сама Болонская декларация недостаточно четко сформулировала позиции европейского образовательного пространства по отношению к обеспечению качества высшего образования.

Однако последующие совместные документы министров образования европейских стран поставили перед странами-участницами конкретную цель – разработать действующие системы обеспечения качества. При этом четко определены и уровни, на которых они должны создаваться (рисунок 3).

Рисунок 3. Уровни обеспечения качества согласно Болонской декларации.

Разделение уровней влияния и определение полномочий каждого участника, вовлеченного в Болонский процесс, не снимает с высших учебных заведений ответственность за обеспечение качества образования.

Среди причин такой особенности можно назвать следующее:

государственного регулирования в сфере высшего образования;

смещение в сфере образования большинства стран Европы от контроля того, что находится «на входе» в образовательный процесс к контролю того, что получается «на выходе» из него.

С учетом сложившихся тенденций внимание при оценке эффективности образования смещается от планирования и реализации учебного процесса в сторону его результата (знания, умения, навыки, компетенции).

В качестве показателей эффективности образования выделяют процент трудоустроенных по специальности выпускников и средний доход, получаемый ими за первые 5 лет работы. Однако представляется невозможным применение таких инструментов оценки качества образования в России. Это обусловлено квалификациями выпускников вузов, что не позволяет обеспечить их трудоустройство по специальности.

Стремление стать полноправными участниками Болонского процесса достигается многими вузами путем не только расширения международного сотрудничества, но и обеспечение соответствующего контроля в сфере качества образования с использованием соответствующих критериев. Для этого к механизму обеспечения качества предъявляются повышенные требования. В первую очередь, это касается получения информации, понятной внешним пользователям. На рисунке 4 представлены существующие механизмы повышения качества в образовательных учреждениях.

Большой вклад в практическое решение задачи обеспечения качества образования вузами принадлежит Европейской Ассоциации Университетов (European University Association). В качестве решения предлагается использовать программу институциональной оценки (Institutional Evaluation Program).

Применение такой программы состоит из двух этапов. На первом этапе проводится самооценка по специальной методике, предложенной Ассоциацией.

На втором этапе подключается специальная группа независимых экспертов (все они либо в настоящее время, либо в недавнем прошлом занимали высшие руководящие должности в европейских образовательных учреждениях). Ее задача заключается в выработке рекомендаций. По истечению двух лет экспертная группа проводит повторную проверку учреждения для оценки качества выполнения выработанных рекомендаций и полученных с их помощью результатов. Такого рода программы представляют собой механизм аккредитации с привлечением сторонних экспертов.

Как видно, все три подхода (ISO 9001:2000, TQM, Болонская декларация) предполагают постоянный мониторинг показателей качества обучения в вузе и принятие по его итогам оперативных решений. Однако показатель качества обучения является неоднозначным и по-разному вычисляется.

Зачастую за показатели качества принимают следующие характеристики:

1. Уровень обучения, результат которого можно описать количественно или в процентах. В качестве средства измерения выступают контрольноизмерительные материалы, тесты и другие инструменты контроля. Важно учитывать, что полученные показатели нуждаются в анализе. Для выяснения причин, объясняющих полученные результаты нужна самооценка деятельности преподавателя и обучаемого. Необходимо сравнивать результаты с результатами текущей аттестации; установить отношение студента к элементам образовательного процесса и учесть возможности ученика.

2. Показатели личностного развития: уровень развития интеллектуальной, эмоциональной, волевой, мотивационной сторон личности обучаемого.

К показателям личностного развития относят:

– уровень развитости познавательных интересов, потребностей;

– сформированность устойчивой мотивации учения;

– уровень творчества обучаемого;

– уровень нравственного, эстетического, физического, экологического и другого развития личности.

Результаты первых трех показателей можно определить только квалиметрически, т.е. качественно, описательно или в виде балльной оценки. Для этого должна быть определена шкала оценки, где каждому баллу приписывается определенный уровень проявления измеряемого качества. Уровень должен быть подробно описан, чтобы им можно было корректно пользоваться. Качественно эти уровни описываются через следующий набор критериев: высокий, средний, низкий или достаточный, допустимый, недопустимый. К числу средств для выявления этих показателей относят анкеты и специальные опросники, методики определения уровня мотивации, тест-ситуации, специально разработанные задания проблемного характера, нестандартные задачи.

Что же касается результатов нравственной, физической, экологической и других культур личности, то их в явном виде обнаружить очень трудно, т.к. они относятся к внутренним характеристикам обучаемого. Оценка этих характеристик проводится, как правило, экспертным методом, путем длительного наблюдения за поступками обучаемого, за его поведением в тех или иных ситуациях. Одним из способов выявления этих результатов является создание условий для их возникновения на некоем фиксируемом уровне исповедуемых ценностей. Такого рода показателями трудно управлять и прогнозировать, можно только создавать условия, чтобы возникал положительный эффект и не проявлялся отрицательный эффект.

3. Изменение профессиональной компетентности преподавателя и его отношения к работе.

При описании качества образования в учебном заведении следует учитывать тот факт, что с годами работы преподаватель приобретает не только профессиональное мастерство, но и негативный опыт, влияющий на качество ведения занятий. Для измерения названных показателей используют анкеты о качестве проведения занятий. В них по специальной шкале учитель проводит самооценку, а оценку занятия дают ученики, коллеги и администрация вуза.

4. Отзывы о выпускниках и выпускников.

Этот результат образования может быть оценен по большому счету лишь спустя несколько лет. Но, вместе с тем, он включает и такие показатели как:

участие обучаемых в конкурсах и грантах, уровень трудоустройства, средний размер зарплаты выпускника и т.д.

5. Рост (или падение) престижа учебного заведения в социуме.

К числу показателей этого раздела результатов относят: приток или отток педагогических кадров, обучаемых; место в рейтингах, суммарный проходной балл по ЕГЭ и количество бюджетных мест.

Таким образом, для оценивания качества образования необходимо иметь нужную информацию, уметь ее получать и анализировать, владеть современными средствами оценки результатов обучения, прогнозировать цели и сопоставлять их с достигнутыми результатами.

Проведенный анализ различных подходов к определению понятия «качество образования» позволяет сделать вывод о том, что существуют определенные трудности и в описании результатов образования, и в их измерении. Нужны специальные характеристики, параметры, показатели и соответствующие средства измерения.

Для оценки внутреннего качества обычно используется понятие результата обучения. Обзор литературы позволяет сделать вывод, что среди существующих определений результатов обучения нет существенных различий [,, ].

На основе приведенных определений можно сказать, что результаты обучения проявляются в достижениях учащегося, которые он может продемонстрировать по окончанию изучения дисциплины.

В качестве рабочего определения результатов обучения может быть выбрано определение ECTS. Результаты обучения – это формулировка того, что, как ожидается, будет знать, понимать и/или будет в состоянии продемонстрировать учащийся по окончанию процесса обучения.

1.3 Роль компетенций в системе оценки качества образования и проблемы Выделяют следующие подходы к определению сущности компетенций:

поведенческий (американский), функциональный (британский), многомерный и целостный (французский и немецкий).

Американский подход раскрывает понятие компетенция как поведение сотрудника. Данный подход регламентирует действия работника, которые он должен выполнять для эффективного выполнения своих служебных обязанностей.

В рамках данного подхода компетенция определяется как базовые характеристики сотрудника, позволяющие ему совершать правильные действия и тем самым получать полезные результаты в работе. Помимо самой компетенции у выпускника должна присутствовать компетентностная мотивация.

На основе этих теоретических разработок в США стали применяться компетентностные тесты, которые могут предсказать эффективность профессиональной деятельности выпускника после окончания вуза с высокой валидностью.

Широкое распространение получило в США подход, измеряющий не только общее компетенции, но и другие их виды. Так Американская ассоциация менеджмента (АМА) предложила выделять пять кластеров (рисунок 5).

По мнению разработчиков этого подхода, сходства и различия между кластерами должны осуществляться в процессе определения главных факторов успешной деятельности и измерения уровня их сформированности в каждом из кластеров.

В процессе измерения каждый кластер разбивается на группы компетенций, которые в свою очередь делятся на субкомпетенции.

Отличие Европейского подхода состоит в определении компетенции как возможности сотрудника выполнять действия согласно принятым внутренним стандартам организации. Поэтому в этом подходе большое внимание уделяется описанию рабочих задач, обязанностей сотрудника и ожидаемого от него конечного результата [].

В британской модели определения компетенций отмечается устремление к целостности и функциональности. Это происходит посредством интеграции знаний, пониманий, навыков и ценностей, характерных для профессионала.

Примером такой модели может служить предложенная Чисмэном и Чиверсом интегративная модель профессиональной компетентности (рисунок 6).

Рисунок 6. Функциональная модель компетенций В этом подходе понятие «компетенция» трактуется шире, чем в американском понимании. В Великобритании к компетенциям относят и функциональные характеристики знаний, умений и навыков.

Подход к построению компетентностной модели во Франции принято называть многомерным. Это объясняется тем, что он разделяет два вида обособленных компетенций. Личностные компетенции характеризуют поведение обучаемого. Коллективные компетенции нацелены на выявление компетенций, необходимых для успешной работы в коллективе или его управления. При систематизации компетенций кластеры занимают положение ближе к одному или другому полюсу. Многообразие таких кластеров и придает описанному подходу многомерность.

В основу немецкой системы образования было положено определение компетенции действия. Большое внимание уделяется формированию учебного компетенций, характерных для конкретного предмета и только потом запланированные знания, умения и навыки. Классификация компетенций учитывает область будущей деятельности учащегося (рисунок 7).

Предметные компетенции отражают готовность выпускника к решению профессиональных задач. Они включают в себя такие кластеры как компетенции сферы деятельности и общие когнитивные компетенции. К личностным компетенциям относят когнитивные, социальные и самокомпетенции. С их помощью оценивают возможность учащегося к исследованию, анализу и оценке направлений саморазвития и формированию требований в различных жизненных аспектах.

Многомерные модели построения структуры компетенций получили большее распространение и развитие (Таблица 2). Это объясняется тем, что образовательную деятельность вузов с потребностями субъектов образования.

В основе традиционной образовательной парадигмы в отечественной практике лежит исследование ЗУН (знаний, умений и навыков) и ПВК (профессионально важных качеств). Эта тенденция прослеживалась при формировании образовательных стандартов 1-го и 2-го поколения.

Недостатком отечественных методов оценки компетенций заключался в игнорировании требований потребителей образования. Устранить его был призван переход к ФГОС ВПО, что должно было позволить наладить механизмы взаимодействия вузов и работодателей.

В настоящее время в России используется сочетание элементов и наработок американской и европейской системы оценок, а также отечественный опыт изучения компетенций. Однако применение европейской модели в российской системе образования ограничивается отсутствием достаточного количества профессиональных стандартов по отдельным видам деятельности []. А утвержденный Распоряжением Президента Российского союза промышленников и предпринимателей (РСПП) № РП-46 от 28 июня 2007 г. профессиональный стандарт является пока только макетом. Кроме того до сих пор не принята Национальная рамка квалификаций, которая должна лежать в основе разработки профессиональных стандартов [].

Таким образом, отсутствие профессиональных стандартов, не утвержденная национальная рамка квалификаций, отсутствие отечественных исследований по оценке компетенций с учетом интересов работодателей способствовали распространению в российской профессиональной среды американского подхода, в основе которого заложены цели достижения максимальной эффективности труда и повышения управляемости и конкурентоспособности организации.

Поэтому среди российских работодателей при оценке компетенции сотрудника акцент ставиться на его способность выполнять должностные обязанности и наличие личностных качеств, которые позволят организации достичь поставленных целей.

Метод оценки с использование компетенций нашел свое применение при решении таких кадровых задач, как подбор персонала, формирование кадрового резерва, аттестация персонала и т.д. [,, ].

Рассмотренные образовательная и профессиональная сферы предъявляют свои требования, что определяет функции оценки компетенций. Так в образовательном процессе измерение компетенций используется в качестве инструмента контроля качества образования. В профессиональной же среде такой метод оценки применяется при отборе персонала и определении его потенциала.

Различаются и системы классификации компетенций, используемые образовательной и профессиональной средой. Так в ФГОС приведены только общекультурные и профессиональные компетенции. В профессиональной же среде, как правило, выделяют три классификационных признака: уровень распространения, уровень развития, сущность и содержание (рисунок 8).

В словаре-справочнике современного российского профессионального образования раскрывается понятие общекультурных(общих) компетенций. Под ними понимается способность успешно решать задачи, являющиеся общими для многих видов профессиональной деятельности []. При оценке общекультурных компетенций сложность вызывает тот факт, что степень их сформированности можно оценить только в результате всего обучения.

Общекультурные компетенции определяют в способности ориентироваться в различных сферах социальной и профессиональной жизни. М.Г. Синякова отмечает, что общекультурные компетенции следует рассматриваться как основу для формирования профессиональной мобильности специалиста. [, С. 25].

Например, к общекультурным компетенциям можно отнести способность правильно и аргументировано устно или письменно выражать и др. [].

Образовательная среда Рисунок 8. Классификации компетенций в вузе и в профессиональной среде.

Профессиональные компетенции проявляются в способности успешно решать задачи в конкретной профессиональной деятельности []. Примером профессиональных компетенций для направления «Управление персоналом»

является знание видов, форм и методов обучения персонала, умением вести кадровое делопроизводство и организовывать архивное хранение кадровых документов в соответствии с действующими нормативно-правовыми актами и т.д.

[].

Количество компетенций различается в зависимости от направления и уровня подготовки.

Наибольшее распространение в профессиональной среде получила классификация компетенций по уровню распространения [,,, ]:

– общеорганизационный уровень. К нему относят корпоративные и профессиональные компетенции, распространяющиеся на всю сферу деятельности компании;

– должностной уровень. К нему относят профессиональные компетенции и компетенции менеджера, которыми должны обладать работники определенной группы должностей.

По уровню распространения в профессиональной среде выделяют корпоративные, менеджерские и профессиональные компетенции.

Требование владеть корпоративными компетенциями предъявляется ко всем работникам организации. Они формулируются из корпоративных ценностей, описанных в стратегии, кодексе корпоративной этики и т. д. К таким компетенциям можно отнести, например, умение работать в команде, дисциплинированность и т.д.

К сотрудникам, занятым в процессе управления, предъявляется требование владеть менеджерскими компетенциями. Они могут совпадать для руководителей занятых в разных отраслях (управление бизнесом, умение влиять на людей и т.д.).

Профессиональные компетенции близки по значению профессиональным компетенциям, отраженным в ФГОС ВПО.

Среди профессиональных компетенций выделяются компетенции, не привязанные к конкретным должностям и связанные со спецификой деятельности организации. Также профессиональные компетенции применимы к группам должностей и отражают функциональные обязанности.

Согласно уровню развития, выделяют пороговые и дифференцирующие компетенции. Пороговые компетенции являются необходимым минимумом для достижения результата. Дифференцирующие компетенции используются для определения лучших сотрудников от средних. Для каждой компетенции дифференцированную шкалу уровней сформированности компетенций.

профессиональных компетенций выделяют еще и «надпрофессиональные навыки». Их отличие от компетенций заключается в том, что они формируются либо на других уровнях образования (среднего и начального), либо за пределами системы вузовского образования. К таким надпрофессиональным компетенциям кадровые агентства относят, например, свободное владение иностранным языком, умение пользоваться компьютером, современными средствами связи, владение деловой и письменной речью и т.д.

Существующие в образовательной среде пятибалльная и балльнорейтенговой оценки достижений студентов [, ] хорошо зарекомендовали себя при представления об уровне формирования компетенций. Формирование дисциплин, что делает невозможным применение традиционных методов оценки.

В качестве примера практического использования уровней развития компетенций можно привести Национальную рамку квалификаций (НРК). Она повышения образовательного уровня и практического опыта [].

образовательной среде были выбраны сущность и содержание.

Согласно этим критериям выделяют:

фундаментальные компетенции, которые необходимы для эффективной работы (знание и понимание, нестандартность, динамичность и гибкость мышления);

эффективностью (ответственность в принятии решений, мотивация к достижению, обучаемость и др.);

операционные компетенции, которые необходимы для эффективной работы: (руководство группой, способность планировать и проектировать деятельность и др.);

эффективностью (эффективность общения с людьми, умение вести переговоры, умение излагать свою точку зрения и т.д.) [, ].

1.4 Возможности существующих оценочных средств при измерении уровня Для определения качества обучения используют различные оценочные средства, классификация которых представлена на рисунке 9. При этом ключевую роль среди различных средств оценки играют тесты.

В настоящее время тесты широко применяются в разных странах мира, как в сфере образования, так и в других областях деятельности. Во многих странах существуют центры тестирования и специальные издательства, занимающиеся разработкой новых психологических тестов, проверкой их валидности и распространением.

государственными институтами и комиссиями. В Нидерландах, Франции, образовательные тесты для единого государственного экзамена и тесты успеваемости. В США существует государственный Совет по тестированию и оценке, созданный Американской психологической ассоциацией, Министерством обороны и Министерством образования.

Стандартизированный тест с заданиями на выбор ответа Стандартизированная Рисунок 9. Классификация оценочных средств Педагогическое тестирование в России на данном этапе находится на стадии становления. Важным этапом в истории развития образования России стало создание Министерством высшего и специального образования РФ Центра тестирования выпускников общеобразовательных учреждений. Совместно с региональными представителями работники Центра создают тестовые материалы по различным предметам школьной программы, а также разрабатывать регламент по организации и проведению централизованного тестирования по всей России, по проведению единого государственного экзамена (ЕГЭ), по обработке и шкалированию результатов тестирования, по подготовке и выдаче участникам тестирования сертификатов государственного образца. В 1999 г. более 40 тысяч абитуриентов на основании результатов централизованного тестирования стали студентами 256 вузов России. В 2000 г. в тестированиях по 12 предметам приняло отчасти более 500 тысяч человек. С 2001 г. Центр тестирования совместно с Министерством образования и науки РФ начал эксперимент по внедрению ЕГЭ.

Измерение функциональных и личностных компетенций в образовательном процессе вызывает ряд сложностей. Это связано с тем, что они проявляются только в профессиональной деятельности, а это требует для измерения задания, специально имитирующие реальные рабочие ситуации.

Попытка вузов оценивать уровень компетенции инструментами, хорошо зарекомендовавшими себя в профессиональной среде (деловые игры, кейсовые задания), не получили на данный момент широкого распространения. Несмотря на достоинство этих инструментов в создании реальной рабочей ситуации, сложность вызывает использование полученных результатов и их интерпретация.

Для этого преподаватель четко должен представлять критерии формирования оценочных заданий, сильные и слабые стороны этих технологий, их применение на практике и т.д. Другими словами, и у преподавателя должны быть сформированы соответствующие профессиональные компетенции.

Кроме этого высока трудоемкость разработки инструментов такого типа.

Помимо подбора ситуационных заданий, адекватных проблемам будущей профессиональной деятельности, необходимо обеспечить надежность и сопоставимость результатов педагогических измерений. Для этого требуется разработать специальную методику оценки результатов эксперимента. Однако такого рода оценки не будут лишены субъективности, что приведет к невозможности сопоставить результаты, полученные для разных групп студентов.

Перечисленные недостатки делают затруднительным использование этих методов измерения для итогового контроля.

Таким образом, в данной главе оценка качества образования представляется сложной задачей, требующей разработки моделей и методов оценки.

Разработанные до настоящего времени инструменты измерения не удовлетворяют требованиям объективности. Задача оценки качества является актуальной для российской системы высшего образования. На данном этапе является важным разработка методов контроля компетенций и переход к оценке качества при использовании.

образования при компетентностном подходе 2.1 Способы организации тестирования, обеспечение достоверности Компетентностный подход предполагает активное использование математических методов и моделей при оценке качества обучения с помощью тестов. Рассмотрим общие требования и основные особенности процессов контроля и оценки подготовленности студентов.

– Приоритет отдается письменным формам оценки, так как устные формы контроля обладают существенными недостатками. Например, при устном экзамене может проявиться симпатия или антипатия у экзаменатора к студенту, что может сказаться на результате. К тому же ближе к концу экзамена повышается утомляемость преподавателя и возрастает вероятность ошибки в оценивании. А в спорных моментах невозможно доказать правоту ни одной из сторон, поскольку нет никаких подтверждений.

– Производится суммирование результатов обучения полученных по итогам текущего контроля и экзамена. Студент заранее знает, что результат его работы в течение семестра отразится на итоговой оценке. Это создает дополнительный стимул к постоянной работе в течение года.

– Основным показателем успехов в обучении является рейтинг. Он также положительно влияет на мотивацию к учебе.

– Широко используется компьютерное тестирование. Это позволяет устранить субъективность из результата и освободить экзаменатора от монотонной работы.

многобалльными шкалами оценивания.

Все вышеперечисленные тенденции для своей реализации требуют наличия объективного инструмента оценки качества подготовки. Таким требованиям соответствует тестирование В процессе оценки качества подготовки выделяют три основных этапа:

– определение параметров контроля;

– получение и анализ данных;

– выставление оценки.

Большинство методов оценивания используются на двух последних этапах.

Предлагается следующая классификация методов оценки качества подготовки студентов (Рисунок 10).

Математические модели Рассмотрим особенности каждой из моделей. Самой простой и поэтому самой распространенной является линейная модель. Выполнения задания в ней оцениваются по дихотомической или политомической шкале. Результатом тестирования является величина R, которая вычисляется по формуле 1:

где Ri ѕ правильный ответ обучаем ого на i -е задание;k количество правильных ответов из n предложеннных.

Данная модель получила наибольшее распространение благодаря простоте и доступности расчетов, а также легкой интерпретации результатов.

Недостаток данной модели заключается в том, что она не учитывает полноту и точность ответа и характеристики задания. Она не позволяет оценить уровень знания с требуемой степенью надежности. По полученным с ее помощью результатам нельзя определить уровень компетентности.

учитывающие параметры заданий. Выделяют несколько модификаций такого типа моделей.

Результат в модели, учитывающей время выполнения задания, определяется по следующему правилу:

где t – время выполнения задания max – время, отведенное для выполнения задания.

Итоговая оценка определяется по формуле (2).

Другая модель, описанная в [], рассматривает в качестве характеристики задания уровень усвоения. Для каждого задания определяется один из 5 уровней:

понимание, опознание, воспроизведение, применение, творческая деятельность. В существенных на проверяемом уровне. Действия, относящиеся к более низкому уровню, не считаются существенными и не учитываются при дальнейших вычислениях.

Выставление оценки происходит на основе анализа коэффициента Ka:

где P – количество правильно выполненных существенных операций;

P2  – общее количество существенных операций в задании;

a = { 0, 1, 2, 3, 4} – соответствуют уровням усвоения.

Ka принимает значения от 0 до 1 и в зависимости от его величины выставляется оценка. Например, по четырехбалльной шкале (Таблица 3) Практическая реализация данного подхода представлена в комплексах автоматизированных дидактических средств (КАДИС) [].

Похожую систему оценок уровня выполнения заданий, но с использованием переменных, предлагают авторы работы [].

Еще одна модель, предложенная Л.В. Зайцевой с соавторами [], основана на линейно-кусочной аппроксимации результирующей оценки. Вопросы в этой модели классифицируются по трем дидактическим характеристикам (трудность (d), значимость (z), спецификация (s)). Результат выполнения теста каждым испытуемым определяется по формуле 4:

где xi – оценка за выполнение i-го задания; n – число заданий; w – весовой коэффициент i-го задания, зависящий от их дидактических характеристик.

По окончанию тестирования определяется средний и уточненный средний балл каждого испытуемого (5,6).

где r – ранг обучаемого ( 1, 2, и 3) ; k – количество попыток выполнения n заданий; kc – количество обращений к справоной информации;

kb – количество заданий, выполненных с прев шением отведенного времени;

a1, a2, a3, a4 – коэффициенты.

Достоинством данной модели является то, что в ней сочетаются дидактические характеристики задания и ранг учащегося. Это позволяет повысить надежность результатов контроля. Однако получить с ее помощью достоверный результат измерения компетенций трудно, так как ряд параметров модели сильно зависят от субъективной оценки, поскольку большинство параметров определяются экспертным путем.

основанные на вероятностных критериях. Такие модели получили серьезную апробацию при оценке результатов ЕГЭ и международных исследованиях PISA и TIMMS. Они строятся на утверждении, что вероятность правильного ответа испытуемого зависит от степени его подготовленности и сложности задания. К моделям подобного типа относятся однопараметрическая модель Раша, двух- и трехпараметрическая модель Бирнбаума. Модели данного класса имеют существенное преимущество по сравнению с другими существующими моделями и являются предпочтительными для оценки качества обучения. Методика проведения и оценки результатов тестирования в соответствии с этими моделями будет подробно описана далее.

Еще одним направлением построения систем контроля знаний является применение нечеткой логики. Имеются различные модификации данного подхода. Например, это оценивание правильности выполнения задания функциями принадлежности, определяемыми в категориях нечеткой логики []. В работе [] предложена модель оценивания знаний на основе локальнопараллельных нечетких алгоритмов.

Однако недостаток данного подхода заключается в отсутствии стандартных методик конструирования нечетких систем и невысокой точности вычислений.

Алгоритм построения экспертной модели для оценки знаний выглядит следующим образом. На основе выбранной задачи и объекта исследования составляется и заполняется база знаний экспертными и предметными знаниями. В модели, подробно описанной в работе [], в процессе тестирования используется механизм байесовского вывода. Результатом тестирования являются полученные опытным путем вероятности для каждого из предположений о том, что обучающийся знает/умеет или не знает/не умеет. Остальные вероятности являются экспертными знаниями.

В основу классификационных моделей положена идея о принадлежности испытуемого к одной из устойчивых групп. Т.е. данные модели являются вариантом применения методов кластерного анализа к задачам оценки уровня обученности учащегося. Для определения соответствия совокупности признаков учащегося выбранному классу используется специальная процедура.

Один из алгоритмов такого анализа был предложен Ю. И. Журавлевым [] и в дальнейшем использован в работе []. Эта модель включает в себя построение таблицы обучения. В каждой строке отражается следующий набор признаков испытуемого: n – количество заданий в тесте, А – средний балл, kn – количество предпринятых попыток, kc – количество обращений к справочной информации, r – ранг. Затем каждая строка сравнивается с набором признаков, характерных для каждой из существующих групп по следующему правилу (7):

где ajk – величина k-го признака j-го испытуемого; k – величина k-го признака в группе; k – допустимая точность сравнения.

Испытуемый относится к классу, с которым он имеет максимальное сходство. Модель применяется в компьютерной интегрированной обучающей системе (КИОС) []. В этой системе студенты распределяются по четырем классам («отлично», «хорошо», «удовлетворительно» и «неудовлетворительно») и для каждого из них строится отдельная таблица обучения.

В модели на основе статистических гипотез полагается, что существует несколько классов, для каждого из которых устанавливается величина оптимального порога обученности []. Для выбора этого оптимального порога решения используются известные в теории статистических гипотез критерии. При этом учитывается, что количество заданий в тесте может быть фиксированным или определяться программой тестовых испытаний. Полученный в результате тестирования уровень достижений испытуемого сравнивает с пороговыми значениями и устанавливается класс обученности испытуемого.

В модели сравнения результаты тестирования сопоставляются всего с одним классом. Модель системы знаний обучаемого и эталонная структура знаний по предмету представляют собой, как правило, графы (семантические сети). Между ними определяется степень аналогия для определения оценки системы знаний обучаемого в рамках этого предмета. Система, реализующая данный подход, описана в работе [].

Среди достоинств классификационных моделей можно выделить возможность их быстрого изменения под условия конкретной задачи. Однако существенными недостатками, мешающими массовому применению их на практике, остается недостаточно развитый математический аппарат, невозможность автоматизации процесса построения модели. Из проведенного рассмотрения существующих моделей можно заключить, что последние достижения кластерного анализа и факторного анализа, широко применяемые сегодня в задачах экономико-математического моделирования, еще не нашли применения в практических задачах оценки знаний.

Таким образом, существует различные модели и алгоритмы для оценивания знаний студентов от простых, основывающихся лишь на проценте правильно выполненных заданий, до сложных многокритериальных систем. Среди всех перечисленных моделей для оценки уровня компетенций больше всего подходит вероятностная. Она основывается на общепризнанной теории латентноструктурного анализа и получает объективные результаты с ошибкой измерений, которую можно оценить и сравнить с допустимыми значениями.

Оценка уровня компетенций с помощью тестирования является для российской высшей школы новой задачей. Поэтому при разработке подходов к измерению уровня компетенций необходимо использовать зарубежный опыт, где такие измерения проводятся достаточно продолжительное время.

Оценка компетенций в исследованиях PISA, TIMSS и им подобных основана на использовании IRT (Item response theory или теория педагогических измерений) и составлении заданий специального типа. Например, в исследовании PISA, независимо от того, на проверку какой из компетентностей делается акцент (математической, естественнонаучной грамотности, грамотности чтения или умения решать проблемы), тест состоит из комплексных задач. Каждая задача – это отдельный текст, в котором описывается некоторая ситуация (проблема), обычно жизненная. К этому тесту формулируется от одного до шести заданийвопросов различной трудности. По результатам их выполнения оценивается возможности обучающегося выявлять проблему, заключенную в тексте, и решать ее, используя знания, полученные в результате изучения дисциплины. При этом предметное знание является для испытуемого ресурсом лишь в той степени, в которой оно помогает ему решить жизненную ситуацию. Достигается это за счет искусственного снижения сложности предметного материала и, параллельно, продуманными и проверенными требованиями к набору тех интеллектуальных умений, которые позволят ученику выполнить задание.

Поскольку основным инструментом измерения является тест, то его качеству уделяется особое внимание. Банки заданий проходят обязательную двухступенчатую экспертизу. Эксперты оценивают предполагаемую трудность задания, его качество и пути дальнейшего совершенствования.

Экспериментальная проверка всего банка заданий в условиях, максимально приближенных к условиям основного тестирования, проводится на специально сформированной для этого выборке учащихся. Результаты экспериментального тестирования оцениваются по классической теории тестирования.

В результате определяются характеристики заданий и теста в целом (трудность задания, бисериальный коэффициент и др.). Дополнительно проводится статистический анализ результатов экспериментального тестирования на основе современной теории тестирования (IRT), в котором устанавливается соответствие результатов выполнения конкретного задания и теста в целом прогнозируемым результатам. На основе результатов экспертизы отбираются задания для основного в тесты.

Использование в проведенном исследовании IRT для характеристики состояния уровня школьников позволяет учитывать не присвоенные заданиям уровни трудности, а реальную трудность успешно выполненных учениками заданий международного теста. Полученные по итогам исследования для каждого испытуемого баллы позволяют понять, задание какой максимальной сложности может выполнить ученик.

2.2 Теория латентных переменных и модель Раша.

Прежде чем приступить к описанию алгоритма вычисления уровня компетенций, необходимо сформулировать несколько определений IRT.

Недоступное для прямого наблюдения, свойство личности называется латентным параметром. Величина латентного параметра определяется по ее индикатору (индикаторной переменной). В отличие от латентной переменной индикатор доступен для прямого наблюдения.

Индикатор – это средство воздействия, связанное с определенной латентной переменной, реакция на которое, доступна для непосредственного наблюдения.

Это может быть вопрос, тестовое задание.

О значении латентного параметра можно судить, измеряя значение индикатора, с которым он связан. Примером индикатора может быть тестовое задание, а ответ испытуемого, на тестовое задание является значением индикатора. Для измерения латентной переменной создается конструктор – систему индикаторов, позволяющих оценить латентный параметр.

Основными допущениями IRT являются следующие:

1) существуют латентные параметры испытуемого (уровень подготовленность испытуемого и уровень трудности задания);

2) индикаторные переменные доступны для наблюдения. Они связанны с латентными параметрами так, что по их значению можно судить о величине латентных параметров;

3) латентная переменная должна быть одномерной. Для ее измерения необходим гомогенный тест, т.е. измеряющий знания только в одной предметной области.

Другие допущения, связанные с математико-статистическим аппаратом IRT и обработкой эмпирических данных [] будет рассмотрено позже.

Основная задача IRT заключается в переходе от индикаторной переменной к латентной. Для ее выполнения образуются два множества, между которыми устанавливается связь. К первому множеству относятся значения уровня подготовленности каждого испытуемого. Второе множество составляют значения трудности каждого задания j.

Г. Рашем было сделано предложение, измерять уровень подготовленности испытуемого i и уровень трудности задания j в одних единицах измерения (логитах) и на одной шкале.

Под логитом понимается переменная Z, рассчитывающаяся по формуле (8).

P/(1-P) представляет собой отношение вероятности того, что событие произойдет к вероятности того, что оно не произойдет и называется отношением шансов.

В качестве аргумента функции успеха (вероятности выполнения задания) выступает разность i - j. Отрицательное значение этой разности свидетельствует о низкой вероятности решения i-ым испытуемым j-ого задания. Положительное значение этой разницы свидетельствует о высокой вероятности правильного выполнения задания.

Связь между успехом выполнения задания с уровнем подготовленности испытуемого и трудностью задания устанавливается Рашем по математической модели. В ее основе лежит логистическая функция.

Множитель 1,7 введен в модель Раша для обеспечения ее совместимости с моделью Фергюсона, в которой вероятность правильного ответа выражается через интеграл от функции нормального распределения (11). Такая запись вероятности нормированным интегралом от функции нормального распределения [] Поскольку в модели Раша вероятность успеха испытуемого зависит от одного параметра (i - j), она получила название однопараметрической модели IRT.

На рисунке 11 изображены характеристические кривые согласно уравнению (9). Левый график соответствует характеристической кривой самого легкого задания с уровнем трудности равной -2 логита, средний график – трудности логит и правый график – самый трудный из трех (уровень трудности 2 логита).

-5,00 -4,42 -3,84 -3,26 -2,68 -2,10 -1,52 -0,94 -0,36 0,22 0,80 1,38 1,96 2,54 3,12 3,70 4,28 4, Рисунок 11. Характеристические кривые заданий в модели Раша.

Из рисунка 11 и формул (9,10) видно, что высокую вероятность успеха обеспечивается высоким уровнем подготовленности испытуемого. Так, к примеру, испытуемый с уровнем подготовленности равному 0 логитов правильно ответит на первое задание с вероятностью близкой к единицы, на второе задание с вероятностью 0,5, а на третье задание – с вероятностью почти равной нулю.

Следует отметить, что в точке равенства уровня трудности задания и уровня подготовленности испытуемого вероятность выполнения задания равна 0,5, т.е испытуемый с равной вероятностью может как выполнить, так и не выполнить это задание.

На рисунок 12 построены согласно уравнению (10) три характеристических кривых испытуемых с уровнями подготовленности -2, 0, 2 логита соответственно.

Рисунок. 12. Характеристические кривые испытуемых в модели Раша.

Из рисунка 12 видно, что высокая вероятность выполнения задания обеспечивается высоким уровнем подготовленности испытуемого. Так, решить задание с трудностью = 0 у первого испытуемого (=-2) практически нет шансов, второй испытуемый (= 0) выполнит задание с вероятностью 0,5, а третий испытуемый (=2) скорее всего, справится с тестом, поскольку вероятность выполнения почти равна единице.

Из кривых, приведенных на рисунке видно, что наклон характеристических кривых в области вероятности Pj=0,5 одинаков. Этот наклон, являющийся константой, определяет дифференцирующую способность задания.

дифференцирующей способностью, однопараметрическая модель становится некорректной. Для устранения этой трудности А.Бирнбаум [] предложил ввести в модель дополнительный параметр – a (12,13).

За наклон (крутизну) характеристической кривой отвечает параметр aj, где j – номер задания. На рисунке 13 приведены примеры характеристических кривых.

-5 -4,5 -4 -3,5 -3 -2,5 -1,9 -1,4 -0,9 -0,4 0,1 0,61 1,12 1,63 2,14 2,65 3,16 3,67 4,18 4, Рисунок 13. Характеристическая кривая задания в двухпараметрической модели.

Из рисунка видно, что большему значению aj соответствует заданию с большей дифференцирующей способностью. В трехпараметрической модели путем введения дополнительного параметра угадывания c А.Бирнбаум постарался повысить соответствие эмпирическим данным.

Как видно из уравнений (14) и (15), трехпараметрическая модель превращается в однопараметрическую при cj=0 и aj=1. В связи с этим иногда встречается мнение, что модель Раша – это лишь частный случай моделей Бирнбаума. Однако это предположение неверно.

На рисунке 14 изображены характеристические кривые для заданий с одинаковым уровнем трудности (= 1) и дискриминационным параметром (aj= 1), для которых установлены различные значения параметров угадывания (cj = 0, cj = 0,25, cj = 0,5).

-5 -4,5 -4 -3,5 -3 -2,5 -1,9 -1,4 -0,9 -0,4 0,1 0,61 1,12 1,63 2,14 2,65 3,16 3,67 4,18 4, Рисунок 14. Характеристическая кривая задания в трехпараметрической модели, где j=1, j=1.

Из графиков видно, что присутствие в модели параметра cj приводит к смещению характеристической кривой тестового задания на величину параметра угадывания вверх.

величина от количества ответов в заданиях с выбором. Так, если в тесте четыре ответа и один из них верный, то cj = 0,25. Однако это значение может быть скорректировано после анализа эмпирических данных.

Отдельное внимание следует уделить вопросу практического применения моделей IRT для измерения латентных переменных.

Модель Раша отличается тем, что характеристические кривые не пересекаются (рисунок 12). Это означает, что если одно задание легче другого, то эта разница сохранится независимо от уровня подготовленности испытуемого.

Однако у двух- и трехпараметрической моделей такая особенность не отмечается. Из рисунка 13 видно, что задание с j = 0,5 при положительных значениях будет самым трудным из трех рассмотренных, а при отрицательных – самым легким. Таким образом, слабые испытуемые посчитают его легким, а сильные учащиеся – трудным.

Похожая ситуация складывается и для трехпараметрической модели. На рисунке 14 показан пример, когда характеристические кривые не пересекаются, поскольку в качестве параметров выбраны j=1 и j=1. Таким образом, все задания имеют одинаковую трудность и дифференцирующую способность.

-5 -4,5 -4 -3,5 -3 -2,5 -1,9 -1,4 -0,9 -0,4 0,1 0,61 1,12 1,63 2,14 2,65 3,16 3,67 4,18 4, Рисунок 15. Пересекающиеся характеристические кривые задания в На рисунке 15 приведен пример, когда у одного из заданий cj=0 и j= -1.

Наблюдаемые пересечения характеристических кривых. Для < -2 задание с cj= является самым трудным из трех приведенных. А на интервале -1,