Краткие сообщения

УДК 378.146

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ

ПО ОРГАНИЗАЦИИ КОНТРОЛЯ ЗНАНИЙ

В СИСТЕМАХ ЭЛЕКТРОННОГО ОБУЧЕНИЯ

НА ПРИМЕРЕ СИСТЕМЫ COMPETENTUM

О.Н. Иванова

Описаны преимущества использования систем компьютерного тестирования для решения

задач оценки уровня знаний и умений студентов по различным дисциплинам. Представлены методические рекомендации по организации тестирования в системе электронного обучения Competentum. Разработана детальная инструкция по настройке, организации хода и мониторингу результатов тестирования. Обоснована целесообразность применения системы в рамках виртуального образовательного пространства, предоставляемого студентам реализуемой технологией обучения «Персональный виртуальный компьютер».

Ключевые слова: тестирование, контроль знаний, системы электронного обучения, персональный виртуальный компьютер.

Введение Одним из наиболее важных показателей эффективности работы профессорско-преподавательского коллектива при обучении студентов является объективная оценка уровня знаний и компетентностных навыков, которыми должны обладать слушатели [5].

Контроль уровня сформированности универсальных учебных действий, достигнутых в процессе обучения студентов, может осуществляться с применением современных технологий, предоставляемых системами электронного обучения [1, 5]. Одним из примеров такой системы электронного обучения является линейка программных продуктов компании Competentum.

Целью работы является формирование методических рекомендаций по организации контроля знаний студентов в системе электронного обучения компании Competentum.

Методические рекомендации Образовательные цели, поставленные перед студентами при изучении каждой конкретной дисциплины, должны быть легко диагностируемыми и обладать объективным уровнем сложности, чтобы иметь возможность отделить обязательный минимум содержания образования, задаваемый требованиями Федерального государственного образовательного стандарта и рабочей программой по дисциплине, составленной в соответствии с основной образовательной программой вуза по направлению, от требований к уровню подготовки студентов по окончании изучения курса [2].

Основным преимуществом применения систем электронной системы тестирования являются критериально-ориентированный подход к оценке образовательных достижений 2013, т. 2, № Методические рекомендации по организации контроля знаний в системах...

обучаемых. Особенность данного подхода заключается в оценке соответствия уровня достижений каждого отдельного обучающегося некоторым нормам, задаваемым стандартом или образовательной программой. При этом неважным становится начальный, стартовый уровень владения материалом, так как формируется индивидуальная траектория обучения студента и определяются его индивидуальные нормы развития. Принцип дифференцированного обучения тесно связан с индивидуализацией процесса обучения, консолидация данных об учебных достижениях студента по дисциплине позволяет преподавателю спрогнозировать динамику его дальнейшего развития, в конечном счете, на практике осуществлять интегрированный подход продвижения студента из зоны актуального в зону ближайшего развития.

В то же время критериально-ориентированный подход при электронном тестировании позволяет избежать субъективной ориентации преподавателя на статистические нормы усвоения знаний, определяемые для конкретной группы учащихся.

Методика применения системы электронного обучения компании Competentum при организации контроля знаний строится на одной из базовых форм проведения компьютерных тестов – автоматизированной генерации вариантов тестов. Это предполагает динамическое создание вариантов теста лично для каждого назначенного пользователя системы в момент его первого обращения к тесту. Считается, что база тестовых вопросов, разрабатываемая преподавателем, обладает устойчивыми статистическими характеристиками, сложность и разнородность вопросов откалибрована в соответствии с педагогикоэргономическими требованиями к тестам. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Каждый преподаватель при формировании банка тестовых заданий в программной системе Competentum.АВТОР формирует набор разделов теста, соответствующих тематическому содержанию учебного материала и предполагаемой сложностью тестовых заданий, указывая для каждого раздела количество выводимых студенту при тестировании вопросов.

Наличие большого количества типов тестовых вопросов в рассматриваемой системе позволяет расширить спектр измеряемых умений и навыков при тестировании.

Типовыми видами тестовых заданий, используемых преподавателями в системах электронного обучения, являются вопросы на выбор единственного или нескольких правильных вариантов ответов, вопросы на установление соответствия и порядка. Иногда к таким видам заданий относят также вопросы на категоризацию и заполнение пропусков, матричный выбор и ранжирование.

Типовые вопросы знакомы студентам, не вызывают затруднений при тестировании, как в плане понимания, что нужно сделать, так и при реализации интерфейса вопросов.

В то же время дидактически целесообразно применять другие типы вопросов для организации контроля универсального характера знаний студентов. Широкие возможности для написания комплексных вопросов представляет тип «Заполнение пропусков DND», который позволяет оставить в предложении несколько пропусков и организовать выбор вариантов ответов для каждого из них (как вариант – тип вопроса «Заполнение пропусков с выбором»). Множество вариантов вопросов с использованием матриц также позволяет создавать интересные и сложные вопросы, требующие больше времени на ответ, но при 98 Вестник ЮУрГУ. Серия Вычислительная математика и информатика О.Н. Иванова этом стимулирующие интерес к изучаемой дисциплине и мотивирующие к применению нестандартных алгоритмов обработки и осмысления изученной информации.

Конечно, процент включения нетипичных вопросов в тест должен обосновываться уровнем подготовки студентов, временем, отводимым на тестирование, достаточным опытом работы с оболочкой и другими факторами.

После разработки базы тестовых вопросов для входного, промежуточного, текущего или итогового контроля по дисциплине и некоторой настройки будущего теста (указание численных параметров теста – количество вопросов, длительность, а также других характеристик) преподаватель начинает работать с системой «Магистр» (последние версии данной программной системы называются ShareKnowledge), где непосредственно настраивает планируемый сеанс тестирования студентов и позже отслеживает ход и результаты тестирования.

Далее приводятся методические рекомендации по использованию программной системы «Магистр». В ходе своих действий преподаватель должен загрузить в систему тест и настроить его для прохождения, учитывая специфику организации контрольных мероприятий в учебном заведении и по конкретной дисциплине.

Шаг 1. Импорт подготовленного в программе «АВТОР» теста в систему «Магистр».

Особенностью экспорта подготовленного в программе «АВТОР» теста является наличие возможности выбрать желаемый стандарт экспортирования. Наиболее целесообразным для применения является стандарт SCORM 2004, т.к. он позволяет использовать данный курс в различных системах дистанционного обучения и является одним из самых распространенных наборов спецификаций.

Шаг 2. Публикация импортированного теста осуществляется с указанием предустановленных правил назначения теста и его кода.

Шаг 3. Определение параметров тестирования. На этом шаге необходимо задать дату и время сдачи, выбрать шкалу оценок, указать количество попыток прохождения теста.

Шаг 4. Назначение теста студентам на контрольном мероприятии может происходить по мере заполняемости компьютерного класса, с назначением каждого конкретного студента или целой академической группе.

Шаг 5. Контроль и проверка результатов – один из разделов узла «Управление обучением», в котором для каждого теста можно просмотреть состояние тестирования каждого пользователя, вплоть до просмотра вопросов, которые у него были отобраны системой из общей базы вопросов, а также динамически изменяющиеся результаты в ходе тестирования и итоговый результат и отчет об ошибках после завершения сеанса.

Наиболее значительное число применений электронной системы тестирования происходит в момент заранее закрепленной в семестре контрольной точки (промежуточный тест, зачет, экзамен) и в синхронном режиме, т.к., как правило, академическая группа студентов одновременно проходит тестирование по дисциплине. Тем не менее, имеет место и асинхронное проведение тестирования, когда преподаватель публикует тест и назначает его группе студентов на определенный период (например, месяц), в течение которого они должны изучить некоторый материал и затем пройти тестирование для подтверждения усвоения знаний, возможно, за несколько попыток. Обычно такие возможности системы используются для организации тестирования по дополнительным, не обязательным, разделам курса, а также разделам, имеющим высокий уровень сложности и большую тестот. 2, № Методические рекомендации по организации контроля знаний в системах...

вую базу вопросов. Рассмотренную систему можно применять для организации самоконтроля знаний студентами, получаемых в рамках внеаудиторной самостоятельной работы, что существенно расширяет возможности и в целом роль самоконтроля как формы организации обучения.

Система электронного обучения «Магистр» развернута на виртуальной сетевой инфраструктуре «Персональный виртуальный компьютер», действующей в ЮУрГУ в аудиториях, подключенных в сети Internet. Данная технология позволяет осуществить доступ из любой точки мира к виртуальному рабочему столу с установленным программным обеспечением и необходимыми образовательными сервисами [4].

Система «Магистр» позволяет организовать прохождение тестирования у больших потоков студентов, где в различных академических группах ведут занятия разные преподаватели. В таком случае лектор или держатель теста, публикует учебный тестовый материал с назначением преподавателей. У назначенных преподавателей появляется возможность осуществлять контроль и проверку результатов тестирования всех студентов, а не только той академической группы, в которой он ведет занятия, что можно обозначить как некоторый недостаток системы. Обычно, проведение текущего тестирования по разделу учебной дисциплины у потоков, состоящих из большого количества академических групп студентов, не удается организовать одновременно. Поэтому тестирование проводится в синхронном режиме (все студенты одной группы должны пройти тестирование одновременно, на одном занятии), но для каждой академической группы выделяется собственный период сдачи, чтобы избежать возможности удаленного тестирования отсутствующими студентами. При этом преподаватель, держатель теста, может опубликовать учебный материал несколько раз с назначением различных ведущих преподавателей и различных академических групп.

Система электронного обучения Competentum предоставляет преподавателю готовый шаблон сценария диалога со студентами, предустановленные классификации (шкалы) уровня знаний и умений студентов в зависимости от цели тестирования. Вместе с этим администратор системы может, исходя из потребностей конкретного учебного заведения, подразделения или даже преподавателя, создать новую шкалу оценок. Так, на ряде факультетов Южно-Уральского государственного университета внедрена балльно-рейтинговая система оценки успеваемости студентов по дисциплине, которая предполагает использование шкалы соответствия традиционных оценок некоторому набору чисел, соответствующих баллам, полученным студентом в течение семестра и на итоговых контрольных мероприятиях. В предустановленный набор шкал оценок были добавлены такие шкалы как «Экзамен» (от 50 % – «удовл.», от 65 % – «хор.», от 75 % – «отл.»), «Пересдача»

(от 65 % – «удовл.», от 75 % – «хор.», от 85 % – «отл.»), «Вторая пересдача» (от 75 % – «удовл.», от 85 % – «хор.», от 95 % – «отл.»), «Зачет» (от 60 % – «зачтено»).

Тесты как структурные единицы электронного учебного материала могут быть опубликованными как постоянно, так и ограниченное время, и изыматься из учебных планов студентов, отображаемых на узле «Мое обучение». При этом результаты пройденных тестов сохраняются и могут быть доступны студенту наравне с преподавателем, в зависимости от выбранного статуса публикации: «Разрабатывается» (не доступен в каталоге новых учебных курсов у студентов; если студент успел ранее начать сеанс тестирования, до перевода в состояние разработки, тест будет доступен, результаты будут сохранены), «Изъят из каталога» (тест не доступен в каталоге новых и пройденных учебных курсов 100 Вестник ЮУрГУ. Серия Вычислительная математика и информатика у студентов, но доступен для всех преподавателей, назначенных для данного курса, все результаты доступны) или «В архиве» (тест не доступен в каталоге новых и пройденных учебных курсов в студентов, не доступен для преподавателей, назначенных для данного курса, но результаты тестирования доступны держателю теста).

Особенностью изъятия теста из системы или помещения его в архив является сохранение в полном объеме результатов тестирования каждого теста, включая протоколы тестирования для каждого студента.

Удаление учебного материала не приводит к изменению в статусе ранее опубликованного теста, так же как и его обновление: преподавателю нужно иметь в виду, что если студент начал тестирование, то обновление учебного материала и его повторная публикация с новыми настройками не приведет к автоматическому обновлению начатого сеанса тестирования. Поэтому при создании теста нужно остерегаться возможных ошибок в содержании или настройках электронного учебного материала.

Методическое описание этапа контроля уровня усвоения содержания образования отражено в представленных рекомендациях полностью и указывает на возможность циклического возврата к определенным этапам процесса настройки, организации хода и мониторинга результатов тестирования.

Заключение Исходными данными к началу разработки методических рекомендаций по организации контроля знаний в электронной системе обучения компании Competentum являлись требования, которые выдвигаются к тестам на проверку уровня обученности, формы компьютерных тестов, особенности компьютерного тестирования с применением рассматриваемой программной системы.

Разработанные методические рекомендации детально отражают процесс настройки и мониторинга результатов тестирования студентов в системе электронного обучения компании Competentum, применяющейся на факультете Вычислительной математики и информатики Южно-Уральского государственного университета.

Опыт применения данной системы выявил необходимость в проведении репетиционного тестирования для студентов, впервые работающих в данной системе, а также возможность и оправданную необходимость ее развертывания и использования в виртуальном пространстве, предоставляемом студентам Южно-Уральского государственного университета программной реализацией технологии обучения «Персональный виртуальный компьютер» [3].

Литература 1. Жигальская, Н.С. Моделирование дидактической структуры электронных учебных комплексов / Н.С. Жигальская // Вестник Южно-Уральского государственного университета. Серия «Математическое моделирование и программирование». – 2008. – № 27(127). Вып. 2. – C. 4–9.

2. Иванова, О.Н. Разработка рейтинговой системы оценивания научно-исследовательской работы студентов в вузах России / О.Н. Иванова // Вузовское преподавание:

2013, т. 2, № Методические рекомендации по организации контроля знаний в системах...

стратегия инновационного развития в условиях модернизации высшего профессионального образования: Материалы 9-й международной научно-практической конференции, часть 1. – Челябинск: Изд-во ЧГПУ, 2009. – С. 137–139.

3. Козырев, В.И. Опыт использования VDI-системы «Персональный виртуальный компьютер» в ЮУрГУ / В.И. Козырев, П.С. Костенецкий // Научный сервис в сети Интернет: поиск новых решений: Труды Международной суперкомпьютерной конференции (17–22 сентября 2012 г., г. Новороссийск). – М.: Изд-во МГУ, 2012. C. 285– 4. Костенецкий, П.С. Создание образовательной платформы «Персональный виртуальный компьютер» на базе облачных вычислений / П.С. Костенецкий, А.И. Семёнов, Л.Б. Соколинский // Научный сервис в сети Интернет: экзафлопсное будущее: Труды международной научной конференции (19–24 сентября 2011 г., г. Новороссийск). – М.: Изд-во МГУ, 2011. – С. 374–377.

5. Силкина, Н.С. Модель образовательного стандарта третьего поколения на основе компетентностного подхода для систем электронного обучения / Н.С. Силкина, А.С.

Евдокимова // Вестник ЮУрГУ. Серия «Математическое моделирование и программирование». – 2011. – № 37(254). Вып. 10. – С. 90–98.

6. Силкина, Н.С. Система UniCST - универсальная среда электронного обучения / Н.С.

Силкина, Л.Б. Соколинский // Системы управления и информационные технологии.

Иванова Ольга Николаевна, к.п.н., доцент кафедры системного программирования, Южно-Уральский государственный университет (Челябинск, Российская Федерация), [email protected].

METHODICAL RECOMMENDATIONS ON THE

ORGANIZATION OF THE ESTIMATION OF KNOWLEDGE

IN E-LEARNING SYSTEMS ON THE EXAMPLE OF THE

INSTRUMENTS OF COMPANY COMPETENTUM

O.N. Ivanova, South Ural State University (Chelyabinsk, Russian Federation) There are described the advantages of the use of systems of computer testing for the decision of problems of an estimation of level of knowledge and skills of students in various disciplines.

There are presented methodological recommendations on organization of testing in e-learning system by Competentum. There is developed a detailed instruction for setting up, organizing the implementation and monitoring of the results of the testing. The article substantiates the expediency of application of the system in the framework of the virtual educational space provided for the students by the implemented technology of training «Personal virtual computer».

Keywords: testing, control of knowledge, e-learning systems, personal virtual computer.

References 1. Zhigalskaja N.S. Modelirovanie didakticheskoj struktury jelektronnyh uchebnyh kompleksov [Modeling of the didactic structure of electronic educational complexes]. // Vestnik Yuzho-Uralskogo gosudarstvennogo universiteta. Seriya «Matematicheskoe modelirovanie 102 Вестник ЮУрГУ. Серия Вычислительная математика и информатика i programmirovanie» [Bulletin of South Ural State University. Series: Mathematical Modeling, Programming & Computer Software]. 2008. No. 27(127). Vol. 2. P. 4–9.

2. Ivanova O.N. Razrabotka rejtingovoj sistemy ocenivanija nauchno-issledovatel'skoj raboty studentov v vuzah Rossii [The development of a rating system of estimation of students’ scientific-research work in higher educational institutions of Russia] // Vuzovskoe prepodavanie: strategija innovacionnogo razvitija v uslovijah modernizacii vysshego professional'nogo obrazovanija: Materialy 9-j mezhdunarodnoj nauchno-prakticheskoj konferencii, chast' 1. [University Education: the Strategy of Innovative Development in the Conditions of Modernization of Higher Professional Education: Proceedings of the 9th International Scientific-Practical Conference, Part 1] – Chelyabinsk: Publishing of Chelyabinsk State Pedagogical University, 2009. P. 137–139.

3. Kozyrev V.I., Kosteneckij P.S. Opyt ispol'zovanija VDI-sistemy «Personal'nyj virtual'nyj komp'juter» v JuUrGU [The Experience of Using VDI-system «Personal Virtual Computer» in SUSU] // Nauchnyj servis v seti Internet: poisk novyh re¬shenij: Trudy Mezhdunarodnoj superkomp'juternoj konferencii (17–22 sentjabrja 2012, Novorossijsk). [Scientific Service in Network Internet: Search of New Solutions: Proceedings of the International Supercomputer Conference (17–22 September 2012. Novorossiysk)] M.: Publushing of MSU, 2012. P. 285–286.

4. Kosteneckij P.S., Semjonov A.I., Sokolinskij L.B. Sozdanie obrazovatel'noj platformy «Personal'nyj virtual'nyj komp'juter» na baze oblachnyh vychislenij [Creation of the Educational Platform «Personal Virtual Computer» on the Basis of Cloud Computing] // Nauchnyj servis v seti Internet: jekzaflopsnoe budushhee: Trudy mezhdunarodnoj nauchnoj konferencii (19-24 sentjabrja 2011, Novorossijsk). [Scientific Service in Network Internet: Search of New Solutions: Proceedings of the International Supercomputer Conference (19-24 September 2011. Novorossiysk)] M.: Publishing of MSU, 2011. P. 374–377.

5. Silkina N.S., Evdokimova A.S. Model' obrazovatel'nogo standarta tretiego pokolenija na osnove kompetentnostnogo podhoda dlja sistem jelektronnogo obuchenija. [A Model of Educational Standards of the Third Generation on the Basis of Competence Approach to E-learning Systems] // Vestnik JuUrGU. Serija «Matematicheskoe modelirovanie i programmirovanie». [Bulletin of South Ural State University. Series: Mathematical Modeling, Programming & Computer Software]. 2011. No. 37(254). Vol. 10. P. 90–98.

6. Silkina N.S., Sokolinskij L.B. Sistema UniCST - universal'naja sreda jelektronnogo obuchenija. [System UniCST - General Environment of E-learning] // Sistemy upravlenija i informacionnye tehnologii. [Management Systems and Information Technologies] 2010.

2013, т. 2, №