На правах рукописи

БИДУЛЯ Юлия Владимировна

МЕТОДЫ И АЛГОРИТМЫ СМЫСЛОВОГО ОПИСАНИЯ

КОНТЕНТА В СИСТЕМАХ ТЕСТИРОВАНИЯ

10.02.21 – Прикладная и математическая лингвистика

АВТОРЕФЕРАТ

диссертации на соискание ученой степени

кандидата филологических наук

Тюмень - 2011

Работа выполнена на кафедре информационных систем Института математики, естественных наук и информационных технологий ФГБОУ ВПО Тюменский государственный университет.

Научный руководитель доктор технических наук, профессор ИВАШКО Александр Григорьевич

Официальные оппоненты: доктор технических наук, профессор ЗАХАРОВ Александр Анатольевич кандидат филологических наук БАБИНА Ольга Ивановна

Ведущая организация: ФГБОУ ВПО Тюменский государственный нефтегазовый университет, Центр дистанционного образования

Защита состоится 23 декабря 2011 года в 12 часов на заседании диссертационного совета К 212.274.05 по защите диссертаций на соискание ученой степени кандидата филологических наук при Тюменском государственном университете по адресу: 625000, г. Тюмень, ул. Республики, 9, ауд. 211.

С диссертацией можно ознакомиться в читальном зале ИБЦ Тюменского государственного университета по адресу: 625000, г. Тюмень, ул. Семакова, 18.

Автореферат разослан 19 ноября 2011 года.

Ученый секретарь диссертационного совета кандидат филологических наук, доцент Т.В. Сотникова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Развитие глобальных сетей, а также технологий создания интеллектуальных систем обуславливает значительный интерес к исследованиям, направленным на автоматическую обработку данных, и прежде всего - к различным видам семантического анализа текста. Семантический анализ текста позволяет извлекать информацию о фактах, ключевых понятиях и их взаимосвязях, с последующим представлением материала в виде определенным образом структурированного, смыслового описания.

Понятие смысл текста не имеет однозначного формального определения.

Мы будем использовать данный термин в трактовке И.А.Мельчука: «смысл – это инвариант всех синонимических преобразований, т.е. то общее, что имеется в равнозначных текстах» (И.А. Мельчук).

Построение смыслового описания текста может решать многие практические задачи, в том числе: семантический поиск: выявление фактов, в которых принимают участие конкретные ключевые понятия; обработка текста на естественном языке в системах управления контентом; проверка ответов учащихся в системах контроля знаний при использовании открытой формы тестирования.

Такого рода задачи характеризуются необходимостью сравнения двух текстов друг с другом на смысловое соответствие с учетом предикативных отношений в тексте.

Как известно, тестовые задания для контроля знаний обычно составляются на основе учебного материала – текста лекции, учебного пособия, методических указаний и т.п. Для проверки необходимо производить сопоставление смыслов текста ответа и текста лекции, на основе которой было сформулировано тестовое задание. В современных системах тестирования автоматизированная проверка открытой формы реализуется при условии ввода ответа на ограниченном естественном языке. Для проверки ответа на неограниченном естественном языке необходимо предусматривать возможность использования синонимов и различных вариантов построения фразы без ограничений на членимость текста по предложениям, что дает возможность испытуемому выразить мысль в произвольной форме.

Традиционные подходы к описанию естественного языка рассматривают текст на нескольких уровнях. Применительно к проблеме семантики текста разделение на уровни следующее: фонетический, фонологический, лексикоморфологический, синтаксический, уровень смысла текста (И.А. Мельчук).

Предикативные отношения выявляются на синтаксическом уровне в рамках одного предложения. Что касается смыслового описания текста в целом, то во многих задачах (к примеру, в информационном поиске) оно реализуется с применением частотного анализа и вероятностно-статистических методов. При этом смысловая структура текста не может дать представления о предикативных отношениях между ключевыми понятиями. Следовательно, для решения перечисленных выше практических задач необходимо разработать методы и алгоритмы, использующие синтаксический анализ предложений в качестве основы для построения смыслового описания всего текста, а также сформировать количественные критерии оценки соответствия смыслов текстов.

Цель работы – разработка методов и алгоритмов определения смыслового соответствия ответа на тестовое задание контенту, по которому составлен тест.

Для достижения поставленной цели в работе решались следующие задачи:

1. Исследовать существующие подходы к автоматизации смыслового анализа текстов на естественном языке;

2. Формализовать описание синтаксической структуры предложений учебного контента;

3. Построить математическую модель смыслового описания контента;

4. Разработать алгоритм перехода от синтаксической структуры предложений к семантической сети контента, отображающей предикативные отношения между объектами-понятиями.

5. Сформулировать критерии оценки сходства смыслового содержания контентов и построить алгоритм сопоставления.

6. Разработать инструментальный программный комплекс для формирования тестовых заданий открытой формы на основе смыслового описания учебнометодического материала и автоматической проверки результатов тестирования.

Объект исследования: модели и алгоритмы установления смыслового соответствия контентов в системе тестирования в процессе проверки тестовых заданий открытой формы.

Предмет исследования: условия и средства получения смыслового описания учебного контента на базе синтаксической структуры предложений с учетом предикативных отношений между понятиями контента.

Методы исследования.

Лингвистические методы: метод многоуровневого семантического анализа, включающий синтаксический анализ (синтаксический уровень);

формальный, функциональный, категориальный анализ (лексикоморфологический уровень); метод семантических сетей (уровень текста).

Математические методы: методы теории множеств; методы теории графов; методы построения и анализа алгоритмов.

В качестве теоретических предпосылок используются:

• работы, посвященные теории «Смысл-Текст» (И.А. Мельчук, Л.Л. Иомдин, Ю.Д. Апресян, И.М. Богуславский, А.К. Жолковский) • работы по изучению синтактико-семантических отношений в структуре предложения (Ч. Филмор, И.М. Богуславский, Н. Хомски, А.В. Гладкий и • работы по применению частотно-вероятностных методов лингвистического анализа (Г.Г. Белоногов, А.А. Хорошилов и др.) • работы отечественных и зарубежных ученых по созданию прикладных систем автоматической обработки текста (Р.Г. Пиотровский, Н.Н. Леонтьева, В.Ш. Рубашкин, Э.В. Попов, А.Е. Ермаков, А.В. Гаврилов, Р.К. Крос, Ж.К. Гардэн, Ф. Леви, С.А. Шумский).

Материалом для исследования послужили:

- тексты лекций учебно-методических комплексов по дисциплинам «Интеллектуальные информационные системы», «Системы электронной коммерции», «Технологии мультимедиа» общим объемом 110 тыс. словоформ;

- тексты ответов на тестовые задания открытой формы, полученных в процессе итогового контроля знаний студентов 3-го и 4-го курсов специальности 080801.65 «Прикладная информатика в экономике» Тюменского госуниверситета, общим объемом 36 тыс. словоформ.

Положения, выносимые на защиту:

1. Предложена новая математическая модель представления смыслов учебного контента в виде семантической сети, узлами которой являются именные группы, обозначающие понятия, а дуги отражают предикативные отношения, характеризуемые глагольными группами. Для учета синонимии слов и выражений лексический материал контента необходимо расширить при помощи тезауруса и толково-комбинаторного словаря.

2. В основу метода построения семантической сети контента положен следующий принцип: на основе синтаксических отношений предложений выявляются а) именные группы, представляющие имена понятий контента, б) предикативные отношения, связывающие эти понятия, в) глаголы и глагольные группы, выражающие предикацию, г) отношения кореференции именных групп, выраженные в форме буквального повтора или местоименной замены слов.

3. Разработанные методы и алгоритмы позволяют произвести количественную оценку степени смыслового соответствия текстов, выраженную в двух аспектах: содержательном и структурном. Содержательный аспект отвечает за лексический состав именных групп и предикатов контентов. Структурный аспект характеризует взаимное расположение связей сравниваемых семантических сетей.

4. Сравнение смыслов контентов при автоматизированной проверке результатов тестирования в открытой форме позволяет адекватно оценить знания испытуемых, что подтверждается численными экспериментами на разработанном нами программном комплексе «Семантик Тест».

Научная новизна исследования:

1. Разработана новая математическая модель смыслового описания учебного контента, описывающая предикативные отношения между понятиями.

2. Предложен метод и построен алгоритм перехода от синтаксического описания предложений к смысловому описанию всего текста.

3. Предложен метод и разработан алгоритм количественной оценки степени смыслового соответствия двух текстов, основанный на сопоставлении их смысловых описаний, построенных с помощью математической модели;

4. Разработан программный комплекс для формирования тестовых заданий на основе смыслового описания учебного контента, а также автоматической проверки открытой формы тестирования.

Теоретическая значимость работы состоит в разработке методики создания тестирующих программных комплексов с использованием лингвистических методов анализа учебного материала.

автоматизировать процесс проверки тестовых заданий открытой формы, а также существенно упростить их разработку, что позволяет сократить временные затраты преподавателя.

Апробация работы:

Материалы диссертации докладывались на следующих конференциях и семинарах:

Международная научная конференция «Модернизация образования в условиях глобализации», Тюмень, 2005;

Межрегиональная научно-практическая конференция «Информационные технологии и телекоммуникации в образовании, экономике и управлении регионом», Тюмень, 2006;

III-я Международная научно-практическая конференция «Актуальные проблемы современных наук: теория и практика», Днепропетровск, 2006;

Всероссийская научно-техническая конференция «Приоритетные направления развития науки и технологий», Тула, 2007;

VI-я Межвузовская научно-практическая конференция студентов, пространства», Тюмень, 2007;

«Информационные технологии и телекоммуникации в образовании, экономике и управлении регионом», Тюмень, 2008.

моделирования. Перспективы разработки и внедрения инновационных ITрешений. Третья научно-практическая региональная конференция. Тюмень, Экономические и экологические проблемы в меняющемся мире: сборник материалов Международной научно-практической конференции, посвященной 80-летию Тюменского государственного университета.

Тюмень, 2010.

Научно – методические семинары кафедры информационных систем Тюменского государственного университета (2005 – 2011 гг.).

Разработанный тестирующий комплекс «Семантик Тест» используется в учебном процессе в Тюменском государственном университете. Имеются свидетельства о государственной регистрации программы для ЭВМ и базы данных.

Публикации. Основное содержание диссертации представлено в печатных работах, из которых 2 – свидетельства о государственной регистрации программ для ЭВМ и 3 статьи, опубликованных в ведущих рецензируемых журналах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Объем диссертации составляет 119 страниц, включая 12 рисунков и 13 таблиц. В списке литературы указано 116 наименований работ российских и зарубежных авторов.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы цели и задачи исследования, показаны научная новизна и значимость работы.

Первая глава содержит обзор литературных источников, посвященных проблеме построения смыслового описания текста. Рассматриваются виды семантических сетей и моделей данных, используемых для смыслового представления текста, произведен сравнительный анализ инструментальных средств синтаксического и семантического анализа.

В настоящее время не существует единого подхода к построению смысловых описаний. В то же время методы предшествующего этапа синтаксического анализа, достаточно хорошо изучены (И.А. Мельчук, А.В. Гладкий, Н. Хомски, Н.Н. Леонтьева) и имеются все предпосылки для построения алгоритма перехода от синтаксической структуры предложений к семантической сети всего контента, отображающей предикативные отношения.

Анализ программных средств показывает, что в настоящее время смысловой анализ реализован с применением вероятностно-статистических методов с вычислением разных видов релевантности (Г.Г. Белоногов, А.А. Хорошилов, А.Е. Ермаков), а также построения семантического вектора, описывающего контекст употребления одного понятия среди других. Разработка таких средств обусловлена необходимостью анализа больших объемов неструктурированной информации. Для детального анализа одного конкретного документа с установлением предикативных отношений между понятиями такие средства непригодны.

Таким образом, для программной реализации смыслового сопоставления двух контентов требуется разработать методы и алгоритмы построения и сравнения двух и более смысловых описаний контентов на основе синтаксических структур предложений. В качестве математического аппарата целесообразно использовать методы теории графов, которые нужно модифицировать и расширить методиками учета возможной синонимии и перифраз при поиске подсети в сети. Кроме того, необходимо выработать критерии оценки степени смыслового соответствия двух контентов с учетом степени синонимии слов и выражений.

Вторая глава посвящена формализации синтаксической структуры предложения, моделированию смыслового описания контента, разработке методов и алгоритмов построения смыслового описания текста, сравнения смысловых описаний и формулированию критерия смыслового соответствия двух текстов.

Под контентом (от англ. сontent – «содержимое») мы понимаем собирательный термин для текстовой составляющей информационного наполнения электронного ресурса (лекции, электронной версии учебного пособия, web-страницы, тестового задания). В данном исследовании рассматривается учебный контент, используемый для формирования тестовых заданий в системе тестирования.

В качестве исходных данных выступают синтаксические структуры предложений контента. На основе синтаксических отношений между словоформами каждого предложения строится предикатно-аргументная структура, представленная в виде набора элементарных пропозиций – двухместных предикатов. Первый аргумент предиката – именная группа подлежащего, второй аргумент – именная группа дополнения или обстоятельства.

Рассмотрим текст, состоящий из предложений, каждое из которых имеет номер s. Представим модель синтаксической структуры предложения в виде где Ds – модель синтаксической структуры предложения, s – номер предложения, Т – множество словоформ текста, Bs={bk}- множество синтаксических отношений s-того предложения, С – множество типов отношений.

Каждое синтаксическое отношение bk определяется в виде упорядоченного набора:

где k - номер синтаксического отношения в предложении, ti – i-я словоформа предложения, c – тип синтаксического отношения, c C, где С={”атрибутивный”, ”актантный”, ”обстоятельственный”}.

Словоформа ti формально представима в виде набора:

где i – порядковый номер слова в контенте, l - лексема, F = - набор грамматических характеристик, определяющих грамматическую форму словоформы t, kt – частеречная категория.

Смысловое описание s-того предложения Qs формально представимо в виде упорядоченного набора где Us ={u1, u2,…, un} — множество именных групп s-того предложения;

Rs ={r1, r2, …, rv} – множество смысловых отношений s-того предложения.

Смысловое отношение представимо в виде:

где um, un – именные группы, связанные предикативным отношением, pv – метка дуги, представляющая предикат, выражающий смысловое отношение между именными группами.

Именная группа представима в виде дерева синтаксических отношений словоформ с корневой вершиной, представляющей главное слово группы – имя существительное:

где m – номер именной группы, lk– лексема словоформы ti.

последовательностью действий:

1. Выбрать из множества синтаксических отношений Bs элемент bk1, удовлетворяющий условию bk1 { bk: c= “актантный”}, вычислить его зависимую словоформу ti1 = Dep(bk1) и определить ее лексему.

2. Создать из словоформы ti1 корневую вершину дерева именной группы um.

3. Выбрать из множества синтаксических отношений Bs элемент bk, удовлетворяющий условию bk { bk: c= “ атрибутивный”}, главным словом которого является словоформа ti1 = Main(bk). Вычислить его зависимую словоформу ti = Dep(bk) и определить ее лексему.

4. Создать из словоформы ti вершину дерева именной группы um и соединить направленной дугой с корневой вершиной ti1.

5. Действия шагов 3-4 повторяются для всех элементов bk таких, что ti1=Main(bk) и ti=Main(bk) до тех пор, пока будут обнаруживаться bk.

6. Выбрать из множества синтаксических отношений Bs элемент bk2, удовлетворяющий условию bk2 { bk: c= “актантный”} и повторить для него действия шагов 1-5.

Утверждение 1. В результате работы Алгоритма 1 формируется множество именных групп U={um}, где m – номер именной группы. Каждая именная группа представляет дерево, в вершинах которого находится лексема.

Алгоритм построения смыслового отношения (5) включает следующие действия:

1. Выбрать из множества синтаксических отношений Bs элемент bk1, удовлетворяющий условию bk1 { bk: c= “актантный”}.

2. Выбрать из множества синтаксических отношений Bs элемент bk2, Main(bk1)=Main(bk2)= ti}.

3. Создать смысловое отношение rv =, состоящее из следующих a. Именная группа um имеет корневую вершину ti1= Dep(bk1), Sent(ti1)= “Именительный”.

b. Именная группа un имеет корневую вершину ti2= Dep(bk2), Sent(ti1) “Именительный”.

c. Предикат pv имеет корневую вершину ti=Main(bk1)=Main(bk2).

Утверждение 2. В результате работы алгоритма формируется множество смысловых отношений rv =, образующих ориентированный граф s-того предложения Qs, узлами которого являются именные группы um, а метками дуг предикаты pv.

Смысловое описание всего текста формируется из смысловых описаний отдельных предложений путем их объединения по кореферентным именным группам:

где Q – семантический граф текста.

изоморфности их деревьев.

Смысловое описание контента представимо в виде:

где Q – семантический граф контента, Tr – тезаурус именных групп и предикатов, Ts – толково-комбинаторный словарь, П = {Пi} - набор правил перифразирования.

Тезаурус именных групп и предикатов описывается в виде набора:

где U – множество именных групп; P – множество предикатов; H – отношение между двумя именными группами или двумя предикатами, ставящее в соответствие каждой паре (um, un) или (pm, pn) значение веса am [0,1] и характеризующее степень синонимии соответствующих именных групп или предикатов. Вес, равный единице, означает полное синонимическое совпадение терминов, частным случаем которого является изоморфизм именных групп или предикатов.

Толково-комбинаторный словарь представляет набор, который сопоставляет слову в каноническом виде значения лексических функций, примененных к этому слову:

где L={ li } – множество словоформ в каноническом виде, LF – множество лексических функций для словоформы li. Каждая лексическая функция может возвращать одно или несколько значений, также представляющих словоформы в каноническом виде. К примеру, лексическая функция Syn(li) возвращает список слов, являющихся синонимами слова li.

смыслового описания другим структурам, несущим тот же смысл. Структуры в правилах описываются с применением лексических функций к элементам смыслового описания:

Пi: [un1,…, un2, pm1,…, pm2] [LFj1 (un1),…, LFj2 (un2), LFj3( pm1),…, LFj4 (pm2)] При рассмотрении задачи поиска с учетом описания предметной области требования к сети Q, соответствующей по смыслу запросу Q' можно сформулировать следующим образом:

условия: ax > Aпред, где ux Q, um' Q', Aпред – некоторая константа, определяющая пороговое значение степени синонимии ax, начиная с которого именные группы считаются совпадающими по смыслу.

Вес определяется по формуле где KП, KД, KПр – параметры при весовых коэффициентах именной группыподлежащего, дополнения и предиката соответственно.

Оценка степени смыслового соответствия двух семантических графов складывается из двух факторов: содержательного и структурного.

Содержательной мерой смыслового соответствия сети запроса Q' сети текста Q будем считать величину:

где M – число смысловых отношений в сети Q, Wk – вес k-го смыслового отношения, вычисляемый по формуле (11).

Структурный показатель (Q, Q') смыслового соответствия сети запроса Q' и сети текста Q:

где cij представляет константу, значение которой определяется взаимным расположением i-той и j-той дуг семантического графа в запросе и в тексте.

Значения cij могут принимать одно из значений: 0, 0.5 и 1. Следовательно, значения структурного показателя лежат в интервале [0;1].

Третья глава посвящена описанию программного комплекса «Семантиктест», при разработке которого использован предложенный алгоритм получения смыслового описания контента, а также поиска в этом описании фрагмента, соответствующего по смыслу ответу на тестовое задание в открытой форме.

Программный комплекс состоит из следующих компонентов:

1. Контур синтаксического анализа производит выделение словоформ текста, определяет грамматические и синтаксические характеристики каждой словоформы, на основании которых выявляет синтаксические отношение между ними. На вход контура поступает текст, на выходе получается набор синтаксических отношений между словоформами, определенный для каждого предложения текста. Рассмотрим пример.

На вход контура поступил фрагмент лекции: Электронная коммерция обеспечивает проведение маркетинговых мероприятий путем использования Сети. Благодаря электронной коммерции предприятия извлекают из применения Интернета прямую прибыль. Синтаксические отношения, полученные на выходе контура, показаны в табл. 1.

Синтаксическое описание предложений контента * Падеж и предлог указываются только для отношения типа «актантный».

И – именительный, Р – родительный, Д – дательный, В – винительный, Т – творительный синтаксического анализа текста на русском языке «RCO Syntactic Engine»

производства ООО «Гарант-Парк-Интернет».

2. Контур семантического анализа — это часть программного комплекса, задачей которой является представление структуры текста в виде семантической сети. На вход контура поступает набор синтаксических отношений предложений текста, полученный контуром синтаксического анализа. На выходе контура получается описание семантической сети текста. Рассмотрим получение семантической сети из синтаксических отношений из таблицы 1.

Лексический состав именных групп, имеющих структуру деревьев, в узлах которых располагаются лексемы, представлен в таблице 2.

предл. именной лексема [номер в предл.] лексема [номер в предл.] Полученные именные группы представляют понятия, участвующие в предикативных отношениях, определенных в рамках предложений и представленных в таблице 3.

Далее семантические сети предложений объединяются в семантическую сеть контента по кореферентным именным группам. Нумерация именных групп становится независимой от номера предложения (см. табл. 4).

группы Смысловые отношения переопределяются в соответствии с новыми идентификаторами именных групп. Структура семантической сети контента показана в таблице 5.

3. Контур тестирования включает:

а) Интерфейс для преподавателя, позволяющий составлять тестовые задания на основе семантической сети текста лекции, формировать тесты, назначать их студентам, просматривать результаты тестирования.

б) Интерфейс для студентов, предоставляющий возможность ввода ответов на тестовые задания.

Допустим, преподаватель составил вопрос: «Что получают предприятия благодаря электронной коммерции?

Студент может ввести ответ в различных вариантах построения фразы, например: «Благодаря электронной коммерции применение Интернета приносит предприятиям прямую прибыль», «Прямая прибыль извлекается предприятиями из использования Интернета благодаря электронной коммерции», «Благодаря электронной коммерции предприятия получают прямой доход из использования Интернета».

Рассмотрим один из вариантов ответа студента, который поступает на вход контура синтаксического анализа, затем семантического. В результате их работы будут выявлены именные группы, показанные в табл. 6.

№ именной группы Родительский узел дуги Дочерний узел дуги Поскольку текст ответа состоит из одного предложения, семантическая сеть имеет вид, показанный в табл. 7.

отн.

Результат сопоставления смысловых структур запроса и текста представлен в таблице 8, где каждому элементу сети ответа студента поставлен в соответствие элемент сети контента лекции, из тезауруса определена степень синонимии, рассчитан вес каждого смыслового отношения по формуле (11) и определена мера смыслового соответствия по формуле (12).

Сопоставление смысловых описаний ответа и лекции Им. группа использование – Интернет применение – Интернет 1. Им. группа коммерция - электронный коммерция - электронный 1. Использование программного комплекса позволяет повысить эффективность работы преподавателя за счет сокращения количества времени, затрачиваемого на подготовку и проверку тестов открытой формы. Кроме того, уменьшается время изучения исходных текстовых данных (книг, электронных учебников, Интернетисточников) за счет схематичного, наглядного представления обширных объемов материала.

Четвертая глава содержит результаты экспериментального исследования корректности предложенных алгоритмов путем сравнения смысловых описаний текстов, для которых в результате экспертной оценки установлено, что они имеют сходное по смыслу содержание.

Экспериментальное исследование адекватности модели смыслового описания текста производилось в рамках апробации программного комплекса «Семантик Тест». Для организации процесса тестирования были подготовлены вопросы по дисциплинам: «Интеллектуальные информационные системы», «Системы электронной коммерции», «Технологии мультимедиа». Каждый комплект тестов включал 10 заданий открытой формы по каждой из дисциплин. В тестировании приняли участие 62 студента 3 и 4 курсов специальности 080801. «Прикладная информатика в экономике» Тюменского госуниверситета.

В трех группах студентов было проведено тестирование при помощи системы «Семантик Тест» с последующим автоматизированным анализом результатов. Затем те же самые ответы на задания были проверены экспертами и помечены как правильные или неправильные. Далее был произведен сравнительный анализ результатов проверки на предмет совпадения или расхождения заключений о правильности каждого ответа, выданных системой и экспертом. Показано, что при уровне значимости 0,95 достоверно утверждение:

вероятность ошибочного определения системой степени смыслового соответствия составляет не более 0,06%.

Поскольку система выдает заключение на основании порогового значения содержательной меры смыслового соответствия 0, предлагается методика определения этого значения. Введена весовая функция Еk, принимающая дискретные значения, причем максимальные соответствуют тем значениям 0, при которых наибольшее число ответов оценивается одинаково (правильные или неправильные) как системой, так и экспертами.

Использование программного комплекса в учебном процессе показало эффективность его применения при подготовке и проведении тестирования открытой формы. Произведена оценка экономии времени при использовании системы «Семантик Тест» в сравнении с использованием системы без смыслового анализа (на примере системы АСТ). Время подготовки, проведения и проверки тестовых заданий сокращается на величину до 57%. Показана зависимость эффективности использования системы от количества вопросов в тесте.

Программный комплекс опробован и используется в учебном процессе.

В заключении приведены основные результаты исследования и излагаются основные выводы по диссертационной работе.

публикациях:

1. Ивашко А.Г., Бидуля Ю.В. Моделирование смыслового описания контента // Вестник ТюмГУ. - Тюмень: Изд-во ТюмГУ, 2007. - Вып.5. - C.80-86.

2. Бидуля Ю.В. Алгоритмизация смыслового описания контента // Вестник ТюмГУ. - Тюмень: Изд-во ТюмГУ, 2008. - Вып.6. - C.195-198.

3. Ивашко А.Г., Бидуля Ю.В. Алгоритмы оценки семантического соответствия контентов // Вестник ТюмГУ. - Тюмень: Изд-во ТюмГУ, 2010. - Вып.6. C.168-173.

4. Бидуля Ю.В. Использование метаданных для формирования учебнометодических материалов в системах электронного обучения // Математическое и информационное моделирование: сборник научных трудов. - Тюмень: "Вектор Бук", 2005. – Вып. 7. - С. 72-77.

5. Бидуля Ю.В. Организация структуры контента в среде разработки тестовых заданий // Модернизация образования в условиях глобализации: Сборник материалов международной научной конференции, посвященной 75-летию Тюменского государственного университета. 14-15 сентября 2005 г. / Под ред. И.Е.Видт, Г.Ф.Ромашкиной. - Тюмень: Изд-во ТюмГУ, 2005. – C. 41-44.

6. Ивашко А.Г., Бидуля Ю.В. Структура семантической сети в системе генерации тестовых заданий // Матерiали III Мiжнародноi науковопрактичноi конференцii "Актуалнi проблеми сучасних наук: теорiя та практика – 2006". - Днiпропетровськ: Наука i освiта, 2006. – Т. 10. - C.66-69.

7. Бидуля Ю.В. Реферирование текста как подготовительный этап построения семантической сети // Математическое и информационное моделирование:

сборник научных трудов. - Тюмень: Издательство "Вектор Бук", 2006. – 8. Бидуля Ю.В. Объектный подход в описании контента // Математическое и информационное моделирование: сборник научных трудов. - Тюмень:

"Вектор Бук", 2007. – Вып. 9. - С. 11-15.

9. Бидуля Ю.В. Смысловое представление материала как этап автоматической генерации тестовых заданий // Приоритетные направления развития науки и технологий: доклады Всеросс. науч.-техн. конф./ под общ. ред. чл.-корр.

Российской акад. наук В.П.Мешалкина. - г. Тула: Изд-во ТулГУ, 2007. C. 142-143.

10. Бидуля Ю.В. Представление текста в виде семантической сети // Безопасность информационного пространства VI: сборник трудов межвузовской научно-практической конференции студентов, аспирантов и молодых ученых. Тюмень, 22-23 ноября 2007 года. - Тюмень: Издво ТюмГУ, 2007. - С. 54-61.

11. Бидуля Ю.В. Об одном подходе к описанию контента // Информационные технологии и телекоммуникации в экономике, управлении и социальной сфере: Материалы межрегиональной научно-практической конференции 1ноября 2006г. - Тюмень: Изд-во ТюмГУ, 2007. - C. 90-92.

12. Бидуля Ю.В. Разработка программного комплекса смыслового анализа учебных материалов.- Информационные технологии и телекоммуникации в межрегиональной научно-практической конференции 15 ноября - 15 декабря 2007 г. - Тюмень: Изд-во ТюмГУ, 2008. - C. 116-118.

13. Бидуля Ю.В., Ивашко А.Г. Алгоритм построения семантической сети // Математическое и информационное моделирование: сборник научных трудов. - Тюмень: "Вектор Бук", 2009. – Вып. 11. - С. 42-50.

14. Бидуля Ю.В. Информационный поиск в семантической сети контента // моделирования. Перспективы разработки и внедрения инновационных ITрешений. Третья научно-практическая региональная конференция (Тюмень, ТюмГУ, Институт математики и компьютерных наук, 14-15 апреля года). - Тюмень: "Вектор Бук", 2010. - С.50-54.

15. Бидуля Ю.В.Использование смыслового анализа в системе тестирования // Экономические и экологические проблемы в меняющемся мире: сборник посвященной 80-летию Тюменского государственного университета. В 2-х ч. / Отв. за выпуск В.В.Зыков, Л.С.Киселева. - Тюмень: Печатник, 2010. Ч.1. - C.399-401.

16. Бидуля Ю.В. Учет синонимии в модели смыслового описания контента // Математическое и информационное моделирование: сборник научных трудов. - Тюмень: "Вектор Бук", 2011. – Вып. 13. - С. 42-50.

17. Бидуля Ю.В., Губина Т.И., Губин М.В. Свидетельство о государственной регистрации программы для ЭВМ №2008615239 «Система смыслового анализа материалов и контроля знаний Семантик-тест» от 31.10.2008.

18. Бидуля Ю.В., Губина Т.И., Губин М.В. Свидетельство о государственной регистрации базы данных №2009620064 «Семантик-тест» от 29.01.2009.