На правах рукописи

ПАНАРИН СЕРГЕЙ ИГОРЕВИЧ

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

ПО МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ

05.13.11 – Математическое и программное обеспечение вычислительных машин,

комплексов и компьютерных сетей 05.13.01 – Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Москва –

Работа выполнена на кафедре Теория вероятностей Московского авиационного института (государственного технического университета) МАИ

Научный руководитель: доктор физико-математических наук, профессор Кибзун Андрей Иванович

Официальные оппоненты: доктор физико-математических наук, профессор Пантелеев Андрей Владимирович кандидат физико-математических наук, в.н.с. ВЦ РАН Бродский Юрий Игоревич

Ведущая организация: Уфимский государственный авиационный технический университет (УГАТУ)

Защита состоится 17 июня 2011 г. в 10 ч. 00 мин. на заседании Диссертационного совета Д 212.125.04 при Московском авиационном институте по адресу: 125993, г. Москва, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Московского авиационного института.

Автореферат разослан 2011 г.

Ученый секретарь Диссертационного совета Д 212.125.04, кандидат физико-математических наук, доцент М.В. Ротанина

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Объект исследования. Объектом исследования в диссертационной работе является программное и математическое обеспечение систем дистанционного обучения (СДО) по математическим дисциплинам.

Актуальность работы. Задача создания автоматизированных систем, призванных обучать без помощи человека, имеет более чем 30-летнюю историю. Исследуются различные направления, такие как проектирование обучающих систем и комплексов, проблемы разработки программного обеспечения, управление проектами разработки, статистическая обработка результатов студентов, в комплексе позволяющие создавать сложные и функциональные системы.

С развитием технологий появилась возможность создавать обучающие системы на качественно новом уровне. Одним из видов таких систем являются системы дистанционного обучения (СДО), которые обладают рядом преимуществ – доступностью в любое время без необходимости находиться в учебной аудитории. Особое место среди СДО занимают СДО, доступные через интернет.

В данный момент среди систем можно выделить следующие: СДО Прометей, системы обучения компании ФИЗИКОН, виртуальный преподаватель ИНФОРМГИДРО, образовательный портал Центра дистанционного обучения, СДО Доцент, разработки ИПУ РАН (работы под руководством академика С.Н. Васильева). Среди вузовских разработок можно выделить системы МГУ им. Ломоносова (работы В.А. Сухомлина), БНТУ, МАИ (работы А.В. Пантелеева, А.В. Наумова, Т.А. Летовой), МФТИ (работы И.Г. Проценко). Самой популярной свободно-распространяемой системой является Moodle, также известна система eFront. Важно отметить, что несмотря на наличие свободно-распространяемых и вузовских СДО, перечисленные системы не являются специализированными по математическим дисциплинам и, в большинстве случаев, автоматизация обучения в этих системах не является комплексной, поэтому разработка такой СДО является актуальной. Также актуальной является интеграция со ставшими популярными социальными сетями, которая в перечисленных системах отсутствует.

В работах зарубежных авторов О. Конлана, В. Ваде, Я. Тана особое внимание уделяется использованию мобильных технологий в обучении.

Важным элементом СДО является подсистема обработки результатов обучения студентов, позволяющая мотивировать студентов, привнося соревновательный аспект в обучение. Теоретические основы обработки результатов тестов были заложены в 60-е годы Г.Рашем. Развивали его идеи Б. Райт, Г. Мастерс, Т. Бонд, Ч. Фокс. В России данным направлением исследований активно занимались Ю.М. Нейман, В.А. Хлебников, Е.Ю. Карданова.

Система дистанционного обучения по сути является программной системой. Основные результаты проектирования и разработки программных систем изложены в работах Э. Гамма, Р. Хелма, Р. Джонсона, Дж. Влиссидеса, Ю.И. Бродского, Ф. Крачтена, А.М. Марасанова, М. Фаулера.

Цели и задачи работы. Целью диссертационной работы является разработка системы дистанционного обучения по математическим дисциплинам, предназначенной для работы в интернете, с оптимизацией выбора проектных решений. Задачи работы:

1) провести анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО;

2) выработать принципы проектирования архитектуры специализированной СДО;

3) разработать модульную архитектуру специализированной СДО;

4) разработать стохастическую модель выбора проектных решений СДО на этапе проектирования и предложить алгоритм ее оптимизации;

5) разработать рекуррентный алгоритм вычисления оценки студента при работе в СДО;

6) разработать на основе предложенной архитектуры специализированную СДО по математическим дисциплинам, предназначенную для работы в интернете.

Методы исследования. Для исследования теоретических проблем использовались методы системного анализа, стохастического моделирования, линейной алгебры, теории оптимизации, нелинейного программирования, целочисленного программирования. Для исследования прикладных задач использовались методы объектно-ориентированного анализа и проектирования.

Достоверность результатов обеспечивается строгостью постановок и доказательств утверждений; корректным использованием стандартов; корректным использованием математических моделей современной теории системного анализа; рассмотрением численных примеров, которые демонстрируют достоверность полученных теоретических результатов.

Научная новизна работы.

1. Выполнен анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО.

2. Выработаны принципы проектирования архитектуры специализированной СДО по математическим дисциплинам на основе архитектурных шаблонов (MVC (Model-View-Controller), микроархитектурных шаблонов) и концепции AJAX.

3. Разработана модульная архитектура специализированной СДО по математическим дисциплинам.

4. Разработана стохастическая модель выбора проектных решений СДО на этапе проектирования.

5. Разработан рекуррентный алгоритм вычисления оценки студента при работе в СДО, основанный на логистической модели обработки тестов и методе максимального правдоподобия.

Практическая значимость. Полученные результаты позволяют использовать разработанную систему дистанционного обучения CLASS.NET в учебном процессе при подготовке квалифицированных кадров для аэрокосмической промышленности, а также оптимизировать проектирование программных систем с учетом требований по модифицируемости, например, специализированного программного обеспечения в области авиационнокосмической техники.

Апробация работы. Результаты работы докладывались и обсуждались на следующих конференциях: Всероссийская конференция молодых ученых и студентов Информационные технологии в авиационной и космической технике (Москва, 2008); VII Международная конференция Авиация и космонавтика (Москва, 2008); XIV Международная конференция Системный анализ управление и навигация (Евпатория, Украина, 2009);

52 научная конференция МФТИ Современные проблемы фундаментальных и прикладных наук (Долгопрудный, 2009); Российская школа - конференция с международным участием Математика, информатика, их приложения и роль в образовании (Москва, 2009), I Международная конференция Интеллектуальные технологии и средства реабилитации людей с ограниченными возможностями (ИТСР-2010) (Москва, 2010), а также на научных семинарах под руководством проф. А.И. Кибзуна (МАИ, 2010).

Сведения о внедрении. Разработанная система дистанционного обучения CLASS.NET внедрена в учебный процесс в МАИ, в частности, на ее основе создан компьютерный учебник по курсу Теория вероятностей и математическая статистика, о чем свидетельствует акт о внедрении.

Публикации. Основные результаты диссертации опубликованы в 3 статьях [1–3] в журналах, входящих в перечень ВАК, статьях в других журналах [5], сборниках тезисов [6–10] научных конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы (121 источник). Объем диссертации 131 м.п.с.

СОДЕРЖАНИЕ РАБОТЫ

Во введении указан объект исследования, обоснована актуальность проведенной работы, сформулированы ее цели и задачи, рассмотрена научная новизна и практическая значимость, описана структура диссертации.

В первой главе приводятся основные понятия и определения, относящиеся к системам дистанционного обучения (СДО). Рассматривается жизненный цикл программной системы, где особое внимание уделяется этапам анализа требований, проектирования и тестирования. В рамках этапа проектирования описываются понятия архитектуры, архитектурных представлений и архитектурных шаблонов. Архитектура разрабатываемой СДО использует описанное представление и включает некоторые архитектурные шаблоны (шаблоны проектирования).

С учетом особенностей СДО, работающих в интернете, были выработаны базовые принципы проектирования архитектуры специализированной СДО на основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX. Основыми макроархитектурными шаблонами СДО выбраны MVC и Многоуровневый.

Принимая во внимание интерактивный характер работы СДО, для этапа проектирования и реализации был выбран объектно-ориентированный подход, язык моделирования – UML.

Также в главе анализируются различные технологии разработки СДО:

языки программирования, форматы хранения учебных курсов и другие.

Предложен формат хранения учебных курсов на основе XML и MathML, поддерживающий вывод математических формул. В качестве удобного шаблонизатора предложен XSL.

Выбраны следующие технологии: язык программирования – PHP; среда тестирования – PHPUnit; среда разработки – Eclipse; библиотека для AJAX – jQuery.

Предложена организация поддержки пользователей СДО через социальную сеть (путем создания группы в социальной сети вКонтакте ).

Во второй главе рассматривается проблема проектирования СДО с учетом критически важного требования к модифицируемости системы на этапе поддержки и сопровождения.

Для решения проблемы строится стохастическая модель и формулируется задача выбора оптимальных проектных решений. В разработанной математической модели детерминированными являются следующие параметры:

M – число типов требований к системе;

K – число технических решений, доступных для реализации и ориентированных на соответствующий тип требований;

cik – затраты на реализацию k-го технического решения для i-го типа требований, i = 1, M, k = 1, K, cik > 0, измеряются в определенной валюте;

Cmax – максимальные затраты на создание системы, также измеряются в определенной валюте;

dik – экономия времени на этапе поддержки (далее просто выгода ) от реализации k-го технического решения для i-го типа требований, i = 1, M, k = 1, K, dik > 0, измеряются в определенной валюте.

Предполагается, что затраты на некоторое техническое решение не зависят от затрат на другие решения. Выгода от некоторого решения также не зависит от выгод от других решений.

Пусть случайная величина X с дискретным распределением с реализациями { 1, 2,..., M } моделирует появление требования i-го типа, для которого можно использовать различные технические решения, P{X = i} = pi, i = 1, M. Вероятности pi считаются известными (определяются на основе статистики или, если данных недостаточно, как экспертные оценки).

Введем матрицу оптимизационных переменных следующего вида где элемент uik матрицы u принимает значение 1, если для i-го типа требований принято k-е техническое решение, и 0 в противном случае. Через U01 обозначим множество всех матриц u, т.е. всех матриц размера M K с элементами 0 или 1.

Таким образом, затраты на реализацию технических решений равны Затраты на реализацию решений должны быть ограничены C(u) Cmax, где константа Cmax > 0 задана.

Тогда экономия времени на этапе поддержки ( выгода ) от реализации технических решений будет равна В качестве критерия оптимальности рассмотрим среднюю выгоду :

Задача оптимизации критерия (1) примет вид В работе предлагается решение сформулированной оптимизационной задачи (2)–(3), принадлежащей к классу задач целочисленного программирования, с помощью модификации алгоритма ветвей и границ, который заключается в разбиении всего множества стратегий на непересекающиеся подмножества (ветви) и последовательном вычислении верхних оценок для каждой ветви с отсечением плохих ветвей, с заведомо неоптимальным значением верхней оценки.

Рассматриваемая в главе 2 модель и алгоритм применяются в главе для оптимизации проектирования разрабатываемой СДО CLASS.NET.

В третьей главе исследуется проблема оценивания результатов обучения студентов в СДО и описывается формирование и вычисление интегрального рейтинга студентов с помощью статистической обработки результатов тестов.

Рассматривается группа из N студентов, отвечающих на L вопросов теста. Ответ каждого студента может быть либо правильным, либо неправильным и моделируется дискретной случайной величиной ij с двумя реализациями { 0, 1 }, где i – номер студента в группе, i = 1, N, j – номер задания теста, j = 1, L. Случайные величины ij, j = 1, L, считаются независимыми так же, как и ij, i = 1, N.

В модели Раша постулируется, что все случайные величины имеют одинаковое распределение, которое имеет два параметра и – один связан с заданием (), другой – со студентом (). Параметры и являются безразмерными и могут быть любыми положительными числами, т.е.

(0, +), (0, +). Вводятся обозначения для логарифмического преобразования этих параметров ln, ln. Получившиеся и могут принимать любые действительные значения, т.е. (, +), (, +) и называются сложностью задания () и уровнем подготовки студента ().

Очевидно, что правильность ответа ij зависит как от сложности j j-го задания, так и от уровня подготовки i i-го студента ij (i, j ).

Вводится обозначение где функция f (i, j ) принимает значения от 0 до 1.

Реализации случайных величин ij, которые наблюдаются, образуют матрицу ||xij ||, где xij { 0, 1 }, i – номер студента в группе, i = 1, N, j – номер задания теста, j = 1, L.

Задача ставится следующим образом: по имеющимся наблюдениям ||xij || оценить неизвестные параметры i и j, i = 1, N, j = 1, L.

Для формулировки этой задачи рассматривается логистическая модель случайных величин ij, которая задает функцию f (·) из (4) в виде Для решения поставленной задачи используется процедура совместного оценивания неизвестных параметров, основанная на методе максимального правдоподобия. С этой целью вводятся обозначения Через nr обозначим количество студентов, набравших одинаковый балл r.

Функция правдоподобия в данном случае имеет вид Оценки параметров и можно получить, найдя максимум логарифмической функции правдоподобия. Максимум ищется через равенство нулю частных производных логарифмической функции правдободобия. В результате приравнивания частных производных к нулю получается система нелинейных уравнений.

Система редуцируется до системы с 2L 1 уравнениями, т.к. уравнения для nr студентов с номерами i1, i2,..., inr, набравших одинаковый балл ri1 = ri2 =... = rinr = r, совпадут Система (6) имеет бесконечное количество решений, так как во все уравнения входят разности параметров i j. Таким образом, для получения единственного решения, к системе нужно добавить еще одно уравнение с ограничением, задающим начало отсчета. В качестве начала отсчета выбирается 0 и система (6) дополняется следующим уравнением Решая систему, получаем оценки i и j параметров i, j.

Численно систему (6),(7) можно решить, например, с помощью метода Ньютона. Заметим, что система (6),(7) имеет размерность 2L1, а количество уравнений 2L. Искусственно добавим новую переменную IR1 для получения системы размерности 2L, которая будет иметь вид В диссертации доказано следующее утверждение:

Теорема 3.2 Система нелинейных уравнений (8),(7) имеет единственное решение, которое можно получить методом Ньютона для любых начальных приближений из шара ||y y0 || kt0, где t0 – наименьший корень уравнения ht2 t + 1 = 0, y0 (0,..., 0) IR2L, y (,, ) IR2L, В главе 3 также определяется максимально достижимая статистическая точность оценок неизвестных параметров.

После рассмотрения модели, которая позволяет построить оценки параметров студентов и заданий для одного теста, а также алгоритма, позволяющего вычислить эти оценки, далее в главе 3 рассматривается задача построения интегральной оценки студента. Такая оценка является общей оценкой работы студента с системой дистанционного обучения в течение семестра.

Под интегральной оценкой будем понимать оценку, полученную по K тестам, рассматривая их как один большой тест.

Алгоритм вычисления интегральной оценки состоит в следующем:

• в начале вычисляется оценка уровня подготовки студента по первому • затем рекуррентно пересчитывается полученная оценка уровня подготовки студента с учетом данных об ответах студента в очередном задании очередного теста с вычислением оценки уровня сложности этого очередного задания.

Для каждого следующего теста используется оценка, полученная в предыдущих тестах как начальное приближение новой оценки при решении модифицированной системы уравнений (9), где отсутствует ограничение на k=1 k = 0, L = L + 1. Оценки сложности предыдущих L заданий фиксированы и вновь не вычисляются, поэтому система имеет не 2L, а всего L неизвестных:

Предложенный рекуррентный алгоритм существенно уменьшает время вычислений, сокращая размерность решаемой для каждого задания системы уравнений в 2 раза. На одном из примеров показано, что вычисление оценок модифицированной системы заняло в 3 раза меньше времени, чем решение полной системы.

В завершении главы 3 проводится анализ соответствия модели данным на основе исследования остатков между ожидаемой вероятностью правильного ответа студента и его фактическим ответом.

В четвертой главе описывается, как разработанные в предыдущих главах модели и алгоритмы применяются для проектирования и реализации СДО CLASS.NET по математическим дисциплинам, доступной через интернет.

В начале главы 4 описываются функциональные и нефункциональные требования к разрабатываемой СДО. Функциональные требования к системе:

1) поддержка вывода формул и выражений в силу специфики математических курсов, изобилующих различными формулами;

2) наличие адаптивной системы помощи, ссылок и подсказок для повышения качества обучения и мгновенного перемещения между разделами;

3) возможность генерации задач по шаблону (параметрические задачи) для создания большого количества однотипных задач с разными данными;

4) поддержка числового, селективного и формульного ввода ответа для полноценного обучения математическим дисциплинам;

5) наличие удобного инструмента создания (редактирования) теоретической и практической части курсов;

6) поддержка удаленного обучения (через Интернет), для наличия доступа к курсам для студентов из дома, других городов (в принципе, практически из любой точки мира);

7) высокий уровень защита от сбоев с возможностью восстановления с точностью до решаемой задачи (система резервного копирования);

8) возможность создания курсов на других языках (помимо русского) как перспектива развития системы для обучения иностранных студентов.

Нефункциональные требования к системе:

1) наличие приятного внешнего вида и удобного интерфейса, необходимых для быстрого освоения и удобства при работе;

2) платформонезависимость системы;

3) высокая скорость работы системы;

4) масштабируемость системы для возможности простого увеличения количества пользователей;

5) минимизация объема передаваемой информации между серверной и клиентской частями системы для возможности доступа более широкого круга студентов за счет минимизации расходов на интернет;

6) низкие аппаратные и программные требования к компьютеру студента для возможности доступа более широкого круга пользователей;

7) наличие зашиты от взломов и основных типов уязвимостей.

Нефункциональные требования к СДО CLASS.NET можно сгруппировать в три основных класса требований: модифицируемость, производительность и безопасность. Дополнительным требованием является использование при разработке только программных средств, распространяемых бесплатно и находящихся в свободном доступе.

Результаты этапа анализа требований представлены в виде описания основных акторов и прецедентов. Выделены следующие основные акторы системы дистанционного обучения CLASS.NET: Студент (student), Преподаватель (teacher), Администратор (admin), Гость (guest).

Далее в главе 4 описываются результаты проектирования – архитектура системы, описанная с помощью системы представлений 4+1, которая рассматривается в главе 1. Общая архитектура системы CLASS.NET является многоуровневой с использованием архитектурного шаблона МодельВид-Контроллер (MVC) и представлена на Рис. 1. На каждой странице системы CLASS.NET располагаются определенные компоненты, каждый из которых содержит собственный Контроллер запросов пользователя (например, с номером задачи) и шаблон. Контроллер компонента обращается к сущностям Интерфейсного уровня, которые инкапсулируют взаимодействие с Базовым уровнем, отвечающим за взаимодействие с Базой Данных, файловым хранилищем и Базовым Видом (XSLT-шаблонизатором). В результате Контроллер компонента возвращает ответ пользователю, который отображается на экране пользователя в браузере.

Диаграмма основных классов СДО CLASS.NET представлена на Рис. 2.

В рамках разработки архитектуры используется оптимизация выбора проектных решений на основе стохастической модели, представленной в главе 2. В результате оптимизации было получено, что оптимальными техническими решениями будет выбор следующих шаблонов проектирования:

Компоновщик (Composite), Декоратор (Decorator), Наблюдатель (Observer).

В результате была разработана структура модулей СДО CLASS.NET, представленная на Рис. 3.

В модуле Практики реализованы следующие типы ввода ответа: Строковый (Число, Число в виде простой дроби, Строка символов); Селективный 1 (выбор одной альтернативы из многих); Селективный 2 (выбор нескольких альтернатив из многих); Формульный (ввод ответа задачи в виде маРис. 1: Многоуровневая архитектура системы CLASS.NET на основе архитектурного шаблона Модель-Вид-Контроллер тематического выражения в специальном редакторе). В модуле Практики также реализована поддержка параметрических задач – задач, текст которых генерируется по шаблону индивидуально для каждого студента.

В модуле Статистики на основании данных об ответах студентов, используя модель и алгоритм вычисления рейтинга из главы 3, формируется и вычисляется интегральный рейтинг студентов в СДО.

Далее представлено описание концепции AJAX, которая используется для реализации нефункционального требования по производительности.

В следующей части главы 4 рассматривается разработанная система тестирования, позволяющая эффективно вести сопровождение системы и ее инкрементальную доработку.

В завершающей части главы 4 представлен внешний вид разработанной СДО CLASS.NET при различных состояниях системы. На Рис. 4 представлен внешний вид системы при работе с задачами для самообучения.

К ключевым преимуществам СДО CLASS.NET можно отнести приятный внешний вид, простоту, наличие социальной состовляющей (рейтинг, Рис. 2: Диаграмма основных классов системы CLASS.NET поддержка в социальной сети) и встроенную систему сбора обратной связи для постоянного повышения качества системы и учебных материалов.

Основные результаты работы, выносимые на защиту 1. Выполнен анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО [3,7,10].

2. Выработаны принципы проектирования архитектуры специализированной СДО по математическим дисциплинам на основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX [1-3,7,10].

3. Разработана модульная архитектура специализированной СДО по математическим дисциплинам [1,6,7].

4. Разработана стохастическая модель выбора проектных решений СДО на этапе проектирования [2,3,9].

5. Разработан рекуррентный алгоритм вычисления оценки студента при работе в СДО, основанный на логистической модели обработки тестов и методе максимального правдоподобия [4-5,8].

6. На основе разработанной архитектуры выполнена программная реализация специализированной СДО по математическим дисциплинам CLASS.NET, предназначенная для работы в интернете [1,6,10].

Публикации в журналах из перечня ВАК 1. Кибзун А.И., Вишняков Б.В., Панарин С.И. Оболочка системы дистанционного обучения по математическим курсам // Вестник компьютерных и информационных технологий, 2008, № 10. C. 43-48.

2. Кибзун А.И., Панарин С.И. Стохастическая модель модифицируемости системы дистанционного обучения // Вестник Московского авиационного института, 2009, Т. 16, №7, С. 76-79.

3. Кибзун А.И., Панарин С.И. Стохастический подход к управлению модифицируемостью системы дистанционного обучения // Вестник компьютерных и информационных технологий, 2010, №12, С. 40-49.

4. Кибзун А.И., Панарин С.И. Формирование интегрального рейтинга с помощью статистической обработки результатов тестов // Автоматика и Телемеханика, 2011, №10 (принята к публикации).

Публикации в других изданиях 5. Панарин С.И. Повышение эффективности обучения студентов аэрокосмических специальностей с помощью специализированного рейтинга // Электронный журнал Труды Московского авиационного института, 2011, №44.

6. Панарин С.И. Система дистанционного обучения по математическим дисциплинам через Интернет // Тезисы доклада на конференции Информационные технологии в авиационной и космической технике – 2008, МАИ. С. 61-62.

7. Кибзун А.И., Панарин С.И. Особенности проектирования специализированной СДО по математическим курсам CLASS.NET // Тезисы международной конференции Авиация и космонавтика – 2009, МАИ.

С. 35-36.

8. Кибзун А.И., Панарин С.И. Статистическая обработка результатов обучения в СДО CLASS.NET: новые решения // Тезисы доклада на международной конференции Системный анализ, управление и навигация, Евпатория, 2009. С. 123.

9. Кибзун А.И., Панарин С.И. Стохастический подход к модифицируемости системы // Труды 52-й научной конференции МФТИ Современные проблемы фундаментальных и прикладных наук, 2009, Т.2., Ч.VII., С. 20-22.

10. Кибзун А.И., Панарин С.И. Математическое и программное обеспечение системы дистанционного обучения по математическим дисциплинам // Тезисы доклада на международной конференции Интеллектуальные технологии и средства реабилитации людей с ограниченными возможностями (ИТСР-2010), Москва, 2010. С.45-46.