WWW.DISS.SELUK.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА
(Авторефераты, диссертации, методички, учебные программы, монографии)

 

На правах рукописи

Черноусова Елена Олеговна

БЕСПЕРЕБОРНЫЕ МЕТОДЫ КРОСС-ВАЛИДАЦИИ ДЛЯ

ОЦЕНИВАНИЯ ОБОБЩАЮЩЕЙ СПОСОБНОСТИ

РЕГРЕССИОННЫХ МОДЕЛЕЙ

Специальность 05.13.17 – Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Москва, 2013

Работа выполнена на кафедре «Интеллектуальные системы» Федерального государственного автономного образовательного учреждения высшего профессионального образования «Московский физико-технический институт (государственный университет)».

Научный руководитель: доктор технических наук, профессор Моттль Вадим Вячеславович

Официальные оппоненты: доктор физико-математических наук, профессор Вьюгин Владимир Вячеславович, заведующий лабораторией №1 им. М.С. Пинскера «Теория передачи информации и управления», Федеральное государственное бюджетное учреждение науки Институт проблем передачи информации им. А.А. Харкевича Российской академии наук.

кандидат физико-математических наук, доцент Сулимова Валентина Вячеславовна, кафедра информационной безопасности, Государственное образовательное учреждение высшего профессионального образования "Тульский государственный университет".

Ведущая организация: Федеральное государственное бюджетное учреждение науки Институт проблем управления им. В.А. Трапезникова Российской академии наук.

Защита состоится « 26 » декабря 2013 г. в 14:00 часов на заседании диссертационного совета Д 002.017.02 при Федеральном государственном бюджетном учреждении науки «Вычислительный центр им. А.А. Дородницына Российской академии наук», расположенном по адресу 119991, г. Москва, ул. Вавилова, 40.

С диссертацией можно ознакомиться в библиотеке ВЦ РАН.

Автореферат разослан « 22 » ноября 2013 г.

Ученый секретарь диссертационного совета доктор физико-математических наук Рязанов В.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Задача восстановления объективно существующей зависимости между наблюдаемыми свойствами объектов реального мира и их некоторой скрытой характеристикой, доступной для наблюдения лишь в пределах конечной обучающей совокупности, является центральной задачи интеллектуального анализа данных.

В частности, если скрытая характеристика принимает значения из конечного неупорядоченного множества, то такую задачу принято называть задачей обучения распознаванию образов, а в случае числовой скрытой характеристики говорят о задаче восстановления регрессионной зависимости. В диссертационной работе рассматривается последний случай.

Вероятностная интерпретация задачи обучения основана на предположении, что с каждым объектом из некоторого множества объектов реального мира, привлекающего внимание наблюдателя, объективно связаны значения двух его характеристик, одна из которых доступна для непосредственного наблюдения, а другая скрыта.

В теории обучения обычно предполагается, что природа, случайным образом выбирая один объект, генерирует, тем самым, случайную пару значений его наблюдаемой и скрытой характеристик, причем соответствующее совместное распределение вероятностей объективно существует, но наблюдателю неизвестно. Наблюдатель всякий раз видит значение лишь наблюдаемой характеристики, в то время как природа требует, чтобы он «угадывал» значение скрытой характеристики объекта, штрафуя неправильное оценивание в соответствии с известной функцией потерь.

Наблюдатель вынужден выработать решающее правило, связывающее с каждым наблюденным значением доступной характеристики объекта предполагаемое значение его скрытой характеристики. Как правило, наблюдатель формирует свое решающее правило на основе предположения о некотором параметрическом классе зависимостей, так что выбор наблюдателем конкретного решающего правила полностью задается выбором параметра. Естественной объективной оценкой «качества» решающего правила является математическое ожидание потерь, которое в теории обучения принято называть средним риском ошибки. Очевидно, что наблюдатель, выбирая вариант решающего правила, а именно значение параметра, не может вычислить средний риск ошибки, поскольку совместное распределение наблюдаемой и скрытой характеристик случайно появляющегося объекта ему неизвестно.

Единственную объективную информацию о свойствах природы, доступную наблюдателю, несет обучающая совокупность, под которой понимается конечное множество пар значений как наблюдаемой, так и скрытой характеристики объектов, случайно выбранных природой в соответствии с объективно существующим распределением вероятностей. Выбирая решающее правило, наблюдатель может лишь вычислить для всякого его варианта среднее арифметическое значение функции потерь, называемое эмпирическим риском ошибки. При выборе решающего правила общепринятым соображением, основанным на данных, является минимизация эмпирического риска в некотором классе решающих правил (variance minimization в англоязычной литературе).

Однако параметрический класс решающих правил, изначально принятый наблюдателем, может оказаться слишком широким для ограниченного объема обучающей совокупности, и средний риск ошибки результата обучения по критерию минимума эмпирического риска может оказаться неприемлемо большим. Такое явление принято называть переобучением. Другим общепринятым соображением, направленным на уменьшение опасности переобучения, является использование априорной (регуляризующей) информации об «ожидаемом» решающем правиле восстановления зависимости. Другими словами, наблюдатель пытается сузить параметрический класс зависимостей, накладывая на параметр априорные регуляризирующие требования, в свою очередь контролируемые структурным параметром. Как правило, априорная информация выражена в виде некоторого функционала на классе решающих правил, подлежащего минимизации, причем обычно такой функционал содержит параметр, контролирующий отклонение решающего правила от некоторого подмножества наиболее «простых» правил, и называемый структурным параметром «сложности»



класса решающих правил. Это дополнительное соображение при построении метода обучения касательно выбора решающего правила называется в англоязычной литературе bias, поскольку управляет «смещением» выбираемого решающего правила от выбранного на основе минимизации эмпирического риска.

В современной теории обучения эти два соображения объединяются в единый критерий обучения, получая тем самым регуляризованный критерий минимизации эмпирического риска. Естественно, что результат обучения, т.е. решающее правило, получаемое в качестве решения задачи минимизации, зависит от структурного параметра, отвечающего за сложность зависимости между ненаблюдаемой и наблюдаемой компонентами объекта.

Очевидным показателем «качества» выбора структурных параметров и, следовательно, получаемого решающего правила, является средний риск ошибки оценивания скрытой характеристики нового случайного объекта, не входящего в обучающую совокупность. Однако, вычисление среднего риска принципиально невозможно, поскольку наблюдателю неизвестно совместное распределение вероятностей на множестве пар значений наблюдаемой и скрытой характеристик объектов в генеральной совокупности. В качестве общепринятого компромисса на практике обычно заменяют критерий минимума среднего риска ошибки при выборе структурного параметра на его суррогат, вычисленный путем кросс-валидации единственной обучающей совокупности, доступной наблюдателю. Метод кросс-валидации (CrossValidation)1 заключается в том, что обучающая совокупность многократно разбивается на две части, по одной из которых определяется решающее правило для каждого пробного значения структурного параметра, а по другой оценивается среднее значение ошибки.

Проблемная ситуация заключается в том, что методы кросс-валидации требуют многократного повторения обучения при разных разбиениях обучающей совокупности, что определяет их чрезвычайно высокую вычислительную сложность. В частности, наиболее популярными видами кросс-валидации являются блочная кроссвалидация, заключающаяся в разбиении обучающей совокупности на достаточно большое число частей и поочередном использовании каждой части в качестве контрольной при обучении по остальным частям (K-fold Cross-Validation), и скользящий контроль2, в котором поочередно выделяется один объект в качестве контрольного, а обучение проводится по оставшимся объектам (Leave-one-out Cross-Validation).

При этом число повторений обучения равно кратности разбиения обучающей совоP.A. Devijver, J. Kittler. Pattern Recognition: A Statistical Approach, Prentice-Hall, London, GB, 1982.

Бонгард М.М., Вайнцвайг М.Н. Об оценках ожидаемого качества признаков. Проблемы кибернетики, 1968, вып. 20, с. 151-157.

купности на блоки, а в методе скользящего контроля совпадает с числом объектов в обучающей совокупности.

Для разрешения этой проблемной ситуации в диссертации предлагается общий метод, основанный на некотором предположении наблюдателя о возможном параметрическом классе совместных распределений наблюдаемой и скрытой характеристик случайно появляющегося объекта, и назван в диссертации методом неявной кросс-валидации. Метод основан на мысленном эксперименте, заключающемся в получении двух независимых выборок, по первой из которых находится решающее правило как по обучающей совокупности, а на второй измеряется эмпирический риск ошибки восстановления скрытой характеристики объекта. В качестве критерия выбора значений структурных параметров предлагается использовать математическое ожидание эмпирического риска ошибки.

В диссертации доказано, что в случае квадратичной функции потерь, адекватной широкому классу задач восстановления регрессионных зависимостей, и квадратичного регуляризующего штрафа, налагаемого на вектор искомых коэффициентов регрессии, несмещенная оценка математического ожидания эмпирического риска ошибки выражается через элементы обучающей совокупности в виде простой формулы. Показано, что частным случаем такого критерия выбора структурных параметров при некоторых специальных предположениях о модели данных является известный информационный критерий Акаике3.

Чрезвычайная актуальность автоматического сокращения размерности представления объектов непосредственно в ходе обучения приводит к необходимости применения более сложной регуляризующей функции от вектора искомых коэффициентов регрессии, нежели квадратичная, а именно, квадратично-модульной функции (в англоязычной литературе соответствующий критерий обучения получил название Elastic Net4). Решающее правило наблюдателя, получаемое в результате обучения, характеризуется двумя структурыми параметрами, отвечающими за квадратичную и модульную регуляризацию, но для их выбора исходный метод неявной (беспереборной) кросс-валидации в чистом виде оказывается неприменимым в силу неквадратичности критерия обучения. Для того, чтобы избежать применения обычных переборных методов кросс-валидации, в диссертации используется тот факт, что с каждой парой значений числовых структурных параметров однозначно связано разбиение множества числовых признаков объектов на три непересекающихся подмножества, полученных с учетом знака и обнуления коэффициентов регрессии в точке минимума критерия. Именно такое разбиение, полученное согласно решению задачи обучения, предлагается использовать в качестве вторичного нечислового структурного параметра модели, подлежащего кросс-валидации. При фиксации такого структурного параметра критерий обучения, в исходном варианте не являющийся квадратичным, становится квадратичным по активным (ненулевым) коэффициентам регрессии, и к нему полностью применим разработанный ранее метод неявной (беспереборной) кросс-валидации.

Hirotugu Akaike. A new look at the statistical model identification. IEEE Transactions on Automatic Control, 1974, Vol. 19, pp. 716-723.

H. Zou, T. Hastie. Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, 67:301–320, 2005.

Объект исследования: задачи восстановления числовых зависимостей между скрытой и наблюдаемой характеристиками объектов реального мира по эмпирическим данным.

Предмет исследования: выбор структурных параметров решающих правил, восстанавливающих числовую зависимость между скрытой и наблюдаемой характеристиками объектов, с помощью беспереборных методов кросс-валидации для оценивания адекватности решения на генеральной совокупности по единственно доступной исследователю выборке.

Цели и задачи диссертации:

Показать, что идея информационного критерия Акаике для выбора структурного параметра основана на принципе неявной кросс-валидации.

Разработать беспереборный критерий кросс-валидации для квадратичной задачи оценивания линейной регрессии, в котором классический критерий Акаике являлся бы частным случаем.

Разработать беспереборный критерий кросс-валидации для неквадратичной задачи оценивания линейной регрессии с квадратично-модульной регуляризацией.

Общая методтка исследования: Исследование базируется на использовании классических понятий теории восстановления регрессионных зависимостей, теории вероятности, математической статистики, теории оптимизации.

Научная новизна. В работе предложены два варианта нового беспереборного метода кросс-валидации для оценивания обобщающей способности регрессионных моделей, отличающиеся областью применимости. Оба варианта являются альтернативами классическим способам оценивания обобщающей способности, основанным на принципе кросс-валидации.

Положения, выносимые на защиту.

Принцип неявной кросс-валидации для оценивания обобщающей способности линейно-квадратичных моделей числовых зависимостей.

Исследование природы классического информационного критерия Акаике как простейшего частного случая критерия неявной кросс-валидации.

Критерий неявной кросс-валидации для выбора степени волатильности модели нестационарной регрессии.

Критерий неявной кросс-валидации для выбора степени подавления нерелевантных регрессоров влинейно-квадратичной модели числовой регрессии.

Критерий неявной кросс-валидации для выбора уровня селективности формирования подмножества релевантных регрессоров в квадратично-модульной модели Elastic Net.

Достоверность полученных результатов подтверждается доказательствами сформулированных теорем и проверкой полученных результатов на модельных экспериментах и на реальных данных.

Практическая значимость результатов диссертации заключается в том, что предложенные беспереборные методы кросс-валидации для оценивания обобщающей способности регрессионных моделей являются (в силу беспереборности) вычислительно эффективными в сравнении с классическими (переборными) методами кросс-валидации, основанными на многократном повторении процедуры обучения и контроля качества решающего правила, полученного на этапе обучения, на различных разбиениях исходной выборки.

Связь с плановыми научными исследованиями. Работа выполнена при поддержке грантов Российского фонда фундаментальных исследований №№ 11-07a, 11-07-00634-a, 12-07-13142-офи-м и при поддержке Лаборатории структурных методов анализа данных в предсказательном моделировании.

Апробация работы. Основные положения и результаты диссертации докладывались на конференциях «Интеллектуализация обработки информации ИОИ Республика Кипр, г. Пафос, 2010 г.), «Интеллектуализация обработки информации ИОИ - 2012» (Черногория, г. Будва, 2012 г.), «Математические методы распознавания образов ММРО - 2009» (г. Суздаль, 2009 г.), «Математические методы распознавания образов ММРО - 2013» (г. Казань, 2013 г.).

Публикации. По тематике работы опубликовано 8 статей, в том числе 2 статьи в журналах, рекомендованных ВАК.

Структура и объем работы. Диссертация состоит из введения, 4 глав основного содержания, заключения и библиографии. Работа содержит 87 страниц основного текста.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность исследований по разработке методов эффективного оценивания обобщающей способности регрессионных моделей данных, указывается степень разработанности исследуемой проблемы, приведены цели и задачи проводимых исследований, указывается на научную новизну полученных результатов и их теоретическую и практическую значимость, приведены положения, выносимые на защиту, а также сведения о структуре диссертации, степени достоверности результатов исследований и их апробации.

В первой главе рассматривается общая постановка типичной задачи оценивания числовой зависимости между двумя характеристиками объектов реальной природы.

А именно, пусть имеется некоторое множество объектов реального мира, привлекающее внимание наблюдателя. Пусть с каждым объектом связаны значения двух его характеристик x(): X и y (): Y, первая из которых доступна для непосредственного наблюдения, а наблюдение второй невозможно либо, по крайней мере, затруднено. Цель исследователя – анализируя конечную обучающую совокупность объектов, в пределах которой обе характеристики известны сформировать для нового объекта, не представленного в обучении, оценку его скрытой характеристики по наблюдаемой y ( x): X Y. Такая задача называется задачей обучения по прецедентам.

Предположим, что природа случайным образом многократно и независимо выбирает один объект из множества, генерируя, тем самым, пару значений согласно неизвестной наблюдателю «истинной» совместной плотности распределения f ( x, y ) 0: X Y R, f ( x, y )dydx = 1.

Штаф за неверное оценивание скрытой характеристики объекта измеряется действительным числом Loss R, являющимся известной функцией от фактического и оцененного значений ненаблюдаемой характеристики объекта Loss ( y, y ):

Y Y R. Такую функцию принято называть функцией потерь. Предполагается, что наблюдатель формирует свое решающее правило в пределах выбранного им некоторого параметрического класса зависимостей так что выбор оценки ненаблюдаемой компоненты полностью определяется выбором параметра a, а функция потерь Loss ( y, y ( x, a) ) есть функция от трех переменных q ( y, x, a) Loss ( y, y ( x, a) ).

Вообще говоря, естественно желание наблюдателя выбирать вектор параметров решающего правила из условия минимума средних потерь при оценивании скрытой характеристики (среднего риска ошибки решающего правила):

Понятно, однако, что такой выбор принципиально невозможен, поскольку неизвестно «истинное» распределение f ( x, y ).

Взамен минимизации среднего риска (5) наблюдатель, в качестве естественного компромисса, может организовать обучение, то есть выбор параметра решающего правила оценивания скрытой характеристики объекта a R n, на основе минимизации эмпирического риска ошибки, построенного по обучающей совокупности:

Если предполагаемый параметрический класс решающих правил y ( x, a): X Y, a n, достаточно широк, то наблюдатель сможет достаточно хорошо аппроксимировать числовую зависимость между характеристиками объектов и обучающей совокупности. Однако, в силу конечности множества прецедентов выбранная модель зависимостей может быть неадекватной на генеральной совокупности. Во избежание этой проблемы, наблюдатель пытается сузить параметрический класс зависимостей, накладывая на параметр a априорные регуляризирующие требования, формулируемые в терминах минимизации некоторого функционала где – некоторый структурный скалярный или векторный параметр, контролирующий нежелательность отклонения параметра a R n, т.е. решающего правила y ( x, a), от некоторого подмножества наиболее «простых» правил A R n.

Итоговое компромиссное решение для выбора вектора параметров a решающего правила осуществляется с помощью критерия минимизации регуляризованного эмпирического риска Ясно, что результат обучения (9) зависит от параметра. Выбор адекватного значения структурного параметра, отвечающего за степень регуляризации параметрического класса зависимостей y ( x, a): X Y с помощью минимизации функционала V (a, ) min(a), является одной из ключевых задач машинного обучения.

Действительно, если рассмотреть «наименее регуляризующее» априорное требование V (a, ) const, a R n, то процедуры машинного обучения, как правило, стремятся подобрать параметрическую зависимость y ( x, a), которая «слишком хорошо» связывает наблюдаемую и скрытую характеристики для объектов из обучающей совокупности, но оказывается неадекватной для произвольных объектов генеральной совокупности. В литературе такое явление получило термин «переобучения» (overfitting). Напротив, выбор «сильного регуляризующего» априорного требования V (a, ) 0, a A R n, приводит к проблеме «недообучения» (underfitting), когда регрессионная модель слишком проста и не способна хорошо описать эмпирические данные.

В теории машинного обучения есть ряд классических методов выбора структурного параметра модели на основе единственной обучающей совокупности.

В теории В.Н. Вапника и А.Я. Червоненкиса5 сформулирован принцип минимизации структурного риска в задачах обучения распознаванию образов y {1, 1} по обучающей совокупности размера N понимаемого как сумма минимального эмпирического риска, достижимого в выбранном классе решающих правил Q ( x, y, a (x, y ) ), определяемом в наших терминах выбором структурного параметра, и верхней границы превышения среднего риска для этого класса на генеральной совокупности над эмпирическим риском (, N ) 6. Зависимость этой верхней границы от класса решающих правил получена лишь для простейшей функции потерь, адекватной только задачам распознавания образов, под структурным параметром понимается эффективная размерности множества решающих правил, получившая в литературе название VC-размерности (Vapnik-Chervonenkis Dimension). К тому же, верхняя граница (, N ) определена из общих неравенств теории вероятностей на основе созданной авторами теории равномерной близости эмпирических средних к математическим ожиданиям5, и является чрезвычайно завышенной. В исходном виде этот принцип неприменим к задачам восстановления числовых зависимостей.

Однако сама идея минимизации суммы эмпирического риска и некоторого штрафа за сложность класса моделей была сформулирована японским математиком Хиротугу Акаике3 (с. 10). Применительно к задаче восстановления зависимости y ( x ) предположим, что наблюдатель рассматривает вероятностную связь между скрытой и наблюдаемой переменными в виде параметрического семейства плотностей распределений ( y | x, a). Пусть размерность вектора a R n слишком велика для объема N доступной обучающей совокупности (1), так что оценка максимального правдоподобия a(x, y ) = arg max ln (y | x, a) = arg max j =1 ln ( y j | x j, a) недостаточно наN дежна.

Простота ситуации, рассматриваемой Акаике, заключается в том, что компоненты вектора параметров a = (a1,..., a n ) предполагаются априори упорядоченными по Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. М.: Наука, 1974.

Вапник В. Н. Принцип структурной минимизации в задачах восстановления зависимостей по эмпирическим данным. Диссертация д.ф.-м.н. Институт проблем управления АН СССР, 1984.

«важности», и структурный параметр понимается как целое число 0 n, ограничивающее количество компонент, отличных от нуля При дополнительном предположении, что логарифмическая функция правдоподобия ln (y | x, a) допускает квадратичную аппроксимацию, Хиротугу Акаике доказал, что решение основанное на штрафе, равном просто числу активных параметров, в некотором усредненном смысле максимизирует количество информации Кульбака о неизвестном распределении природы, доступном лишь в виде конечной выборки (x, y ), содержащееся в оценке параметра по самой этой выборке.

Формулу (11) Акаике получил в предположении, что гессиан aa ln (y | x, a) является матрицей полного ранга в точке максимума правдоподобия, и, как следствие, оценка a (x, y ) единственна. Чтобы учесть более общий случай, штраф должен быть заменен рангом этой матрицы:

Очевидно, что предположение об априорной упорядоченности компонент вектора коэффициентов регрессии неадекватно большинству практических задач.

В качестве универсального метода борьбы с «проклятием единственной выборки» в ходе оценки обобщающей способности класса моделей широкую популярность получили метод кросс-валидации1 и его наиболее часто используемый вариант, известный как скользящий контроль2 (с. 4), свободные от каких бы то ни было предположений о неизвестном распределении, породившем анализируемую выборку. Эти методы, в свою очередь, можно рассматривать как частные случаи методов, известных под общим названием Resampling7. В основе этих методов лежит идея многократного дробления исходной выборки на две части, одна их которых используется для обучения, т.е. для оценивания параметров модели искомой зависимости, а другая – для оценивания качества обучения. Неизбежной платой за универсальность метода кросс-валидации является его высокая вычислительная сложность.

Первая глава завершается постановкой задачи диссертационного исследования, сформулированной как разработка принципа выбора структурного параметра модели числовой зависимости по единственной обучающей совокупности, доступной наблюдателю, который сочетал бы, с одной стороны, универсальность общей идеи кросс-валидации и, с другой стороны, сохранял бы беспереборный характер, являющийся вычислительным достоинством информационного криетрия Акаике.

Во второй главе изложена основная математическая идея диссертации, названная принципом неявной кросс-валидации.

Представим неизвестную наблюдателю совместную плотность распределения случайной выборки (x, y ) (обучающей совокупности) (1) B. Efron. The jackknife, the bootstrap, and other resampling plans. Society of Industrial and Applied Mathematics CBMS-NSF Monographs, 38, 1982.

как произведение маргинальной плотности распределения наблюдаемой характеристики и условной плотности распределения ненаблюдаемой характеристики:

Дальнейшие построения основаны на предположении о структуре неизвестного условного распределения (y | x), названном в диссертации первой эвристикой наблюдателя.

Первая эвристика наблюдателя о незлонамеренности природы. Наблюдатель предполагает, что это распределение является неизвестной смесью (a) известных распределений (y | x, a) причем природа чаще генерирует пары с низким значением штрафа Иными словами, первая эвристика наблюдателя заключается в предположении, что он правильно «угадал» функцию потерь (6) и, следовательно, класс решающих правил (9).

Дополнительный коэффициент d в (15) выражает предполагаемую степень обоснованности такого предположения – чем больше d, тем сильнее уверенность наблюдателя. Заметим, что при этом наблюдатель по-прежнему не делает никаких предположений о характере распределения скрытого параметра решающего правила (a) в (14).

Предлагаемый в диссертации принцип неявной кросс-валидации основан на следующем мысленном эксперименте наблюдателя. Пусть природа разыграла конкретное значение параметра согласно (a), а также выборку наблюдаемых характеристик объектов согласно G (x) (13). Затем, дважды применив условное распределение разующие две воображаемые совокупности которые наблюдатель мысленно рассматривает как контрольную (x, y ) и обучающую (x, y ). Если бы наблюдатель знал реализации y и y, то мог бы для всякого значения вычислить оценку по обучающей совокупности a (y, x) и подставить в функцию потерь для контрольной совокупности, вычислив потери на мысленном контроле Q ( y, x, a (y, x) ). Идея скрытой кросс-валидации заключается в минимизации математического ожидания потерь:

Согласно первой эвристике наблюдателя (1 2 )Q(x, y, a) = ln (y | x, a) + const (15), поэтому идея скрытой кросс-валидации ln ( y | x, a (, x)) (y | x, a)dy max (16) есть максимизация информации Кульбака о распределении (y | x, a), содержащейся в его оценке по другой выборке ( y | x, a (y, x) ). В силу этого обстоятельства критерии неявной кросс-валидации уместно называть информационными и рассматривать их как обобщение классической идеи Хиротугу Акаике.

В реальности у наблюдателя имеется единственная обучающая выборка (x, y ), и он может подставить в функцию потерь лишь оценку, вычисленную по той же выборке Q ( y, x, a (y, x) ). Насколько испортится критерий, подлежащий максимизации, по сравнению с идеей (16)? Каким должен быть штраф за использование оценки параметра, вычисленного по той же выборке?

Теорема 1. Критерий максимизации по значению структурного параметра (16) допускает эквивалентную запись:

функционал от функции потерь Q (i,x,a ) и критерия обучения a (i,x ) Основная идея принципа неявной кросс-валидации базируется на том факте, что, как показано далее во второй главе, для многих типичных функций потерь Q (y, x, a) и критериев обучения a (y, x), адекватных широкому классу практических задач, функционал во втором слагаемом в (17), играющий роль штрафа за использование оценки параметра, вычисленного по той же выборке, не зависит от a :

Для этого класса задач обучения критерий неявной кросс-валидации (17), установленный Теоремой 1 принимает следующий простой вид:

Однако и в таком виде критерий по-прежнему неприменим, так как распределение генеральной совокупности F (x, y ) в (19) неизвестно.

Вторая эвристика наблюдателя заключается в замене математического ожидания его несмещенной оценкой по единственной доступной наблюдателю выборке Далее во второй главе рассмотрен важнейший частный случай линейноквадратичной модели данных, адекватной многим практическим задачам восстановления числовых зависимостей, и доказано, что этот частный случай удовлетворяет основному предположению о независимости штрафа за использование оценки параметра решающего правила, вычисленного по той же выборке, от самого значения параметра (18). Класс линейно-квадратичных моделей определяется следующими предположениями.

Во-первых, предполагается, что наблюдатель выбрал линейный класс решающих правил оценивания скрытой характеристики объектов (3) Это предположение позволяет предварительно центрировать и нормировать обучающую совокупность размера N (1) Во-вторых, предполагается, что наблюдатель выбрал квадратичную функцию потерь (6) Наконец, в-третьих, предполагается квадратичная регуляризация (8) полностью определяемая неотрицательно определенной квадратной матрицей B (n n), произвольным образом зависящей от выбора структурного параметра, скалярного или векторного.

При таких предположениях задача обучения по предъявленной обучающей совокупности (9) становится квадратичной и численно сводится, вообще говоря, к решению системы n линейных уравнений.

Теорема 2. В методе неявной кросс-валидации для линейно-квадратичной модели (21)-(24) штраф за подстановку в функцию потерь оценки параметра, вычисленной по той же выборке (18), не зависит от исходного значения параметра a R n и определяется выражением В модели с квадратичной функцией потерь первая эвристика наблюдателя включает в себя предположение об условно-нормальном распределении наблюдаемых характеристик объектов (15), поэтому уместно использовать обозначение d = 1 2 2, прямо указывающее на дисперсию этого распределения Таким образом, критерий неявной кросс-валидации (20) для общей линейноквадратичной модели принимает вид:

В частности, предположение об априорной упорядоченности коэффициентов регрессии (10) при отсутствии априорных предположений об их значениях, лежащее в основе классического информационного критерия Акаике, выражается специальным видом матрицы квадратичной регуляризации (24):

Введем также обозначение x j = ( x1 j xj ) T R для первых компонент векторов наблюдаемых характеристик объектов обучающей совокупности в дополнение к (22) и X = ( x1 xN ) для матрицы ( N ), составленной из них как из столбцов, соответственно, X XT – матрица ( ).

Теорема 3. Величина штрафа (26) неявной кросс-валидации с квадратичной регуляризацией (29) определяется выражением (, X) = Rank ( X X T ). Если X XT есть матрица полного ранга, то (, X) =.

Эти утверждения эквивалентно классическому критерию Акаике (11)-(12).

Во второй главе рассмотрен также способ оценивания дисперсии наблюдений 2, входящей как свободный параметр в (27) и (28). Для его оценивания вместе с параметром решающего правила a предлагается дополнить мысленный эксперимент наблюдателя предположением, что природа применила условное распределение (y | x, a, ) (27) не дважды, а трижды, и получила три независимые реализации:

y =( y1,..., y N )R N, y =( 1,..., N )R N, y =( 1,..., N )R N, образовав, таким образом три независимые обучающие совокупности (X, y ), (X, y ) и (X, y ), рассматриваемые соответственно как контрольная ( X, y ), обучающая для a (y, x) и обучающая для 2 ( X, y ) = (1 N ) y XT a ( X, y ) y XT a ( X, y ). Однако в реальности у наблюдателя имеется едиственная выборка (X, y ).

Теорема 4. Критерий неявной кросс-валидации для неизвестной дисперсии наблюдений:

В третьей главе рассмотрены особенности применения метода неявной кроссвалидации для трех частных видов квадратичной модели линейной регрессии.

Нестационарная регрессия с неизвестной степенью нестационарности отличается тем, что вместо обучающей совокупности независимых данных анализу подлежит пара процессов на оси дискретного времени Требуется найти линейную зависимость скалярной компоненты процесса yt от векторной компоненты, предполагая, что искомый вектор коэффициентов регрессии сам изменяется во времени:

Заметим, что совокупность искомых коэффициентов регрессии многократно превышает число наблюдений, поэтому бессмысленно пытаться минимизировать квадратичную функцию потерь В качестве квадратичного условия регуляризации выступает предположение о медленном изменении модели регрессии во времени где последовательность заданных квадратных матриц V2,..., VN выражает понимание «медленного изменения» в смысле конкретного процесса реального мира, подлежащего изучению, но это условие также не имеет смысла как отдельная задача оптимизации.

Регуляризованный критерий оценивания модели нестационарной регрессии естественно построить как баланс между этими взаимно противоречивыми условиями где структурный параметр определяет степень изменчивости во времени последовательности оценок векторных коэффициентов регрессии – чем больше, тем более волатильна получаемая последовательность.

Несмотря на большое число переменных, задача (31) легко численно решается за время, пропорциональное длине временного ряда N, с помощью фильтраинтерполятора Калмана-Бьюси, реализующего принцип квадратичного динамического программирования8.

Задача (31) является частным случаем общей линейно-квадратичной задачи (25) с матрицей регуляризации специального вида Теорема 5. С учетом обозначения (32) критерии неявной кросс-валидации, соответственно, для задачи оценивания нестационарной регрессии с заданной и оцениваемой дисперсией наблюдений имеют вид, аналогичный (28) и (30).

Однако зависимость штрафного члена от структурного параметра волатильности оценок требует специального исследования.

Теорема 6. Эффективная размерность lim (, X) = Штрафной член (, X) играет здесь роль эффективной размерности задачи.

При малых значениях модель становится стационарной, и вся последовательность оценок определяется первым вектором коэффициентов регрессии a1 R n, поэтому M. Markov, O. Krasotkina, V. Mottl, I. Muchnik. Time-varying regression model with unknown timevolatility for nonstationary signal analysis. Proceedings of the 8th IASTED International Conference on Signal and Image Processing. Honolulu, Hawaii, USA, August 14-16, 2006, paper 534-196.

эффективная размерность совпадает с числом регрессоров n. При очень больших значениях нет никакой априорной информации об nN значениях (a1 a N ), но по N наблюдениям все равно можно оценить не более N параметров, поэтому эффективная размерность не превышает длины временного ряда.

С вычислительной точки зрения преимущества неявной кросс-валидации перед прямым скользящим контролем очевидны – для каждого пробного значения параметра временной ряд обрабатывается один раз вместо N раз. Однако сравнить получаемые результаты можно лишь экспериментально.

Модельные эксперименты дают возможность придать абсолютный смысл понятию «подходящего» значения параметра нестационарности в модели нестационарной регрессии. Качество конкретной процедуры анализа временного ряда естественно оценивать по относительному отклонению восстановленной последовательности коэффициентов регрессии от истинной последовательности, в точности известной в модельных данных. Серия модельных экспериментов показала практически одинаковый разброс оценок последовательностей коэффициентов регрессии, полученных при подборе волатильности модели по методу неявной кроссвалидации и по скользящему контролю.

Обработка реальных данных дала тот же результат. Мы применили динамическую регрессионную модель скрытого долевого состава инвестиционного портфеля к опубликованным временным рядам периодических доходностей инвестиционной компании Laudus Rosenberg Value Long/Short Fund y1,..., y N в течении N = 60 месяцев в интервале с января 2001 года по декабрь 2005 года вместе с известными по биржевым сводкам временными рядами индексов доходностей 10 основных секторов экономики x1,..., x N, x t R 10. Долевой состав портфеля относительно этих индексов a1,..., a N, a t R10, оценивался как последовательность коэффициентов нестационарной регрессии. В такой модели параметр нестационарности имеет смысл неизвестной волатильности состава портфеля во времени.

неявная кросс-вадидация скользящий контроль Вернемся к рассмотрению обычных задач оценивания регрессионных моделей, связанных с анализом обучающих совокупностей, рассматриваемых как результат многократных независимых экспериментов (21)-(22). Для практики типична ситуация, когда число пробных регрессоров n, доступных наблюдателю, превосходит число наблюдений N, и актуальна задача сокращения числа активных регрессоров и, соответственно, коэффициентов регрессии. Мы рассмотрим применение метода неявной кроссвалидации для выбора наиболее подходящего уровня сложности модели для двух споM. Markov, I. Muchnik, V. Mottl, O. Krasotkina. Dynamic analysis of hedge funds. Proceedings of the 8th IASTED International Conference on Financial Engineering and Applications. MIT, Cambridge, Massachusetts, USA, October 9-11, 2006, paper 546-028.

собов отбора регрессоров, один из которых подавляет «лишние» регрессоры «мягким »

путем, снижая степень их участия в модели, в то время как второй способ полностью удаляет неинформативные регрессоры из модели.

«Мягкое» подавление нерелевантных регрессоров. Соответствующий способ предложил аспирант Тульского государственного университета Нгуен Чонг Тинь10.

В качестве основы он использовал диагональную квадратичную регуляризацию с векторным структурным параметром = ( 1,..., n ), отличающуюся от обычной ридж-регрессии только тем, что коэффициенты, штрафующие отклонение коэффициентов регрессии от нуля, приняты разными для разных регрессоров aT B a = i =1 (1 i )ai2. Если i 0, то ai (y, X) 0, и i -й регрессор существенно поn давляется. Для автоматического индивидуального выбора коэффициента 1 i для каждого регрессора, в диссертации10 предложено использовать модифицированный критерий обучения содержащий дополнительное второе слагаемое в регуляризующем члене, и предложен алгоритм численного решения расширенной задачи оптимизации. Коэффициент µ > 0 в дополнительном слагаемом играет роль вспомогательного структурного параметра селективности отбора регрессоров – чем больше µ, тем большее число штрафных коэффициентов 1 i становятся очень большими, заставляя соответствующие коэффициенты регрессии приближаться к нулю в точке минимума критерия ai 0, подавляя соответствующие регрессоры и уменьшая тем самым эффективную размерность модели.

Для последовательности пробных значений селективности µ(1)<... 0 принимают достаточно малым, только чтобы преодолеть возможную вырожденность матрицы (26), если исходное число регрессоров превышает объем обучающей совокупности n > N (22). В качестве рабочего структурного параметра выступает коэффициент селективности µ 0. Чем больше µ, тем большее число коэффициентов регрессии оказываются в точности равными нулю ai,µ = 0 в точке минимума выпуклого критерия обучения (36).

В диссертации аспиранта МФТИ Николая Разина12 доказано, что для всякого значения селективности µ полностью определено разбиение (Partitioning) динение первых двух подмножеств I µ = I I I есть множество активных регрессоров в точке минимума критерия обучения (36), в то время как остальные регрессоры I µ I полностью удалены из модели.

Алгоритм Разина дает последовательность пробных значений селективности



Похожие работы:

«Филатова Александра Владимировна ФИЛОСОФСКИЙ АНАЛИЗ СОЦИАЛЬНЫХ КОДОВ СОВРЕМЕННОГО БИЗНЕС-ОБРАЗОВАНИЯ Специальность 09.00.11 – Социальная философия Автореферат диссертации на соискание ученой степени кандидата философских наук Москва – 2011 Работа выполнена на кафедре философии Федерального государственного образовательного бюджетного учреждения высшего профессионального образования Финансовый университет при Правительстве Российской Федерации и прошла апробацию на кафедре...»

«Сыпин Евгений Викторович ОПТИКО-ЭЛЕКТРОННЫЙ ПРИБОР ОБНАРУЖЕНИЯ НАЧАЛЬНОЙ СТАДИИ РАЗВИТИЯ ВЗРЫВА В ГАЗОДИСПЕРСНЫХ СИСТЕМАХ 05.11.13 – Приборы и методы контроля природной среды, веществ, материалов и изделий Автореферат диссертации на соискание ученой степени кандидата технических наук Бийск-2007 Работа выполнена на кафедре методов и средств измерений и автоматизации Бийского технологического института (филиала) Государственного образовательного учреждения высшего...»

«Пакерман Галина Александровна Унификация правового регулирования иностранных инвестиций в странах Содружества Независимых Государств Специальность № 12.00.03 – гражданское право; предпринимательское право; семейное право; международное частное право Автореферат диссертации на соискание ученой степени кандидата юридических наук Москва – 2008 Работа выполнена в отделе международного частного права Федерального государственного научно-исследовательского учреждения Институт...»

«УДК 39 (575.1) (09) 641.55 (575.1) (09) ФАЙЗУЛЛАЕВА МАВЛЮДА ХАМЗАЕВНА НАЦИОНАЛЬНАЯ ПИЩА В ТРАДИЦИЯХ И ОБРЯДАХ НАСЕЛЕНИЯ СУРХАНСКОГО ОАЗИСА (ПЕРВАЯ ПОЛОВИНА XX ВЕКА) 07.00.07 – Этнография, этнология и антропология АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата исторических наук Ташкент – 2010 Работа выполнена на кафедре Всемирная история Термезского государственного университета доктор исторических наук,...»

«Чернова Алена Алексеевна ПРОСТРАНСТВЕННАЯ ГАЗОДИНАМИКА И ТЕПЛООБМЕН В ПРЕДСОПЛОВОМ ОБЪЕМЕ РАКЕТНЫХ ДВИГАТЕЛЕЙ ТВЕРДОГО ТОПЛИВА Специальность 01.02.05 – Механика жидкости, газа и плазмы Автореферат диссертации на соискание ученой степени кандидата технических наук Ижевск – 2011 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Ижевский государственный технический университет Научный руководитель : доктор...»

«Гитинова Мадина Махмудовна КРИМИНОЛОГИЧЕСКАЯ ХАРАКТЕРИСТИКА СОВЕРШАЕМЫХ ЖЕНЩИНАМИ ПРЕСТУПЛЕНИЙ ПРОТИВ ЖИЗНИ И ЗДОРОВЬЯ (по материалам Республики Дагестан) Специальность: 12.00.08 - уголовное право и криминология; уголовно-исполнительное право Автореферат диссертации на соискание ученой степени кандидата юридических наук Москва - 2009 Работа выполнена на кафедре уголовного права и криминологии Дагестанского государственного университета Научный руководитель доктор юридических...»

«КАЛУГИНА ЮЛИЯ НИКОЛАЕВНА РАЗВИТИЕ ХУДОЖЕСТВЕННО — ТВОРЧЕСКОЙ АКТИВНОСТИ СТУДЕНТОВ ПЕДАГОГИЧЕСКИХ КОЛЛЕДЖЕЙ НА ЗАНЯТИЯХ ПО ХУДОЖЕСТВЕННОЙ ОБРАБОТКЕ МАТЕРИАЛОВ Специальность 13. 00. 02 -теория и методика обучения изобразительному искусству АВТОРЕФЕРАТ Диссертации на соискание ученой степени кандидата педагогических наук Москва Работа выполнена в Московском государственном открытом педагогическом университете на...»

«ЗЕЛЕНИНА Анастасия Александровна УДК 101.1:316.37(043.3) ОНТОЛОГИЯ СУБЪЕКТИВНОСТИ В ПОЛЕ СОЦИАЛЬНЫХ ИДЕНТИФИКАЦИЙ 09.00.11. – социальная философия Автореферат диссертации на соискание ученой степени кандидата философских наук Ижевск - 2006 2 Диссертационная работа выполнена в Государственном образовательном учреждении высшего профессионального образования Удмуртский государственный университет Научный руководитель : доктор философских наук, профессор Ольга Николаевна...»

«Соколова Ирина Васильевна ВЛИЯНИЕ РЕЖИМОВ ДОЛИВА МОТОРНОГО МАСЛА В СИСТЕМУ СМАЗКИ НА ЭФФЕКТИВНОСТЬ ЭКСПЛУАТАЦИИ СУДОВЫХ ДИЗЕЛЕЙ 05.08.05 – Судовые энергетические установки и их элементы (главные и вспомогательные) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Владивосток – 2009 Работа выполнена в Морском государственном университете имени адмирала Г. И. Невельского. Научный руководитель – кандидат технических наук, доцент Надежкин Андрей...»

«ТИМОФЕЕВ ВЛАДИМИР АЛЕКСЕЕВИЧ РАЗРАБОТКА РЕЦЕПТУРНОГО СОСТАВА И СОВЕРШЕНСТВОВАНИЕ ТЕХНОЛОГИЙ, ОБЕСПЕЧИВАЮЩИХ СОЗДАНИЕ ИННОВАЦИОННОГО КОСМЕТИЧЕСКОГО ПРОДУКТА ANTI-AGE НАПРАВЛЕННОСТИ Специальность 05.18.06 – Технология жиров, эфирных масел и парфюмернокосметических продуктов АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Москва – 2013 1 Работа выполнена в Федеральном Государственном бюджетном образовательном учреждении высшего профессионального...»

«Кряжевских Ирина Сергеевна Разработка метода выделения и изучение характеристик антитромбина III как основы антитромботического лекарственного препарата Специальность 03.01.06 Биотехнология (в том числе бионанотехнология) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата химических наук Москва 2012 Работа выполнена на кафедре биотехнологии и бионанотехнологии Московского государственного университета тонких химических технологий им. М.В. Ломоносова Научный...»

«Мосина Наталия Анатольевна Особенности развития самосознания часто болеющих младших школьников Специальность: 19.00.13 – психология развития, акмеология 19.00.04 – медицинская психология Автореферат диссертации на соискание ученой степени кандидата психологических наук Казань 2006 Работа выполнена на кафедре психологии детства Красноярского государственного педагогического университета им. В.П. Астафьева. Научные руководители: доктор медицинских наук, профессор Ковалевский...»

«ДАНИЛЬКЕВИЧ Артём Владимирович МЕТОДИКА ОБУЧЕНИЯ МУЛЬТИМЕДИЙНЫМ ТЕХНОЛОГИЯМ БУДУЩИХ СПЕЦИАЛИСТОВ ЭСТЕТИКО-ГУМАНИТАРНОГО НАПРАВЛЕНИЯ В СРЕДНЕМ ПРОФЕССИОНАЛЬНОМ ОБРАЗОВАНИИ 13.00.02 – теория и методика обучения и воспитания (информатика) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата педагогических наук Волгоград — 2013 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Волгоградский...»

«Непомнящий Анатолий Васильевич ОРГАНИЗАЦИОННАЯ КУЛЬТУРА КАК ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ ОРГАНИЗАЦИИ Специальность 08.00.05 – Экономика и управление народным хозяйством (менеджмент) АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук Новосибирск – 2011 Работа выполнена на кафедре менеджмента Сибирского университета потребительской кооперации Научный руководитель доктор экономических наук, профессор, заведующий кафедрой менеджмента...»

«ЛАЗАРЕВ АЛЕКСАНДР ВЛАДИМИРОВИЧ КОГНИТИВНО-ФРЕЙМОВЫЕ ОСОБЕННОСТИ ГЛАГОЛЬНЫХ И СУБСТАНТИВНЫХ СРЕДСТВ ВЫРАЖЕНИЯ ПОНИМАНИЯ (на материале английского и русского языков) Специальность 10.02.20 – сравнительно-историческое, типологическое и сопоставительное языкознание АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата филологических наук Пятигорск – 2009 Работа выполнена на кафедре западноевропейских языков и культур ГОУ ВПО Пятигорский государственный лингвистический...»

«ГУСЕВ АНДРЕЙ ЛЕОНИДОВИЧ ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, МЕТОДЫ И АЛГОРИТМЫ ПРИНЯТИЯ РЕШЕНИЙ ПРИ КАСКАДНОМ УПРАВЛЕНИИ РИСКАМИ ОДНОЙ ИЗ НЕСКОЛЬКИХ ОДНОВРЕМЕННО УПРАВЛЯЮЩИХ ОРГАНИЗАЦИЙ Специальность 05.13.01– Системный анализ, управление и обработка информации (технические и медицинские системы) АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук Курск – 2013 Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего...»

«Аникандров Алексей Александрович РАЗВИТИЕ ДИСТРИБЬЮТОРСКИХ СЕТЕЙ РЕАЛИЗАЦИИ ПРОДУКЦИИ ПРИ РЕОРГАНИЗАЦИИ КОМПАНИЙ В ХОЛДИНГОВЫЕ СТРУКТУРЫ 08.00.05 Экономика и управление народным хозяйством: 3. Маркетинг АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата экономических наук Волгоград – 2007 Работа выполнена в Волгоградском государственном техническом университете Научный руководитель доктор экономических наук доцент Попкова Елена Геннадьевна. Официальные оппоненты :...»

«КРУТИКОВА Алла Александровна СПЕКТРАЛЬНЫЙ АНАЛИЗ КОМПОЗИТНЫХ МАТЕРИАЛОВ НА ОСНОВЕ НАНОКРИСТАЛЛИЧЕСКОГО КРЕМНИЯ Специальность: 02.00.02 – Аналитическая химия АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата химических наук Москва–2007 Работа выполнена на кафедре аналитической химии Московской Государственной академии тонкой химической технологии им. М.В. Ломоносова Научный руководитель : доктор химических наук, профессор Ищенко Анатолий Александрович Официальные...»

«ЗАЙЦЕВА Юлия Алексеевна САМОКОНТРОЛЬ АРБИТРАЖНОГО СУДА ПЕРВОЙ ИНСТАНЦИИ 12.00.15 – гражданский процесс, арбитражный процесс АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата юридических наук Саратов – 2011 Работа выполнена в Государственном образовательном учреждении высшего профессионального образования Саратовская государственная академия права Научный руководитель : – кандидат юридических наук, доцент Савельева Татьяна Алексеевна Официальные оппоненты : –...»

«АМЕЛИНА Анна Николаевна МОРФОМЕТРИЧЕСКАЯ ХАРАКТЕРИСТИКА ТКАНЕЙ ТУШЕК И ХИМИЧЕСКИЙ СОСТАВ МЫШЦ КУРОЧЕК ПОРОД КОРНИШ И ПЛИМУТРОК В ПОСТЭМБРИОНАЛЬНОМ ОНТОГЕНЕЗЕ Специальность: 06.02.01 – диагностика болезней и терапия животных, патология, онкология и морфология животных АВТОРЕФЕРАТ на соискание ученой степени кандидата ветеринарных наук Москва – 2013 1 Работа выполнена на кафедре морфологии животных и ветеринарносанитарной экспертизы аграрного факультета Российского университета...»








 
2014 www.av.disus.ru - «Бесплатная электронная библиотека - Авторефераты, Диссертации, Монографии, Программы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.