WWW.DISS.SELUK.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА
(Авторефераты, диссертации, методички, учебные программы, монографии)

 

Институт химической физики им Н.Н. Семенова Российской Академии Наук

На правах рукописи

Померанцев Алексей Леонидович

Методы нелинейного регрессионного

анализа для моделирования кинетики

химических и физических процессов

01.04.17 – Химическая физика, в том числе физика горения и взрыва

Диссертация

на соискание ученой степени доктора физико-математических наук

Москва 2003 Оглавление Оглавление ОГЛАВЛЕНИЕ 2 ВВЕДЕНИЕ 5

НЕКОТОРЫЕ ТЕОРЕТИЧЕСКИЕ ВОПРОСЫ НЕЛИНЕЙНОГО РЕГРЕССИОННОГО АНАЛИЗА

1. Основы регрессионного анализа 1.1. Модель и данные 1.2. Метод максимума правдоподобия 1.3. Точность оценивания 1.4. Проверка гипотез 1.5. Результаты главы 1 2. Последовательное байесовское оценивание 2.1. Метод максимума правдоподобия с учетом априорной информации 2.2. Апостериорная информация 2.3. Общие и частные параметры 2.4. Обратное последовательное байесовское оценивание 2.5. Пример применения ПБО 2.6. Практическое использование метода ПБО 2.7. Результаты главы 2 3. Учет нелинейности регрессии 3.1. Традиционные методы построения доверительных интервалов 3.2. Новые методы построения доверительных интервалов 3.3. Модельный пример построения интервалов 3.4. Коэффициент нелинейности 3.5. Результаты главы 3

ВЫЧИСЛИТЕЛЬНЫЕ АСПЕКТЫ НЕЛИНЕЙНОГО РЕГРЕССИОННОГО АНАЛИЗА

4. Алгоритмы 4.1. Минимизация целевой функции 4.2. Вычисление модели и ее производных 4.3. Тестирование программ Оглавление 4.4. Мультиколлинеарность 4.5. Результаты главы 4 5. Описание программы Fitter 5.1. Основные свойства, возможности, требования и ограничения 5.2. Данные 5.3. Модель 5.4. Параметры 5.5. Априорная информация 5.6. Главный Диалог Fitter 5.7. Регистратор настроек 5.8. Регистратор данных 5.9. Регистратор модели 5.10. Регистратор априорной информации 5.11. Диалог дополнительных действий 5.12. Функции Fitter 5.13. Результаты главы 5

ПРИЛОЖЕНИЯ НЕЛИНЕЙНОГО РЕГРЕССИОННОГО АНАЛИЗА К ПРАКТИЧЕСКИМ ЗАДАЧАМ

6. Анализ термограмм полимеров 6.1. Прогнозирование старения ПВХ методом ТМА 6.2. Анализ структуры сетки в радиационно модифицированном ПЭ методом ТМА 6.3. Оценка активности антиоксидантов методом ДСК 6.4. Результаты главы 6 7. Оценивание кинетических параметров по спектральным данным 8. Прогнозирование старения эластомерных материалов 9.3. Релаксационная модель аномальной диффузии 9.4. Конвекционная модель аномальной диффузии 11. Хемилюминесцентный метод оценки эффективности ингибиторов

ПРИЛОЖЕНИЕ 1. СПИСОК ОСНОВНЫХ ОБОЗНАЧЕНИЙ

ПРИЛОЖЕНИЕ 2. СПИСОК ИСПОЛЬЗОВАННЫХ СОКРАЩЕНИЙ

Эта работа посвящена применению различных математико-статистических методов и, прежде всего, нелинейного регрессионного анализа (НЛРА) для обработки и интерпретации данных, получаемых в физико-химических экспериментах [1, 2, 3]. Термины «эксперимент» и «экспериментальные данные» являются одним из основных понятий регрессионного анализа, поэтому разъясним, что под ними понимается. Прежде всего, мы будем полагать, что состояние исследуемой системы можно исчерпывающе описать некоторым (возможно бесконечным) набором детерминированных величин. Часть этих величин известна априори (например, условия эксперимента), а другая часть – неизвестна. Известные величины принято называть предикторами (x), а неизвестные – параметрами (a). В результате эксперимента мы получаем другой (уже конечный) набор величин (y) – экспериментальные данные, которые являются реализацией случайных величин, т.е. выборкой из некоторой гипотетической генеральной совокупности. Случайность результатов измерений – это результат действия многих неизвестных факторов, действующих на исследуемую систему, которые принято называть ошибкой или шумом (). Если удалить шум из данных, то оставшиеся детерминированные значения будут являться сигналом (f)– полезной информацией, получаемой в эксперименте. Принципиально важно, что различие между сигналом и шумом не является абсолютным и зависит от постановленной задачи и от возможностей прибора. То, что в одной задаче можно рассматривать как шум, в другом случае будет уже полезной информацией – сигналом.

Результаты эксперимента, называемые откликами, зависят от набора величин, характеризующих состояние системы – как от предикторов, так и параметров. В общем случае эту зависимость можно представить некоторым оператором который, собственно, и является математическим аналогом физического прибора. Этот оператор может представлять простую, линейную зависимость, но в чаще всего это – сложная, нелинейная функция.

Большинство приборов устроено таким образом, что оператор T можно записать в виде (абсолютная ошибка измерения) или в виде (относительная ошибка измерения). Кроме того, обычно можно предполагать, что шум является несмещенным, некоррелированным случайным процессом, т.е. ошибки в среднем равны нулю и в разных точках несвязанны друг с другом. Величины этих ошибок, естественно, неизвестны. Такое представление связи между измеряемым откликом и неизвестным сигналом называется регрессией, а математические методы анализа этих зависимостей носят название регрессионных.

Если модель сигнала f(x, a) известна, то для решения задачи обработки экспериментальных данных нужно только оценить неизвестные параметры a, входящие в эту функцию.



Для этого применяют различные методы, которые можно объединить одной схемой.

Строится некоторая функция Q(y, a), называемая целевой, которая зависит от откликов y и от неизвестных параметров a. Затем ищется минимум этой функции по параметрам a при фиксированных значениях y. Точка a, в которой достигается этот минимум, и является искомой оценкой. Эта величина зависит от экспериментальных значений y, которые представляют реализацию случайных величин, поэтому и сама оценка является случайной.

Выбирая разные целевые функции можно получать разные оценки. При этом предпочтение отдается оценкам, являющимся состоятельными, несмещенными и эффективными.

Состоятельность означает, что при неограниченном увеличении числа экспериментов значение оценки a сходится к истинному значению a. Оценка называется несмещенной, если ее математическое ожидание равно истинному значению. Наконец оценка будет эффективной в классе некоторых оценок, если у нее будет минимальное отклонение от истинного значения.

Выбор вида регрессионной модели, т.е. функция f(x, a) является центральным моментом при обработке экспериментальных данных. Если эта функция строится на основе базовых представлений о природе процессов, происходящих в исследуемой системе, то она, как правило, является сложной нелинейной зависимостью. Такой подход называется содержательным моделированием [2, 111] (hard modeling). Другой подход, называемый формальным моделированием [122, 123, 127] (soft modeling), используется в тех случаях, когда физико-химическое содержание исследуемого процесса либо неизвестно, либо слишком сложно. Тогда строится простейшая линейная зависимость сигнала от неизвестных параметров.

Оба подхода широко применяются на практике. При этом западные исследователи, в основном, предпочитают формальное моделирование. Этот факт подтверждается простым сравнением числа статей [4] об использовании линейного регрессионного анализа (во всех его разновидностях – PCA, PLS) с немногими публикациями о НЛРА. В то же время у российских ученых издавна существует традиция использовать именно содержательные модели для обработки результатов эксперимента [2, 95, 114]. Это связано с тем, что только нелинейное моделирование дает реальную возможность прогнозировать поведение сложной системы в условиях, которые сильно отличаются от условий, наблюдаемых в эксперименте.

Противопоставление линейного и нелинейного моделирования имеет важное методическое значение. В Табл. 1.1 в схематичном виде представлены некоторые ключевые свойства того и другого метода. Их сравнительный анализ помогает понять, в чем состоят особенности, недостатки и преимущества каждого подхода. Заметим, что существует стойкое убеждение, заключающееся в том, что использование линейного моделирования значительно проще, чем нелинейного. Одна из задач этой работы состоит в том, чтобы опровергнуть такое мнение. Мы покажем, что нелинейный регрессионный анализ данных ничуть не сложнее, а в некотором смысле даже проще, чем линейный.

Табл. 1.1 Свойства линейной и нелинейной регрессионных моделей Рассмотрим, в чем проявляется различие между линейным и нелинейным моделированием. Линейная модель представляется уравнением в котором ai – это неизвестные параметры, а xi – это известные независимые переменные или их функции. Существенно то, что модель линейна именно по параметрам т.е.

При этом она зависимость от предикторов x может быть не линейной. Например, модель f=aexp( -20x) линейна, поскольку она линейна по параметру а, несмотря на нелинейную зависимость от x.

Формально говоря, линейная модель – это точка в пространстве всех возможных функций от p аргументов. Все остальное пространство занято нелинейными моделями. Поэтому понятно, что основная проблема нелинейного моделирования – это выбор функции для описания эксперимента. Только физико-химические соображения помогают понять, какая модель должна быть использована, и построить содержательное описание. В этой работе почти не затрагиваются вопросы построения содержательных физико-химических моделей. Исключение составляет глава 9, посвященная диффузионным процессам. Большинство моделей, использованных в работе, не является оригинальными. Они либо хорошо известны, либо создавались совместно с коллегами, имеющими более глубокие знания в областях, где эти задачи актуальны.

Работа имеет следующую структуру (см. Оглавление). Она разбита на три части, посвященные соответственно теоретическим, алгоритмическим и практическим проблемам НЛРА. В первой части имеются три главы (1-3), из которых первая посвящена введению в проблему нелинейного оценивания, а вторая и третья содержат оригинальные теоретические разработки в этой области. Вторая часть содержит две главы (4 и 5) – описание алгоритмов и системы Fitter. В третьей части работы, включающей шесть глав (6–11), представлены результаты применения разработанных методов и программ при решении некоторых практических задач.

Методы построения оценок – это центральная проблема статистической теории НЛРА. В главе 1 рассказывается о традиционных, хорошо известных подходах к этой проблеме – методе наименьших квадратов (МНК), методе максимума правдоподобия (ММП). Следующая глава 2 содержит описание оригинального метода последовательного байесовского оценивания (ПБО) [30]. Этот метод позволяет решать самые сложные проблемы обработки данных, разбивая одну большую задачу на последовательность маленьких задач, связанных между собой априорной информацией, передаваемой по цепочке. При этом можно решать как задачи с большим числом экспериментальных данных (n>>1), так и задачи, в которых имеется большое число неизвестных параметров (p>>1). Метод ПБО – это наш главный инструмент, применяемый при нелинейном статистическом моделировании.

Многочисленные примеры таких приложений сосредоточены в третьей части работы. В главе 2 излагаются основные идеи этого метода, доказывается основная теорема, обосновывающая его применение, приводится простейший пример, и обсуждаются его преимущества и недостатки.

Нахождение оценок неизвестных параметров модели – это только половина работы. Необходимо также и интерпретировать полученные результаты, то есть вычислить точность оценок (стандартные отклонения, ковариации), проверить качество подгонки (проверить статистические гипотезы) и построить доверительные интервалы. Классическая теория линейной регрессии дает простые решения [1, 20] для всех этих задач. В случае нелинейной регрессии соответствующая теория разработана еще недостаточно. Здесь мы сталкиваемся с дилеммой: либо использовать линейное приближение, либо применять методы статистического моделирования [27, 56]. Первый вариант прост в вычислениях, но не гарантирует точных результатов. Второй вариант, как показала практика, дает очень точные результаты, но требует длительного времени для выполнения. В главе 3 изложен новый подход к учету нелинейности регрессионных оценок – построению доверительных интервалов, оценки степени нелинейности, который отличается от известных тем, что в нем моделируются не исходные данные, а оценки параметров. Притом, что этот метод дает ту же точность, что и традиционное статистическое моделирование, он примерно в 1000 раз быстрее. Важность решения задачи доверительного оценивания объясняется тем, что основное предназначение содержательных, нелинейных моделей – это прогнозирование на условия, значительно отличающиеся от условий эксперимента. Хорошо известно, что при такой экстраполяции ошибка предсказания резко возрастает. Поэтому правильное определение границ доверия необходимо для принятия практически важных решений при прогнозе.

В главе 4 рассказывается о том, какие вычислительные алгоритмы применяются в нелинейном моделировании. Опираясь на имеющийся опыт, мы можем утверждать, что поиск оценок параметров нелинейной модели не намного сложнее, чем линейной. Это определяется тем, что процедуры оптимизации целевой функции детально разработаны. Метод Марквардта [67] является сейчас самым популярным, но есть и более интересные методы, например алгоритм минимизации, основанный на обращении матричной экспоненты, который был предложен Б.В. Павловым и А.Я. Повзнером [74]. Специфика нелинейного моделирования проявляется в двух проблемах: выбор начальных значений параметров и расчет производных модели по параметрам. Проблема выбора стартовой точки не имеет простого решения (и, по-видимому, никогда не будет решена). Здесь можно рассчитывать на успешный выбор опытного исследователя, который понимает сущность проблемы. Кроме того, можно полагаться и на стабильность алгоритма минимизации, который сходится из широкой окрестности точки минимума целевой функции.

Суть проблемы вычисления производных состоит в следующем. Физико-химический эксперимент – это сложная и дорогостоящая процедура, в которой, подчас, имеются принципиальные ограничения, не позволяющие провести измерения в той области, которая была бы желательной с точки зрения математических доводов метода планирования эксперимента. Поэтому ключевым моментом, определяющим успех обработки данных, является точность вычисления модели и особенно ее производных.

Производные модели по параметрам играют важную роль при поиске минимума целевой функции – чем точнее они вычисляются, тем точнее определяются оценки. Практический опыт и теоретические выкладки показывают, что для решения задач нелинейного моделирования физико-химических систем, необходимо проводить вычисления с точностью 10-12 десятичных порядков. Разумеется, достичь такой точности, используя разностные методы вычисления производных, невозможно. В этой главе излагаются оригинальные алгоритмы, позволяющие решить одновременно две важные задачи – упростить пользователю задание моделей и добиться высокой точности вычислений При построении этих процедур мы исходили, прежде всего, из того, что исследователь, применяющий программное обеспечение, построенное на этих алгоритмах, должен иметь максимальные удобства для задания самых сложных моделей. Основное требование – это возможность вводить явные, неявные, а также функции, заданные дифференциальными уравнениями, в естественной форме, которая должна мало отличаться от общепринятых математических обозначений. Второе условие – это возможность использования промежуточных переменных и подстановок, которые сильно упрощают вид модели. И, наконец, третье требование сводилось к тому, что вычисление производных от функции f(x, a) по параметрам a должно производиться автоматически, без участия человека, даже для самых сложных уравнений. Эти требования удалось удовлетворить, разработав специальные процедуры, интерпретирующие текст модели, задаваемый пользователем. Эти процедуры не только вычисляют (компилируют) результат, но и проводят символьное дифференцирование модели с последующей компиляцией результата дифференцирования.

Простота тривиального выбора линейной модели иллюзорна, так как эти модели всегда имеют большое число неизвестных параметров. Такая избыточность описания приводит к тому, что все эти параметры невозможно оценить и задача становится мультиколлинеарВведение ной. Мультиколлинеарность [2, 3, 83] означает вырожденность регрессионной информационной матрицы. Такая проблема встречается и в нелинейной регрессии, но ее интерпретация совершенно другая. Это похоже на классический спор между пессимистом и оптимистом – эта бутылка наполовину пуста или наполовину полна? Линейный анализ представляет оптимистическую точку зрения. В нем всегда предполагается, что модель слишком полна, так что необходимо сократить число параметров [19, 123, 127] любыми способами (PLS, PCA). С другой стороны, в нелинейной модели, как правило, нет лишних параметров, так как все эти параметры продиктованы природой исследуемого процесса [54, 92]. Вот почему при использовании НЛРА мы выбираем пессимистическую точку зрения и предполагаем нехватку экспериментальных данных. Такой подход ведет к специфическим методам борьбы с мультиколлинеарностью в нелинейных моделях (например, байесовский подход), что, тем не менее, не мешает нам использовать и традиционные методы.

В конце главы 4 рассматриваются некоторые приемы, позволяющие простыми методами преодолеть проблему мультиколлинеарности.

Как правило, обычного пользователя мало интересуют теоретические и алгоритмические вопросы. Прежде всего, ему нужен простой инструмент, позволяющий быстро получить правильный результат. При этом у него должна быть возможность легко менять регрессионную модель «на лету», редактируя ее как текст. Кроме того, нужно предусмотреть и возможность «пакетной» обработки стандартных данных в рутинном процессе, который можно доверить даже неопытному оператору. Все это подводит к задаче создания соответствующего программного обеспечения, удовлетворяющего всем этим требованиям.

Разработчики программного обеспечения решили все эти задачи, предоставив пользователям большой выбор программ для линейного моделирования [4], но вот с нелинейным дело обстоит значительно хуже. Конечно, существует несколько программных продуктов [84-90], но они, в большинстве, не отвечают подобным требованиям.

В главе 5 представлен новый инструмент НЛРА [5, 6], который практически реализует все теоретические и алгоритмические разработки, представленные в работе. Он называется Fitter, от английского глагола «to fit» – «подгонять, приспосабливать». При проектировании этой программы, мы следовали правилу ”чем проще - тем лучше”, и не стали создавать собственный интерфейс, а вместо этого воплотили все математические методы как надстройку для популярной программы Microsoft Excel. В некоторых аспектах система Fitter устроена подобно хорошо известному приложению Solver Add-In. Так же, как и в Solver все данные, необходимые для построения регрессии, размещаются на листе станВведение дартной рабочей книги и затем регистрируются посредством диалоговых окон. Внутренний язык системы Microsoft Office – Visual Basic for Applications (VBA) [7] является очень медленным, поэтому все вычислительные процедуры системы Fitter написаны на языке C++ и собраны в отдельной, динамически подключаемой библиотеке (DLL). Таким образом, достигнута быстрота, удовлетворяющая пользователей. Что касается размера экспериментальных данных и числа неизвестных параметров в модели, то Fitter не имеет ограничений на эти величины – все зависит только от возможностей компьютера, который используется для расчетов.

Прототипом и, в какой-то степени, аналогом системы Fitter, является интегрированная компьютерная система Kinetic Trunk [8-10, 50]. Эта программа, работающая в среде DOS, была закончена в 1994 году и, до сих пор, используется несколькими научноисследовательскими и производственными организациями, такими как, например, ВНИИ Эластомерных Материалов и Изделий, Московский Институт Тонкой Химической Технологии, НИИ Шинной Промышленности, Алтайский Университет, Кировский шинный завод, НИИ Кабельной Промышленности, ЦНИИ Точного Машиностроения, НИИ Приборов, Охтинский НПО Пластполимер, Казанский Инженерно Строительный Институт.

Опыт эксплуатации программы Kinetic Trunk помог при разработке и написании более современной системы – Fitter Add-In, хотя нужно отметить, что многие практические задачи, описанные в третьей части работы, исходно решались еще с использованием системы Kinetic Trunk.

В этой части представлены практические приложения методов и алгоритмов, описанные в работе. Подбор этих примеров проводился, в основном, по соображениям методического характера. При этом задачи следуют в дидактическом порядке – по возрастанию сложности, с точки зрения использования приемов НЛРА. Каждая из этих глав раскрывает один или несколько методических приемов, применяемых в нелинейном моделировании.

Содержательная, физико-химическая суть этих примеров очень разная. В них рассматриваются и традиционные методы аналитической химии (глава 10), и сложные задачи обработки кинетических данных, полученных с помощью современных инструментальных методов (глава 7), и проблемы прогнозирования эксплуатационной устойчивости полимеров (главы 6 и 8). Все эти задачи наглядно показывают, как проводится нелинейное моделирование в различных ситуациях.

Для всех численных расчетов использовалась система Fitter, поэтому экспериментальные данные и модели почти всегда представляются в форме, которая является стандартной для этой программы. Рабочие книги, в которых содержатся решения этих задач, можно найти в [126].

В главе 6 собраны три практических примера, объединенные общей темой – обработка термограмм (ТГА, ТМА и ДСК) полимеров. Эти примеры служат цели введения в проблематику нелинейного моделирования и демонстрации практических приемов работы в системе Fitter. Во всех этих задачах активно используется метод последовательного байесовского оценивания (ПБО).

Глава 7 посвящена актуальной задаче оценки кинетических параметров по спектральным данным. Метод последовательного байесовского оценивания, примененный к этой проблеме, позволил получить результаты с высокой точностью. С методической точки зрения пример, рассмотренный в этой главе, важен, прежде всего, потому, что он показывает, как проводится обработка однородных данных в задачах с большим количеством параметров.

Другую сторону метода ПБО раскрывает задача, разобранная в главе 8, где демонстрируется, как обрабатываются разнородные экспериментальные данные, описываемые разными моделями, зависящими от общих параметров. Это сделано на примере практически важной задачи прогнозирования старения эластомерных материалов.

Следующая глава 9 посвящена проблемам моделирования нормальной и аномальной диффузии. Хорошо известно [129, 130], что модели, описывающие эти процессы, имеют сложную математическую форму и требуют специальных усилий по их программированию. Прямыми выкладками удалось получить точные и достаточно удобные формулы для расчета кинетики сорбции в нефиковских моделях релаксационной и конвекционной диффузии, а также кинетики цикла «увлажнение-сушка». Оригинальная форма этих моделей позволяет использовать их в системе Fitter, что радикально облегчает процесс подбора параметров. Материал, изложенный в этой главе, показывает, что разработанное программное обеспечение может легко оперировать с очень большими и сложными моделями.

Глава 10 стоит несколько в стороне от главной проблематики работы. В ней рассматривается задача обработки данных титрования, актуальная для аналитической химии.

В последней главе 11 показано, как, используя разработанное программное обеспечение – систему Fitter, можно создавать стандартные программы-шаблоны, которые автоматичеВведение ски строят модели и проводят всю необходимую обработку в скрытом от оператора режиме. Это продемонстрировано на примере оценки эффективности ингибиторов хемилюминесцентным методом.

Для правильного моделирования исследуемого процесса или системы важна, прежде всего, постановка задачи. Именно она определяет выбор надлежащего подхода. Предсказание (строго говоря, интерполяция) значений сигнала внутри экспериментальной области – это первая постановка. Прогнозирование (экстраполяция) значений модели на область переменных, которая лежит далеко от области наблюдений – это вторая возможная постановка. Необходимо подчеркнуть существенную разницу этих двух задач. Хорошо известно, что ошибка предсказания (интерполяции) не зависит от вида модели – она, в основном, определяется ошибкой измерений. Напротив, ошибка прогноза (экстраполяции) зависит, прежде всего, от модели и уже во вторую очередь от ошибки измерения. Поэтому, «формальные» модели (в основном, линейные) пригодны для предсказания, и только «содержательные» модели (в основном, нелинейные) пригодны для прогнозирования.

Выбор модели остается главной проблемой для использования НЛРА. Вопрос о том, откуда взять модель, относится, по мнению автора, к категории вечных вопросов, на которые не возможно дать однозначного ответа. Всякая модель отражает только актуальную глубину нашего понимания сути изучаемого явления. Чем больше мы знаем, тем легче составить модель. При этом, нелинейная модель может быть простой, а линейная модель – сложной. Это связано с тем, что содержательная модель использует, как правило, минимальный набор неизвестных параметров, который обусловлен природой системы, тогда как формальная модель вынуждена привлекать большой набор параметров, базирующийся только на структурных особенностях системы.

Пример такой модели – простой по сути, но сложной по форме, приведен в разделе 6.1, где разобран пример прогнозирования старения ПВХ. Эта задача замечательно иллюстрирует наш тезис о том, что теперь, когда разработаны нужные методы и написаны соответствующие программы, нелинейное моделирование ни чуть не сложнее, чем традиционное, линейное. Очень часто модель может быть построена как комбинация содержательной и формальной части. При этом формальная модель используется только для интерполяции данных, так как это делается в примере ТМА–анализа в разделе 6.2.

Проверка адекватности модели является очень острой проблемой в нелинейном моделировании. Традиционные статистические методы, применяемые для линейных задач (проВведение верка гипотез, тестовая проверка и перекрестная проверка), здесь подходят плохо. Дело в том, что в линейных моделях в качестве альтернативы всегда выступает тоже линейная модель, но с другим количеством параметров, тогда как для нелинейной модели альтернатив – бесконечно много. Часто встречающаяся постановка о выборе наилучшей модели из конечного списка заявленных альтернатив не имеет ни практического смысла, ни теоретического обоснования. Критерий минимальности невязки, который часто используют в таких задачах, неверен, т.к. цель моделирования не минимальное, а истинное (увы, неизвестное) значение. Легко видеть, что при такой постановке нелинейное моделирование сводится просто к подбору подходящих полиномов, которыми можно описать все с любой точностью.

Нам представляется, что правильным подходом к проблеме адекватности может быть только «внутренняя перепроверка» модели. Поясним эту мысль на примере прогнозирования старения эластомерных материалов, разобранном в главе 8. В этой задаче использовалось несколько моделей, описывающих различные свойства резин. Эти модели содержали несколько общих кинетических параметров – предэкспонент и энергий активации.

Именно тот факт, что эти модели удалось построить с использованием единого набора общих параметров, и является подтверждением их адекватности, базирующимся на внутренних, кинетических свойствах изучаемой системы. В тоже время, не следует, разумеется, отказываться от некоторых традиционных статистических приемов, таких, как, например, критерий серий, доказавший свою эффективность в нелинейных моделях.

Эта работа выполнялась в тесном сотрудничестве со многими коллегами. Прежде всего, следует отметить роль Е.В. Быстрицкой (ИХФ), которой принадлежат большинство оригинальных физико-химических моделей, использованных в работе. Большой вклад в разработку алгоритмов и написание программ внесла О.Е. Родионова (ИХФ), которая является соавтором системы Fitter. Неоценимую помощь при разработке алгоритмов минимизации оказал автору Э.Ф. Брин (ИХФ). Экспериментальные данные, использованные в этой работе, были получены А.А. Крючковым (НИИКП), О.В. Старцевым (АГУ), О.В. Платоновой (НИИР), Б.М. Марьяновым (ТГУ), A. Smilde (University of Amsterdam) и N.

Overbergh (Raychem Corp.). Особо следует отметить роль О.Н. Карпухина (ИХФ), который оказал огромное влияние на выбор темы и направления этого исследования.

Некоторые теоретические вопросы нелинейного регрессионного анализа Некоторые теоретические вопросы нелинейного Описать экспериментальные данные с помощью известной модели и предсказать поведение системы в новых условиях, где эксперимент невозможен или затруднен – вот главная цель регрессионного анализа. Существует несколько монографий, посвященных этой области прикладной математики [1, 3, 19, 54]. В этой части работы рассматриваются теоретические аспекты нелинейного регрессионного анализа (НЛРА). Она состоит из трех глав.

Глава 1 предназначена, в основном, для введения необходимых понятий и обозначений. В ней представлен обзор известных подходов к задачам регрессионного анализа.

Следующая глава 2 содержит оригинальный метод последовательного байесовского анализа, разработанный автором в сотрудничестве с Г.А. Максимовой [30]. В ней излагаются основные идеи этого алгоритма, доказывается основная теорема, обосновывающая его применение, приводится простейший пример, и обсуждаются его преимущества и недостатки.

Последняя в этой части, 3 глава, посвящена исследованию наиболее сложных вопросов нелинейной регрессии – проблеме достоверного прогноза и точности оценок. В ней излагается новый метод построения доверительных интервалов для прогноза по регрессии и вводится коэффициент нелинейности. Показывается, как с помощью этой величины принимается решение об использовании того или иного метода доверительного оценивания.

Эта глава является введением в проблематику нелинейного регрессионного анализа, поэтому в ней не содержится новых идей. Здесь собраны все основные математические определения величин и методов, которые используются в дальнейшем изложении.

В первом разделе вводятся главные объекты регрессионного анализа: модель, экспериментальные и априорные данные. Во втором разделе рассматриваются традиционные инструменты, используемые для построения оценок – метод наименьших квадратов и метод максимума правдоподобия. Последние два раздела содержат краткий обзор классических методов анализа точности оценок и проверки статистических гипотез о данных и модели.

1.1. Модель и данные Регрессионная модель – это функция связывающая вектор входных переменных которые называются предикторами или факторами, с вектором выходных переменных которые называется сигналом (или откликом). Здесь и далее везде вектор – это столбец чисел, а символ xt обозначает операцию транспонирования – т.е. превращение строки в столбец и наоборот. Число предикторов в модели – размерность вектора x – мы будем обозначать символом m Число сигналов в модели – размерность вектора f – будет обозначаться символом В работе рассматривается, в основном, однооткликовая регрессия, т.е. случай k=1. Многооткликовая регрессия (k>1) будет исследована в разделе 2.3.

В модель регрессии (1.1) обязательно входят неизвестные параметры образующие вектор размерности Кроме того, модель, конечно, может содержать и известные заранее величины, т.е.

константы.

Формальная запись уравнения модели (1.1) в явном, т.е. разрешенном относительно отклика f, уравнении совершенно не означает, что на практике модель будет иметь именно такой простой вид. Кроме того, часто модель можно представить только в виде нескольких выражений (системы), которые в совокупности определяют процедуру вычисления значения отклика. Или же в модель специально вводят новые величины (промежуточные переменные), которые упрощают запись уравнений. Приведем некоторые примеры.

Ниже представлена явная функция, которая используется (см. раздел 8.2) для описания зависимости относительного удлинения ELB от времени t и температуры T.

Здесь величина ELB – это сигнал, величины t и T – это предикторы. Вектор неизвестных параметров имеет размерность 6 – a0, a1, a2, k1, k2, E1 и E2. В модели участвуют также четыре промежуточных переменных: K1, K2, X, X0 и три константы 1000, 273 и 2.77.

Неявная функция используется в примере, представленном в разделе 6.2 для описания данных термомеханического анализа.

Здесь величина Y – это сигнал, величины P и t – это предикторы. В модели участвуют пять неизвестных параметров G, G1, G2, k1 и k2, одна константа S и одна промежуточная величина A.

Пример модели, имеющей вид дифференциального уравнения, можно найти в разделе 6.1.

Там приведена модель, которая описывает термогравиметрические кривые, используемые для анализа десорбции пластификатора.

Величина y является откликом, величины t, C0, F, v и T0 – это предикторы. Модель зависит от трех неизвестных параметров y0, k0 и E, одной константы R – универсальной газовой постоянной и выражается через две промежуточные величины – k и T.

Обычно в регрессионном анализе [1–3] предполагается, что вектора x, f и a – это детерминированные величины. Для оценивания регрессионной модели используются экспериментальные и априорные данные.

Экспериментальные данные получаются в результате экспериментов (измерений, наблюдений), проводимых над исследуемой системой. Набор таких данных включает следующие элементы.

Вектор откликов y=(y1,...,yN)t, состоящий из величин сигналов (1.3), измеренных в некоторых условиях. Число измерений – размерность вектора y – будем обозначать символом N Значения независимых переменных (предикторов), характеризующих условия, при которых проводились соответствующие измерения откликов, образуют матрицу плана X={xij, i=1,...m, j=1,...,N}, имеющую размерность (mN) Значения, полученные в ходе эксперимента, отличаются от точных («истинных») значений на величину ошибки. Будем считать, что значения предикторов x известны точно, либо с ошибкой значительно меньшей, чем измерения откликов. Это обычное предположеОсновы регрессионного анализа ние, делаемое в регрессионном анализе [1], которое значительно упрощает оценивание регрессионной модели. При этом будем предполагать, что значения отклика y (1.8) – это случайные переменные, которые отличаются от «истинных» значений сигнала f (1.3) на величины ошибок.

Традиционно рассматривают ошибки двух типов: абсолютную и относительную. Абсолютная ошибка добавляется к «истинным» значениям:

а относительная ошибка умножается на «истинные» значения:

Относительно вектора случайной ошибки обычно [1] делают следующие предположения:

Несмещенность. Среднее значение равно нулю:

Здесь и далее символом E(·) обозначается математическое ожидание случайной величины.

Некоррелированность. Ковариация различных ошибок равна нулю:

Гомоскедастичность. Взвешенная дисперсия ошибок постоянна:

Здесь вектор w задает набор весов, известных в каждой точке наблюдения Постоянная величина 2 называется взвешенной дисперсией ошибки. Обычно она неизвестна и должна оцениваться вместе с параметрами a (1.6). Отметим, что, вообще говоря, переменная 2 (1.16) не является дисперсией отклика; последняя может быть определена только для ненулевого веса, как Здесь и далее символом D(·) обозначается дисперсия случайной величины.

Обычно предполагается, что все весовые коэффициенты равны 1. Если данные не согласуются с предположением о гомоскедастичности (1.16), то нужно установить другие значения весов wi, обеспечивающие достижение постоянной взвешенной дисперсии в каждой точке наблюдения. Использование весов является, кроме того, удобным способом регулирования присутствия тех или иных точек в наборе экспериментальных данных. Так для того, чтобы исключить какое-нибудь наблюдение yi из всего набора, достаточно положить соответствующее значение веса равным нулю, wi=0.

Кроме экспериментальных данных, в регрессионной задаче может присутствовать и априорная информация о неизвестных параметрах a (1.6) и о взвешенной дисперсии 2 (1.16).

Если такая информация представлена в нормальном байесовском виде, то она включает следующие компоненты:

1) вектор априорных значений параметров:

2) априорная информационная матрица размерностью (pp):

3) априорное значение взвешенной дисперсии ошибки (1.16):

4) априорное число степеней свободы:

Априорная информация, которая содержит все четыре компонента (1.18) – (1.21), называется байесовской информацией первого рода. Иногда априорное значение взвешенной дисперсии (1.20) и ее число степеней свободы (1.21) неизвестны. В этом случае мы имеем так называемую байесовскую информацию второго рода.

Подробно роль априорной информации в регрессионном анализе будет разобрана в главе 2. Пока же изложение будет вестись для случая, когда априорная информация отсутствует.

1.2. Метод максимума правдоподобия Основная задача регрессионного анализа – найти такие значения неизвестных параметров a (1.6), при которых функция f(x,a) наилучшим образом приближает значения наблюдаемых откликов y (1.8) во всех точках плана наблюдений X (1.10). Понятие наилучшим образом можно математически формализовать различным способом.

Наиболее популярным является метод наименьших квадратов (МНК), в котором мерой близости регрессионной модели к экспериментальным данным является сумма квадратов отклонений во всех точках плана. Здесь fi=f(xi,a) – это значения модели, а величины wi – это веса, определенные в формуле (1.16). Для абсолютной ошибки измерения (1.11), gi=1, а для относительной ошибки измерения (1.12), gi=1/fi.

В методе наименьших квадратов (в нашем случае его следовало бы называть методом взвешенных наименьших квадратов) оценки неизвестных параметров ищутся из условия, что они минимизируют сумму S(a), то есть Помимо МНК, существуют и другие методы оценок параметров регрессии – минимального риска [11], хи-квадрат [12], SIC-метод [15], а также метод максимума правдоподобия (ММП), который мы рассмотрим подробно.

Используя векторные обозначения, регрессионную модель с абсолютной ошибкой можно записать в виде В уравнении (1.25) вектор y и матрица X известны, поэтому для любых заданных значений параметров a можно вычислить вектор остатков Предположим, нам задана функция совместной плотности распределения ошибок которая зависит также от некоторых новых неизвестных параметров. Идея ММП состоит в том, что если значение вектора a будет близко к истинному значению, то значения остатков e(a) будут близки к ошибкам измерения. Если в совместной плотности распределения ошибок (1.27) заменить ошибки остатками, то полученное выражение, являющееся только функцией a и, называется функцией правдоподобия выборки [3, 19].

Отметим, что величины y и X не являются аргументами функции правдоподобия, т.к. они известны.

Предположим, что ошибки распределены нормально, тогда, с учетом предположений (1.14) – (1.16), функция правдоподобия принимает вид где величина 2= – это взвешенная дисперсия ошибки (1.16), а функция S(a) –это сумма квадратов отклонений, определенная в формуле (1.22). Отметим, что в выражении (1.29) уже учтена возможность относительной ошибки.

Функция правдоподобия L(a, 2) зависит от p+1 неизвестного параметра Оценка максимального правдоподобия (ОМП) этого векторного параметра – это значение, при котором функция правдоподобия достигает максимума Известно [3], что ОМП является состоятельной и асимптотически эффективной. Однако, в общем случае, она не будет ни эффективной, ни несмещенной, хотя и будет достаточной.

Практика ее применения [16, 17, 18] показала, однако, что ММП дает приемлемые оценки во многих ситуациях. Хотя, в некоторых случаях, имеются методы, дающие лучшие результаты, основным аргументом в пользу использования метода максимума правдоподобия является его общность и простота применения.

Так как логарифм является монотонной возрастающей функцией своего аргумента, то значение, максимизирующее функцию L() будет минимизировать и выражение - ln L(). Используя соотношение (1.29) получаем Отсюда следует, что оценка ММП параметров a в случае нормального распределения ошибок совпадает с оценкой МНК (см. (1.24) ) и, что оценка параметра 2 равна Более сложные случаи ОМП рассмотрены в разделе 1.2.

Анализ «качества» оценок в нелинейной регрессии, т.е. сравнение различных вариантов оценивания весьма затруднительно. Практически можно использовать только асимптотические свойства статистик, проявляющиеся при большом количестве измерений. Тогда известно [19], что оценки ММП будут приближаться по своим свойствам к оценкам, получаемым в линейной регрессии. Это является основным аргументом в пользу сравнения оценок, используемых в нелинейной регрессии с аналогичными оценками применяемым в линейном случае. Так в частности, легко видеть, что в линейном случае оценка (1.32) является смещенной, и что ее «улучшенный» вариант имеет вид где p – это число неизвестных параметров (1.7).

Метод наименьших квадратов и метод максимума правдоподобия приводят к необходимости решения задачи оптимизации – определения точки минимума некоторой функции Q(a), которая называется целевой функцией.

В простейшем случае Q(a) равна S(a) – сумме квадратов отклонений (1.22), но возможны и более сложные выражения, которые рассмотрены в разделе 2.1. Решение задачи оптимизации – это самостоятельная, сложная математическая задача и она обсуждается в разделе 4.1.

В дальнейшем изложении будет использоваться термин обработка данных (с помощью модели). Он означает процедуру, в ходе которой по экспериментальным данным и модели строится некоторая целевая функция и определяется точка ее минимума – т.е. проводится оценка параметров a и 2.

1.3. Точность оценивания Оценки параметров, определяемые с помощью ММП – это случайные величины, реализации которых изменяются вместе с экспериментальными данными. Недостаточно найти точку a минимума целевой функции и назвать ее оценкой параметров a. Необходимо определить и свойства этой оценки, характеризующие ее точность и надежность. Здесь мы должны уметь отвечать на следующие вопросы. Как могут измениться значения оценок при использовании нового эксперимента? Насколько сильно допустимо изменить значения оценок, чтобы согласие модели с экспериментом оставалось все еще хорошим? Некоторые из этих вопросов рассматриваются в этом разделе, хотя многие проблемы, связанные с проверкой гипотез о регрессии разбираются в разделе 1.4.

Если модель линейна по параметрам, то для решения этих и подобных задач существует хорошо разработанный математический аппарат [1, 20]. В нелинейном регрессионном анализе невозможно предъявить точные формулы. Здесь имеется только две принципиальные возможности. Первая – это использовать линейные стохастические аппроксимаОсновы регрессионного анализа ции и соответствующие им формулы линейного регрессионного анализа. Вторая – это применять методы стохастического моделирования [21–28] (Монте-Карло, бутстреп и т.п.). В этом разделе будут рассмотрены первый – «квазилинейный» подход к проблеме оценки точности оценивания. Другой – «модельный» подход рассматривается в разделе 3.2.

Известно, что в линейном случае ковариационная матрица оценок C =cov( a, a ) рассчитывается по формуле где s оценка взвешенной дисперсии (1.33), а A это информационная матрица, вычисляемая по матрице плана X (1.10) как A=XtX. Известно также [3], что если рассматривать нелинейную модель в линейном приближении, то формула (1.36) сохраняется, только матрица A вычисляется иначе. Теперь это – матрица Гессе, т.е. матрица вторых производных по параметрам a от целевой функции в точки минимума Информационная матрица интенсивно используется в процедуре поиска (см. раздел 4.1).

Известно [3], что проще всего ее вычислять как произведение матриц где V – это pN матрица, чьи элементы – это взвешенные производные от функции модели по параметрам, Эти формулы определяют ковариационную матрицу оценок C в простейшем случае, когда отсутствует априорная информация. Уточненные формулы приведены в разделе 2.3.

Как только найдена ковариационная матрица, то легко можно определить и другие связанные с ней характеристики. Среднеквадратичные отклонения (СКО) оценок параметров вычисляются по формуле а матрица корреляций по формуле При анализе оценок используется также и F-матрица – матрица, обратная ковариационной матрице C, то есть Эта матрица подобна байесовской информационной матрице H (1.19). Ее применение исследуется в разделе 2.2.

Распределение оценок параметров в «квазилинейном» приближении естественно считать нормальным с параметрами a и C Помимо характеристик качества оценок параметров модели, интересны также и свойства оценки взвешенной дисперсии ошибки (1.33). Ее качество определяется, прежде всего, величиной числа степеней свободы по регрессии Nf. Если байесовская информация отсутствует, то Nf рассчитывается по формуле где величина Nw – это число измерений, имеющих не нулевые веса w (1.17), т.е.

В «квазилинейном» приближении оценка взвешенной дисперсии распределена по хиквадрат с Nf степенями свободы Все эти значения вычисляются по экспериментальным данным y, X и, следовательно, они сами являются случайными величинами, подверженными выборочной изменчивости. Эти колебания могут быть весьма значительными даже тогда, когда достигнуто удовлетворительное согласие модели с экспериментом. Поэтому, найденные характеристики качества оценок следует рассматривать как некоторую грубую аппроксимацию, правильно отражающую только порядок величин. Кроме того, вся конструкция квазилинейного приближения рушится, если модель неадекватно описывает исходные данные. Это обстоятельство, впрочем, не должно смущать, т.к. в этом случае необходимо улучшать либо модель, либо исходные данные. Проблема применимости приближенных формул, справедливых для линейных моделей, к задачам нелинейного регрессионного анализа подробно рассмотрена в разделе 3.4.

1.4. Проверка гипотез Важным инструментом, позволяющим проверить адекватности модели, является проверка статистических гипотез. Статистическая гипотеза – это некоторое предположение о распределении выборки экспериментальных данных, в частности о модели, которой описываются эти данные. Решение о справедливости этого предположения должно основывается лишь на имеющихся данных. При этом нужно понимать, что процедура проверки не доказывает истинность или ложность гипотезы. Она только показывает, что имеющиеся экспериментальные данные противоречат или не противоречат ей.

Стандартная процедура (тест) состоит в том, что по экспериментальным данным вычисляется некоторое тестовое значение (статистика), которое сравнивается с заранее известным критическим значением t. Если статистика меньше, чем критическое значение t, то гипотеза принимается, иначе – отвергается. Критическое значение t зависит от выбранного уровня значимости.

Уровень значимости – это мера строгости при проверке гипотез. Чем больше уровень значимости, тем строже проверка. Так, например, гипотеза, принятая для уровня значимости.=0.01, может быть отвергнута для уровня значимости.=0.05.

Величина критического значения определяется распределением статистики и принятым уровнем значимости как соответствующий квантиль этого распределения.

Рис. 1.1 Определение квантиля x(P) Квантилем этого распределения будем называть функцию x(P), обратную к (1.47), т.е.

где 0P В работе используются квантили следующих распределений, которые обозначаются стандартное нормальное хи-квадрат с m степенями свободы Стьюдента с m степенями свободы F-распределения с m и n степенями свободы Рассмотрим пять различных тестов, которые, по-видимому, наиболее употребительны для проверки адекватности нелинейной регрессии.

Критерий серий Этот тест используется для проверки гипотезы о некоррелированности ошибок (1.15).

Рассмотрим вектор остатков (1.26), вычисленных для найденных оценок параметров Пусть Pz – это число неотрицательных остатков, т.е. таких, что ri Ng – это число отрицательных остатков, т.е. таких, что rip –это число невырожденных реплик (1.56), а p – число неизвестных параметров (1.7).

Критическое значение вычисляется через квантиль F-распределения (1.52) Если статистика больше, чем критическое значение t, то гипотеза отвергается. Проверка гипотезы об адекватности невозможна, если число невырожденных реплик меньше чем число параметров в модели.

Тест дисперсий В этом тесте проверяется гипотеза о постоянстве взвешенной дисперсии ошибки – условие гомоскедастичности (1.16). Для этого частные оценки дисперсий (1.57) сравниваются между собой по критерию Бартлетта [12, 13]. Тестовое значение вычисляется по формуле где N s 2 – число степеней свободы по выборке (1.60), d2 – это оценка дисперсии по выборке (1.59)., (d 1,..., d R ) – частные оценки дисперсии по репликам (1.57), ( 1,..., R ) – частные значения степеней свободы по репликам (1.58) и R>2 – число невырожденных реплик (1.56).

Критическое значение определяется с помощью квантиля распределения хи-квадрат с R– степенью свободы (1.50) Если статистика больше, чем критическое значение t, то гипотеза отвергается. Проверка гипотезы о постоянстве дисперсии невозможна, если число невырожденных реплик меньше чем 3.

1.5. Результаты главы В этой главе, являющейся введением в проблематику работы, были введены основные объекты, понятия и методы, используемые в нелинейном регрессионном анализе.

В первом разделе были определены главные объекты регрессионного анализа: данные, ошибки, веса, модель, параметры и априорная информация. Во втором разделе рассматривались традиционные подходы, используемые для построения оценок – метод наименьших квадратов (МНК) и метод максимума правдоподобия (ММП). В третьем разделе был дан краткий обзор классических способов анализа точности оценивания, а четвертом разделе были представлены традиционные методы проверки адекватности – статистические гипотезы.

2. Последовательное байесовское оценивание Идея оценивания параметров регрессии с учетом априорной информации хорошо известна [3], однако она редко применяется на практике. Это связано, прежде всего, с проблемой выбора исходного априорного распределения параметров. Многочисленные дискуссии о правомочности байесовского подхода разделили сообщество статистиков на два клана:

байесианцев и анти-байесианцев, каждый из которых приводит многочисленные доводы в защиту своей позиции [29]. Автор принадлежит, скорее, ко второму клану, т.к. полагает, что «волюнтаристский» выбор априорного распределения может привести к грубым ошибкам. Тем не менее, им был разработан новый метод [30] оценивания параметров регрессии, основанный на использовании байесовского подхода к передаче и использованию информации.

Суть данного подхода [30 – 32] состоит в том, что весь массив исходных данных делится на несколько частей (серий). Поиск параметров ведется последовательно по сериям методом максимума правдоподобия. Результаты оценивания в k-ой серии (параметры, информационная матрица, дисперсия погрешности измерений, число степеней свободы) используются как априорная информация для оценивания в следующей k+1-ой серии. При этом первая серия обрабатывается без априорной информации, поэтому каждое априорное распределение выбирается однозначно и строится последовательность оценок параметров, последняя из которых является окончательной.

Известны, по крайней мере, три типовые ситуации, когда целесообразно применять предлагаемую процедуру. Первая — это тривиальная ситуация, когда размер массива данных слишком велик для его одновременной обработки. Способ разбиения на серии здесь очевиден. Вторая ситуация возникает, когда слишком велик размер вектора неизвестных параметров. Например, если обрабатываются результаты многооткликового эксперимента, причем регрессионная зависимость для каждого отклика включает в себя как индивидуальные для этого отклика, так и общие для всех откликов параметры. В этом случае размерность информационной матрицы может быть очень велика и процедура ее многократного обращения в ходе поиска [3] оказывается практически невыполнимой. Последовательное оценивание, в котором каждому отклику соответствует своя серия, решает эту проблему. Примеры применения этого метода приведены в главах 6, 7 и 8.

Третий случай связан с возможностью сохранения результатов оценивания параметров регрессионной модели в стандартной компактной форме [33]. При решении практических задач одни и те же параметры оцениваются в различных моделях. Так, константы скорости химических реакций, оценивающиеся по измерению концентраций реагентов, участвуют и в описании кинетики изменения макроскопических физико-механических свойств [34, 35, 36]. Два этих эксперимента (химический и физический), как правило, разделены во времени, выполняются разными людьми и описываются разными моделями, поэтому информацию об общих параметрах удобно хранить и использовать в стандартной байесовской форме.

В первом разделе этой главы рассматривается метод максимума правдоподобия с учетом априорной информации. Во втором разделе показано, как построить апостериорную информацию и превратить ее в априорную. Метод последовательного байесовского оценивания в общем случае – с учетом общих и частных параметров модели – излагается в третьем разделе. Там же формулируется и доказывается главный результат метода – теорема об эквивалентности оценок в случае линейной регрессии. Четвертый раздел посвящен проблеме обратного байесовского оценивания частных параметров. Простейший модельный пример, иллюстрирующий применение предлагаемого подхода приводится в пятом разделе. Наконец, в последнем, шестом разделе обсуждаются различные практические приложения метода.

2.1. Метод максимума правдоподобия с учетом априорной информации Рассмотрим задачу оценивания вектора параметров a входящих в функцию регрессии f(x,a), в обычной постановке (см. раздел 1.1). В отсутствии априорной информации функция правдоподобия L(a, 2) имеет вид (1.29). Обозначим ее теперь L0 (a, 2) где Nw – это число измерений, имеющих не нулевые веса (1.45).

Если имеется априорная информация о значениях параметров a и взвешенной дисперсии ошибок измерения 2, представленная некоторым распределением h(a, 2), то функция правдоподобия меняется на Как правило, распределение h неизвестно, а имеющаяся информация ограничивается только данными: (1.18) – (1.21), введенными в разделе 1.1. Там определена априорная информация двух типов: включающая априорное знание о дисперсии 2 (тип 1) и без нее (тип 2). Теперь мы можем конкретизировать практическое использование этих данных.

Будем рассматривать вектор параметров a как гауссов случайный вектор с математическим ожиданием b (вектор априорных значений параметров) и матрицей точности H (H – это априорная информационная матрица) [37] Величина зависит от типа априорной информации: = для априорной информации типа 1 и =1 для типа 2. Здесь s0 – это априорное значение взвешенной дисперсии ошибки.

Для построения распределения величины естественно предположить, что случайная величина N 0 распределена по хи-квадрат с N0 степенями свободы, где N0 – это априорное число степеней свободы. Поэтому, плотность распределения величины 2 равна Комбинируя распределения для величин a и 2, получаем, что для информации по типу априорное распределение h(a, 2) имеет вид а для информации по типу 2 вид – Здесь R(a) – это квадратичная форма а величины 1 и 2 в формулах (2.5) и (2.6) – это нормировочные константы, не зависящие от a и 2. С учетом соотношения (2.2) функция правдоподобия с априорной информацией по типу 1 примет вид а с априорной информацией по типу 2 вид Здесь величина S(a) – это взвешенная сумма квадратов отклонений (1.22), а Nw– это число наблюдений, имеющих не нулевые веса (1.45). Величины С1 и С2 – это нормировочные константы, имеющие довольно сложный вид, который, однако, не существенен, т.к. эти величины не зависят от значений искомых параметров a и 2.

Для определения оценок параметров a и 2 необходимо найти точку, где функция правдоподобия имеет максимум. Легко видеть, что задача оценивания параметров a с учетом априорной информации, так же, как и без ее учета, сводится к поиску минимума некоторой целевой функции Q(a) (см. формулу (1.34)). Продифференцировав функции (2.8) и (2.9) по параметрам a и 2, можно установить, что эта функция определяется следующим образом:

– для байесовской информации первого типа, и – для байесовской информации второго типа.

Вид байесовского члена B(a) зависит от типа априорной информации. Так, для информации типа 1, а для информации типа 2, Из ММП следуют и формулы для оценивания параметра 2. Прежде, чем привести их, определим величину Nf – число степеней свободы с учетом априорной информации. Для информации 2-го типа она рассчитывается так же, как и без априорной информации (см.

формулу (1.44)), а для информации типа 2 эта величина равна Оценка взвешенной дисперсии для априорной информации типа 2 вычисляется так же, как и без всякой информации (см. формулу (1.33) ) Это совершенно естественно, т.к. априорная информация 2-го типа не содержит никаких новых данных о величине дисперсии2. Для информации 1-го типа, наоборот, априорные данные о величине ошибки позволяют уточнить ее оценку 2.2. Апостериорная информация Основная идея метода последовательного байесовского оценивания (ПБО) состоит в том, что экспериментальные данные разбиваются на части (серии), которые обрабатываются последовательно серия за серией. При этом результаты оценивания каждой серии учитываются при обработке следующей серии как априорная байесовская информация. Рассмотрим, как устроена процедура ПБО и определим правила, по которым осуществляется переход от одной серии данных к другой. Предположим, что все серии имеют общую ошибку измерения, т.е. что здесь применима априорная информация 1-го типа. Тогда в каждой серии для оценки параметров используется одна и та же целевая функция, определенная формулами (2.10) и (2.12) хотя величины S (a ), b, H, s0 и N 0, разумеется, отличаются на разных шагах. Разложим функцию Q(a) в ряд в точке ее минимума, ограничившись квадратичным приближением Здесь матрица V определена уравнением (1.39), т.е. S (a ) S (a ) + (a a )t V tV (a a ).

Используя формулу (2.16) для оценки дисперсии ошибки, разложение (2.18) можно представить в виде где (рр) матрица A – – это аналог информационной матрицы (1.38), пересчитанный для априорной информации 1-го типа. Аналог F-матрицы определяется по прежней формуле (1.42), причем оценка дисперсии ошибки вычисляется по формуле (2.16).

Итак, после каждого шага ПБО с априорной информацией типа 1 мы получаем следующий набор величин, который естественно назвать апостериорной информацией 1-го типа.

1) вектор апостериорных значений параметров:

2) апостериорная F- матрица (1.42):

3) апостериорное значение взвешенной дисперсии ошибки (2.16):

4) апостериорное число степеней свободы (2.14):

Этот набор нужно превратить в соответствующий набор априорной информации (1.18) – (1.21), который будет использоваться на следующем шаге процедуры, т.е. при обработке новой серии данных. Такой переход осуществляется по следующим простым правилам:

1) вектор априорных значений параметров равен вектору апостериорных значений:

2) априорная информационная матрица равна апостериорной F-матрице:

3) априорное значение взвешенной дисперсии равно апостериорному значению 4) априорное число степеней свободы равно апостериорному числу При таком построении априорной информации байесовский член B(a) (2.12) на k+1–ом шагу процедуры будет совпадать с целевой функцией Q(a) для k –го шага с точностью до членов третьего порядка в разложении (2.18). Это означает, что оценки параметров, полученные в последовательной процедуре, будут близки к аналогичным оценкам, которые могли бы быть найдены при совместном оценивании.

Итак, мы определили правило превращения апостериорной информации в априорную и, тем самым, построили рекурентную процедуру, по которой осуществляется переход от k-ой серии данных к k+1-ой. Осталось только определить как «запустить» эту процедуру, т.е. что делать с первой серией, которой ничего не предшествует. Решение очень простое – ее нужно обрабатывать без априорной информации так, как это описано в разделе1.2.

Теперь мы полностью описали метод последовательного байесовского оценивания, который можно представить следующим алгоритмом:

1) данные разбиваются несколько серий;

2) первая серия обрабатывается с целевой функцией (1.35);

3) строится апостериорная информация по формулам (2.21) – (2.24);

4) строится априорная информация по формулам (2.25) – (2.28); (2.29) 5) следующая серия обрабатываются с целевой функцией (2.17);

6) повторяем шаги 3 – 5 до последней серии;

7) оценки, полученные для последней серии, являются оценками ПБО.

Аналогичная последовательная процедура может быть построена и для априорной информации 2-го типа. В этом случае информационная матрица должна рассчитываться по формуле а в F-матрице должна использоваться оценка дисперсии (2.15). Все остальные соотношения остаются неизменными, но с учетом того, что апостериорная информация типа 2 не содержит данных (2.27) и (2.28) о взвешенной дисперсии ошибки.

2.3. Общие и частные параметры В предыдущем разделе метод ПБО был определен для случая, когда все экспериментальные данные описываются одной и той же моделью, содержащей одни и те же неизвестные параметры. В такой постановке этот метод полезен, прежде всего, для обработки больших, но однородных массивов данных, где основная проблема – это слишком большая размерность N – число экспериментов. Однако, наиболее интересно использование ПБО для интерпретации разнородных массивов данных, каждый из которых описывается своей регрессионной моделью, содержащей несколько общих для всех этих моделей параметров.

Рассмотрим, как строится и используется априорная информация в этом случае.

Пусть имеется M регрессионных моделей каждая из которых содержит pj неизвестных параметров aj, причем в каждом векторе aj первые r параметров a1,…, ar являются общими для всех моделей, а остальные pj-r параметров a r +1,K, a p j – это частные, присутствующие только в одной модели. Всего, таким образом, всего имеется неизвестных параметров a. Пусть также имеются соответствующие этим моделям, M наборов данных (xj, yj), каждый размерностью Nj, содержащие ошибки, характеризуемые неизвестными взвешенными дисперсиями 2. Полное число всех измерений равно – Цель дальнейшего изложения – определить, как по результатам обработки данных в j-ой серии строится априорная информация для обработки следующей, j+1 –ой серии данных.

Для j-ой серии данных (далее мы не будем использовать индекс j, чтобы не усложнять обозначения) апостериорная информационная матрица A (формула (2.20) или (2.30)) имеет блочный вид где блок A00 – это rr квадратная матрица, которая соответствует первым (общим) r элементам вектора параметров, блок A11 –это (pj–r)(pj–r) квадратная матрица, которая соответствует последним (частным) pj–r параметрам, и блок A01 – это прямоугольная матрица размером r(pj-r). Размерность всей матрицы A есть pjpj. Из этой матрицы нужно построить новую матрицу A, сохранив в ней информацию только об общих параметрах и исключив данные о частных параметрах. Это делается с помощью следующего простого преобразования Матрица A имеет размерность rr. Априорная матрица H строится из этой матрицы по следующему правилу где s2 – это оценка дисперсии ошибки в j-ой модели. Размерность матрицы H должна быть уже pj+1pj+1, где pj+1 – это число параметров в следующей, j+1–ой модели fj+1. Для этого матрица A дополняется нулевыми значениями до надлежащей размерности. Аналогично поступим и с априорными значениями параметров для j+1 –ой серии – Для простоты мы будем рассматривать только верхний предел, имея в виду, что нижний предел – легко определяется по верхнему как В качестве g(a) будем рассматривать, прежде всего, значение самой регрессионной функции (3.1) в некоторой точке xp лежащей за пределами области наблюдения Пусть F(z,u | a, 2) – это совместная функция распределения статистик (3.4) и (3.5) т.е.

тогда распределение G(w | a, 2) случайной величины (3.6) определяется как Рассмотрим некоторые конкретные экспериментальные данные y0, по которым найдены соответствующие значения оценок 0 и s0 – реализации случайных величин (3.4) и (3.5).

Тогда доверительный интервал (3.7) может быть построен с помощью статистики (3.6) как где G - функция обратная к (3.10) т.е. квантиль (1.48) распределения Конечно, распределение (3.9) в общем случае не известно, поэтому для построения доверительных интервалов используются распределения F и G, с той или иной точностью приближающие распределения (3.9) и (3.10).

Рассмотрим теперь основные (традиционные) методы построения доверительных интервалов.

Стохастическая аппроксимация (S-метод) Известно [3], что для линейной нормальной регрессии распределение (3.9) является гауссовым. В нелинейном случае это утверждение верно лишь асимптотически, при большом числе наблюдений. Тем не менее, можно построить доверительный интервал, опираясь на это предположение. Положим где – функция p-мерного нормального распределения со средним значением a и матрицей ковариаций A. Матрица A –это информационная матрица, определенная в формулах (1.38) или (2.20) или (2.30). Распределение G в этом приближении также будет нормальным с параметрами:

где g0=g(a0), а v=g(a0). Из (3.11) получаем, что где z(P) – это P- квантиль нормального распределения (1.49), s = D( ).

В некоторых случаях (например, когда g(a)0) доверительный интервал получается гораздо точнее, если в качестве распределения G брать не нормальное, а логнормальное распределение. Легко видеть, что в этом случае выражение для доверительного интервала имеет вид где Доверительный интервал в форме (3.13) или (3.14) построить легко, тем более что матрица A все равно вычисляется в ходе поиска параметров регрессии. Однако его точность в нелинейном случае не удовлетворительна.

Линеаризация (L-метод) В некоторых случаях можно подобрать преобразования, превращающие регрессионную модель в линейную. Пусть существуют такие отображения что одновременно Оценивание новых параметров a сводится тогда к поиску минимума квадратичной функции В этом случае доверительный интервал (3.11) имеет вид где распределения (1.49).

Такой способ построение интервала очень распространен [1, 64]. Однако, хорошо известно, что преобразование координат в исходной регрессии может приводить к серьезным ошибкам в оценивании. Ниже мы увидим это на примере.

Имитационное моделирование (M-метод) Методы, изложенные выше, опираются на довольно грубые приближения вида распределения оценок параметров и прогнозируемой функции g(a). Избежать этих недостатков, можно используя методы имитационного моделирования [27]. Основная идея этих методов состоит в том, чтобы смоделировать с помощью метода Монте-Карло распределение оценок параметров (3.4) и (3.5) и взять выборочный процентиль распределения (3.6) в качестве доверительного интервала. Рассмотрим этот подход подробнее.

Пусть a0 и s0 – это реализации оценок (3.4) и (3.5), полученные в эксперименте, т.е. при y=y0. Рассмотрим случайные величины где Случайные величины * (псевдоошибки) распределены нормально с дисперсией s0, т.е.

Из этих формул следует, что случайные величины строятся так, что их «истинными»

значениями являются a0 – реализации оценок, а ошибки имеют «истинное» значение дисперсии s0. По-видимому, впервые такой подход был предложен в [55]. Главное допущение этого метода состоит в том, что величины (3.16) и (3.17) “подобны”, соответственно, (3.4) и (3.5). Точнее, предполагается, что существует монотонное отображение r(!) (сам вид его не важен) такое, что r()–r(g) и r(*)–r(g0) имеют одинаковое распределение, симметричное относительно нуля [22]. Если это верно, то доверительный интервал для g может быть получен как выборочный процентиль распределения случайной величины *.

Практически это означает следующий алгоритм:

1) по исходным данным y0 определяются величины a0 и s 2) строится нормальный независимый вектор ошибок (3.19) 4) оцениваются * и * по (3.16) и (3.17) 5) независимо повторяя шаги 2)-4) получаем выборку значений 1,..., M Тогда Опыт показывает, что M-метод дает очень точные значения для доверительных интервалов. Сомнения вызывает только применение нормального распределения для генерирования ошибок на втором шагу алгоритма. Как альтернативу можно использовать bootstrap метод.

Bootstrap (B-метод) Этот метод был предложен и развит в работах [21-23, 56]. Его основная идея состоит в том, чтобы заменить псевдослучайные нормальные ошибки (3.19) на случайные повторные выборки из вектора остатков т.е.

Результат получается неплохим, однако главным недостатком этого и предыдущего методов является большие затраты времени на реализацию. Очевидно, что главные неприятности связаны с шагом 4) в алгоритме (3.20). Если оценивается сложная модель с большим числом нелинейных параметров, то время, затрачиваемое на одну минимизацию, достигаУчет нелинейности регрессии ет 10 секунд. Для уверенного прогноза необходимо выполнить не менее M=1000 повторений, что дает 10000 сек или более 3 часов работы компьютера.

3.2. Новые методы построения доверительных интервалов В работе [57] были предложены два новых метода для построения доверительных интервалов в нелинейной регрессии. Рассмотрим их подробно.

Свободное моделирование (F-метод) Ошибки при построении доверительных интервалов (3.13), (3.14) и (3.15) могут возникать, как из-за ненормальности распределения (3.9), так и из-за нелинейности функции (3.6).

Уточним доверительный интервал (3.13), приняв во внимание нелинейную зависимость g(). Рассмотрим нормальную векторную случайную величину и порожденную ей случайную величину Принимая то же допущение об эквивалентности * и, что и в S-методе, можно построить доверительный интервал как процентиль модельной выборки 1,..., M. Для ее создания необходимо многократно получать реализации нормальных случайных величин * из распределения (3.24). Проще всего это сделать с помощью разложения Холецкого [58, 65] для матрицы A =B, где B –это треугольная положительно определенная матрица. Тогда Т.к. стадия поиска оценок отсутствует, то время, необходимое на реализацию этого алгоритма, значительно меньше, чем у M-метода. Однако F-метод не дает достаточно точных величин, что связано, на наш взгляд, с необъективностью использования нормального распределения для моделирования оценок параметров.

Связанное моделирование (A-метод) Этот метод предлагается как компромисс между точностью M- и быстротой F-методов.

Его идея состоит в том, чтобы, сохраняя принцип моделирования параметров, а не данных, уточнить вид распределения (3.24), приблизив его к реальному.

Основным предположением этого метода является то, что распределение случайной величины подчиняется закону хи-квадрат с p степенями свободы.

Здесь Q – это целевая функция (3.2), a0 и s0 – это реализации оценок (3.4) и (3.5), полученные в эксперименте, т.е. при y=y0. Для линейной нормальной регрессии утверждение (3.26) верно в точности т.к.

Для нелинейной модели его справедливость основана на законе больших чисел [59].

На этом эмпирическом факте базируется метод связанного моделирования, уточняющий метод свободного моделирования. Его основная идея состоит в том, чтобы использовать при моделировании оценок параметров распределение хи-квадрат с p степенями свободы вместо нормального распределения. Для того чтобы построить выборку параметров, удовлетворяющих условиям (3.25) и (3.26), воспользуемся стандартным приемом «приемаотклонения» [27].

Разобьем отрезок [0, 1] на m не перекрывающихся интервалов точками Pk (см. Рис. 3.1) где коэффициенты ak зависят только от t1. Из условия непрерывности кинетики следует, что Поэтому Очевидно, что асимптотика выражения (9.68) при t t 1 + 0 имеет вид Таким образом, мы получаем окончательное выражение для вычисления кинетики цикла «увлажнение–сушка».





Похожие работы:

«ГРИШКОВ Сергей Михайлович Магнитно-резонансная томография в уточненной диагностике опухолевого поражения прямой и сигмовидной кишки 14.01.03 – лучевая диагностика и лучевая терапия 14.01.12 – онкология Диссертация на соискание ученой степени кандидата медицинских наук Научные руководители: доктор медицинских наук, профессор, Котляров...»

«Стукалин Елена Борисовна Статистическое исследование гендерной асимметрия в здоровье населения России Специальность 08.00.12 – Бухгалтерский учет, статистика Диссертация на соискание ученой степени кандидата экономических наук Научный руководитель : член- корр. РАН, з.д.н. РФ, д.э.н., проф. И.И. Елисеева Санкт-Петербург 2014 Содержание ВВЕДЕНИЕ ГЛАВА 1. КОЛИЧЕСТВЕННЫЙ ПОДХОД К ИССЛЕДОВАНИЮ СОСТОЯНИЯ ЗДОРОВЬЯ...»

«КУЗЬМИН Сергей Валерьевич ФОРМИРОВАНИЕ У БУДУЩИХ ПЕДАГОГОВ ДИДАКТИЧЕСКИХ УМЕНИЙ ПО ПРИМЕНЕНИЮ СЕТЕВОГО ИНТЕРАКТИВНОГО СРЕДСТВА ОБУЧЕНИЯ 13.00.08 – теория и методика профессионального образования ДИССЕРТАЦИЯ на соискание ученой степени кандидата педагогических наук Научный руководитель : доктор педагогических наук,...»

«Васильев Евгений Сергеевич Синтез замещённых нопинан-аннелированных пиридинов и их химические превращения специальность 02.00.03 органическая химия Диссертация на соискание учёной степени кандидата химических наук Научный руководитель : д.х.н., профессор Ткачёв А.В. Новосибирск – 2014 Оглавление 1. ВВЕДЕНИЕ 2. МЕТОДЫ СИНТЕЗА ЗАМЕЩЁННЫХ НОПИНАН-АННЕЛИРОВАННЫХ...»

«Овсяник Ольга Александровна Социально-психологической адаптации женщин второго периода взрослости Специальность 19.00.05 – Социальная психология Диссертация на соискание ученой степени доктора психологических наук Научный консультант : доктор психологических наук, профессор Базаров Тахир Юсупович Москва - 2013 Содержание Введение.....»

«РОДИНА Надежда Андреевна СОВРЕМЕННЫЕ ДЕТСКИЕ И МОЛОДЕЖНЫЕ ПРОЗВИЩА: СТРУКТУРНО-СЕМАНТИЧЕСКИЙ И ФУНКЦИОНАЛЬНО-ДИНАМИЧЕСКИЙ АСПЕКТЫ 10.02.01 – русский язык Диссертация на соискание ученой степени кандидата филологических наук Научный руководитель : доктор филологических наук, профессор И. А. Королева Смоленск СОДЕРЖАНИЕ Введение Глава 1....»

«ЕЛОХИНА Светлана Николаевна ТЕХНОГЕНЕЗ ЗАТОПЛЕННЫХ РУДНИКОВ УРАЛА Специальность 25.00.36 – Геоэкология (науки о Земле) Диссертация на соискание ученой степени доктора геолого-минералогических наук Научный консультант - доктор геолого-минералогических наук, профессор Грязнов...»

«СТЕПУК Елена Ивановна СОВЕРШЕНСТВОВАНИЕ МЕТОДА КОМПЛЕКСНОЙ ОЦЕНКИ УСТОЙЧИВОСТИ РАЗВИТИЯ МЕТАЛЛУРГИЧЕСКИХ ПРЕДПРИЯТИЙ Специальность 08.00.05 – Экономика и управление народным хозяйством (экономика, организация и управление предприятиями, отраслями, комплексами)...»

«Призова Наталия Сергеевна МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ, РЕЗУЛЬТАТЫ И ПЕРСПЕКТИВЫ СКРИНИНГА РАКА МОЛОЧНОЙ ЖЕЛЕЗЫ В КРУПНОМ АДМИНИСТРАТИВНОМ РЕГИОНЕ Специальности: 14.01.12 – онкология; 14.02.03 – общественное здоровье и здравоохранение Диссертация на соискание ученой степени кандидата медицинских наук Научные руководители: д.м.н., профессор,...»

«Дмитриев Максим Эдуардович Амино- и амидоалкилирование гидрофосфорильных соединений (02.00.03 – органическая химия) Диссертация на соискание ученой степени кандидата химических наук Научный руководитель : кандидат химических наук, ведущий научный сотрудник В.В.Рагулин Черноголовка ОГЛАВЛЕНИЕ ВВЕДЕНИЕ Актуальность работы Научная новизна и практическая...»

«Севостьянов Дмитрий Владимирович ДИФФЕРЕНЦИРОВАННЫЙ ПОДХОД К ХИРУРГИЧЕСКОМУ ЛЕЧЕНИЮ БОЛЬНЫХ МАЛЬФОРМАЦИЕЙ КИАРИ I ТИПА 14.01.18 - нейрохирургия Диссертация на соискание ученой степени кандидата медицинских наук Научный руководитель : доктор медицинских наук, профессор, Заслуженный врач РФ Сакович В.П. Екатеринбург ОГЛАВЛЕНИЕ СПИСОК СОКРАЩЕНИЙ ВВЕДЕНИЕ ГЛАВА 1. СОВРЕМЕННЫЕ...»

«Серчугина Ольга Михайловна ОРГАНИЗАЦИЯ СИСТЕМЫ ВНУТРЕННЕГО КОНТРОЛЯ НА ОСНОВЕ ЗАКОНА САРБЕЙНСАОКСЛИ Специальность 08.00.12 – Бухгалтерский учет, статистика Диссертация на соискание ученой степени кандидата экономических наук Научный руководитель д.э.н., проф. Каморджанова Н.А. Санкт-Петербург 2014г. Оглавление Введение Глава 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ФОРМИРОВАНИЯ СИСТЕМЫ ВНУТРЕННЕГО КОНТРОЛЯ 1.1. Контроль как функция...»

«ЧУДНОВСКАЯ ГАЛИНА ВАЛЕРЬЕВНА БИОЭКОЛОГИЯ И РЕСУРСЫ ЛЕКАРСТВЕННЫХ РАСТЕНИЙ ВОСТОЧНОГО ЗАБАЙКАЛЬЯ Специальность 03.02.08 – Экология Диссертация на соискание ученой степени доктора биологических наук Научный консультант : Чхенкели Вера Александровна, доктор биологических наук, профессор Иркутск – СОДЕРЖАНИЕ Введение.. Глава 1. Обзор литературы по состоянию проблемы исследований ресурсов лекарственных растений.. 1.1...»

«Рубцов Владимир Спартакович Раннее выявление и эндоскопическое удаление колоректальных полипов в амбулаторно-поликлинических условиях 14.01.17 – хирургия диссертация на соискание ученой степени кандидата медицинских наук Научный руководитель : доктор медицинских наук, профессор Чалык Ю.В. Саратов – 2014 ОГЛАВЛЕНИЕ ВВЕДЕНИЕ.. ГЛАВА 1. ОБЗОР...»

«Гудзовский Евгений Александрович Поиск зарядовой асимметрии в распадах K ± 3 ± в эксперименте NA48/2 Специальность 01.04.23 физика высоких энергий Диссертация на соискание учной степени кандидата е физико-математических наук Научный руководитель : доктор физико-математических наук профессор Кекелидзе В.Д. Дубна 2006 Оглавление Список иллюстраций Список таблиц Введение 1 Теоретический обзор 1.1 Введение......»

«Жердев Павел Александрович ПЕРВОНАЧАЛЬНЫЙ ЭТАП РАССЛЕДОВАНИЯ ПРЕСТУПЛЕНИЙ, СВЯЗАННЫХ С ПОДДЕЛКОЙ ИЛИ УНИЧТОЖЕНИЕМ ИДЕНТИФИКАЦИОННОГО НОМЕРА ТРАНСПОРТНОГО СРЕДСТВА В ЦЕЛЯХ ЭКСПЛУАТАЦИИ ИЛИ СБЫТА Специальность 12.00.12 – криминалистика; судебно-экспертная деятельность; оперативно-розыскная деятельность Диссертация на соискание...»

«КАЧИНСКАЯ ИРИНА БОРИСОВНА ТЕРМИНЫ РОДСТВА И ЯЗЫКОВАЯ КАРТИНА МИРА (по материалам архангельских говоров) специальность 10.02.01 – русский язык диссертация на соискание ученой степени кандидата филологических наук Научный руководитель – кандидат филологических наук доцент Оксана Герасимовна Гецова Москва 2011 СОДЕРЖАНИЕ Введение Глава I. ТР и мифологическое пространство...............»

«АБДУРАШИТОВ ФОЗИЛ МАМАТОВИЧ ИСТОРИЧЕСКИЙ ОПЫТ ВНУТРЕННЕГО СЕЛЬСКОХОЗЯЙСТВЕННОГО ПЕРЕСЕЛЕНИЯ В ТАДЖИКИСТАНЕ (1924 – 1990гг.) Специальность 07. 00. 02 – Отечественная история Диссертация на соискание ученой степени доктора исторических наук Душанбе – 2014 –2– ОГЛАВЛЕНИЕ Введение Глава 1. ОСНОВНЫЕ ЭТАПЫ И ОСОБЕННОСТИ ПЕРЕСЕЛЕНЧЕСКОЙ ПОЛИТИКИ В ТАДЖИКИСТАНЕ 1.1 Основные этапы и тенденции...»

«Зайцева Анастасия Владленовна МЕТОДИКА ПОСТРОЕНИЯ ЭНТРОПИЙНЫХ СТЕГАНОГРАФИЧЕСКИХ СИСТЕМ ЗАЩИТЫ СООБЩЕНИЙ В ИНФОРМАЦИОННЫХ СЕТЯХ Специальность 05.13.19 — Методы и системы защиты информации, информационная безопасность Диссертация на соискание учёной степени кандидата технических наук Научный руководитель : доктор технических наук, профессор Шеремет Игорь Анатольевич Москва — ОГЛАВЛЕНИЕ Введение Глава 1....»

«ЗАПУНИДИ АННА АЛЕКСАНДРОВНА РОЛЬ ИЗОБРАЗИТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ В РАЗВИТИИ ФУНКЦИЙ РЕЧИ У ДЕТЕЙ ДОШКОЛЬНОГО ВОЗРАСТА 19.00.13 – Психология развития. Акмеология (психологические наук и) Диссертация на соискание ученой степени кандидата психологических наук Научный руководитель : доктор психологических наук, профессор Л.Ф. Обухова Москва — Содержание Введение Глава 1. Развитие изобразительной...»






 
2014 www.av.disus.ru - «Бесплатная электронная библиотека - Авторефераты, Диссертации, Монографии, Программы»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.