Московский государственный университет

имени М. В. Ломоносова

На правах рукописи

Назаров Алексей Леонидович

Приближенные методы разделения смесей

вероятностных распределений

Специальность 01.01.05 теория вероятностей

и математическая статистика

Автореферат

диссертации на соискание ученой степени

кандидата физико-математических наук

Москва 2013

Работа выполнена на кафедре математической статистики факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломоносова.

Научный руководитель: доктор физико-математических наук, профессор В. Ю. Королев

Официальные оппоненты: доктор физико-математических наук, профессор Л. Г. Афанасьева кандидат физико-математических наук В. А. Лапшин

Ведущая организация: Институт проблем информатики РАН

Защита диссертации состоится 26 апреля 2013 г. в 11 часов на заседании диссертационного совета Д 501.001.44 при Московском государственном университете имени М. В. Ломоносова по адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМК, аудитория 685. Желающие присутствовать на заседании диссертационного совета должны сообщить об этом за 2 дня до указанной даты по тел. (495) 939-30-10 (для оформления заявки на пропуск).

С диссертацией можно ознакомиться в Фундаментальной библиотеке МГУ им. М. В. Ломоносова. С текстом автореферата можно ознакомиться на официальном сайте ВМК МГУ http://cs.msu.ru в разделе Наука – Работа диссертационных советов – Д 501.001.44.

Автореферат разослан марта 2013 года.

Ученый секретарь диссертационного совета, к.т.н., в.н.с В.А. Костенко

Общая характеристика работы

Актуальность темы. Смеси вероятностных распределений как математические модели используются во многих задачах, например, при непараметрическом оценивании плотности и в кластерном анализе. Они демонстрируют высокую адекватность при описании неоднородных данных. Смеси вероятностных распределений хорошо зарекомендовали себя при описании хаотических процессов, моделирующих, к примеру, поведение цен финансовых инструментов, турбулентной плазмы.

Первые работы по исследованию и применению смесей вероятностных распределений появились еще в конце XIX века. К числу пионерских работ этого направления можно отнести работы С. Ньюкомба 1886 г.1 и К. Пирсона 1894 г.2 В них рассматривается смесь нормальных распределений, использующаяся для моделирования скошенных и островершинных распределений.

В общем случае задача разделения смеси вероятностных распределений заключается в поиске смеси из некоторого допустимого класса, которая в некотором смысле ближе всего к распределению наблюдаемой величины.

Так как класс допустимых смесей чаще всего определяется классом допустимых смешивающих распределений, гарантирующих идентифицируемость модели, задача разделения смеси обычно сводится к задаче статистического оценивания смешивающего распределения по реализациям смеси3,4,5,6.

Традиционными статистическими инструментами при решении задачи разделения смеси являются метод моментов и метод максимального правдоподобия. Как правило, для оценки смешивающего распределения в рассматриваемых задачах используется метод максимального правдоподобия. При этом ищется точка глобального максимума функции правдоподобия, соответствующая семейству допустимых смесей, как функция параметров. Численно данная задача может быть решена с помощью стандартных методов оптимизации7. Для решения задачи статистического разделения смесей вероятностных распределений также используются метод моментов, метод минимума Newcomb S. A generalized theory of the combination of observations so as to obtain the best result // American Journal of Mathematics.– 1886.– Vol. 8, no. 4.– Pp. 343–366.

Pearson K. Contributions to the Mathematical Theory of Evolution // Philosophical Transactions of the Royal Society of London.– 1894.– Vol. 185.– Pp. 71–110.

Everitt B., Hand D. J. Finite Mixture Distributions. Monographs on Applied Probability and Statistics.– Chapman and Hall, 1981.

Titterington D. M., Smith A. F. M., Makov U. E. Statistical analysis of nite mixture distributions.– John Wiley & Sons, 1987.

McLachlan G. J., Basford K. E. Mixture models. inference and applications to clustering.– 1988.

McLachlan G., Peel D. Finite Mixture Models. Wiley series in probability and statistics: Applied probability and statistics.– Wiley, 2004.

Васильев Ф. П. Методы оптимизации.– Москва: Факториал Пресс, 2002.

хи-квадрат, метод наименьших квадратов и пр. (см. работы О.К. Исаенко и В.Ю. Урбаха8, J. Grim9 и др.5,6,7,8 ).

Для конечных смесей нормальных распределений задача поиска оценок максимального правдоподобия может быть решена с помощью ЕМалгоритма. ЕМ-алгоритмом принято называть схему построения процедур итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, в прикладной статистике эта схема вполне работоспособна при поиске оценок максимального правдоподобия и родственных им в ситуациях, когда функция правдоподобия имеет сложную структуру, из-за которой другие методы оказываются неэффективными или вообще не применимы.

Появление первых электронно-вычислительных машин сделало возможной реализацию довольно сложных итерационных процедур, к числу которых принадлежит ЕМ-алгоритм, и стимулировало дальнейшее развитие идей, лежащих в основе ЕМ-алгоритма. Эти идеи нашли свое отражение в работах M. Healy, M. Westmacott, H.O. Hartley, S.F. Buck, М.И. Шлезингера, N. Day, J. Wolfe, B.J.N. Blight и др.

Поиск оценок весов и параметров компонент смеси с помощью ЕМалгоритма работает эффективнее, чем стандартные методы оптимизации10.

Однако в общем случае функция правдоподобия конечной смеси нормальных распределений нерегулярна, имеет много локальных максимумов (возможно, к тому же, бесконечных). Поэтому при численном решении данной задачи ЕМ-алгоритм так же, как и стандартные методы оптимизации, становится крайне неустойчивым. К сожалению, последнее обстоятельство является серьезным препятствием для корректной интерпретации результатов применения данных алгоритмов к разделению конечных смесей нормальных законов.

В частности, было экспериментально установлено, что ЕМ-алгоритм неустойчив по начальным данным. В некоторых случаях замена лишь одного наблюдения в выборке может кардинально изменить итоговые оценки, полученные с помощью ЕМ-алгоритма11. Поэтому необходимо иметь альтернативные методы разделения смесей, ориентированные не на максимизацию полной функции правдоподобия, а на оптимизацию других разумных критериев качества получаемых оценок.

Одно из серьезных ограничений использования метода максимального правдоподобия для решения рассматриваемой задачи заключается в том, что класс допустимых смешивающих распределений чаще всего параметризоИсаенко О. К., Урбах В. Ю. Разделение смесей распределений вероятностей на их составляющие // Итоги науки и техники.– Москва: ВИНИТИ, 1976.– Т. 13 из Теория вероятностей, математическая статистика и теоретическая кибернетика.– С. 37–58.

Grim J. On numerical evaluation of maximum-likelihood estimates for nite mixtures of distributions // Kybernetika.– 1982.– Vol. 18, no. 3.– Pp. 173 – 190.

Королев В. Ю. Вероятностно-статистические методы декомпозиции волатильности хаотических процессов.– Москва: Издательство Московского университета, 2011.

Королев В. Ю. ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор.– Москва: ИПИ РАН, 2007.

ван и задается точками из некоторого подмножества евклидова пространства.

Это связанно с тем, что поиск точек глобального максимального правдоподобия обычно проводится численно. При этом задача поиска оценки смешивающего распределения, например, среди всех распределений, сосредоточенных на некотором компакте, не может быть решена с помощью данных методов без дополнительных ограничений.

Поиск новых эффективных методов является принципиально важным с точки зрения возможности адекватной практической интерпретации результатов работы алгоритмов разделения смесей. Именно такие альтернативные методы и предлагаются в данной работе.

Цель работы. Целью настоящей диссертации является описание и исследование класса приближенных методов разделения смесей вероятностных распределений – сеточных методов разделения смесей. Изучаются вопросы теоретического обоснования применимости данных методов и исследуются асимптотические свойства оценок, полученных с их помощью.

Научная новизна. Все основные результаты диссертации являются новыми и состоят в следующем:

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений получены в явном виде.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей. Проведено тестирование данных алгоритмов на различных наборах данных.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Объектом исследования является модель сдвиг-масштабных смесей нормальных распределений, а также класс сеточных методов разделения смесей, применяемый для статистического оценивания параметров модели по ее реализациям.

Методы исследования. Для решении задач стохастической устойчивости рассматриваемой модели в первой главе используются свойства вероятностных метрик(метрик Леви, Леви–Прохорова и др.), свойства прямых и обратных преобразований Фурье, теорема Планшереля, теорема Прохорова, а также общие методы теории вероятностей. Асимптотические свойства оценок, полученных с помощью сеточных методов, рассматриваются с использованием результатов теории М-оценок и эмпирических процессов. Доказательство состоятельности данных оценок опираются на теоремы, описывающие сходимость вероятностных мер в пространстве Скорохода D[0, 1]. Для исследования предложенных в работе алгоритмов применяется аппарат математической статистики и численные методы оптимизации. Сравнительное тестирование сеточных алгоритмов проводилось на выборках логарифмических приращений финансовых индексов Amex, Nasdaq, Nikkei, CAC 40. Данные алгоритмы были реализованы на языке C и с помощью пакета MATLAB.

Обоснованность научных положений. Теоретические положения и выводы диссертации сформулированы в виде утверждений, лемм, теорем и строго доказаны. Достоверность полученных результатов подтверждена экспериментальной проверкой алгоритмов и программ на реальных данных.

Теоретическая и практическая значимость Результаты диссертации являются вкладом в теорию статистического оценивания. Предложенный класс алгоритмов может применяться для численного решения задачи разделения смесей вероятностных распределений. Верхние и нижние оценки устойчивости смесей вероятностных распределений, полученные в работе и использующиеся для теоретического обоснования применимости данных методов, развивают теорию устойчивости стохастических моделей.

Апробация работы и публикации Основные результаты диссертации опубликованы в 10 печатных работах [1–10], 3 из которых – в журналах, включенных в перечень ВАК.

Результаты диссертации докладывались на ежегодной Международной конференции студентов, аспирантов и молодых ученых Ломоносов (Москва, Россия, апрель 2009 г. и апрель 2012 г.), на научной конференции Ломоносовские чтения 2012 года (Москва, Россия, 16-25 апреля 2012 г.), на XXX Международном семинаре по проблемам устойчивости стохастических моделей (Светлогорск, Россия, 24-30 сентября 2012 г.), на VI Международном рабочем семинаре Прикладные задачи теории вероятностей и математической статистики, связанные с моделированием информационных систем (Бер-Шева, Израиль, ноябрь 2012 г.), на научно-исследовательском семинаре Теория риска и смежные вопросы на факультете ВМК МГУ, на семинаре Исследование асимптотического поведения и устойчивости стохастических моделей на механико-математическом факультете МГУ, на семинаре Моделирование финансовых рынков в Высшей школе экономики.

Cтруктура и объем диссертации Диссертация состоит из введения, трех глав, заключения и списка литературы. Полный объем диссертации 111 страниц текста с 12 рисунками. Список литературы содержит 70 наименований. Нумерация теорем и лемм в автореферате совпадает с нумерацией теорем и лемм в диссертации.

Содержание работы Во введении дается обзор существующих методов разделения смесей вероятностных распределений, обосновывается актуальность темы диссертационного исследования, формулируются его цели, кратко излагается содержание работы.

В первой главе получены верхние оценки близости сдвигмасштабных смесей нормальных законов через близость смешивающих распределений в метрике Леви–Прохорова, аналогичные оценки в метрике Леви рассмотрены для масштабных и сдвиговых смесей. Помимо этого, изучены нижние оценки устойчивости для различных подклассов смесей нормальных законов. Показано, что для сдвиговых смесей полученные оценки не могут быть улучшены без дополнительных ограничений. В заключение выписаны достаточные условия существования нижних оценок для произвольных классов смесей. Результаты первой главы используются во второй и третьей главах для обоснования применимости сеточных методов и исследования их свойств.

Основным объектом, который рассматривается во всех главах диссертации, является класс сдвиг-масштабных смесей нормальных законов. Пусть X – случайная величина, имеющая стандартное нормальное распределение, (U, V ) – случайный элемент со значениями в RR+, X и (U, V ) заданы на одном вероятностном пространстве и стохастически независимы. Здесь и далее через и соответственно обозначается функция распределения и плотность стандартного нормального закона.

Рассмотрим случайную величину Распределение случайной величины Y – сдвиг-масштабная смесь нормальных законов. Если U вырождена в 0, распределение случайной величины Y также называется масштабной смесью, а в случае, когда V вырождена в 1, – сдвиговой смесью. В таком контексте чисто сдвиговая смесь H(x) = E(x U ) является не чем иным, как функцией распределения суммы двух независимых случайных величин X и U, то есть сверткой их функций распределения.

В то же время, чисто масштабная смесь H(x) = E( V ) является не чем иным, как функцией распределения произведения двух независимых случайных величин X и V. Если это специально не оговорено, считается, что все случайные величины и элементы, рассматриваемые в данной главе, определены на одном вероятностном пространстве (, A, P).

В дальнейшем будем обозначать через равномерное расстояние между функциями распределения, через L метрику Леви, через – метрику Леви-Прохорова.

При выводе верхних оценок для класса сдвиг-масштабных смесей используется следующая лемма, доказанная в первой главе.

Л е м м а 3. Распределения P, Q двух случайных элементов X, Y, принимающих конечное число значений в R2, расстояние Леви-Прохорова между которыми (P, Q), можно представить в виде С помощью приведенной леммы в диссертации получены верхние оценки устойчивости для сдвиг-масштабных смесей нормальных законов.

Т е о р е м а 1. Пусть случайные величины Y1, Y2 имеют вид:

причем случайная величина X и случайный вектор (Ui, Vi ) стохастически независимы для i = 1, 2. Тогда справедливо неравенство где Отдельно получена аналогичная оценка расстояния между масштабными и между сдвиговыми смесями через расстояния между смешивающими распределениями в метрике Леви.

Т е о р е м а 2. Пусть случайная величина X имеет стандартное нормальное распределение; U1, U2, V1, V2 – не зависящие от X случайные величины, Vi > 0, i = 1, 2. Тогда Структура полученного класса верхних оценок на первый взгляд может показаться необычной из-за того, что в неравенствах используются не сами случайные величины, отвечающие смешивающему распределению параметров масштаба, а их логарифмы. Однако переписать данные оценки c использованием расстояния Леви между исходными величинами затруднительно. Это связанно с тем, что для двух положительных случайных величин V1, V2 и любого положительного числа c справедливо равенство В то же время а в общем случае не метризует слабую сходимость.

Далее в первой главе получены нижние оценки устойчивости для класса сдвиговых смесей нормальных законов, то есть для сверток некоторых смешивающих распределений со стандартным нормальным законом.

Т е о р е м а 3. Пусть случайная величина X имеет стандартное нормальное распределение; случайные величины U1, U2 не зависят от X и имеют конечные первые моменты, F1, F2 – соответствующие им функции распределения. Если L(F1, F2 ), то Нижняя оценка близости сдвиговых смесей, полученная в теореме 3, на первый взгляд может показаться достаточно грубой. В работе построен пример двух смесей, показывающий, что без дополнительных условий данная оценка не может быть принципиально улучшена.

У т в е р ж д е н и е 1. Пусть случайная величина X имеет стандартное нормальное распределение. Существуют не зависящие от X случайные величины U1, U2 такие, что расстояние Леви L(U1, U2 ), (0, 4 ), а Верхние оценки устойчивости, описывающие близость масштабных смесей через близость соответствующих им смешивающих распределений, получены с использованием метрики Леви в начале первой главы. К сожалению, аналогичные результаты для нижних оценок устойчивости не могут быть выписаны без дополнительных ограничений на смешивающее распределение.

Л е м м а 7. Пусть случайная величина X имеет стандартное нормальное распределение. Справедливы следующие утверждения.

1. Для любых (0, 1), > 0 существуют не зависящие от X положительные случайные величины V1, V2 такие, что L(V1, V2 ), 2. Для любых (0, 1), > 0 существуют не зависящие от X положительные случайные величины V1, V2 такие, что L(ln V1, ln V2 ), Если потребовать выполнения некоторых дополнительных условий, можно доказать существование искомых оценок и для сдвиговых, и для масштабных смесей нормальных законов. В диссертации данное утверждение сформулировано для произвольного класса смесей, порожденных некоторым ядром. Смеси нормальных законов являются частным случаем класса, описанного в теореме.

Рассматривается семейство смесей A = {Pt, t T } и семейство соответствующих смешивающих распределений B = {Qt, t T }, заданных на измеримых пространствах (SA, FA ), (SB, FB ) соответственно. Пусть T – некоторое параметрическое множество, и для любого t T смеси Pt соответствует смешивающее распределение Qt. Через B обозначается семейство, содержащее все распределения, заданные на (SB, FB ) и являющиеся слабыми пределами последовательностей из B. Семейству B соответствуют семейство смесей A и параметрическое множество T. Предполагается, что и метризуют слабую сходимость в A и B соответственно.

Т е о р е м а 4. Пусть A идентифицируемо, B плотно. Если для A существуют верхние оценки устойчивости вида где gu – некоторая вещественная функция, определенная на вещественной положительной полуоси, то для этого семейства должны существовать нижние оценки устойчивости вида где gl – некоторая вещественная функция, определенная на вещественной положительной полуоси.

Доказательство состоятельности оценок, полученных с помощью сеточных методов разделения смесей вероятностных распределений, опирается на теоремы существования, доказанные в первой главе. Кроме этого, приведенные примеры позволяют лучше понять, насколько сильно могут изменяться оценки смешивающего распределения при работе с реализациями одной и той же смеси.

Вторая глава посвящена описанию сеточных методов разделения смесей вероятностных распределений. Работа сеточных методов рассматривается сначала на примере конечной смеси функций распределения вида где k 1 – целое. В классической задаче разделения смесей параметрами, подлежащими статистическому оцениванию, являются тройки (pi, ai, i ), Предполагается, что заранее известны числа a, a и такие, что a ai a и i при всех i = 1,..., k. Другими словами, считается, что известны диапазоны изменения неизвестных параметров ai и i.

Идея, лежащая в основе рассматриваемого подхода, заключается в замене интервалов [a, a] и (0, ] возможных значений неизвестных параметров масштаба i и сдвига ai дискретными множествами известных точек. Эти точки могут быть выбраны, например, исходя из следующих соображений.

Пусть a и – положительные числа, определяющие априорные требования к точности оценивания параметров ai и i :

где ai и i – искомые оценки параметров. Числа a и также можно интерпретировать как пороги различимости возможных значений параметров:

значения a, a и, соответственно считаются неразличимыми, если Положим ka = [(a a)/a ] + 1, k = [/ ] + 1, где [z] обозначает целую часть числа z. Для r = 1, 2,..., ka + 1 положим ar = a + (r 1)a.

Аналогично для l = 1, 2,..., k положим l = l. Тогда точки с координатами (ar, l ) образуют узлы конечной сети, покрывающей прямоугольник {(a, ) : a a a, 0 }, который представляет собой множество возможных значений параметров сдвига и масштаба компонент смеси (2).

Параметры масштаба не равны нулю, чтобы избежать возможной некорректности. Число узлов полученной сети равно K = (ka + 1)k. Для удобства записи и упрощения обозначений перенумеруем каким-либо образом узлы указанной сети, вводя единый индекс i для координат (ai, i ) узла с номером i после перенумерации, i = 1,..., K.

Основная идея предлагаемого подхода состоит в аппроксимации смеси (2) смесью с заведомо бльшим числом известных компонент:

Такое приближение допустимо, поскольку в силу соотношений (3) и (4) для любой пары (ar, r ) параметров компоненты смеси (2) обязательно найдется практически неотличимая от нее пара (ai, i ) параметров компоненты смеси F. Веса остальных компонент смеси F, для параметров которых не найдется “близкой” пары параметров (ar, r ) компоненты смеси (2), можно считать равными нулю. Действительно, в этом случае смешивающие распределения будут, например, близки в метрике Леви-Прохорова, а из этого напрямую следует близость самих смесей (см. теорему 1).

В общем случае для произвольного класса сдвиг-масштабных смесей нормальных законов применяется точно такая же аппроксимация. Таким образом, при использовании сеточных методов оценка смешивающего распределения ищется в классе распределений, сосредоточенных в конечном числе точек, то есть на сетке. При этом точки расположены в области, содержащей носитель смешивающего распределения Другими словами, при статистическом оценивании в качестве допустимого рассматривается не класс всех распределений, сосредоточенных на R R+, а лишь некоторое его подмножество. Обосновать такую замену позволяют верхние оценки устойчивости сдвиг-масштабных смесей нормальных законов. Заметим, что неизвестными параметрами смеси F являются только веса В диссертации предложены методы приближенного разделения смесей, основанные на • (i) минимизации невязки между теоретическими и эмпирическими моментами • (ii) максимизации сеточной функции правдоподобия.

Показано, что задачи типа (i) могут быть сведены к задачам линейного программирования. Для численного решения задач типа (ii) предложены “усеченный” ЕМ-алгоритм и алгоритм условного градиента. Приведены результаты сравнительного анализа эффективности предложенных методов.

В сеточном методе максимального правдоподобия поиск оценок весов проводится с помощью итерационного процесса. В функцию правдоподобия, соответствующую распределениям, сосредоточенным на сетке, подставляются реализации случайной величины с оцениваемым распределением. Далее численно ищется точка максимума этой функции, как функции параметров.

Распределение, соответствующее полученным величинам, используется в качестве оценки истинного. В работе доказывается, что максимизируемая функция выпукла вверх по неизвестным параметрам.

Т е о р е м а 5. Любая сеточная функция правдоподобия как функция весов вогнута.

Т е о р е м а 6. Сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента, сходится к точке глобального максимума сеточной функции правдоподобия.

Таким образом, в отличие от классического EM-алгоритма, итерационный процесс в предложенном методе является устойчивым по начальным приближениям.

Наибольшую эффективность при решении задачи разделения смесей вероятностных распределений демонстрирует сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента.

Этот вывод сделан как на основе исследования свойств алгоритмов, так и на основе анализа применения различных сеточных методов разделения смесей к решению задачи статистической декомпозиции волатильности финансовых индексов.

В третьей главе исследуются асимптотические свойства оценок смешивающего распределения, полученных с помощью сеточного метода максимального правдоподобия для масштабных смесей нормальных законов. К сожалению, классическая теория, описывающая свойства оценок максимального правдоподобия, не может быть применена для изучения свойств последних. Для их исследования используются аппараты M-оценок12 и эмпирических процессов13. Рассмотрены достаточные условия состоятельности оценок, описывающие алгоритм согласованного изменения структуры параметрического множества и числа элементов выборки.

Для формального описания процесса “измельчения” сетки, на которой сосредоточен класс распределений, приближающих исходное смешивающее распределение, вводятся следующие обозначения.

Рассмотрим некоторое множество Z0 R, содержащее носитель смешивающего распределения. Обозначим через Z1 Z2... последовательность вложенных конечных подмножеств Z0, исчерпывающую счетное, всюду плотное подмножество Z0. Сопоставим каждому множеству Zi параметрическое множество Рассмотрим метрические пространства (i, di ) (i, d), i = 1, 2,..., где расстояние между двумя элементами 1, 2 i задается через van der Vaart A. W. Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics).– Cambridge University Press, 2000.

Pollard D. Empirical Processes: Theory and Applications. Hayward, CA: Institute of Mathematical Statistics, 1990.– Vol. 2 of NSF-CBMS Regional Conference Series in Probability and Statistics.

Далее рассмотрим статистическую структуру (X, F, P), где B(R) – борелевская сигма-алгебра, P = {P, i, i = 1, 2,...} P0 – параметризованное семейство вероятностных распределений, отвечающих последовательностям независимых одинаково распределенных случайных величин (X1, X2, X3,...). Здесь P0 – распределение реализаций оцениваемой смеси.

Для каждого фиксированного i класс {P, i } содержит распределения, приближающие истинное среди смесей, соответствующих смешивающим распределениям, сосредоточенным на множестве Zi.

Семейству P соответствует семейство одномерных распределений. Одномерные распределения данных последовательностей для {P, i, i = 1, 2,...} являются конечными смесями нормальных законов. При этом каждому фиксированному i, i = 1, 2,..., соответствует плотность одномерного распределения последовательности относительно меры Лебега на R:

где – плотность стандартного нормального закона. Заметим, что от P0, вообще говоря, лишь требуется, чтобы оно соответствовало распределению некоторой масштабной смеси нормальных законов. Будем считать, что P0 имеет плотность p0 относительно меры Лебега.

Рассмотрим статистики, с помощью которых проводится оценка истинного распределения. Зафиксируем некоторый номер i сетки i. Как было описано выше, в функцию правдоподобия, соответствующую распределениям из набора {P, i }, подставляются реализации независимых случайных величин с распределением P0. Затем ищется точка максимума этой функции как функции параметров.

В работе исследуются свойства последовательности оценок n :

Такие оценки принадлежат классу M-оценок. При выполнении ряда условий они обладают некоторыми важными свойствами. Для их исследования изуi) чаются свойства целевой функции M и последовательности точек 0 :

где DKL – расстояние Кульбака–Лейблера. Для распределений P, Q, имеющих плотность p, q относительно меры Лебега, (считается, что min DKL (P0, P1 ) < ).

Последовательность параметров {0 } соответствует последоваj= тельности распределений, сосредоточенных на сетках {Zj }, ближайших к истинному в смысле расстояния Кульбака–Лейблера.

Используя введенные обозначения, зафиксируем параметрическое множество = i для одного из значений i, i N.

где для интегрируемой функции f, CH () – константа, зависящая от множества.

Последовательность рассматриваемых оценок имеет предел.

Т е о р е м а 7. Пусть для последовательности оценок {n } сущеn= ствует последовательность {n } такая, что Из теоремы 7 следует, что в сеточном методе максимального правдоподобия при достаточно большом размере выборки смешивающее распределение оценивается среди распределений, сосредоточенных на известной сетке, с помощью ближайшего к истинному в смысле расстояния Кульбака–Лейблера.

В работе получены оценки скорости сходимости в сеточном методе разделения смесей вероятностных распределений.

Т е о р е м а 8. Пусть – некоторое параметрическое множество из последовательности {i, i N}, pk k для всех, n – оценка, полученная при использовании сеточного метода, такая что Тогда > где C – некоторая константа.

Далее исследуется сходимость последовательности получаемых оценок в функциональном пространстве при согласованном увеличении размеров сетки и числа элементов выборки, по которой строится оценка.

Каждому (i) i ставится в соответствие элемент x(i) пространства Скорохода D[0, 1] следующим образом. Пусть F0 – функция оцениваемого смешиваемого распределения, тогда С учетом этого n соответствует семейство конечномерных распределений µn :

Данное семейство является согласованным. Справедливо следующее утверждение.

Л е м м а 12. Пусть i – некоторое параметрическое множество из последовательности {i, i N}, pki для всех i, n – оценка, полученная при использовании сеточного метода, Тогда в D[0, 1] существует случайный элемент Xn с конечномерными расi) пределениями µn.

Таким образом, каждому значению параметра соответствует некотоi) рая траектория x, а каждой оценке n – случайный процесс Xn со значеi) ниями в пространстве Скорохода D[0, 1] с заданными выше конечномерными распределениями.

Т е о р е м а 9. Рассмотрим последовательность случайных элементов {Xn } со значениями в пространстве Скорохода D[0, 1], где r(n) – возрастающая последовательность натуральных чисел.

Пусть выполнены следующие условия:

1. Последовательность распределений P 1(n) сходится в смысле расстояния Кульбака–Лейблера:

2. Для каждого элемента последовательности параметрических мноc жеств {i } справедливо неравенство pki, и 3. Последовательность чисел {r(n)} такова, что и для некоторого > 0 существует константа K:

где r(n) – длина минимального отрезка, на котором x(r(n)) постоянна.

Как известно, сходимость по распределению к неслучайной функции влечет за собой сходимость по вероятности. Следовательно, оценки смешивающих распределений, полученные с помощью сеточных методов разделения смесей вероятностных распределений, для указанных классов смесей нормальных законов являются состоятельными при согласованном увеличении размера выборки и числа узлов сетки.

Результаты, выносимые на защиту

1. Верхние оценки устойчивости для масштабных, сдвиговых и сдвигмасштабных смесей нормальных законов.

2. Результаты исследования вопросов существования нижних оценок устойчивости для подклассов смесей нормальных законов.

3. Класс сеточных методов разделения смесей.

4. Результаты исследования асимптотических свойств оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Список публикаций автора по теме диссертации 1. Назаров А. Л. Разделение смесей вероятностных распределений сеточным методом максимального правдоподобия при помощи алгоритма условного градиента // Сб. статей молодых ученых факультета ВМиК МГУ.

2009. № 6. С. 128–135.

2. Korolev V. Y., Nazarov A. L. Separating mixtures of probability distributions with the grid method of moments and the grid maximal likelihood method. // Autom. Remote Control. 2010. Vol. 71, no. 3. Pp. 455–472.

3. Королев В. Ю., Назаров А. Л. Разделение смесей вероятностных распределений при помощи сеточных методов моментов и максимального правдоподобия. // Автомат. и телемех. 2010. Т. 71, № 3. С. 98–116.

4. Назаров А. Л. Об устойчивости смесей вероятностных законов к возмущениям смешивающих распределений // Статистические методы оценивания и проверки гипотез. 2010. № 22. С. 154–172.

5. Назаров А. Л. Нижние оценки в задаче устойчивости смесей нормальных распределений к возмущениям смешивающих распределений // Информатика и ее применения. 2012. Т. 6, № 4. С. 24–32.

6. Назаров А. Л. Асимптотические свойства оценок, полученных с помощью сеточных методов разделения смесей вероятностных распределений // Статистические методы оценивания и проверки гипотез.

№ 24. С. 22–35.

7. Назаров А. Л. О состоятельности оценок параметров масштабных смесей нормальных распределений, получаемых с помощью сеточных методов // Системы и средства информатики. 2012. Т. 22, № 2. С. 227–243.

8. Nazarov A. L. Asymptotic properties of grid method estimators in the normal mixture separation problems // XXX International Seminar on Stability Problems for Stochastic Models (ISSPSM’2012) and VI International Workshop ”Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems” (APTP + MS’2012).

Book of abstracts. Moscow: IPI RAS, 2012. Pp. 56–57.

9. Nazarov A. L. Lower bounds for the stability of normal mixture models with respect to perturbations of mixing distribution // XXX International Seminar on Stability Problems for Stochastic Models (ISSPSM’2012) and VI International Workshop ”Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems” (APTP + MS’2012). Book of abstracts. Moscow: IPI RAS, 2012. Pp. 57–59.

10. Nazarov A. L. On the consistency of grid method estimators in gaussian scale mixture separation problems // VI International Workshop “Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems” (APTP + MS’2012), Autumn Session, 2012. Book of abstracts. Moscow: IPI RAS, 2012. Pp. 77–81.