«Н. И. Чернова Теория вероятностей Учебное пособие Новосибирск 2007 УДК 519.21 ББК В17я73-2 Ч493 Чернова Н. И. Теория вероятностей: Учеб. пособие / Новосиб. гос. ун-т. Новосибирск, 2007. 160 с. ISBN 978-5-94356-506-9 ...»

На рис. 9 приведены графики плотностей нормальных распределений с одним и тем же параметром a и разными значениями параметра.

Убедимся, что f (x) является плотностью распределения. Так как f (x) > 0 для всех x R, то свойство (f1) выполнено. Проверим (f2):

где через I обозначен табличный интеграл (интеграл Пуассона11 ) Johann Carl Friedrich Gauss (30.04.1777—23.02.1855, Germany).

Этот интеграл вычисляется так:

Далее полярная замена переменных: x = r cos, y = r sin, dx dy = r dr d, x2 + y 2 = r2 :

62 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ

Нормальное распределение N0, 1 с параметрами a = 0 и 2 = 1 называется стандартным нормальным распределением. Плотность стандартного нормального распределения равна f (x) = ex /2.

Мы будем использовать специальное обозначение a, 2 (x) для функции распределения нормального закона Na, 2 (рис. 10). Первообразная функции ex не может быть выражена через элементарные функции.

Поэтому функцию a, 2 (x) можно записать лишь в виде интеграла Функция 0, 1 (x) табулирована, т. е. её значения при различных вещественных x вычислены. Их можно найти в соответствующих таблицах.

Рис. 10. Функция распределения нормального распределения Na, Гамма-распределение. Говорят, что имеет гамма-распределение с параметрами > 0, > 0, и пишут:,, если имеет следующую плотность распределения:

где постоянная c вычисляется из свойства (f2) плотности так:

§ 5. Примеры абсолютно непрерывных распределений откуда c = / (). Здесь через () обозначен интеграл называемый гамма-функцией Эйлера12 ; (k) = (k 1)! при целых положительных k, (1) = 1. Замена в интеграле Пуассона даст (1/2) =.

Полезно отметить, что показательное распределение есть частный случай гамма-распределения: E =, 1.

У п р а ж н е н и е. Нарисовать график плотности распределения, при < 1, при = 1 и при > 1, отметить на этом графике точки экстремума, точки перегиба и иные особенности графика.

Функцию распределения гамма-распределения можно записать, вообще говоря, только в виде интеграла:

Но при целых значениях параметра интегрированием по частям этот интеграл можно превратить в сумму:

У п р а ж н е н и е. Доказать первое из равенств (13). Доказать следующее забавное равенство: F (x) = P( ), где x.

Распределение Коши. Говорят, что имеет распределение Коши с параметрами a R, > 0, и пишут: Ca,, если имеет следующую плотность распределения:

Плотность распределения Коши симметрична относительно прямой x = a и похожа на плотность нормального распределения, но имеет более толстые «хвосты» на ±. Функция распределения случайной величины с распределением Коши равна F (x) = + arctg при всех x.

Leonhard Euler (15.04.1707, Switzerland — 18.09.1783, Russia).

Augustin Louis Cauchy (21.08.1789—23.05.1857, France).

64 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ

Распределение Парето. Говорят, что имеет распределение Парето14с параметром > 0, если имеет следующие плотность и функцию распределения:

Часто рассматривают более широкий класс распределений Парето, сосредоточенных не на [1, ), а на [c, ) при c > 0.

С другими абсолютно непрерывными распределениями (хи-квадрат Пирсона, распределениями Стьюдента, Фишера, Колмогорова, Лапласа) мы познакомимся при изучении математической статистики. С распределениями Вейбулла, логарифмически нормальным и некоторыми другими читатель познакомится в дальнейших курсах.

Общие свойства функций распределения. Функцией распределения случайной величины мы назвали функцию F (x) = P( < x).

Т е о р е м а 22. Любая функция распределения обладает свойствами:

(F1) она не убывает: если x1 < x2, то F (x1 ) F (x2 );

(F2) cуществуют пределы lim F (x) = 0 и lim F (x) = 1;

(F3) она в любой точке непрерывна слева:

вероятность — монотонная функция событий, поэтому Для доказательства остальных свойств нам понадобится свойство непрерывности вероятностной меры (с. 33, теорема 7).

Д о к а з а т е л ь с т в о с в о й с т в а (F2). Заметим сначала, что существование пределов в свойствах (F2), (F3) вытекает из монотонности и ограниченности функции F (x). Остаётся лишь доказать равенства lim F (x) = 0, lim F (x) = 1 и lim F (x) = F (x0 ). Для этого в каждом случае достаточно найти предел по какой-нибудь подпоследоваVilfredo Pareto (15.07.1848—20.08.1923, France, Italy, Switzerland).

тельности {xn }, так как существование предела влечёт совпадение всех частичных пределов.

Докажем, что F (n) 0 при n. Рассмотрим вложенную убывающую последовательность событий Bn = { < n} :

Пересечение B всех этих событий состоит из тех и только тех, для которых () меньше любого вещественного числа. Но для любого элементарного исхода значение () вещественно, и не может быть меньше всех вещественных чисел. Иначе говоря, пересечение событий Bn не содержит элементарных исходов, т. е. B = Bn =. По свойству непрерывности меры, F (n) = P(Bn ) P(B) = 0 при n.

Точно так же докажем остальные свойства.

Покажем, что F (n) 1 при n, т. е. 1F (n) = P( n) 0.

Обозначим через Bn событие Bn = { n}. События Bn вложены:

а пересечение B этих событий снова пусто: оно означает, что больше любого вещественного числа. По свойству непрерывности меры, F (x0 1/n) F (x0 ) при n. Иначе говоря, доказать сходимость к нулю следующей разности:

У п р а ж н е н и е. Обозначьте событие {x0 1/n < x0 } через Bn, и попробуйте снова воспользоваться свойством непрерывности меры.

Следующая теорема говорит о том, что три доказанных свойства полностью описывают класс функций распределения. То, что любая функция распределения ими обладает, мы с вами доказали, а теорема утверждает, что любая функция с такими свойствами есть функция распределения.

Т е о р е м а 23. Если функция F : R [0, 1] удовлетворяет свойствам (F1)–(F3), то F есть функция распределения некоторой случайной величины, т. е. найдётся вероятностное пространство, F, P и случайная величина на нём такая, что F (x) F (x).

Эту теорему мы доказывать не станем. Хотя её можно попробовать доказать конструктивно — предъявив то вероятностное пространство (проще

66 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ

всего отрезок = [0, 1] с -алгеброй борелевских множеств и мерой Лебега) и ту случайную величину, о существовании которых идёт речь.

У п р а ж н е н и е. Непременно попробуйте сделать это! Например, можно проверить, не подойдёт ли () = sup{x | F (x) < }.

Помимо отмеченных в теореме 22, функции распределения обладают следующими свойствами:

С в о й с т в о 8. В любой точке x0 разница F (x0 + 0) F (x0 ) равна P( = x0 ). Иначе говоря, F (x0 + 0) = F (x0 ) + P( = x0 ) = P( x0 ).

У п р а ж н е н и е. Докажите (так же, как мы доказывали (F2) и (F3)).

Разница F (x0 + 0) F (x0 ) между пределом при стремлении к x справа и значением в точке x0 есть величина скачка функции распределения. Эта величина равна нулю, если функция распределения непрерывна (справа) в точке x0. Слева функция распределения непрерывна всегда.

З а м е ч а н и е. Очень часто функцией распределения называют P( x). Эта функция отличается от определённой выше лишь тем, что она непрерывна справа, а не слева. И вероятность P( = x0 ) для неё равна величине скачка слева, а не справа.

С в о й с т в о 9. Для любой случайной величины Д о к а з а т е л ь с т в о. Разобьём событие { < b} в объединение несовb} = { < b}. По свойству местных событий: { < a} {a аддитивности вероятности, P{ < a} + P{a или F (a) + P{a < b} = F (b), что и требовалось доказать.

Функция распределения дискретного распределения. Согласно определению дискретного распределения, его функция распределения может быть найдена по таблице распределения так:

Д о к а з а т е л ь с т в о. Перейдём к противоположному событию:

Сделаем замену переменной в последнем интеграле. Переменную t замеyb dy ним на новую переменную y так: t =. Тогда dt =, нижняя граница области интегрирования t = перейдёт в y =, верхняя граница t = перейдёт в y = x. Получим Функция под интегралом есть искомая плотность распределения f (y) случайной величины = a + b при a > 0.

Пусть теперь a < 0.

Сделаем ту же замену переменной. Но теперь граница интегрирования t = + перейдёт в y =, поскольку a < 0. Получим Функция под интегралом — плотность распределения f (y) случайной величины = a + b при a < 0.

Из теоремы 25 следуют уже знакомые нам утверждения.

Д о к а з а т е л ь с т в о. Действительно,

74 ГЛАВА VI. ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН

Квантильное преобразование. Полезно уметь строить случайные величины с заданным распределением по равномерно распределённой случайной величине (например, по результату датчика случайных чисел).

Т е о р е м а 26. Пусть функция распределения F (x) = F (x) непрерывна. Тогда случайная величина = F () имеет равномерное на отрезке [0, 1] распределение.

Д о к а з а т е л ь с т в о. Найдём функцию распределения случайной величины. Заметим, что всегда 0 1. Предположим сначала, что функция F всюду возрастает. Тогда она обратима, и поэтому Если функция F не является всюду возрастающей, то у неё есть участки постоянства. В этом случае просто обозначим через F 1 (x) самую левую точку из замкнутого множества {t | F (t) = x}. При таком понимании «обратной» функции равенства (15) остаются справедливыми вместе с равенством P( < F 1 (x)) = F F 1 (x) = x для любого x (0, 1).

Обратим теорему 26. Следующее утверждение верно не только для непрерывных, но для любых функций распределения F. Обозначим через F 1 (x) точную нижнюю грань множества тех t, для которых F (t) x :

Для непрерывной функции F это определение «обратной функции» совпадает с введённым в доказательстве теоремы 26.

Т е о р е м а 27. Пусть U0,1, а F — произвольная функция распределения. Тогда случайная величина = F 1 ( ) («квантильное преобразование» над ) имеет функцию распределения F.

С л е д с т в и е 8. Пусть U0, 1. Верны соотношения:

У п р а ж н е н и е. Доказать теорему 27 и следствие 8, а также продолжить список соотношений. Как получить случайную величину с распределением Парето? А с нормальным распределением? (Указание: так её никто не получает).

Г Л А В А VII

МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Пусть случайные величины 1,..., n заданы на одном вероятностном пространстве, F, P.

называется функцией распределения вектора (1,..., n ) или функцией совместного распределения случайных величин 1,..., n.

Перечислим свойства функции совместного распределения. Для простоты обозначений ограничимся вектором (1, 2 ) из двух величин.

(F0) Для любых x1, x2 верно неравенство: 0 F1, 2 (x1, x2 ) 1.

(F1) F1, 2 (x1, x2 ) не убывает по каждой координате вектора (x1, x2 ).

(F2) Для любого i = 1, 2 существует lim F1, 2 (x1, x2 ) = 0. Сущеxi (F3) Функция F1, 2 (x1, x2 ) по каждой координате вектора (x1, x2 ) непрерывна слева.

(F4) Чтобы по функции совместного распределения восстановить функции распределения 1 и 2 в отдельности, следует устремить мешающую переменную к + :

Доказательство всех этих свойств совершенно аналогично одномерному случаю. Но теперь свойств (F0)—(F3) не хватает для описания класса функций совместного распределения. Иначе говоря, выполнение этих

76 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

свойств для некоторой функции F : R2 R не гарантирует, что эта функция является функцией распределения некоторого случайного вектора.

У п р а ж н е н и е. Доказать, что функция удовлетворяет всем свойствам (F0)—(F3), но не является функцией распределения никакого вектора (1, 2 ) хотя бы потому, что, найдись такой вектор, найдётся и прямоугольник [a1, b1 ) [a2, b2 ), «вероятность» попасть в который (вычисленная с помощью этой якобы «функции распределения») отрицательна: P(a1 1 < b1, a2 2 < b2 ) < 0.

Легко убедиться (убедиться, что легко), что вероятность вектору (1, 2 ) попасть в прямоугольник [a1, b1 ) [a2, b2 ) по функции распределения этого вектора вычисляется так: P(a1 1 < b1, a2 2 < b2 ) = Дополнительно к свойствам (F0)—(F3) от функции F требуют неотрицательности этого выражения (при любых a1 < b1, a2 < b2 ).

Ограничимся рассмотрением двух типичных случаев: когда с о в м е с т н о е распределение координат случайного вектора (1, 2 ) либо дискретно, либо абсолютно непрерывно. Заметим, что сингулярные совместные распределения тоже не являются редкостью, в отличие от одномерного случая: стоит бросить точку наудачу на отрезок на плоскости, и мы получим сингулярное совместное распределение (доказать).

О п р е д е л е н и е 29. Случайные величины 1, 2 имеют дискретное совместное распределение, если существует конечный или счётный набор пар чисел {ai, bj } такой, что Таблицу, на пересечении i -й строки и j -го столбца которой стоит вероятность P(1 = ai, 2 = bj ), называют таблицей совместного распределения случайных величин 1 и 2.

Таблицы распределения каждой из случайных величин 1, 2 в отдельности (таблицы частных, или маргинальных распределений) восстанавлиТипы многомерных распределений ваются по таблице совместного распределения с помощью формул Так, первое равенство следует из того, что набор {2 = b1 }, {2 = b2 },...

есть полная группа событий, и поэтому событие {1 = ai } раскладывается в объединение попарно несовместных событий:

О п р е д е л е н и е 30. Случайные величины 1, 2 имеют абсолютно непрерывное совместное распределение, если существует неотрицательная функция f1, 2 (x, y) такая, что для любого множества B B(R2 ) имеет место равенство Если такая функция f1, 2 (x, y) существует, она называется плотностью совместного распределения случайных величин 1, 2.

Достаточно, если двойной интеграл по множеству B читатель будет понимать как объём области под графиком функции f1, 2 (x, y) над множеством B в плоскости переменных (x, y), как показано на рис. 12.

Плотность совместного распределения обладает такими же свойствами, как и плотность распределения одной случайной величины:

(f1) неотрицательность: f1, 2 (x, y) 0 для любых x, y R;

78 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Справедливо и обратное: любая функция, обладающая этими свойствами, является плотностью некоторого совместного распределения. Доказательство этого факта ничем не отличается от одномерного случая.

Если случайные величины 1, 2 имеют абсолютно непрерывное совместное распределение, то для любых x1, x2 имеет место равенство По функции совместного распределения его плотность находится как чти всех (x, y).

Из существования плотностей 1 и 2 не следует абсолютная непрерывность совместного распределения этих случайных величин. Например, вектор (, ) принимает значения только на диагонали в R2 и уже поэтому не имеет плотности распределения (его распределение сингулярно).

Обратное же свойство, как показывает следующая теорема, всегда верно: если совместное распределение абсолютно непрерывно, то и частные распределения тоже таковы.

Т е о р е м а 28. Если случайные величины 1 и 2 имеют абсолютно непрерывное совместное распределение с плотностью f (x, y), то и 2 в отдельности также имеют абсолютно непрерывное распределение с плотностями:

Для n > 2 плотности случайных величин 1,..., n по плотности их совместного распределения f (x1,..., xn ) находятся интегрированием функции f по всем «лишним» координатам.

Д о к а з а т е л ь с т в о. Например, в силу равенств (16), Аналогично устанавливается и справедливость второго равенства.

Приведём два наиболее употребительных примера абсолютно непрерывных многомерных распределений.

Равномерное распределение. Пусть S Rn — борелевское множество с конечной лебеговой мерой (S). Говорят, что вектор (1,..., n ) имеет равномерное распределение в области S, если плотность совместного распределения f1,..., n (x1,..., xn ) постоянна в области S и равна нулю вне этой области:

Убедимся, что эта функция является плотностью распределения:

Как и в одномерном случае, вектор (1,..., n ) с равномерным распределением в области S есть просто вектор координат точки, брошенной наудачу в область S.

Многомерное нормальное распределение. Пусть > 0 — положительно определённая симметричная матрица (n n), матрица 1 — обратная к, и a Rn — n -мерный вектор-столбец. Транспонированный вектор мы будем обозначать так: aT = (a1,..., an ).

Говорят, что вектор (1,..., n ) имеет многомерное нормальное распределение Na, с вектором средних a и матрицей ковариаций, если плотность совместного распределения f1,..., n (x1,..., xn ) равна Мы не будем проверять, что эта функция является плотностью совместного распределения, поскольку для этого требуется умение заменять переменные в многомерном интеграле. Выражение (xa)T 1 (xa) в показателе экспоненты является квадратичной формой от переменных (xi ai ).

Действительно, для матрицы B = 1 с элементами bij имеем

80 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Подробно с многомерным нормальным распределением мы познакомимся в курсе математической статистики, и там же выясним, что означают слова «с вектором средних a и матрицей ковариаций ».

В частном случае, когда — диагональная матрица с элементами 2,..., 2 на диагонали, совместная плотность превращается в произвеn дение плотностей нормальных случайных величин:

Скоро мы увидим, что это равенство означает независимость случайных величин 1,..., n.

Если нам известно совместное распределение двух или нескольких случайных величин, становится возможным отыскать распределение суммы, разности, произведения, частного, иных функций от этих случайных величин. Заметим (но не будем доказывать), что применение к набору случайных величин многих привычных нам функций не выводит нас из класса случайных величин. Интересующийся читатель может попробовать доказать, например, что сумма двух случайных величин есть снова случайная величина.

Следующие два примера показывают, что знания только частных распределений двух случайных величин недостаточно для отыскания распределения, например, суммы этих величин. Для этого необходимо знать их совместное распределение. Распределение суммы (и любой иной функции) не определяется, вообще говоря, распределениями слагаемых: при одних и тех же распределениях слагаемых распределение суммы может быть разным в зависимости от совместного распределения слагаемых.

П р и м е р 41. Рассмотрим две случайные величины и с одним и тем же распределением Бернулли с параметром p = 1/2 и следующей таблицей совместного распределения: для 0 r 1/2 положим т. е. распределение + вырождено в точке 1.

имеет невырожденное дискретное распределение, принимая значения и 2 с равными вероятностями.

Если взять r = 1/3, получим P( + = 0) = 1/3, P( + = 1) = 1/ и P( + = 2) = 1/3, т. е. + принимает значения 1, 2 и 3 с равными вероятностями (это не биномиальное распределение).

Ещё раз отметим, что частные распределения и от r не зависят.

Распределение суммы меняется вместе с совместным распределением и при неизменных частных распределениях величин и.

П р и м е р 42. Пусть случайная величина имеет стандартное нормальное распределение.

Возьмём =. Тогда тоже имеет стандартное нормальное распределение, а сумма + = 0 имеет вырожденное распределение.

Возьмём теперь =. Тогда сумма + = 2 имеет уже не вырожденное, а нормальное распределение N0, 4 (проверить).

Распределение функции нескольких случайных величин может определяться их частными распределениями только если совместное распределение этих случайных величин определяется их частными распределениями.

Так бывает для независимых случайных величин.

О п р е д е л е н и е 31. Случайные величины 1,..., n называют независимыми (в совокупности), если для любого набора борелевских множеств B1,..., Bn B(R) имеет место равенство О п р е д е л е н и е 32. Случайные величины 1,..., n называют попарно независимыми, если независимы любые две из них.

Оба этих определения годятся не только для конечного набора случайных величин, но и для их бесконечной последовательности.

З а м е ч а н и е. Независимость случайных величин в совокупности влечёт попарную независимость. Достаточно в определении независимости в качестве «лишних» борелевских множеств взять R.

82 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

П р и м е р 43. Вспомним пример Бернштейна 31. Свяжем с событиями A, B и C случайные величины 1, 2 и 3 — индикаторы этих событий.

Например, 1 = 1, если A произошло, и 1 = 0, если A не произошло.

Случайные величины 1, 2 и 3 независимы попарно (проверить), но зависимы в совокупности:

Попарная независимость случайных величин встречается редко. Поэтому всюду, где мы будем употреблять термин «независимы», будет подразумеваться независимость в совокупности.

Определение независимости можно сформулировать в терминах функций распределения.

О п р е д е л е н и е 33. Случайные величины 1,..., n независимы (в совокупности), если для любых x1,..., xn имеет место равенство Описать независимость случайных величин с дискретным распределением можно с помощью таблицы их совместного распределения.

О п р е д е л е н и е 34. Случайные величины 1,..., n с дискретным распределением независимы (в совокупности), если для любых чисел a1,..., an имеет место равенство У п р а ж н е н и е. Доказать, что из независимости в смысле определения 31 следует независимость в смысле определения 33.

У п р а ж н е н и е. Доказать, что для случайных величин с дискретным распределением определения 31 и 34 эквивалентны.

Для случайных величин с абсолютно непрерывными распределениями справедливо утверждение.

Т е о р е м а 29. Случайные величины 1,..., n с абсолютно непрерывными распределениями независимы (в совокупности) тогда и только тогда, когда плотность их совместного распределения существует и равна произведению плотностей, т. е. для любых x1,..., xn имеет место равенство: f1,..., n (x1,..., xn ) = f1 (x1 ) ·... · fn (xn ).

З а м е ч а н и е. Плотность распределения определяется с точностью до её значений на множестве нулевой лебеговой меры (распределение не меняется от изменения плотности на множестве нулевой меры). Поэтому раФункции от двух случайных величин венство плотности совместного распределения и произведения плотностей можно понимать тоже как равенство «почти всюду».

Д о к а з а т е л ь с т в о. Пусть случайные величины 1,..., n независимы, т. е. для любых x1,..., xn Но произведение функций распределения записывается произведением интегралов, или одним n -мерным интегралом:

Мы представили функцию совместного распределения в виде интеграла от плотности совместного распределения, которая оказалась равной произведению плотностей частных распределений.

Пусть теперь известно, что плотность совместного распределения существует и распадается в произведение плотностей. В таком случае функция совместного распределения распадается в произведение функций распределения:

т. е. случайные величины независимы согласно определению 33.

Пусть 1 и 2 — случайные величины с плотностью совместного распределения f1, 2 (x1, x2 ), и задана борелевская функция g : R2 R.

Требуется найти функцию (а если существует, то и плотность) распределения случайной величины = g(1, 2 ).

Пользуясь тем, что вероятность случайному вектору попасть в некоторую область можно вычислить как объем под графиком плотности распределения вектора над этой областью, сформулируем утверждение.

84 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Т е о р е м а 30. Пусть x R, и область Dx R2 состоит из точек (u, v) таких, что g(u, v) < x. Тогда случайная величина = g(1, 2 ) имеет функцию распределения Далее в этой главе предполагается, что случайные величины 1 и независимы, т. е. f1, 2 (u, v) f1 (u) f2 (v). В этом случае распределение величины g(1, 2 ) полностью определяется частными распределениями величин 1 и 2.

1 и 2 независимы и имеют абсолютно непрерывные распределения с плотностями f1 (u) и f2 (v), то плотность распределения суммы 1 + 2 существует и равна «свёртке» плотностей f1 и f2 :

Д о к а з а т е л ь с т в о. Воспользуемся утверждением теоремы 30 для борелевской функции g(u, v) = u + v. Интегрирование по двумерной области Dx = {(u, v) | u + v < x} можно заменить последовательным вычислением двух интегралов: наружного — по переменной u, меняющейся в пределах от до +, и внутреннего — по переменной v, которая при каждом u должна быть меньше, чем x u. Поэтому Сделаем в последнем интеграле замену переменной v на t так: v = t u.

При этом v (, xu) перейдёт в t (, x), dv = dt. В полученном интеграле меняем порядок интегрирования:

Итак, мы представили функцию распределения F1 + 2 (x) в виде интеграла от до x от плотности распределения f1 + 2 (t) из формулы свёртки (18).

Следствие 9 не только предлагает формулу для вычисления плотности распределения суммы, но и утверждает, что сумма двух независимых случайных величин с абсолютно непрерывными распределениями также имеет абсолютно непрерывное распределение.

У п р а ж н е н и е. Для тех, кто уже ничему не удивляется: привести пример двух случайных величин с абсолютно непрерывными распределениями таких, что их сумма имеет вырожденное распределение.

Если даже одна из двух независимых случайных величин имеет дискретное, а вторая — абсолютно непрерывное распределение, то их сумма тоже имеет абсолютно непрерывное распределение:

У п р а ж н е н и е. Пусть величина имеет таблицу распределения P( = ai ) = pi, а имеет плотность распределения f (x), и эти величины независимы. Доказать, что + имеет плотность распределения pi f (x ai ). Для вычисления функции распределения сумf+ (x) = мы использовать формулу полной вероятности.

§ 7. Примеры использования формулы свёртки П р и м е р 44. Пусть независимые случайные величины и имеют стандартное нормальное распределение. Докажем, что их сумма имеет нормальное распределение с параметрами a = 0 и 2 = 2.

Д о к а з а т е л ь с т в о. По формуле свёртки, плотность суммы равна Последний интеграл равен единице, поскольку под интегралом стоит плотность нормального распределения с параметрами a = 0 и 2 =.

Итак, мы получили, что плотность распределения суммы есть плотность нормального распределения с параметрами 0 и 2.

Если сумма двух независимых случайных величин из одного и того же распределения (возможно, с разными параметрами) имеет такое же распределение, говорят, что это распределение устойчиво относительно суммирования. В следующих утверждениях перечислены практически все устойчивые распределения.

86 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Л е м м а 1. Пусть случайные величины и µ независимы. Тогда + +µ.

Д о к а з а т е л ь с т в о. Найдём таблицу распределения суммы. Для любого целого k В последнем равенстве мы воспользовались биномом Ньютона.

Л е м м а 2. Пусть случайные величины Bn, p и Bm, p независимы. Тогда + Bn+m, p.

Смысл леммы 2 совершенно понятен: складывая количество успехов в первых n и в следующих m независимых испытаниях одной и той же схемы Бернулли, получаем количество успехов в n + m испытаниях. Полезно доказать это утверждение аналогично тому, как мы доказали лемму Л е м м а 3. Пусть случайные величины Na1, 2 и Na2, независимы. Тогда + Na1 +a2, 2 +2.

Л е м м а 4. Пусть случайные величины, 1 и, 2 независимы. Тогда +, 1 +2.

Эти утверждения мы докажем позднее, используя аппарат характеристических функций, хотя при некотором терпении можно попробовать доказать их напрямую с помощью формулы свёртки.

Показательное распределение не устойчиво по суммированию, однако оно является частным случаем гамма-распределения, которое уже устойчиво относительно суммирования. Докажем частный случай леммы 4.

Л е м м а 5. Пусть независимые случайные величины 1,..., n имеют показательное распределение E. Тогда 1 +... + n,n.

Д о к а з а т е л ь с т в о. Докажем утверждение по индукции. При n = оно верно в силу равенства E =, 1. Пусть утверждение леммы справедливо для n = k 1. Докажем, что оно верно и для n = k. По предположению индукции, Sk1 = 1 +... + k1 имеет распределение, k1, т. е. плотность распределения величины Sk1 равна Тогда по формуле свёртки плотность суммы Sk = 1 +... + k равна fSk (x) = Так как fk (x u) = 0 при x u < 0, т. е. при u > x, то плотность под интегралом отлична от нуля, только если переменная интегрирования изменяется в пределах 0 u x при x > 0. При x 0 подынтегральная функция равна нулю. При x > 0 имеем Поэтому Sk, k, что и требовалось доказать.

П р и м е р 45. Равномерное распределение не является устойчивым относительно суммирования. Найдём функцию и плотность распределения суммы двух независимых случайных величин с одинаковым равномерным на отрезке [0, 1] распределением, но не по формуле свёртки, а используя геометрическую вероятность.

Пусть, U0, 1 — независимые случайные величины. Случайные величины и можно считать координатами точки, брошенной наудачу в единичный квадрат.

Тогда F+ (t) = P( + < t) равна площади области внутри квадрата под прямой y = t x. Эта область — заштрихованный на рис. 13 треугольник (при 0 < t 1) либо пятиугольник (при 1 < t 2). Получим функцию распределения и плотность распределения суммы двух независимых равномерно распределённых на отрезке [0, 1] случайных величин:

88 ГЛАВА VII. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ

Полученное распределение называется «треугольным распределением»

Симпсона. Видим, что распределение суммы независимых случайных величин с равномерным распределением не является равномерным.

П р и м е р 46. Найдём функцию и плотность распределения частного двух независимых случайных величин и, имеющих показательное распределение с параметром 1.

При x > 0 по теореме 30 имеем

Г Л А В А VIII

ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

§ 1. Математическое ожидание случайной величины О п р е д е л е н и е 35. Математическим ожиданием E случайной величины с дискретным распределением называется число если данный ряд абсолютно сходится, т. е. если случае говорят, что математическое ожидание не существует.

О п р е д е л е н и е 36. Математическим ожиданием E случайной величины с абсолютно непрерывным распределением с плотностью распределения f (x) называется число если этот интеграл абсолютно сходится, т. е. если Математическое ожидание (иначе называемое средним значением или первым моментом) имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точки ai массу pi (для дискретного распределения) или «размазав» её с плотностью f (x) (для абсолютно

90 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

непрерывного распределения), то точка E будет координатой «центра тяжести» прямой.

П р и м е р 47. Пусть случайная величина равна числу очков, выпадающих при одном подбрасывании кубика. Тогда В среднем при одном подбрасывании кубика выпадает 3,5 очка.

П р и м е р 48. Пусть случайная величина — координата точки, брошенной наудачу на отрезок [a, b]. Тогда Центр тяжести равномерного распределения есть середина отрезка.

Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.

(E1) Для произвольной борелевской функции g : R R Д о к а з а т е л ь с т в о. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g() принимает значения c1, c2,... с вероятностями Тогда С л е д с т в и е 10. Математическое ожидание существует тогда и только тогда, когда E || <.

Д о к а з а т е л ь с т в о. Условием существование математического ожидания является абсолютная сходимость ряда или интеграла в определениях 35 и 36. Это в точности есть условие E g() < при g(x) = |x|.

(E2) Математическое ожидание постоянной равно ей самой: E c = c.

(E3) Постоянную можно вынести за знак математического ожидания:

Д о к а з а т е л ь с т в о. Следует из свойства (E1) при g(x) = c x.

(E4) Математическое ожидание суммы любых случайных величин равно сумме их математических ожиданий, если только эти математические ожидания существуют:

Д о к а з а т е л ь с т в о. Пусть случайные величины и имеют дискретные распределения со значениями xk и yn соответственно. Для борелевской функции g : R2 R можно доказать свойство, аналогичное (E1) (сделать это ). Воспользуемся этим свойством для g(x, y) = x + y :

(E5) Если 0 п. н., т. е. если P( 0) = 1, то E 0.

У п р а ж н е н и е. Доказать для дискретного и для абсолютно непрерывного распределений.

З а м е ч а н и е. Сокращение «п. н.» читается как «почти наверное» и означает «с вероятностью 1 ». По определению, математическое ожидание — это числовая характеристика распределения. Распределение же не изменится от изменения случайной величины на множестве нулевой вероятности. Поэтому, например, даже если () 0 не при всех, а на множестве единичной вероятности, математическое ожидание всё равно неотрицательно.

92 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

Д о к а з а т е л ь с т в о. Это свойство мы докажем, заранее предполагая, что имеет дискретное распределение с неотрицательными значениями ak 0. Равенство E = ak pk = 0 означает, что все слагаемые в этой сумме равны нулю, т. е. все вероятности pk нулевые, кроме вероятности, соответствующей значению ak = 0.

Из свойств (E5) и (E6) следуют полезные утверждения.

(E7) Если и независимы и их математические ожидания существуют, то E () = E E.

З а м е ч а н и е. Обратное утверждение к свойству (E7) неверно: из равенства E () = E E не следует независимость величин и.

П р и м е р 49. Пусть принимает значения 0 и ±1 с вероятностями по 1/3 каждое, и = 2. Это зависимые случайные величины:

заведомо зависимые случайные величины. Например:

Но математическое ожидание их произведения равно произведению их математических ожиданий из-за симметричности распределений, и относительно нуля. Действительно, по свойству (E1) имеем § 3. Дисперсия и моменты старших порядков О п р е д е л е н и е 37. Пусть E ||k <. Число E k называется моментом порядка k или k -м моментом случайной величины, число E ||k называется абсолютным k -м моментом, E (E )k называется центральным k -м моментом, и E | E |k — абсолютным центральным k -м моментом случайной величины. Число D = E ( E )2 (центральный момент второго порядка) называется дисперсией случайной величины.

П р и м е р 51. Пусть, скажем, случайная величина принимает значение 0 с вероятностью 0,99999 и значение 100 с вероятностью 0,00001.

Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины:

П р и м е р 52. Дисперсия D = E ( E )2 есть «среднее значение квадрата отклонения случайной величины от своего среднего». Посмотрим, за что эта величина отвечает.

Пусть случайная величина принимает значения ±1 с равными вероятностями, а случайная величина — значения ±10 с равными вероятностями. Тогда E = E = 0, поэтому D = E 2 = 1, D = E 2 = 100.

Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг её математического ожидания.

О п р е д е л е н и е 38. Число = D называют среднеквадратическим отклонением случайной величины.

Чтобы прояснить связь моментов разных порядков, докажем несколько неравенств. Во-первых, получим очевидное утверждение, обеспечивающее существование моментов меньших порядков, если существуют моменты более высокого порядка.

Т е о р е м а 31. Если существует момент порядка t > 0 случайной величины, то существуют и её моменты порядка s при 0 < s < t.

Д о к а з а т е л ь с т в о. Для любого числа x верно неравенство Действительно, |x|s |x|t при |x| > 1, и |x|s 1 при |x| 1.

94 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

Из этого неравенства следует, что |()|s |()|t + 1 для всех. Но следствие 11 позволяет из неравенства для случайных величин получить такое же неравенство для их математических ожиданий:

Момент порядка t существует, т. е. E ||t <. Поэтому и E ||s <.

Докажем ещё одно чрезвычайно полезное неравенство.

Т е о р е м а 32 (н е р а в е н с т в о Й е н с е н а15 ). Пусть вещественнозначная функция g выпукла («выпукла вниз», т. е. её надграфик есть выпуклое множество). Тогда для любой случайной величины с конечным первым моментом верно неравенство: E g() g(E ). Для вогнутых функций знак неравенства меняется на противоположный.

Д о к а з а т е л ь с т в о. Нам понадобится следующее свойство.

Л е м м а 6. Пусть функция g выпукла. Тогда для всякого x0 найдётся число c(x0 ) такое, что при всех x Это свойство очевидно и означает, что график выпуклой функции лежит полностью выше любой из касательных к этому графику.

Возьмём в условиях леммы x0 = E, x =. Тогда Вычислим математическое ожидание обеих частей неравенства. Так как E ( E ) = 0, и неравенство между математическими ожиданиями сохраняется по следствию 11, то E g() g(E ).

Следующее неравенство связывает моменты разных порядков.

Д о к а з а т е л ь с т в о. Поскольку 0 < s < t, то g(x) = |x|t/s — выпуклая функция. По неравенству Йенсена для = ||s, Осталось извлечь из обеих частей корень степени t.

Johan Ludwig William Valdemar Jensen (8.05.1859—5.03.1925, Denmark).

Из неравенства Йенсена вытекают, например, неравенства:

Последние три неравенства верны для положительных.

Свойства дисперсии следуют из соответствующих свойств математического ожидания. Заметим, что из существования второго момента следует существование математического ожидания случайной величины и конечность дисперсии. Во всех свойствах ниже предполагается существование вторых моментов случайных величин.

(D1) Дисперсия может быть вычислена по формуле: D = E 2 (E )2.

(D2) При умножении случайной величины на постоянную c дисперсия увеличивается в c2 раз: D (c) = c2 D.

(D3) Дисперсия всегда неотрицательна: D 0. Дисперсия обращается в нуль лишь для вырожденного распределения: если D = 0, то = const п. н. и наоборот.

Д о к а з а т е л ь с т в о. Дисперсия есть математическое ожидание почти наверное неотрицательной случайной величины (E )2, и неотрицательность дисперсии следует из свойства (E5). Далее, по свойству (E6) из равенства дисперсии нулю вытекает ( E )2 = 0 п. н., т. е. = E п. н.

И наоборот, если = c п. н., то D = E (c E c)2 = 0.

(D4) Дисперсия не зависит от сдвига случайной величины на постоянную: D ( + c) = D.

так как математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

96 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

С л е д с т в и е 15. Для произвольных случайных величин и с конечными вторыми моментами имеет место равенство (D6) Минимум среднеквадратического отклонения случайной величины от точек числовой прямой есть среднеквадратическое отклонение от её математического ожидания: D = E ( E )2 = min E ( a)2.

и последнее неравенство превращается в равенство лишь при a = E.

§ 5. Математические ожидания и дисперсии П р и м е р 53 (вырожденное распределение Ic ). Математическое ожидание и дисперсию этого распределения мы знаем из свойств (E2) и (D3): E c = c, D c = 0.

П р и м е р 54 (распределение Бернулли Bp ). Вычислим два момента и дисперсию: E = 1 · p + 0 · q = p; E 2 = 12 · p + 02 · q = p;

П р и м е р 55 (биномиальное распределение Bn, p ). Используем свойство устойчивости биномиального распределения относительно суммирования — лемму 2 (с. 86). Возьмём на каком-нибудь вероятностном пространстве n независимых случайных величин 1,..., n с распределением Бернулли Bp = B1, p. Тогда их сумма Sn = 1 +... + n имеет распределение Bn, p и по свойству (E4) получаем § 5. Математические ожидания и дисперсии стандартных распределений А поскольку i независимы, и дисперсия каждой равна pq, то П р и м е р 56 (геометрическое распределение Gp ). Вычислим математическое ожидание :

Вычислим так называемый «второй факториальный момент» :

Найдём дисперсию через второй факториальный момент:

П р и м е р 57 (распределение Пуассона ). Вычислим математическое ожидание :

Моменты более высоких порядков легко находятся через факториальные моменты E [m] = E ( 1)... ( m + 1) порядка m. Так, второй факториальный момент равен

98 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

П р и м е р 58 (равномерное распределение Ua,b ). Математичеa+b ское ожидание E = найдено в примере 48. Вычислим второй момент:

Дисперсия равна D = E 2 (E )2 = (b a)2 / 12.

П р и м е р 59 (стандартное нормальное распределение N0, 1 ).

Математическое ожидание этого распределения существует, поскольку Математическое ожидание равно нулю:

так как под сходящимся интегралом стоит нечётная функция. Далее, П р и м е р 60 (нормальное распределение Na, 2 ). Мы знаем, что если Na, 2, то = N0, 1. Математическое ожидание E = и дисперсия D = 1 стандартного нормального распределения вычислены выше. Тогда Итак, параметры a и 2 нормального распределения суть его математическое ожидание и дисперсия.

§ 6. Другие числовые характеристики распределений П р и м е р 61 (показательное распределение E ). Найдём для произвольного k N момент порядка k:

В последнем равенстве мы воспользовались гамма-функцией Эйлера:

Из формулы для момента порядка k находим П р и м е р 62 (стандартное распределение Коши C0, 1 ). Математическое ожидание распределения Коши не существует, так как расходится интеграл Расходится он потому, что подынтегральная функция ведёт себя на бесконечности как 1/x. Поэтому не существуют ни дисперсия, ни моменты более высоких порядков этого распределения. То же самое можно сказать про распределение Коши Ca,.

У п р а ж н е н и е. Доказать, что ни один момент порядка k 1 распределения Коши также не существует. Найти все такие R, при которых существует момент порядка.

П р и м е р 63 (распределение Парето). У распределения Парето существуют только моменты порядка t <, поскольку сходится при t <, когда подынтегральная функция на бесконечности ведёт себя как 1 / xs+1, где s = t > 0.

У п р а ж н е н и е. Вычислить момент порядка t < распределения Парето. При каких у этого распределения существует дисперсия? А 2 317-й момент?

100 ГЛАВА VIII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ

§ 6. Другие числовые характеристики распределений Распределения можно характеризовать и многими другими показателями, большинство из которых находит основное применение в статистике.

Здесь мы только кратко познакомимся с их определениями.

Медианой распределения случайной величины называется любое из чисел µ таких, что Медиана распределения всегда существует, но может быть не единственна. Так, у биномиального распределения с параметрами 3 и 1 медианой будет любое число из отрезка [1, 2]. Действительно, принимает значения 0, 1, 2 и 3 с вероятностями соответственно 1, 3, 3 и 1.

Поэтому для всех µ [1, 2] Часто в таких случаях в качестве µ берут середину «отрезка медиан».

Для распределений с непрерывной и строго монотонной функцией распределения F медиана является единственным решением уравнения F (µ) = 1. Это точка, левее и правее которой на числовой прямой сосредоточено ровно по половине всей вероятностной «массы» (рис. 14). Если распределение имеет плотность f, то площади каждой из областей под графиком плотности слева и справа от точки µ одинаковы.

Медиана является одной из квантилей распределения. Пусть для простоты функция распределения F непрерывна и строго монотонна. Тогда квантилью уровня (0, 1) называется решение уравнения F (x ) =.

Рис. 14. Медиана и квантили на графике функции распределения и плотности Квантиль x уровня отрезает от области под графиком плотности область с площадью слева от себя, и с площадью 1 — справа. Медиана является квантилью уровня = 1.

§ 6. Другие числовые характеристики распределений Квантили уровней, кратных 0,01, в прикладной статистике называют процентилями, квантили уровней, кратных 0,1, — децилями, уровней, кратных 0,25, — квартилями.

Модой абсолютно непрерывного распределения называют любую точку локального максимума плотности распределения. Для дискретных распределений модой считают любое значение ai, вероятность которого больше, чем вероятности соседних значений (соседнего, если таковое одно).

Для нормального распределения Na, 2 медиана, математическое ожидание и мода равны a. Распределение, обладающее единственной модой, называют унимодальным. Идеальным примером унимодального распределения является нормальное распределение. Плотность произвольного унимодального распределения может быть как более плоской (равномерное распределение), так и более «островершинной» (показательное распределение) по сравнению с плотностью нормального распределения, может быть симметричной либо наклонённой в одну сторону. Для описания таких свойств плотности используют коэффициент эксцесса и коэффициент асимметрии.

Коэффициентом асимметрии распределения с конечным третьим моментом называется число Для симметричных распределений коэффициент асимметрии равен нулю. Если 1 > 0, то график плотности распределения имеет более крутой наклон слева и более пологий — справа; при 1 < 0 — наоборот.

Коэффициентом эксцесса распределения с конечным четвёртым моментом называется число Для всех нормальных распределений коэффициент эксцесса равен нуa лю. Действительно, для Na, 2 величина = имеет стандартное нормальное распределение. Четвёртый момент этого распределения равен трём: E 4 = 3 (вычислить аналогично второму моменту в примере 59).

Поэтому 2 = 0.

При 2 > 0 плотность распределения имеет более острую вершину, чем у нормального распределения, при 2 < 0, наоборот, более плоскую.

Г Л А В А IX

ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ЗАВИСИМОСТИ

Кажется, нельзя сомневаться ни в истине того, что всё в мире может быть представлено числами; ни в справедливости того, что всякая в нём перемена и отношение выражается аналитической функцией.

Между тем обширный взгляд теории допускает существование зависимости только в том смысле, чтобы числа, одни с другими в связи, Н. И. Лобачевский. Об исчезании тригонометрических строк § 1. Ковариация двух случайных величин Мы знаем, что для независимых случайных величин с конечными вторыми моментами дисперсия их суммы равна сумме их дисперсий. В общем случае дисперсия суммы равна Величина E () E E равняется нулю, если случайные величины и независимы (свойство (E7) математического ожидания). С другой стороны, из равенства её нулю вовсе не следует независимость, как показывают примеры 49 и 50 (с. 92). Эту величину используют как «индикатор наличия зависимости» между двумя случайными величинами.

О п р е д е л е н и е 39. Ковариацией cov(, ) случайных величин и называется число cov(, ) = E ( E )( E ).

С в о й с т в о 18. Справедливы равенства: cov(, ) = E () E E ;

cov(, ) = D ; cov(, ) = cov(, ); cov(c ·, ) = c · cov(, ).

У п р а ж н е н и е. Доказать свойство 18.

У п р а ж н е н и е. Доказать следующее свойство 19, пользуясь равенствами и получив аналогичные равенства для квадрата суммы n слагаемых.

С в о й с т в о 19. Дисперсия суммы нескольких случайных величин вычисляется по любой из следующих формул:

и + зависимы.

Величина cov(, ) не является «безразмерной»: если — объем газа в сосуде, а — давление этого газа, то ковариация измеряется в м3 Па.

Иначе говоря, при умножении или на 100 ковариация тоже увеличится в 100 раз. Но от умножения на 100 величины не стали «более зависимыми», так что большое значение ковариации не означает более сильной зависимости. Это очень плохо.

Нужно как-то нормировать ковариацию, получив из неё «безразмерную» величину, абсолютное значение которой:

а) не менялось бы при умножении случайных величин на число;

б) свидетельствовало бы о «силе зависимости» случайных величин.

104 ГЛАВА IX. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ЗАВИСИМОСТИ

З а м е ч а н и е. Говоря о «силе» зависимости между случайными величинами, мы имеем в виду следующее. Самая сильная зависимость — функциональная, а из функциональных — линейная зависимость, когда = a + b п. н. Бывают гораздо более слабые зависимости. Так, если по последовательности независимых случайных величин 1, 2,... построить величины = 1 +... + 24 + 25 и = 25 + 26 +... + 90, то эти величины зависимы, но очень «слабо»: через единственное общее слагаемое 25. Сильно ли зависимы число гербов в первых 25 подбрасываниях монеты и число гербов в испытаниях с 25 -го по 90 -е?

Итак, следующая величина есть всего лишь ковариация, нормированная нужным образом.

О п р е д е л е н и е 40. Коэффициентом корреляции (, ) случайных величин и, дисперсии которых существуют и отличны от нуля, называется число З а м е ч а н и е. Чтобы разглядеть «устройство» коэффициента корреляции, распишем по определению числитель и знаменатель:

Перед нами — «косинус угла» между двумя элементами E и E гильбертова пространства, образованного случайными величинами с нулевым математическим ожиданием и конечным вторым моментом, снабженного скалярным произведением cov(, ) и «нормой», равной корню из дисперсии, или корню из скалярного произведения cov(, ).

П р и м е р 65. Рассмотрим продолжение примера 64, но пусть и будут не только независимыми, но и одинаково распределёнными случайными величинами, и их дисперсия отлична от нуля. Найдём коэффициент корреляции величин и + :

Коэффициент корреляции величин и + равен косинусу угла 45, образованного «векторами» и +, когда и «ортогональны» и их «длина» одинакова.

У п р а ж н е н и е. Чтобы аналогия не заходила слишком далеко, и у читателя не возникло искушения любые случайные величины рисовать стрелочками на плоскости и вместо подсчёта математических ожиданий измерять углы, полезно убедиться, например, что коэффициент корреляции величин и 2 равен:

а) нулю, если имеет нормальное распределение с нулевым средним;

б) 2/ 5, если имеет показательное распределение.

Т е о р е м а 33. Коэффициент корреляции обладает свойствами:

1) если и независимы, то (, ) = 0;

2) всегда |(, )| 1;

3) |(, )| = 1 тогда и только тогда, когда и п. н. линейно связаны, т. е. существуют числа a = 0 и b такие, что P( = a + b) = 1.

Д о к а з а т е л ь с т в о. Свойство (1) мы уже много раз (сколько?) упоминали и один раз доказали. Более того, при рассмотрении свойств математического ожидания мы привели примеры 49 и 50 — два из многих возможных примеров того, что свойство (1) в обратную сторону неверно.

чайной величины, называемое стандартизацией. Случайная величина имеет нулевое математическое ожидание и единичную дисперсию:

Коэффициент корреляции теперь запишется проще: (, ) = E ·.

Далее, неравенство (x ± y)2 0 равносильно неравенству Подставив в него вместо x, вместо y и взяв математические ожидания всех частей неравенства, получим свойство (2):

Докажем свойство (3). В одну сторону утверждение проверяется непосредственно: если = a + b, то

106 ГЛАВА IX. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ЗАВИСИМОСТИ

Докажем вторую часть свойства (3): если |(, )| = 1, то существуют числа a = 0 и b такие, что P( = a + b) = 1.

Рассмотрим сначала случай (, ) =, = 1. Тогда второе неравенство в формуле (20) превращается в равенство:

Если математическое ожидание неотрицательной случайной величины равно нулю, то = 0, п. н. Поэтому с единичной вероятностью В случае (, ) = 1 нужно рассмотреть первое неравенство в формуле (20) и повторить рассуждения. Тем самым теорема 33 доказана.

Полезно знать следующие часто употребляемые термины.

О п р е д е л е н и е 41. Говорят, что и отрицательно коррелированы, если (, ) < 0; положительно коррелированы, если (, ) > 0;

некоррелированы, если (, ) = 0.

Смысл знака (, ) хорошо виден в случае (, ) = ±1. Тогда знак равен знаку a в равенстве = a + b п. н. Так, (, ) = 1 означает, что чем больше, тем больше и. Напротив, (, ) = 1 означает, что чем больше, тем меньше. Похожим образом можно трактовать знак коэффициента корреляции и в случае, когда |(, )| < 1, помня при этом, что зависимость между и теперь уже не линейная и, возможно, даже не функциональная.

Так, величины и + в примерах 64 и 65 положительно коррелированы, но их зависимость не функциональная.

Следующее свойство показывает, что модуль коэффициента корреляции не меняется при линейных преобразованиях случайных величин.

С в о й с т в о 20. Для любых случайных величин и с конечной и ненулевой дисперсией при любых постоянных a = 0 и b имеет меa Д о к а з а т е л ь с т в о. Запишем (a + b, ), не забывая про свойства дисперсии:

П р и м е р 66. Если и суть координаты точки, брошенной наудачу в треугольник D с вершинами (2, 0), (0, 0) и (0, 1), то их коэффициент корреляции (, ) отрицателен. Это можно объяснить так: чем больше, тем меньше у возможностей быть большой.

Полезно убедиться в этом, проверив справедливость следующих высказываний. Во-первых, и вычисленные по этим плотностям средние (вычислить) равны соответственно E = 2/3 и E = 1/3.

Во-вторых, по определению многомерного равномерного распределения в области D, Ковариация (а с ней и коэффициент корреляции) отрицательна.

У п р а ж н е н и е. Почему коэффициент корреляции в примере 66 существует? Какие свойства случайных величин гарантируют конечность второго момента? А из их ограниченности следует существование моментов?

По какому из свойств математического ожидания это так?

П р и м е р 67. Найдём коэффициент корреляции между числом выпадений единицы и числом выпадений шестерки при n подбрасываниях правильной игральной кости.

Обозначим для i {1,..., 6} через i случайную величину, равную числу выпадений грани с i очками при n подбрасываниях кубика. Посчитаем cov(1, 6 ). Каждая из случайных величин i имеет биномиальное распределение с параметрами n и, поэтому E i =, D i =.

Далее заметим, что 1 +... + 6 = n. Из-за симметрии кубика математические ожидания E 1 2, E 1 3,..., E 1 6 одинаковы, но отличаются С одной стороны, это число равно

108 ГЛАВА IX. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ЗАВИСИМОСТИ

С другой стороны, искомый коэффициент корреляции равен Интересно, что полученный коэффициент корреляции не зависит от n.

У п р а ж н е н и е. Объяснить знак величины (1, 6 ). Вычислить коэффициент корреляции числа единиц и числа двоек при n подбрасываниях правильной игральной кости.

П р и м е р 68. Вычислим математическое ожидание и дисперсию гипергеометрического распределения. Мы не могли сделать это раньше, так как очень не хотели вычислять следующие суммы:

где, напомним (чтобы читатель окончательно отказался от мысли вычислить эти суммы напрямую), суммирование ведётся по целым k таким, что Рассмотрим урну, содержащую K белых шаров и N K не белых, и пусть из неё наудачу и без возвращения выбирают по одному n шаров. Свяжем случайную величину, равную числу белых шаров среди n выбранных, с результатами отдельных извлечений шаров.

Обозначим через i, где i = 1,..., n, «индикатор» того, что i -й по счёту вынутый шар оказался белым: i = 1, если при i -м извлечении появился белый шар, иначе i = 0. Тогда = 1 +... + n — число появившихся белых шаров, и математическое ожидание считается просто:

Убедимся, что случайные величины 1,..., n имеют одно и то же распределение Бернулли Bp, где p = K / N.

Пронумеруем шары: белые — номерами от одного до K, остальные — номерами от K + 1 до N. Элементарным исходом опыта является набор из n номеров шаров в схеме выбора n элементов из N без возвращения и с учётом порядка. Общее число исходов равно || = A N.

Вычислим вероятность события Ai = {i = 1}. Событие Ai включает в себя элементарные исходы (наборы), в которых на i -м месте стоит любой из номеров белых шаров, а остальные n 1 место занимают любые из оставшихся N 1 номеров. По теореме 1 о перемножении шансов число благоприятных событию Ai исходов есть произведение K и An1. Здесь K есть число способов поставить на i -е место один из номеров белых шаров, An1 — число способов после этого разместить на оставшихся n 1 местах остальные N 1 номеров шаров. Но тогда что совершенно очевидно: вероятность 20-му шару быть белым, если мы ничего не знаем про первые 19, точно такая же, как вероятность первому шару быть белым и равна отношению числа белых шаров к числу всех.

Вернёмся к математическому ожиданию:

Вычислим дисперсию. До сих пор мы не интересовались совместным распределением 1,..., n : для вычисления математического ожидания их суммы нам было достаточно знания маргинальных распределений этих величин. Но дисперсия суммы уже не всегда равна сумме дисперсий. Зависимость величин 1,..., n очевидна: если, скажем, случилось событие A1 = {1 = 1}, то вероятность второму шару быть белым уже не равна отношению K / N :

Поэтому при вычислении дисперсии будем пользоваться свойством 19. Вычислим ковариацию величин i и j, i = j. Для этого сначала посчитаем E (i j ). Произведение i j снова имеет распределение Бернулли: i j = 1, если при i-м и j -м извлечениях появились белые шары. Вероятность этого события равна Тогда

110 ГЛАВА IX. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ ЗАВИСИМОСТИ

Подставляя одинаковые дисперсии D i = p(1 p) и эти не зависящие от i и j ковариации в формулу дисперсии суммы, получаем Заметим любопытнейшую вещь: если вынимать шары с возвращением, то испытания станут независимыми испытаниями в схеме Бернулли;

cтавшие независимыми величины i в сумме дадут число белых шаров, имеющее биномиальное распределение с параметрами n и p = и точно такое же математическое ожидание np =, как и у числа белых шаров при выборе без возвращения.

Дисперсия же у числа белых шаров при выборе без возвращения меньше, чем при выборе с возвращением — за счёт отрицательной коррелированности слагаемых i и j при i = j.

ГЛАВА X

СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ

ВЕЛИЧИН

Откуда, наконец, вытекает то удивительное, по-видимому, следствие, что, если бы наблюдения над всеми событиями продолжать всю вечность, причём вероятность, наконец, перешла бы в полную достоверность, то было бы замечено, что в мире всё управляется точными отношениями и постоянным законом изменений, так что даже в вещах, в высшей степени случайных, мы принуждены были бы признать как бы некоторую необходимость и, скажу я, рок.

§ 1. Сходимости «почти наверное» и «по вероятности»

Напомним, что случайная величина есть (измеримая) функция из некоторого непустого множества в множество действительных чисел. Последовательность случайных величин {n } есть тем самым последоn= вательность функций, определённых на одном и том же множестве.

Существуют разные виды сходимости последовательности функций. Давать определение любой сходимости мы будем, опираясь на сходимость числовых последовательностей, как на уже известное основное понятие.

В частности, при каждом новом мы имеем новую числовую последовательность 1 (), 2 (), 3 (),... Поэтому можно говорить о сходимости последовательности значений функций в данной точке, а также во всех остальных точках. В теории вероятностей можно не обращать внимание на неприятности, происходящие с нулевой вероятностью. Поэтому вместо сходимости «всюду» принято рассматривать сходимость «почти всюду», или «почти наверное».

О п р е д е л е н и е 42. Говорят, что последовательность {n } сходится почти наверное к случайной величине при n, и пишут:

n п. н., если P { | n () () при n } = 1. Иначе говоря,

112 ГЛАВА X. СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН

если n () () при n для всех, кроме, возможно, A, где A — событие, имеющее нулевую вероятность.

Заметим сразу: определение сходимости «почти наверное» требует знания того, как устроены отображения n (). В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения.

Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин {n } к случайной величине ?

Можно, скажем, потребовать, чтобы вероятность тех элементарных исходов, для которых n () не попадает в « -окрестность» числа (), уменьшалась до нуля с ростом n. Такая сходимость в функциональном анализе называется сходимостью «по мере», а в теории вероятностей — сходимостью «по вероятности».

О п р е д е л е н и е 43. Говорят, что последовательность случайных величин {n } сходится по вероятности к случайной величине при n, и пишут n, если для любого > П р и м е р 69. Рассмотрим последовательность 1, 2,..., в которой все величины имеют разные распределения: величина n принимает значения 0 и n7 с вероятностями P n = n7 = 1/n = 1 P(n = 0). Докажем, что эта последовательность сходится по вероятности к нулю.

Зафиксируем произвольное > 0. Для всех n начиная с некоторого n0 такого, что n7 >, верно равенство P(n ) = P(n = n7 ) = 1/ n.

Поэтому Итак, случайные величины n с ростом n могут принимать всё бльшиео и бльшие значения, но со всё меньшей и меньшей вероятностью.

Например, последовательность {n } можно задать на вероятностном пространстве, F, P = [0, 1], B([0, 1]), так: положим n () = Заметим, что сходимость по вероятности имеет место совершенно независимо от того, как именно заданы случайные величины на, поскольку определяется лишь их распределениями.

З а м е ч а н и е. Иное дело — сходимость «почти наверное». Если, скажем, задать случайные величины как указано выше, то сходимость «поСходимости «почти наверное» и «по вероятности»

чти наверное» будет иметь место. Действительно, для всякого [0, 1) найдётся такое n0, что [0, 1 1/n0 ], и поэтому для всех n n0 все n () равны нулю.

Можно попробовать задать случайные величины n на отрезке [0, 1] как-нибудь иначе, чтобы не было сходимости почти наверное. Для этого нужно заставить отрезок длины 1 / n, на котором n () = n7, «бегать»

по отрезку [0, 1], чтобы любая точка [0, 1] попадала внутрь этого отрезка бесконечное число раз, и, тем самым, для любого существовала подпоследовательность nk ().

Сходимость по вероятности не обязательно сопровождается сходимоp стью математических ожиданий или моментов других порядков: из n не следует, что E n E. Действительно, в примере 69 имеет место сходимость n = 0, но E n = n6 E = 0. При этом вообще последовательность E n неограниченно возрастает.

А если вместо значения n7 взять n (с той же вероятностью 1/ n ), то получим E n = 1 E = 0. Но теперь хотя бы предел у последовательности математических ожиданий конечен.

Если же n принимает значения 0 и n с вероятностями из примера 69, то E n = 1/ n E = 0, но уже вторые моменты сходиться ко второму моменту не будут: E 2 = 1 E 2 = 0.

Однако сходимость математических ожиданий и других моментов сходящихся последовательностей бывает чрезвычайно важна в различных задачах статистики. Существуют условия, при выполнении которых схоp димость по вероятности n влечёт сходимость математических ожиданий E n E.

Сформулируем без доказательства следующее утверждение.

Т е о р е м а 34. Пусть n при n. Тогда для сходимости E n E достаточно выполнения любого из следующих условий:

1. Все члены последовательности ограничены одной и той же постоянной: |n | C = const.

2. Все члены последовательности ограничены одной и той же случайной величиной с конечным первым моментом: |n |, E <.

3. Существует > 1 такое, что E |n | C = const для любого n.

Самым слабым в этом списке является третье условие, наиболее ограничительным — первое. Ни одно из этих условий не является необходимым для сходимости математических ожиданий (найти контрпример).

114 ГЛАВА X. СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН

Сходимость по вероятности, так же как и любая другая сходимость, не портится под действием непрерывной функции.

С в о й с т в о 21. Пусть функция g действует из R в R.

1. Если n и функция g(x) непрерывна, то g(n ) g().

2. Если n c и g(x) непрерывна в точке c, то g(n ) g(c).

Д о к а з а т е л ь с т в о. Простое доказательство первого утверждения можно предложить в двух случаях, которыми мы и ограничимся: если = c = const (и тогда достаточно, чтобы g была непрерывна в точке c ) или если функция g равномерно непрерывна (а что это значит?).

И в том и в другом случае для любого > 0 найдётся такое > 0, что для любого, удовлетворяющего условию |n ()()| <, выполняется неравенство |g(n ()) g(())| <.

Другими словами, событие |n | < влечёт за собой событие |g(n ) g()| <. Следовательно, вероятность первого не больше вероятности второго. Но, какое бы ни было > 0, вероятность первого события стремится к единице по определению сходимости по вероятности:

Тогда вероятность второго события также стремится к единице.

То же самое можно утверждать и для непрерывной функции многих переменных, применённой к нескольким сходящимся последовательностям.

С в о й с т в о 22. Пусть функция g отображает R2 в R.

1. Если n, n при n, функция g(x, y) всюду непрерывна, то g(n, n ) g(, ).

2. Если n c1, n c2 при n, функция g(x) непрерывна в точке (c1, c2 ), то g(n, n ) g(c1, c2 ).

Д о к а з а т е л ь с т в о. Докажем опять только второе свойство. Воспользуемся определением непрерывности функции двух переменных: для любого > 0 найдётся такое > 0, что для любого, принадлежащего одновременно двум событиям выполняется неравенство Тогда событие An Bn влечёт событие C = |g(n, n ) g(c1, c2 )| <, поэтому вероятность первого не больше вероятности второго. Но вероятность пересечения двух событий, вероятности которых стремятся к единиНеравенства Чебышёва це, также стремится к единице:

Поэтому P(C) Из свойства 22 вытекают обычные свойства пределов, хорошо знакомые нам по числовым последовательностям. Например, функции g(x, y) = x + y и g(x, y) = xy непрерывны в R2, поэтому предел суммы (произведения) сходящихся по вероятности последовательностей равен сумме (произведению) пределов.

Сходимость «почти наверное» сильнее сходимости по вероятности.

Д о к а з а т е л ь с т в о. Ограничимся для простоты случаем, когда n () () для любого. Зафиксируем. По определению предела, n () () при n, если для всякого > 0 найдётся N = = N (, ) 0 такое, что для всех n > N выполняется неравенство |n () ()| <.

Событие A = { n > N (, )} влечёт событие B = {|n () ()| < }.

Тогда по свойству (F2) функций распределения. Мы получили, что P(B) 1, Чтобы доказывать сходимость по вероятности, требуется уметь вычислять P (|n | ) при больших n. Но для этого нужно знать распределение n, что не всегда возможно.

Полезно иметь неравенства, позволяющие оценивать вероятность P (|n | ) сверху. Тогда для доказательства сходимости по вероятности было бы достаточно устремить к нулю эту оценку.

Все неравенства в этом параграфе принято относить к одному классу неравенств Чебышёва16.

Пафнутий Львович Чебышёв (16.05.1821—8.12.1894).

116 ГЛАВА X. СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН

для любого x > Д о к а з а т е л ь с т в о. Нам потребуется следующее понятие.

О п р е д е л е н и е 44. Назовём индикатором события A случайную величину I(A), равную единице, если событие A произошло, и нулю, если A не произошло.

По определению, величина I(A) имеет распределение Бернулли с параметром p = P(I(A) = 1) = P(A) и её математическое ожидание равно вероятности успеха p = P(A). Индикаторы прямого и противоположного событий связаны равенством I(A) + I(A) = 1. Поэтому Тогда E || E x · I(|| x) = x · P || x. Осталось разделить обе части этого неравенства на положительное число x.

С л е д с т в и е 16 (обобщённое неравенство Чебышёва). Пусть функция g не убывает и неотрицательна на R. Если E g() <, то для любого x R Д о к а з а т е л ь с т в о. Заметим, что P x P g() g(x), поскольку функция g не убывает. Оценим последнюю вероятность по неравенству Маркова, которое можно применять в силу неотрицательности g :

У п р а ж н е н и е. Записать предыдущее неравенство для функции g(x) = ex и получить экспоненциальное неравенство Чебышёва.

С л е д с т в и е 17 (неравенство Чебышёва). Если D существует, то для любого x > Андрей Андреевич Марков (14.06.1856—20.07.1922).

Неравенство Чебышёва позволяет, помимо всего прочего, получать абсолютные оценки для вероятности того, что стандартизованная случайная величина превзойдёт некоторое значение: для любого x > Например, при x = 10 эта вероятность не превышает 0,01.

О п р е д е л е н и е 45. Говорят, что последовательность случайных величин 1, 2,... с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если Законами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет закону больших чисел.

Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределённых случайных величин.

Т е о р е м а 36 (З Б Ч Ч е б ы ш ё в а). Для любой последовательности 1, 2,... попарно независимых и одинаково распределённых случайных величин с конечным вторым моментом E 2 < имеет место сходимость Заметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, E 1 ), поэтому свойство (21) можно записать в виде (22).

ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых «стабилизируется» с ростом этого числа. Как бы сильно каждая случайная величина ни отклонялась от своего среднего значения, при суммировании эти отклонения «взаимно гасятся», так что среднее арифметическое приближается к постоянной величине.

В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение останется верным, если требовать существования только первого момента.

118 ГЛАВА X. СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН

Д о к а з а т е л ь с т в о. Обозначим через Sn = 1 +... + n сумму первых n случайных величин. Из линейности математического ожидания получим Пусть > 0. Воспользуемся неравенством Чебышёва (следствие 17) :

так как D 1 <. Дисперсия суммы превратилась в сумму дисперсий в силу попарной независимости слагаемых, из-за которой все ковариации cov(i, j ) в свойстве 19 (с. 103) обратились в нуль при i = j.

З а м е ч а н и е. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа попарно независимых и одинаково распределённых величин отличаться от E более чем на заданное :

Попарную независимость слагаемых в ЗБЧ Чебышёва можно заменить их попарной некоррелированностью, ничего не меняя в доказательстве.

ЗБЧ может выполняться и для последовательности зависимых и разнораспределённых слагаемых. Из неравенства Чебышёва сразу вытекает следующее достаточное условие выполнения ЗБЧ для последовательности произвольных случайных величин.

Т е о р е м а 37 (З Б Ч М а р к о в а). Последовательность случайных величин 1, 2,... с конечными вторыми моментами удовлетворяет Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы n слагаемых растёт не слишком быстро с ростом n.

Сильная зависимость слагаемых приводит обычно к невыполнению ЗБЧ. Если, например, D 1 = 0 и n 1, то Sn = n1, и свойство (22) не выполнено (убедиться в этом!). В этом случае не выполнено и достаточное условие для ЗБЧ: D Sn = D (n1 ) = cn2. Для одинаково распределённых слагаемых дисперсия суммы ещё быстрее расти уже не может.

Следующее утверждение мы докажем чуть позже. Сравните его условия с условиями ЗБЧ Чебышёва.

Т е о р е м а 38 (З Б Ч Х и н ч и н а18 ). Для любой последовательности 1, 2,... независимых (в совокупности) и одинаково распределённых случайных величин с конечным первым моментом E |1 | < имеет место сходимость:

Итак, чтобы последовательность независимых и одинаково распределённых случайных величин удовлетворяла ЗБЧ, достаточно существования первого момента слагаемых. Более того, в условиях теоремы 38 имеет место и сходимость п. н. последовательности (1 +... + n )/n к E 1.

Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказывать не будем.

Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли — утверждение только для схемы Бернулли.

Т е о р е м а 39 (З Б Ч Б е р н у л л и). Пусть событие A может произойти в любом из n независимых испытаний с одной и той же вероятностью p, и пусть n (A) — число осуществлений события A в n испытаниях. Тогда Д о к а з а т е л ь с т в о. Заметим, что n (A) есть сумма независимых, одинаково распределённых случайных величин, имеющих распределение Бернулли с параметром p = P(A) (индикаторов того, что в соответствующем испытании произошло A ): n (A) = 1 +... + n, где и E 1 = P(A) = p, D 1 = p(1 p). Осталось воспользоваться ЗБЧ в форме Чебышёва и неравенством (24).

П р и м е р 70. Монета подбрасывается 104 раз. Оценим вероятность того, что частота выпадения герба отличается от на 0,01 или более.

Александр Яковлевич Хинчин (19.07.1894—18.11.1959).

120 ГЛАВА X. СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН

Пусть 1,..., n — независимые случайные величины, каждая из которых имеет распределение Бернулли с параметром p = 1/2 и равна единице, если при соответствующем подбрасывании выпал герб, и нулю иначе.

Нужно оценить P выпадений герба. Поскольку D 1 = · =, искомая оценка сверху выглядит так:

Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от на одну сотую или больше. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.

Г Л А В А XI

ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

Из этой первой лекции по теории вероятностей я запомнил только полузнакомый термин «математическое ожидание». Незнакомец употреблял этот термин неоднократно, и каждый раз я представлял себе большое помещение, вроде зала ожидания, с кафельным полом, где сидят люди с портфелями и бюварами и, подбрасывая время от времени к потолку монетки и бутерброды, сосредоточенно чего-то ожидают. До сих пор я часто вижу это во сне. Но тут незнакомец оглушил меня звонким термином «предельная теорема Муавра — Лапласа» и § 1. Как быстро среднее арифметическое сходится Пусть, как в законе больших чисел Чебышёва, Sn = 1 +... + n — сумма n независимых и одинаково распределённых величин с конечной дисперсией. Тогда по ЗБЧ n E 1 с ростом n. Или, после приведения к общему знаменателю, Если при делении на n мы получили в пределе нуль (в смысле некоторой, всё равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на большую величину мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем n, чтобы получить в пределе не нуль (но и не бесконечность)?

Можно поставить тот же вопрос иначе. Есть последовательность, стремящаяся к нулю. Можно ли её домножить на что-либо растущее, чтобы «погасить» это стремление к нулю и получить, тем самым, что-нибудь конечное и ненулевое в пределе?

122 ГЛАВА XI. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

Оказывается, что уже последовательность случайных величин не сходится к нулю. Распределение членов этой последовательности становится всё более похожим на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится никак не по вероятности, а только в смысле сходимости распределений, или «слабой сходимости».

Пусть задана последовательность случайных величин 1, 2,..., задано некоторое распределение F с функцией распределения F и пусть — произвольная случайная величина, имеющая распределение F.

О п р е д е л е н и е 46. Говорят, что последовательность случайных величин 1, 2,... сходится слабо или по распределению к случайной величине и пишут: n, если для любого x такого, что функция распределения F непрерывна в точке x, имеет место сходимость Fn (x) F (x) при n.

Итак, слабая сходимость — это сходимость функций распределения во всех точках непрерывности предельной функции распределения.

З а м е ч а н и е. Заметим, что сходимость n есть сходимость распределений, а не случайных величин: если «предельную» величину заменить на другую величину с тем же распределением, ничего не изменится: в том же смысле n.

Следующее свойство очевидно. Если нет — нужно вернуться к определению и свойствам функций распределения.

С в о й с т в о 25. Если n, и функция распределения F непрерывна в точках a и b, то P(n (a, b)) P( (a, b)). Если во всех точках a и b непрерывности функции распределения F имеет место сходимость P(n (a, b)) P( (a, b)), то n.

Итак, сходимость по вероятности влечёт слабую сходимость. Обратное утверждение в общем случае смысла не имеет (см. замечание выше). Однако из слабой сходимости к постоянной вытекает сходимость по вероятности.

Д о к а з а т е л ь с т в о. Первое утверждение мы докажем чуть позже.

Докажем, что слабая сходимость к постояннной влечёт сходимость по вероятности. Пусть n c, т. е.

при любом x, являющемся точкой непрерывности предельной функции Fc (x), т. е. при всех x = c.

Возьмём произвольное > 0 и докажем, что P(|n c| < ) 1 :

поскольку в точках c+ и c/2 функция Fc непрерывна, и, следовательно, имеет место сходимость последовательностей Fn (c+) к Fc (c+) = и Fn (c /2) к Fc (c /2) = 0.

Осталось заметить, что P(|n c| < ) не бывает больше 1, так что по свойству предела зажатой последовательности P(|n c| < ) 1.

Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям — домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.

З а м е ч а н и е. Свойство «предел суммы равен сумме пределов» для слабой сходимости просто бессмысленно: сходимости n, n означают, что нам известны предельные распределения этих последовательностей. Но предельное распределение их суммы может быть различным в зависимости от совместного распределения n и n. Иное дело, когда одно из предельных распределений вырождено. Тогда предельная функция распределения суммы или произведения определена однозначно.

Д о к а з а т е л ь с т в о. Нелюбознательный читатель может пропустить это доказательство, вернувшись к нему при втором прочтении.

(доказать). Поэтому достаточно доказать первое утверждение свойства 27 при c = 1, а второе утверждение — при c = 0.

Рассмотрим второе утверждение, оставив первое любознательному чиp тателю. Пусть n 0 и n. Докажем, что тогда n + n.

124 ГЛАВА XI. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

Пусть x0 — точка непрерывности функции распределения F (x). Требуется доказать, что имеет место сходимость Fn +n (x0 ) к F (x0 ). Зафиксируем > 0 такое, что F (x) непрерывна в точках x0 ±.

Cобытия H1 = {|n | } и H2 = {|n | < } образуют полную группу, поэтому Оценим P1 + P2 сверху и снизу. Для P1 имеем и последняя вероятность может быть выбором n сделана сколь угодно малой. Для P2, с одной стороны, Выше мы воспользовались тем, что если < n и n + n < x0, то тем более + n < x0. С другой стороны, Здесь первое неравенство объясняется включением которое получилось заменой в событии {+n < x0 } числа на меньшую величину n, n <. Второе неравенство следует из свойств:

Мы получили оценки снизу и сверху для P1 + P2, т. е. для Fn +n (x0 ) :

Устремляя n к бесконечности и вспоминая, что x0 ± — точки непрерывности функции распределения F, получаем У любой функции распределения не более чем счётное множество точек разрыва. Поэтому можно выбрать такую уменьшающуюся до нуля последовательность, что в точках x0 ± функция распределения F будет непрерывной и, следовательно, останутся верны неравенства (25). Переходя к пределу по такой последовательности 0 и помня, что x0 — точка непрерывности функции F, получаем, что нижний и верхний пределы Fn +n (x0 ) при n совпадают и равны F (x0 ).

качестве простого следствия из только что доказанного второго утверp ждения свойства 27 покажем, что сходимость n по вероятности влечёт слабую сходимость n.

Представим n в виде суммы n = (n ) +. Здесь последовательность n по вероятности стремится к нулю, а «последовательность»

слабо сходится к. Поэтому их сумма слабо сходится к.

Получим ещё одно следствие из свойства 27. Для удобства ссылок назовём следующее утверждение «теоремой о двойном пределе».

Т е о р е м а 40. Пусть n, причём функция распределения случайной величины непрерывна всюду, и пусть xn x0 [, ] — числовая последовательность. Тогда Fn (xn ) F (x0 ).

В формулировке теоремы мы для краткости использовали запись F (±), которую следует понимать так: F () = 0, F (+) = 1.

Д о к а з а т е л ь с т в о. Если x0 R, то утверждение теоремы следует из свойства 27. Действительно, из xn x0 следует, что xn x0. Тогда n xn x0 по свойству 27. Функция распределения Fx0 (x) отличается от F (x) лишь сдвигом и тоже непрерывна всюду, поэтому имеет место сходимость функций распределения в любой точке. В частности, в точке x = 0 имеет место сходимость при n Пусть теперь x0 =. Нужно доказать, что Fn (xn ) F () = 0.

По определению, xn с ростом n, если для любого M > 0 суN выполнено неравенство: xn M.

ществует N такое, что при n В силу монотонности функций распределения, 0 Fn (xn ) Fn (M ).

В точке M, как и в любой иной точке, имеет место сходимость функций распределения Fn (M ) F (M ). Выбором M величина F (M ) может быть сделана сколь угодно близкой к нулю. Тем самым верхний предел последовательности Fn (xn ) оказывается зажат между нулём и сколь угодно малой величиной, т. е. равняется нулю.

Случай x0 = + проверяется аналогично.

Основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределений сумм независимых и одинаково распределённых случайных величин предоставляет нам центральная предельная теорема.

126 ГЛАВА XI. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

Мы будем называть следующее утверждение «ЦПТ Ляпунова19 », но сформулируем и докажем теорему Ляпунова только в частном случае — для последовательности независимых и одинаково распределённых случайных величин. Как и ранее, через Sn обозначена сумма первых n случайных величин в последовательности: Sn = 1 +... + n.

Т е о р е м а 41 (Ц П Т Л я п у н о в а ). Пусть 1, 2,... — независимые и одинаково распределённые случайные величины с конечной и ненулевой дисперсией: 0 < D 1 <. Тогда имеет место слабая сходимость последовательности центрированных и нормированных сумм случайных величин к стандартному нормальному распределению.

Пользуясь определением и свойствами слабой сходимости и заметив, что функция распределения a,2 (x) любого нормального закона непрерывна всюду на R (почему?), утверждение ЦПТ можно сформулировать любым из следующих способов.

С л е д с т в и е 18. Пусть 1, 2,... — независимые и одинаково распределённые случайные величины с конечной и ненулевой дисперсией. Тогда выполнены утверждения:

а) для любых вещественных x < y при n имеет место сходимость б) если — произвольная случайная величина со стандартным нормальным распределением, то Мы докажем центральную предельную теорему и закон больших чисел в форме Хинчина в следующей главе. Нам потребуется для этого познакомиться с мощным математическим инструментом, который в математике Александр Михайлович Ляпунов (6.06.1857—3.11.1918).

обычно называют преобразованиями Фурье, а в теории вероятностей — характеристическими функциями.

Получим в качестве следствия из ЦПТ Ляпунова предельную теорему Муавра20 и Лапласа21. Подобно ЗБЧ Бернулли, это утверждение годится только для схемы Бернулли.

Пусть событие A может произойти в любом из n независимых испытаний с одной и той же вероятностью p и пусть n (A) — число осуществлений события A в n испытаниях. Тогда т. е. для любых вещественных x < y имеет место сходимость Д о к а з а т е л ь с т в о. Величина n (A) есть сумма независимых, одинаково распределённых случайных величин, имеющих распределение Бернулли с параметром, равным вероятности успеха p : n (A) = 1 +... + n, где E 1 = p, D 1 = p(1 p). Осталось воспользоваться ЦПТ.

П р и м е р 71. Задача из примера 70 (с. 119). Требуется найти где n = 10 000, n — число выпадений герба. Вычислим вероятность дополнительного события. Домножим обе части неравенства под знаком вероятности на n = 100 и поделим на p (1 p) = 1/2.

величины с абсолютно непрерывным распределением?

16. На графике плотности распределения N0,1 указать вероятности P(0 2), P( < 2) и P( > 3).

17. Может ли плотность распределения равняться нулю при всех значениях аргумента, единице, двойке?

18. Необходимое и достаточное условие того, что f является плотностью распределения.

ми распределения функции 2f, f + g, 20. Сформулировать определение и перечислить основные свойства функции распределения.

21. Для каждого свойства функций распределения нарисовать график любой функции, не обладающей этим свойством.

22. Сформулировать необходимое и достаточное условие того, что функция F является функцией распределения.

23. Нарисовать график функции распределения случайной величины, если P( = 5) = 1.

24. Может ли такая функция F являться функцией распределения:

а) F — чётная функция;

в) F (99) = 0, F (0) = 1/4, F (101) = 1 ?

25. Верно ли, что F (1 1/n) F (1) при n ? Объяснить.

26. Всегда ли P( < 1/n) P( < 0) при n ? Если нет, привести соответствующий пример.

27. Всегда ли P( < 1/n) P( < 0) при n ? Почему?

28. Найти пределы lim F (1 + 1/n), lim F (n) и lim F (n).

29. Как выглядит график функции распределения дискретного распределения? Как по таблице дискретного распределения нарисовать график функции распределения и наоборот?

30. Как по функции распределения произвольного распределения вычислить вероятность P(2 < 3), вероятность P( 3)?

31. Может ли функция распределения абсолютно непрерывного распределения иметь разрывы?

32. Дана функция распределения: F (x) = 0 при x < 0; F (x) = x/ при x [0, 1] и F (x) = 1 при x > 1. Cуществует ли плотность этого распределения?

КОНТРОЛЬНЫЕ ВОПРОСЫ

33. Чему для любого x равна P( = x), если имеет абсолютно непрерывное распределение?

34. Нарисовать график любой функции распределения F (x) такой, что P( = 1) = 1/2.

35. Как найти плотность распределения по функции распределения?

36. Закончить высказывание: P( < 2) = P( 2) тогда и только тогда, когда...

37. Закончить высказывание: P( > 0) = 1 F (0) тогда и только тогда, когда...

38. Как вычислять вероятность P(x1 < < x2 ), если Na,2 ?

39. На графике функции распределения показательного распределения указать вероятность P(1 2). Ту же вероятность указать на графике плотности этого распределения.

40. Чему равна P( < 0) для N0, 1 ? Что можно сказать про x, если 0,1 (x) < 1/2 ? Чему равна P( < a) для Na, 2 ?

41. Найти по таблице P( < 3), P( < 1,96), P( < 1,6), P( < 1,6), P( < 1,96) и P( < 3) для N0, 1.

42. Как связаны плотности распределения величин и a + b?

43. Как по плотности распределения величины найти плотности распределения величин, 2, + 2?

44. Если величина имеет нормальное распределение, каким будет распределение случайной величины, величины 5 + 7?

45. Каким преобразованием можно случайную величину U0, 5 превратить в U0, 1 ?

46. Каким преобразованием можно случайную величину U0, 1 превратить в U0, 5 ? А в E1 ?

47. Каким преобразованием можно случайную величину E5 превратить в E1 ?

48. Каким преобразованием можно случайную величину E1 превратить в E5 ?

49. Каким преобразованием можно случайную величину N5, 9 превратить в N0, 1 и наоборот?

50. Как из нормально распределённой случайной величины сделать величину со стандартным нормальным распределением?

51. Что такое функция распределения случайного вектора?

52. Как по функции распределения вектора находят функции распределения его координат?

53. Что такое таблица совместного распределения?

54. Как по таблице совместного распределения двух случайных величин находят их частные распределения?

55. Какими свойствами обладает плотность распределения случайного вектора?

56. Как по плотности совместного распределения двух случайных величин находят их частные плотности?

57. Можно ли найти совместное распределение по частным распределениям?

58. Привести пример того, что при одних и тех же частных распределениях возможны разные совместные.

59. Что такое многомерное нормальное распределение?

60. Сформулировать определение независимости в совокупности n случайных величин.

61. Как из независимости в совокупности n случайных величин вытекает их попарная независимость?

62. Для каких-то множеств B1 и B2 оказалось верно равенство P( B1, B2 ) = P( B1 ) · P( B2 ). Следует ли отсюда независимость случайных величин и ?

63. Дать определение зависимости случайных величин и.

независимы?

65. Верно ли равенство P( R, R) = P( R) P( R)? Можно ли отсюда сделать вывод, что и независимы? Почему?

66. Привести пример зависимых случайных величин и таких, что для любого x верно равенство P( < x, < x) = P( < x) · P( < x).

67. Дать определение независимости двух случайных величин с дискретными распределениями.

68. Дать определение независимости двух случайных величин с абсолютно непрерывными распределениями.

69. Случайные величины 1,..., n независимы в совокупности и имеют стандартное нормальное распределение. Выписать плотность совместного распределения величин 1,..., n.

70. Пусть B1/2, =. Проверить, зависимы ли и.

71. Пусть 1, =. Проверить, зависимы ли и.

72. В каком случае случайная величина не зависит от себя самой?

73. Как вычислить плотность распределения суммы двух независимых случайных величин, зная плотность распределения каждой?

74. Сформулировать теорему об устойчивости распределения ПуассоКОНТРОЛЬНЫЕ ВОПРОСЫ на по суммированию.

75. Привести пример случайных величин, µ таких, что распределение + не является пуассоновским.

76. Сформулировать теорему об устойчивости биномиального распределения по суммированию.

77. Привести пример случайных величин Bn,p, Bm,p таких, что распределение + не является биномиальным.

78. Привести пример, когда сумма двух одинаково распределённых случайных величин с распределением Bp имеет распределение, отличное от B2, p .

79. Сформулировать теорему об устойчивости нормального распределения по суммированию.

80. Привести пример случайных величин N0,1, N0,1 таких, 81. Привести пример случайных величин N0,1, N0,1 таких, что распределение + не является нормальным.

82. Пусть N1,9 и N1,1 — независимые случайные величины.

Какое распределение имеет ?

83. Сформулировать теорему об устойчивости гамма-распределения относительно суммирования.

84. Имеет ли сумма независимых и равномерно распределённых слагаемых равномерное распределение?