[ «Н. И. Чернова Теория вероятностей Учебное пособие Новосибирск 2007 УДК 519.21 ББК В17я73-2 Ч493 Чернова Н. И. Теория вероятностей: Учеб. пособие / Новосиб. гос. ун-т. Новосибирск, 2007. 160 с. ISBN 978-5-94356-506-9 ...»
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
Механико-математический факультет
Кафедра теории вероятностей и математической статистики
Н. И. Чернова
Теория вероятностей
Учебное пособие
Новосибирск
2007
УДК 519.21
ББК В17я73-2
Ч493
Чернова Н. И. Теория вероятностей: Учеб. пособие / Новосиб. гос.
ун-т. Новосибирск, 2007. 160 с.
ISBN 978-5-94356-506-9 Учебное пособие содержит полный курс лекций по теории вероятностей, более 10 лет читаемый автором на первом курсе отделения экономики экономического факультета НГУ. Подбор материала является традиционным для курса теории вероятностей, излагаемого студентам экономических специальностей университетов, и включает основы теории меры, основы комбинаторики, элементарную и аналитическую теорию вероятностей, предельные теоремы теории вероятностей.
Пособие соответствует требованиям Государственного образовательного стандарта к профессиональным образовательным программам по специальности 061800 «Математические методы в экономике».
Предназначено для студентов экономических специальностей.
Рецензент канд. физ.-мат. наук А. П. Ковалевский Издание подготовлено в рамках выполнения инновационно-образовательной программы «Инновационные образовательные программы и технологии, реализуемые на принципах партнерства классического университета, науки, бизнеса и государства» национального проекта «Образование».
c Новосибирский государственный университет, c Чернова Н. И., ISBN 978-5-94356-506-
ОГЛАВЛЕНИЕ
Предисловие.............................. Г л а в а I. Основные понятия теории вероятностей...... § 1. Элементы комбинаторики.................... § 2. События и операции над ними................. § 3. Дискретное пространство элементарных исходов....... § 4. Геометрическая вероятность................... Г л а в а II. Аксиоматика теории вероятностей.......... § 1. Алгебра и сигма-алгебра событий................ § 2. Мера и вероятностная мера................... Г л а в а III. Условная вероятность и независимость...... § 1. Условная вероятность...................... § 2. Независимость событий..................... § 3. Формула полной вероятности.................. § 4. Формула Байеса.......................... Г л а в а IV. Схема Бернулли..................... § 1. Распределение числа успехов в n испытаниях......... § 2. Номер первого успешного испытания.............. § 3. Независимые испытания с несколькими исходами....... § 4. Теорема Пуассона для схемы Бернулли............ Г л а в а V. Случайные величины и их распределения.... § 1. Случайные величины....................... § 2. Распределения случайных величин............... § 3. Функция распределения..................... § 4. Примеры дискретных распределений.............. 4 ОГЛАВЛЕНИЕ § 5. Примеры абсолютно непрерывных распределений...... § 6. Свойства функций распределения............... § 7. Свойства нормального распределения............. Г л а в а VI. Преобразования случайных величин........ § 1. Измеримость функций от случайных величин......... § 2. Распределения функций от случайных величин........ Г л а в а IX. Числовые характеристики зависимости...... § 1. Ковариация двух случайных величин............. Г л а в а XI. Центральная предельная теорема..........ОГЛАВЛЕНИЕ
— Знаете что, милый Арамис? — сказал д’Артаньян, ненавидевший стихи почти так же сильно, как латынь. — Добавьте к достоинству трудности достоинство краткости, и вы сможете быть уверены в том, что ваша поэма будет иметь никак не менее двух достоинств.
ПРЕДИСЛОВИЕ
Учебное пособие содержит курс лекций по теории вероятностей, читаемый автором студентам 1-го курса отделения экономики экономического факультета НГУ. Курс теории вероятностей опирается на курсы математического анализа и алгебры и служит основой для следующего за ним курса математической статистики, которая, в свою очередь, является основой для одной из главных дисциплин специализации экономистов-математиков — эконометрики.Задача курса — обучить студентов математическим методам исследования вероятностных математических моделей, предоставить им необходимый математический аппарат, привить вероятностный взгляд на мир.
Курс разбит на 12 глав. Первые две главы знакомят читателя с основными понятиями и аксиомами теории вероятностей. Третья глава посвящена условной вероятности и её следствиям. Здесь же обсуждается понятие независимости событий. Схема Бернулли рассмотрена в четвёртой главе.
Здесь же встречаются первые предельные теоремы.
Пятая глава знакомит читателя с понятием случайной величины и её распределения. Здесь же дан перечень стандартных семейств распределений и изучаются их свойства. Глава шестая посвящена изучению преобразований случайных величин.
В седьмой главе рассмотрены совместные распределения случайных величин. Особый акцент сделан на влиянии совместного распределения на распределения функций от случайных векторов. Независимость случайных величин вводится как частный случай совместного распределения, позволяющий обойтись знанием маргинальных распределений. Здесь же подробно рассмотрено суммирование независимых случайных величин, формула свёртки и следствия из неё.
Глава восьмая посвящена математическим ожиданиям, дисперсиям и другим важным числовым характеристикам распределений. Математические ожидания вводятся отдельно для дискретного и для абсолютПРЕДИСЛОВИЕ но непрерывного распределения. Коэффициент корреляции обсуждается в главе девятой.
Глава десятая знакомит читателя с видами сходимостей последовательностей случайных величин и законами больших чисел. В одиннадцатой главе излагаются свойства слабой сходимости и центральная предельная теорема для независимых и одинаково распределённых слагаемых. В последней главе рассмотрены характеристические функции и их применение в теории вероятностей.
В конце курса приведён список контрольных вопросов. Вопросы подобраны так, чтобы акцентировать внимание читателя на важных моментах, которые могут остаться незамеченными при первом чтении. Если читателю не удаётся дать ответ на какой-либо вопрос, ему стоит повторно разобрать теоретический материал.
Приложение содержит таблицы с перечнем основных характеристик дискретных и абсолютно непрерывных распределений, таблицу значений функции распределения стандартного нормального закона.
В конце пособия приведён подробный предметный указатель. В списке литературы перечислены учебники, которые можно использовать в дополнение к курсу, и сборники задач для практических занятий.
Нумерация параграфов в каждой главе отдельная. Формулы, примеры, утверждения и т. п. имеют сквозную нумерацию. При ссылке на объект из другой главы для удобства читателя указан номер страницы, на которой содержится объект. При ссылке на объект из той же главы приводится только номер формулы, примера, утверждения. Окончание доказательств отмечено значком.
Автор искренне признателен своим коллегам по кафедре теории вероятностей и математической статистики ММФ НГУ за то влияние, которое они оказали на содержание данного курса и на методические воззрения автора.
ГЛАВА I
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
добра, а потому ты неразборчива и недогадлива. На тебя нельзя положиться, что ты с первых страниц можешь различить, Научимся подсчитывать число «шансов». О числе шансов говорят, когда возможно несколько результатов какого-либо действия (выбор карты из колоды, подбрасывание кубика или монетки). Формулы комбинаторики позволяют посчитать число способов проделать действие или число его возможных результатов.Теорема о перемножении шансов. Основной принцип комбинаторики заключается в следующем: если первый элемент можно выбрать k способами, а второй элемент — m способами, то упорядоченную пару элементов можно составить km способами.
Т е о р е м а 1. Пусть множество A = {a1,..., ak } состоит из k элементов, а множество B = {b1,..., bm } — из m элементов. Тогда можно образовать ровно km пар (ai, bj ), взяв первый элемент из множества A, а второй — из множества B.
Д о к а з а т е л ь с т в о. С элементом a1 мы можем образовать m пар:
(a1, b1 ), (a1, b2 ),..., (a1, bm ). Столько же пар можно составить с элементом a2 или с любым другим из k элементов множества A. Таким образом,
10 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
всего возможно km пар, в которых первый элемент выбран из множества A, а второй — из множества B.У п р а ж н е н и е. С помощью теоремы 1 доказать, что:
а) при подбрасывании трёх монет возможно 2 · 2 · 2 = 8 результатов;
б) бросая дважды игральную кость, получим 6 · 6 = 36 результатов;
в) трёхзначных чисел бывает 9 · 10 · 10 = 900 ;
г) трёхзначных чисел, все цифры которых различны, существует 9·9·8.
Урновые схемы. Есть урна (ящик), содержащая n пронумерованных шаров. Мы выбираем из урны k шаров; результат этого выбора — набор из k шаров. Нас интересует, сколькими способами можно выбрать k шаров из n, т. е. сколько различных результатов возможно.
На этот вопрос нельзя дать однозначный ответ, пока мы не знаем:
а) как организован выбор;
б) что понимать под различными результатами выбора.
Рассмотрим следующие возможные способы выбора.
1. Выбор с возвращением : каждый вынутый шар возвращается в урну, каждый следующий шар выбирается из полной урны. В полученном наборе из k номеров шаров могут встречаться одни и те же номера.
2. Выбор без возвращения : вынутые шары в урну не возвращаются, и в полученном наборе не могут встречаться одни и те же номера.
Условимся, какие результаты выбора (какие наборы номеров шаров) мы будем считать различными. Есть ровно две возможности.
1. Выбор с учётом порядка : два набора номеров шаров считаются различными, если они отличаются составом или порядком номеров. Так, наборы (1, 5, 2), (2, 5, 1) и (4, 4, 5) считаются различными наборами.
2. Выбор без учёта порядка : два набора номеров шаров считаются различными, если они отличаются составом. Так, наборы (1, 5, 2) и (2, 5, 3) различны, а наборы (1, 5, 2) и (2, 5, 1) не различаются.
Подсчитаем, сколько возможно различных результатов для каждой из четырёх схем выбора: с возвращением или без возвращения, и в каждом из этих случаев — с учётом порядка или без учёта.
Т е о р е м а 2. Общее количество различных наборов при выборе k элементов из n без возвращения и с учётом порядка равняется Число A n называется числом размещений из n элементов по k элементов, а сами результаты выбора — размещениями.
Д о к а з а т е л ь с т в о. Первый шар можно выбрать n способами. При любом выборе первого шара есть n 1 способ выбрать второй шар, при любом выборе первых двух шаров есть n 2 способа выбрать третий шар и т. д. Применяя последовательно теорему 1, получаем, что общее число возможных наборов из k шаров равно произведению k сомножителей n(n 1) ·... · (n k + 1). Здесь последний сомножитель n k + 1 есть число способов выбрать k -й шар из оставшихся в урне шаров.
С л е д с т в и е 1. В множестве из n элементов возможно ровно n!
перестановок этих элементов.
Д о к а з а т е л ь с т в о. Перестановка — результат выбора без возвращеn ния и с учётом порядка n элементов из n. Их число равно A n = n!
У п р а ж н е н и е. Найти количество различных результатов в следующих экспериментах:
а) из колоды в 36 карт выдают по карте троим игрокам;
б) Вася, Петя, Оля и Лена выбирают четыре из восьми разных книг;
в) из алфавита выбирают три разные буквы и составляют слово;
г) из различных ненулевых цифр составляют трёхзначное число;
д) 36 карт в колоде перемешивают и выкладывают на стол в ряд.
Т е о р е м а 3. Общее количество различных наборов при выборе k элементов из n без возвращения и без учёта порядка равняется Число Cn называется числом сочетаний из n элементов по k элементов, а сами результаты выбора — сочетаниями.
Д о к а з а т е л ь с т в о. Упорядочить k различных номеров шаров можно k! способами. Поэтому из каждого сочетания можно перестановками образовать k! размещений. Следовательно, число наборов, порядок в которых не учитывается (сочетаний), в k! раз меньше числа наборов, отличающихся ещё и порядком (размещений).
У п р а ж н е н и е. Найти количество различных результатов в следующих экспериментах:
а) из колоды в 36 карт выдают три карты одному игроку;
б) из двадцати учеников класса выбирают троих дежурных.
Т е о р е м а 4. Общее количество различных наборов при выборе k элементов из n с возвращением и с учётом порядка равняется nk.
12 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Д о к а з а т е л ь с т в о. Первый шар можно выбрать n способами. При каждом из этих способов второй шар можно выбрать также n способами, и так k раз. Общее число наборов равно n · n ·... · n = nk.У п р а ж н е н и е. Найти количество различных результатов в следующих экспериментах:
а) монету подбрасывают пять раз;
б) пятизначное число составляют из одних нечётных цифр.
в) обезьяна напечатала на машинке слово из десяти букв;
г) составляют слово длиной в 10 символов из нулей и единиц;
д) игральную кость подбрасывают четырежды.
Выбор с возвращением и без учёта порядка. Рассмотрим урну с двумя пронумерованными шарами и перечислим результаты выбора двух шариков из этой урны при выборе с возвращением. Если учитывать порядок, то исходов получится четыре:
Если порядок не учитывать, то следует объявить два последних исхода одним и тем же результатом эксперимента. Исходов окажется три:
дважды вынут 1-й шар, дважды вынут 2-й шар, вынуты разные шары.
Видим, что в схеме выбора без учёта порядка получилось три различных результата, тогда как при выборе с учётом порядка различных результатов было четыре. Никаким делением на «число каких-нибудь перестановок», которое помогло избавиться от учёта порядка при выборе без возвращения, число 3 из числа 4 получить не удастся.
Т е о р е м а 5. Общее количество различных наборов при выборе k элементов из n с возвращением и без учёта порядка равняется У п р а ж н е н и е. Проверить, что при n = 2 и k = 2 получается ровно три исхода.
Д о к а з а т е л ь с т в о. Рассмотрим, чем отличаются друг от друга два разных результата такой схемы выбора. Нам не важен порядок следования номеров, т. е. мы учитываем только, сколько раз в нашем наборе из k номеров шаров появился каждый номер. Поэтому результат выбора можно представить набором чисел k1,..., kn, в котором ki 0 — число появлений шара номер i в наборе, k1 +... + kn = k. Два результата выбора с возвращением и без учёта порядка различаются, если соответствующие им упорядоченные наборы k1,..., kn не совпадают.
Представим себе другой эксперимент, имеющий точно такие же результаты, и посчитаем их количество. Есть n ящиков, в которых размещаются k шаров. Нас интересует только число шаров в каждом ящике. Результатом эксперимента снова является набор чисел k1,..., kn, где ki равно числу шаров в ящике с номером i, k1 +... + kn = k.
А теперь изобразим результат такого размещения в виде схемы, в которой вертикальные линии обозначают перегородки между ящиками, а точки — находящиеся в ящиках шары:
Мы видим результат размещения девяти шаров по семи ящикам. Первый ящик содержит три шара, второй и шестой ящики пусты, третий ящик содержит один шар, в четвёртом и пятом ящиках лежит по два шара.
Переложим один шар из первого ящика во второй и изобразим таким же образом ещё два результата размещения:
Видим, что все размещения можно получить, меняя между собой шары и перегородки или расставляя k шаров на n1+k местах. Число n1+k получается так: у n ящиков есть ровно n+1 перегородка, считая крайние, но из них перемещать можно лишь n 1 внутреннюю перегородку. Таким образом, имеется n1+k мест, которые можно занять шарами либо внутренними перегородками. Перебрав все возможные способы расставить k шаров на этих n1+k местах, переберём и все нужные размещения. Остаk n лось заметить, что по теореме 3 существует Cn1+k = Cn+k1 способов выбрать места для k шаров на n 1 + k местах.
а) количество способов разложить число k N в сумму n целых неотрицательных слагаемых, если важен порядок следования слагаемых;
б) число различных производных порядка k функции n переменных;
в) число возможных результатов подбрасывания двух игральных костей, если кости считаются неразличимыми. То же самое для трёх игральных костей.
14 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Пространство элементарных исходов. Основным понятием теории вероятностей является множество всех возможных результатов данного случайного эксперимента.О п р е д е л е н и е 1. Пространством элементарных исходов называется множество, содержащее все возможные взимоисключающие результаты данного случайного эксперимента. Элементы множества называются элементарными исходами и обозначаются буквой.
Отметим сразу, что любое непустое множество можно считать пространством элементарных исходов какого-то случайного эксперимента.
О п р е д е л е н и е 2. Событиями называются подмножества множества. Говорят, что произошло событие A, если эксперимент завершился одним из элементарных исходов, входящих в множество A.
З а м е ч а н и е. Вообще говоря, можно называть событиями не любые подмножества множества, а лишь элементы некоторого набора подмножеств. О смысле такого ограничения мы поговорим позднее.
Итак, элементарный исход — это мельчайший неделимый результат эксперимента, а событие может состоять из одного или нескольких исходов.
Напомним, что конечные и счётные множества удобно задавать перечислением их элементов. Например, = {1, 2,..., 100} — множество, состоящее из первых ста натуральных чисел. Несчётные множества обычно задают указанием свойства, которым обладают все элементы множества.
Так, = { R | 2 < 9} — множество действительных чисел из интервала (3, 3).
П р и м е р 1. Один раз подбрасывают игральную кость. Рассмотрим пространство элементарных исходов = {1, 2, 3, 4, 5, 6} = = {,,,,, }. Элементарные исходы здесь соответствуют числу выпавших очков.
Событие A = {1, 2} = {, } произойдёт, если выпадет одно или два очка; событие B = {1, 3, 5} = {,, } означает, что выпадет нечётное число очков. Событие C = {6} = { } состоит из одного элементарного исхода и означает появление шести очков.
П р и м е р 2. Подбрасываются две игральные кости. Будем считать их различимыми и назовём одну из них первой, другую — второй. Пространством элементарных исходов является множество пар чисел (i, j), где i — число очков, выпавших на первой кости, j — на второй. В этом множестве 6 6 = 36 элементарных исходов:
Заметим, что для симметричных костей все эти 36 исходов равновозможны: ни одна из этих комбинаций не имеет больше шансов выпасть, чем другая. Действительно, на первой кости с равными шансами выпадает любая грань. Это означает, что результат бросания двух костей имеет столько же шансов оказаться в первой строке матрицы (1), что и во второй, в третьей и т. д. Но на второй кости снова с одинаковыми шансами выпадает любая грань, поэтому и каждое место в строке равновозможно.
Событие «на первой кости выпадет одно очко» можно записать так: A = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)} ; событие «на второй кости выпадет одно очко» запишется так: B = {(1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1)} ; событие C = {(2, 2), (3, 1), (1, 3)} означает, что сумма выпавших очков равна четырём; событие D = {(1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)} — на костях выпадет одинаковое число очков.
П р и м е р 3. Подбрасываются две неразличимые игральные кости.
Элементарными исходами будем считать пары чисел (i, j), где i j.
Например, элементарный исход (1, 2) случается, если на одной из костей выпадает одно очко, на другой — два очка. В множестве двадцать один исход:
Для симметричных костей эти исходы равновозможными уже не будут:
например, исход (1, 2) имеет вдвое больше шансов появиться, чем исход (1, 1). Мы просто перестали различать исходы из примера 2, симметричные друг другу относительно главной диагонали матрицы (1).
Теперь событие «сумма выпавших очков равна четырём» состоит из двух элементарных исходов (2, 2) и (1, 3). Событие «на костях выпадет одинаковое число очков» по-прежнему включает шесть исходов. Слова «на первой кости выпадет одно очко» никакого события уже не описывают, а событие A = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)} означает, что хотя бы на одной из костей выпало одно очко (ср. с примером 2).
16 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
П р и м е р 4. На поверхность стола бросается монета. Результатом эксперимента можно считать положение центра монеты. Пространство элементарных исходов такого эксперимента — множество всех точек стола.Оно бесконечно и несчётно. Событием можно назвать, например, попадание центра монеты на лист бумаги, лежащий на столе, в левую или правую половину стола.
П р и м е р 5. Монета подбрасывается до тех пор, пока не выпадет вверх гербом. Пространство элементарных исходов является бесконечным, но счётным множеством: = { г, рг, ррг, рррг, ррррг, рррррг,...}, где р означает выпадение решки, а г — выпадение герба при одном подбрасывании. Событие «герб выпал при броске с чётным номером» выглядит так:
П р и м е р 6. В коробке лежат один чёрный и два белых шара. Из коробки достают наугад один шар.
Можно определить два разных пространства элементарных исходов.
Первое из них состоит из двух исходов 1 = {б, ч} — мог появиться белый шар или чёрный. Эти исходы, очевидно, не будут равновозможными:
появление белого шара вдвое вероятнее, чем появление чёрного.
Если мы хотим иметь дело с равновозможными элементарными исходами, шары следует занумеровать (или различать как-нибудь иначе). Тогда множество 2 = {б1, б2, ч} будет состоять из трёх равновозможных элементарных исходов.
П р и м е р 7. В коробке лежат один чёрный и два белых шара. Из коробки достают наугад два шара. Порядок следования шаров нам безразличен. Занумеруем шары, чтобы элементарные исходы были равновозможными (это может оказаться удобным). Пространство элементарных исходов состоит из трёх элементов:
Событие «вынуты два белых шара» включает один исход 1 = (б1, б2 ), а событие «вынуты разноцветные шары» состоит из двух исходов: 2 = = (б1, ч), 3 = (б2, ч).
Можно, как в примере 6, рассмотреть пространство элементарных исходов, состоящее из двух элементов: 1 = {(б, б), (б, ч)} — вынуты два белых шара или шары разных цветов. Но в таком пространстве второй исход имеет вдвое больше шансов случиться, чем первый.
Операции над событиями. В теории вероятностей рассматривают те же операции над событиями (множествами), что и в теории множеств.
Дадим определения новым событиям — результатам этих операций.
Объединением A B событий A и B называется событие, состоящее в том, что из двух событий A и B случилось хотя бы одно. Это событие включает как элементарные исходы из множества A, так и элементарные исходы из множества B (рис. 1).
Пересечением A B событий A и B называется событие, состоящее в том, что произошли сразу оба события A и B. Это событие содержит элементарные исходы, каждый из которых принадлежит и множеству A, и множеству B. Вместо A B часто пишут просто AB.
Дополнением A \ B события B до A называется событие, состоящее в том, что произошло A, но не произошло B. Событие A \ B содержит элементарные исходы, входящие в множество A, но не входящие в B.
Противоположным (или дополнительным) к событию A называется событие A = \ A, состоящее в том, что A не произошло. Событие A состоит из элементарных исходов, не входящих в множество A (рис. 2).
Рис. 2. Дополнение и противоположное событие Выделим среди подмножеств два особых события.
Достоверным называется событие, которое обязательно происходит в результате эксперимента, т. е. единственное событие, включающее все элементарные исходы — событие.
18 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Невозможным называется событие, которое не может произойти в результате эксперимента, т. е. событие, не содержащее ни одного элементарного исхода — «пустое множество».Очевидно, что =, =, A A =, A A =. Объединение множеств аналогично сложению чисел, пересечение — умножению.
Кроме того, объединение и пересечение событий связаны очень важными соотношениями двойственности:
П р и м е р 8. Пусть событие Ai означает, что i -я деталь бракованная, где 1 i 3 — номер детали. Запишем с помощью операций над событиями событие A — «ровно две из трёх деталей бракованные»:
Выше записано буквально следующее: либо первые две детали бракованные, а третья годная, либо первая и третья детали бракованные, а вторая годная, либо вторая и третья детали бракованные, а первая годная.
Событие B = A1 A2 A3 означает «все три детали годные».
Событие «хотя бы одна деталь из трёх бракованная» можно записать двумя способами: C = A1 A2 A3 и C = B.
Отношения между событиями. Множества могут пересекаться или не пересекаться, быть включены одно в другое или не быть. В теории вероятностей эти отношения событий носят особые названия.
События A и B называются несовместными, если они не могут произойти одновременно: A B =.
События A1,..., An называются попарно несовместными, если несовместны любые два из них, т. е. Ai Aj = для любых i = j.
Говорят, что событие A влечёт событие B, и пишут A B, если всегда, как только происходит событие A, происходит и событие B. Это означает, что любой элементарный исход, входящий в множество A, одновременно входит в множество B, т. е. A содержится в B (рис. 3).
Рис. 3. Попарно несовместные и вложенные события § 3. Дискретное пространство элементарных исходов П р и м е р 9. При бросании двух игральных костей события «сумма очков равна четырём» и «на первой кости выпало шесть очков» несовместны: они не могут случиться одновременно.
Событие «сумма очков равна двум» влечёт за собой событие «на костях выпало одинаковое число очков». Действительно, сумма очков равна двум лишь при выпадении двух единиц. Но тогда на костях выпадет одинаковое число очков. Обратное включение неверно: не всегда, когда на костях выпадает одинаковое число очков, сумма этих очков равна двум.
Событие «сумма очков меньше пяти» влечёт за собой событие «сумма очков меньше семи».
§ 3. Дискретное пространство элементарных исходов Пространство элементарных исходов назовём дискретным, если множество конечно или счётно: = {1, 2,..., n,... }.
Так, эксперименты из примеров 1, 2, 3, 5, 6 и 7 (но не 4) приводят к дискретным пространствам элементарных исходов.
З а м е ч а н и е. Множество счётно, если существует взаимно-однозначное соответствие между этим множеством и множеством всех натуральных чисел. Счётными множествами являются множество N натуральных чисел, множество Z целых чисел (доказать !), множество Q рациональных чисел (доказать !), множество чётных чисел и т. д. Множество конечно, если оно состоит из конечного числа элементов.
Чтобы определить вероятность любого события на таком пространстве, присвоим вероятность каждому элементарному исходу в отдельности, т. е. снабдим вероятностями мельчайшие «кирпичики» — элементарные исходы, из которых составляется любое событие. Вероятность каждого события найдём как сумму вероятностей входящих в него исходов.
О п р е д е л е н и е 3. Сопоставим каждому элементарному исходу i число p i [0, 1] так, чтобы p1 + p2 +... = 1. Вероятностью события A называется число равное сумме вероятностей элементарных исходов, входящих в множество A. В случае A = положим P(A) = 0.
З а м е ч а н и е. Позднее, познакомившись с аксиоматикой теории вероятностей, мы зададим вероятности событий непосредственно, а не через вероятности элементарных исходов. Ведь сложением вероятностей элементарных исходов можно получить лишь вероятность события, состоящего
20 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
не более чем из счётного числа элементарных исходов (иначе само понятие суммирования не определено). Но на дискретном пространстве элементарных исходов всегда возможно определить вероятности событий согласно определению 3.П р и м е р 10. В эксперименте из примера 5 монета подбрасывается до первого выпадения герба. Присвоим элементарным исходам следующие вероятности:
Проверим, что сумма вероятностей элементарных исходов равна единице: по формуле суммы бесконечной убывающей геометрической прогрессии, Вероятность cобытия A = {2, 4,...} (герб выпал при броске с чётным номером) равна:
П р и м е р 11. На том же самом множестве = N зададим вероятности так: p1 =... = p100 = 0,01, p i = 0 для i > 100.
П р и м е р 12. Пусть теперь = N {0} — множество целых неотрицательных чисел. Положим Проверим, равна ли единице сумма вероятностей всех элементарных исходов. Собрав разложенную в ряд Тейлора экспоненту, получим Внимательный читатель уже заметил, что если множество счётно, но не конечно, присвоить всем элементарным исходам одну и ту же вероятность нельзя (почему ?). Для конечного же множества всегда возможно задать одинаковые вероятности исходов, что мы сейчас и сделаем.
§ 3. Дискретное пространство элементарных исходов Классическое определение вероятности. Частным, но часто встречающимся в жизни случаем дискретного вероятностного пространства является классическая вероятностная схема.
Предположим, что мы имеем дело с пространством элементарных исходов, состоящим из конечного числа элементов: = {1, 2,..., N }, и из каких-то соображений можем считать элементарные исходы равновозможными. Равновозможность возникает обычно из-за симметрии в эксперименте (симметричная монета, хорошо перемешанная колода карт, правильная игральная кость, отсутствие оснований предпочесть один результат эксперимента другому).
Говорят, что эксперимент описывается классической вероятностной моделью, если пространство его элементарных исходов состоит из конечного числа равновозможных исходов. Тогда вероятность любого элеменЕсли событие A = { i1,..., ik } состоит из k тарного исхода равна элементарных исходов, то вероятность этого события равна Здесь символом |A| обозначено число элементов конечного множества A.
Формулу P(A) = называют классическим определением вероятности и читают так: «вероятность события A равна отношению числа исходов, благоприятствующих этому событию, к общему числу равновозможных исходов».
Полезно сравнить это определение с формулировкой автора определения, Я. Бернулли1 : «Вероятность есть степень достоверности и отличается от неё как часть от целого» (Искусство предположений, 1713 г.) Итак, вычисление вероятности в классической схеме сводится к подсчёту общего числа исходов (шансов) и числа исходов, благоприятствующих событию. Число шансов вычисляют с помощью формул комбинаторики.
Рассмотрим стандартные урновые схемы: из n шаров выбирают k шаров. Будем исходить из предположения о том, что появление любого шара равновозможно. Тогда три схемы: схема выбора с возвращением и с учётом порядка, выбора без возвращения и с учётом порядка, а также выбора без возвращения и без учёта порядка, описываются классической вероятностной моделью. Общее число равновозможных элементарных исходов в этих схемах равно соответственно nk, Ak и Cn.k Jacob Bernoulli (27.12.1654—16.08.1705, Basel, Switzerland).
22 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Как показывает следующий пример, последняя схема — схема выбора с возвращением и без учёта порядка — имеет неравновозможные исходы.Поэтому классическое определение вероятности для неё не применимо.
П р и м е р 13. Рассмотрим выбор двух шариков из двух или, что то же самое, дважды подбросим монету. Если учитывать порядок, то исходов получится четыре, и они равновозможны, т.е. имеют вероятности по :
(герб, герб), (решка, решка), (решка, герб), (герб, решка).
Если порядок не учитывать, то следует объявить два последних исхода одним и тем же результатом эксперимента и получить три исхода:
(два герба), (две решки), (один герб и одна решка).
Первые два исхода имеют вероятности по, а вероятность последнего равна + =. Видим, что при выборе с возвращением и без учёта порядка элементарные исходы оказываются неравновозможными.
У п р а ж н е н и е. Сравнить примеры 2 и 3. В каком из них перечислены равновозможные элементарные исходы? Найти вероятности всех элементарных исходов в примере 3. Равны ли они ?
В следующем примере разобрана классическая задача, приводящая к так называемому гипергеометрическому распределению.
П р и м е р 14. Из урны, в которой K белых и N K чёрных шаров, наудачу и без возвращения вынимают n шаров, где n N (рис. 4).
Термин «наудачу» означает, что появление любого набора из n шаров равновозможно. Найти вероятность того, что будет выбрано k белых и n k чёрных шаров.
Р е ш е н и е. Результат эксперимента — набор из n шаров. Можно не учитывать порядок следования шаров в наборе. Общее число элементарn ных исходов по теореме 3 равно || = CN. Обозначим через Ak событие, состоящее в том, что в наборе окажется k белых шаров и n k чёрных.
Пусть k K и n k N K, иначе P(Ak ) = 0.
Есть ровно CK способов выбрать k белых шаров из K и CN K способов выбрать n k чёрных шаров из N K. Каждый возможный набор выбранных белых шаров можно комбинировать с каждым возможным набором чёрных. По теореме о перемножении шансов число благоприятных исходов равно |Ak | = CK CN K, Вычисляя вероятность событий Ak, мы сопоставили каждому набору из k белых и n k чёрных шаров вероятность получить этот набор при выборе шаров из урны. Набор вероятностей (3) называется гипергеометрическим распределением вероятностей.
Здесь мы в первый, но далеко не в последний раз встретились с термином «распределение» вероятностей. Это слово всегда обозначает некий способ разделить (распределить) общую единичную вероятность между какими-то точками или множествами на вещественной прямой.
П р и м е р 15. На пяти карточках написаны буквы А, А, Л, М, П.
Найти вероятность того, что при случайной расстановке этих карточек в ряд получится слово ЛАМПА.
Р е ш е н и е. Всего возможно || = 5! перестановок карточек. Заметим, что перестановка двух карточек с буквой А не меняет слова. Поэтому есть два благоприятных исхода: ЛА1 МПА2 и ЛА2 МПА1. Вероятность получить нужное слово равна =.
П р и м е р 16. Игральная кость подбрасывается трижды. Найти вероятность получить в сумме четыре очка.
Р е ш е н и е. Общее число равновозможных элементарных исходов есть || = 63. Сумма очков равна четырём, если на двух костях выпали единицы, и на одной — двойка. Этому событию благоприятствуют три элементарных исхода: (1, 1, 2), (1, 2, 1), (2, 1, 1). Поэтому искомая вероятность равна 3 =.
Результаты многих экспериментов нельзя описать дискретным множеством точек. Например, бросание монеты на стол в примере 4 приводит к пространству элементарных исходов, совпадающему с множеством точек стола. Дальность броска копья спортсменом — величина с положительныГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ ми значениями на числовой прямой, и т. д. Рассмотрим один из способов задания вероятностей на таком пространстве исходов.
Рассмотрим какую-нибудь область в Rk (на прямой, на плоскости, в пространстве). Предположим, что «мера» (длина, площадь, объём соответственно) конечна. Пусть случайный эксперимент состоит в том, что мы наудачу бросаем в эту область точку. Термин «наудачу» означает, что вероятность попадания точки в любую часть A не зависит от формы или расположения A внутри. а зависит лишь от «меры» области A.
Для такого эксперимента вероятности определяются согласно геометрическому определению вероятности :
Если для точки, брошенной в область, выполнены условия геометрического определения вероятности, то говорят, что точка равномерно распределена в области.
П р и м е р 17. Точка наудачу бросается на отрезок [0, 1]. Вероятность ей попасть в точку 0,5 равна нулю, так как равна нулю мера множества, состоящего из одной точки («длина точки»). Но попадание в точку 0,5 не является невозможным событием — это один из элементарных исходов.
П р и м е р 18. Точка наудачу бросается в круг c единичным радиусом.
Найти вероятность того, что расстояние до точки от центра круга будет меньше заданного числа r (0, 1).
Р е ш е н и е. Интересующее нас событие { < r} происходит, когда точка попадает во внутренний круг с радиусом r и тем же центром. По формуле (4), вероятность этого события равна отношению площадей кругов:
Заметим, что расстояние до брошенной в круг точки распределено не равномерно на отрезке [0, 1]. Для равномерного распределения мы получили бы вероятность P( < r) = r, а не r2.
П р и м е р 19 (з а д а ч а о в с т р е ч е). Два человека X и Y условились встретиться в определённом месте между двумя и тремя часами дня.
Пришедший первым ждет другого в течение 10 минут, после чего уходит.
Чему равна вероятность встречи этих лиц, если каждый из них может прийти в любое время в течение указанного часа независимо от другого?
Р е ш е н и е. Будем считать интервал от двух до трёх часов дня отрезком [0, 1]. Обозначим через [0, 1] и [0, 1] моменты прихода X и Y в течение этого часа (рис. 5). Результатами эксперимента являются всевозможные пары точек (, ) Благоприятными исходами будут точки заштрихованного на рисунке множества A :
Попадание в множество A наудачу броРис. 5. Задача о встрече шенной в квадрат точки означает, что X и Y встретятся. Тогда вероятность встречи равна отношению площадей множеств A и :
Существование неизмеримых множеств. Заканчивая обсуждение понятия геометрической вероятности, отметим следующее неприятное обстоятельство.
Если даже эксперимент удовлетворяет геометрическому определению вероятности, далеко не для всех множеств A вероятность может быть вычислена как отношение меры A к мере. Причиной этого является существование так называемых «неизмеримых» множеств, т. е. множеств, мера которых не существует.
П р и м е р 20 (м н о ж е с т в о В и т а л и2 ). В этом примере мы построим множество на отрезке, «длина» которого не существует. Нам понадобятся лишь следующие очевидные свойства «длины» множества: длина множества остаётся неизменной при сдвиге всех точек этого множества;
длина множества, составленного из счётного объединения попарно непересекающихся множеств, равняется сумме длин этих множеств.
Рассмотрим окружность с радиусом 1 (то же, что отрезок [0, 2]). Возьмём любое иррациональное число. Поскольку оно иррационально, число n не является целым ни при каком целом n = 0.
Giuseppe Vitali (26.08.1875—29.02.1932, Italy).
26 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Поэтому если взять произвольную точку (угол) x [0, 2] на окружности и перечислить все точки, которые получаются поворотом x на угол 2n, где n = ±1, ±2,..., то мы ни разу не вернёмся в точку x. Точек, получившихся из x такими поворотами, счётное число. Объединим их в один класс. С любой другой точкой окружности можно тоже связать класс точек, получающихся из неё поворотами на 2n при целых n. Эти классы либо совпадают, либо не имеют общих точек. Таким образом, вся окружность разбивается на классы точек. В каждом классе счётное число точек, и все точки в одном классе получаются друг из друга такими поворотами. Разные классы не пересекаются.Искомое множество A0 определим так: возьмём из каждого такого класса ровно по одной точке. Пусть множество An получается поворотом всех точек множества A0 на угол 2n, n = ±1, ±2,...
Так как все точки одного класса можно получить, поворачивая любую из них на угол 2n, n = ±1, ±2,..., а в множестве A0 собрано по одной точке из каждого класса, то, поворачивая это множество, получим все точки окружности.
Предположим, что «длина» l(A0 ) множества A0 существует. Тогда все множества An имеют ту же длину, так как получены из A0 поворотом.
Но все эти множества не пересекаются, поэтому «длина» их объединения равна сумме их длин и равна длине отрезка [0, 2] :
Полученное противоречие означает, что длина множества A0 просто не существует.
Итак, мы построили множество на отрезке, длина которого не существует (неизмеримое множество). Пользуясь геометрическим определением вероятности, мы не можем определить вероятность попадания точки в такое неизмеримое множество. Но если не для любого A мы можем определить вероятность, следует сузить класс множеств, называемых «событиями», оставив в этом классе только те множества, вероятность которых определена.
В следующей главе мы займёмся, следуя Колмогорову3, построением аксиоматики теории вероятностей: познакомимся с понятиями -алгебры (или поля) событий, вероятностной меры и вероятностного пространства.
Андрей Николаевич Колмогоров (25.04.1903—20.10.1987).
Г Л А В А II
АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ
Алгебра событий. Пусть — пространство элементарных исходов некоторого случайного эксперимента (т. е. непустое множество произвольной природы). Мы собираемся определить набор подмножеств, которые будут называться событиями, и затем задать вероятность как функцию, определённую только на множестве событий.Итак, событиями мы будем называть не любые подмножества, а лишь элементы некоторого выделенного набора подмножеств множества. При этом необходимо позаботиться, чтобы этот набор подмножеств был замкнут относительно обычных операций над событиями, т. е.
чтобы объединение, пересечение, дополнение событий снова давало событие. Сначала введём понятие алгебры множеств.
О п р е д е л е н и е 4. Множество A, элементами которого являются подмножества множества (не обязательно все) называется алгеброй, если оно удовлетворяет следующим условиям:
(A1) A (алгебра содержит достоверное событие);
(A2) если A A, то A A (вместе с любым множеством алгебра содержит противоположное к нему);
(A3) если A A и B A, то A B A (вместе с любыми двумя множествами алгебра содержит их объединение).
Из (A1) и (A2) следует, что пустое множество = также содержится в A, т. е. алгебра содержит и невозможное событие.
Из условия (A3) следует, что вместе с любым конечным набором множеств алгебра содержит их объединение: для любого n N, для любых
28 ГЛАВА II. АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ
Вместо замкнутости относительно объединения можно требовать замкнутость относительно пересечения.С в о й с т в о 1. В определении 4 можно заменить (A3) на (A4):
Д о к а з а т е л ь с т в о. Докажем, что при выполнении (A1) и (A2) из (A3) следует (A4). Если A, B A, то A A и B A по свойству (A2). Тогда из (A3) следует, что A B A. Вновь пользуясь (A2), получим, что дополнение A B к этому множеству также принадлежит алгебре A. В силу формул двойственности, дополнение к объединению равно пересечению дополнений:
Аналогично доказывается, что при выполнении (A1) и (A2) из (A4) следует (A3), т. е. эти два свойства в определении взаимозаменяемы.
П р и м е р 21. Пусть = {,,, } — пространство элементарных исходов. Следующие наборы подмножеств являются алгебрами (проверьте это по определению !):
в) A = 2 — множество всех подмножеств.
У п р а ж н е н и е. Доказать, что если состоит из n элементов, то в множестве всех его подмножеств ровно 2n элементов.
Сигма-алгебра событий. В теории вероятностей часто возникает необходимость объединять счётные наборы событий и считать событием результат такого объединения. При этом свойства (A3) алгебры оказывается недостаточно: из него не вытекает, что объединение счётной последовательности множеств из алгебры снова принадлежит алгебре. Поэтому разумно наложить более суровые ограничения на класс событий.
О п р е д е л е н и е 5. Множество F, элементами которого являются подмножества множества (не обязательно все) называется -алгеброй ( -алгеброй событий), если выполнены следующие условия:
(S1) F ( -алгебра событий содержит достоверное событие);
(S2) если A F, то A F (вместе с любым событием -алгебра содержит противоположное событие);
счётным набором событий -алгебра содержит их объединение).
У п р а ж н е н и е. Доказать, что вместо (S1) достаточно предположить непустоту множества F. Вывести из (S1) и (S2), что F.
Этого набора аксиом достаточно для замкнутости множества F относительно счётного числа любых других операций над событиями. В частности, аналогично свойству 1 проверяется следующее утверждение.
С в о й с т в о 2. В определении 5 можно заменить (S3) на (S4):
С в о й с т в о 3. Всякая -алгебра является алгеброй.
Д о к а з а т е л ь с т в о. Пусть F — -алгебра. Нужно проверить, что она удовлетворяет свойству (A3), т. е. для любых A F и B F выполняется A B F.
Превратим пару A, B в счётную последовательность событий так:
A, B, B, B,..., т. е. положим A1 = A, Ai = B при всех i 2. Объединение A B совпадает с объединением всех множеств Ai из этой бесконечной последовательности. А так как F — -алгебра, то Итак, всякая -алгебра автоматически является алгеброй, но не наоборот. Приведём пример алгебры, не являющейся -алгеброй.
П р и м е р 22. Пусть = R, и пусть A — множество, содержащее любые конечные подмножества R (т. е. состоящие из конечного числа точек, в том числе пустое) и их дополнения. Так, множество {0, 2, } принадлежит A, множество (, 7,2) (7,2, 5) (5, ) принадлежит A.
Легко проверить, что множество A является алгеброй. Действительно, пустое множество и само = R там содержатся, дополнение к любому конечному подмножеству множества вещественных чисел содержится в A по определению, дополнение к множеству вида R\A для конечных A совпадает с A и также принадлежит A по определению. Свойство (A3) проверяется непосредственно: объединение любых конечных множеств снова конечно и поэтому принадлежит A. Объединение конечного множества с множеством вида R \ A, где A конечно, есть снова множество вида R \ B, где B конечно (или пусто) и т. д.
Однако алгебра A не содержит ни одного счётного множества точек.
Действительно, объединяя конечные множества в конечном числе, мы можем получить только конечное множество. Например, натуральный ряд N не принадлежит A. Поэтому A не является -алгеброй: для бесконечГЛАВА II. АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ ной, но счётной последовательности одноточечных множеств Ai = {i} из A их объединение N = A1 A2... не принадлежит A.
Все алгебры из примера 21 являются -алгебрами, поскольку содержат лишь конечное число элементов. Вообще, на конечном множестве понятия алгебры и -алгебры совпадают. Множество всех подмножеств является -алгеброй для любого (проверить !).
Борелевская4 -алгебра. Приведём пример -алгебры, которая нам будет необходима в дальнейшем,— -алгебры борлевских множеств на вещественной прямой.
Борелевской сигма-алгеброй в R называется самая маленькая среди всех возможных -алгебр, содержащих любые интервалы на прямой. Разумеется, -алгебры, содержащие все интервалы, существуют. Например, множество всех подмножеств R — это -алгебра, и она содержит все интервалы. Что же такое «самая маленькая -алгебра» из нескольких данных? Обратимся к примерам.
Пусть = R — вещественная прямая. Рассмотрим некоторые наборы множеств, не являющиеся -алгебрами, и увидим, как их можно дополнить до -алгебр.
П р и м е р 23. Множество A = {R,, [0, 1], { 0 } } не является -алгеброй, так как, например, {0} = R \ {0} = (, 0) (0, ) A.
Самый маленький набор множеств, содержащий A и являющийся -алгеброй (минимальная -алгебра), получится, если включить в него всевозможные объединения, пересечения и дополнения множеств из A :
F = { R,, [0, 1], { 0 }, (, 0) (1, ), (0, 1], (, 0] (1, ), (, 0) (0, ) }.
О п р е д е л е н и е 6. Минимальной -алгеброй, содержащей набор множеств A, называется пересечение всех -алгебр, содержащих A.
Ещё раз напомним, что пересекать в определении 6 есть что: хотя бы одна -алгебра, содержащая данный набор множеств, всегда найдётся — это -алгебра всех подмножеств.
У п р а ж н е н и е. Доказать, что пересечение двух -алгебр, содержащих набор множеств A, снова является -алгеброй, содержащей A.
У п р а ж н е н и е. Найти минимальную -алгебру, содержащую следующий набор подмножеств R : A = {R,, [0, 1], { 3 } }.
Дадим определение борелевской сигма-алгебры. Пусть по-прежнему = R, а множество A состоит из всевозможных открытых интерваFlix Edouard Justin Emile Borel (7.01.1871—3.02.1956, France).
лов (a, b), где a < b : A = {(a, b) | < a < b < }. Это множество всех интервалов не является ни алгеброй, ни -алгеброй.
О п р е д е л е н и е 7. Минимальная -алгебра, содержащая множество A всех интервалов на вещественной прямой, называется борелевской -алгеброй в R и обозначается B(R).
Перечислим некоторые множества на прямой, содержащиеся в B(R) по определению. Таковы все привычные нам множества. Чтобы получить множество, не содержащееся в B(R), требуются специальные построения. Итак, мы знаем, что все интервалы на прямой принадлежат B(R), и B(R) — -алгебра. Отсюда сразу следует, что B(R) содержит любое множество, которое можно получить из интервалов с помощью счётного числа операций объединения или пересечения, а также взятием дополнения.
В частности, R B(R) по свойству (S1). Далее, все одноточечные множества {x}, где x R, принадлежат B(R). Действительно, интервалы x, x + принадлежат B(R), по определению, при любом n.
Их счётное пересечение также принадлежит B(R) по свойству (S4):
Далее, любой интервал вида (a, b ] (или [a, b), или [a, b ] ), где a < b, принадлежит B(R) как объединение открытого интервала и точки (или двух точек): (a, b ] = (a, b) {b}.
У п р а ж н е н и е. Докажите, что множество натуральных чисел N и множество рациональных чисел Q принадлежат B(R).
Борелевская -алгебра в Rn строится совершенно так же, как в R.
Это должна быть минимальная -алгебра, содержащая все множества вида (a1, b1 )... (an, bn ) — уже не интервалы, как в R, а прямоугольники в R2, параллелепипеды в R3 и т. д. Вместе с ними B(Rn ) содержит любые множества, являющиеся «предельными» для объединений измельчающихся прямоугольников. Например, круг в R2 является борелевским множеством — можно изнутри или снаружи приблизить его объединениями прямоугольников.
Итак, мы определили специальный класс F подмножеств, названный -алгеброй событий. Применение счётного числа любых операций к множествам из F снова дает множество из F, т. е. не выводит за рамки этого класса. Событиями будем называть только множества A F.
32 ГЛАВА II. АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ
Определим теперь понятие вероятности как функции, определённой на множестве событий (функции, которая каждому событию ставит в соответствие число — вероятность этого события).А чтобы читателю сразу стало понятно, о чём пойдёт речь, добавим:
вероятность мы определим как неотрицательную нормированную меру, заданную на -алгебре F подмножеств. Следующий параграф познакомит нас с понятиями меры и вероятностной меры.
О п р е д е л е н и е 8. Пусть — некоторое непустое множество, F — -алгебра его подмножеств. Функция µ : F R {+} называется мерой на (, F), если она удовлетворяет условиям:
( µ 1) µ(A) 0 для любого множества A F;
( µ 2) для любого счётного набора попарно непересекающихся множеств A1, A2, A3,... F (т. е. такого, что Ai Aj = при всех i = j ) мера их объединения равна сумме их мер:
(«счётная аддитивность» или « -аддитивность» меры).
У п р а ж н е н и е. Зачем в свойстве ( µ 2) требуется, чтобы события не пересекались? Может ли какая-нибудь функция µ : F R удовлетворять свойству µ(A B) = µ(A) + µ(B) при любых событиях A и B?
Привести пример такой функции и доказать, что других не существует.
У п р а ж н е н и е. Указать область определения и область значений функции µ. Для каких A определено значение µ(A)?
П р и м е р 24. Пусть = {a, b, c}, F = 2 — множество всех подмножеств. Зададим меру µ на F так: µ{a} = 3, µ{b} = 17, µ{c} = 1, µ{a, b} = 20, µ{a, c} = 4, µ{b, c} = 18, µ{a, b, c} = 21, µ() = 0. Для краткости записи мы вместо µ({a}) писали всюду µ{a}.
П р и м е р 25. Пусть = N, F = 2N — множество всех подмножеств натурального ряда. Зададим меру µ на F так: µ(A) = |A| — число элементов в множестве A (бесконечность, если множество A бесконечно).
П р и м е р 26 (м е р а Л е б е г а5 ). Когда мы говорили о геометрической вероятности, мы использовали термин «мера области A в Rm », имея в виду «длину» на прямой, «площадь» на плоскости, «объём» в трёхмерHenri Lon Lebesgue (28.06.1875—26.07.1941, France).
ном пространстве. Являются ли все эти «длины-площади-объёмы» настоящими мерами в смысле определения 8? Мы решим этот вопрос для прямой, оставляя плоскость и пространство большей размерности читателю.
Рассмотрим вещественную прямую с -алгеброй борелевских множеств. Эта -алгебра, по определению, есть наименьшая -алгебра, содержащая все интервалы. Для каждого интервала (a, b) число b a назовём длиной интервала (a, b).
Мы не станем доказывать следующее утверждение:
Т е о р е м а 6. Существует единственная мера на (R, B(R)), значение которой на любом интервале равно его длине: (a, b) = b a. Эта мера называется мерой Лебега.
Нам пригодится свойство, которым обладает любая мера. Это свойство непрерывности меры иногда называют аксиомой непрерывности, имея в виду, что ею можно заменить ( µ 2) в определении 8.
убывающая последовательность B1 B2 B3... множеств из F, Д о к а з а т е л ь с т в о. Обозначим через Cn кольца: Cn = Bn \ Bn+1.
Множества B, C1, C2,... попарно не пересекаются. Тогда из представлений вытекают, в силу аксиомы ( µ 2), соответствующие равенства и для мер:
Первая сумма сходящегося ряда (составленного из неотрицательных слагаемых). Из схоCi ), стремитдимости этого ряда следует, что «хвост» ряда, равный ся к нулю при n. Поэтому В полезности этого свойства легко убедиться упражнениями.
34 ГЛАВА II. АКСИОМАТИКА ТЕОРИИ ВЕРОЯТНОСТЕЙ
У п р а ж н е н и е. Используя аксиому непрерывности меры для убывающей последовательности множеств Bn = (x 1/n, x + 1/n), доказать, что мера Лебега одноточечного подмножества {x} вещественной прямой равна нулю: {x} = 0. Используя этот факт, доказать, что (N) = 0, З а м е ч а н и е. В отсутствие предположения µ(B1 ) < свойство µ(B) = lim µ(Bn ) может не выполняться.Например, зададим меру на B(R) так: µ(B) = 0, если B не более чем счётно, иначе µ(B) =. Тогда для множеств Bn = (x 1/n, x + 1/n) имеем:
Наконец, мы в состоянии определить понятие вероятности как нормированной меры.
О п р е д е л е н и е 9. Пусть — непустое множество, F — -алгебра его подмножеств. Мера µ : F R называется нормированной, если µ() = 1. Другое название нормированной меры — вероятность.
То же самое ещё раз и подробно:
О п р е д е л е н и е 10. Пусть — пространство элементарных исходов, F — -алгебра его подмножеств (событий). Вероятностью или вероятностной мерой на (, F) называется функция P : F R, обладающая свойствами:
(P1) P(A) 0 для любого события A F;
(P2) для любого счётного набора попарно несовместных событий A1, A2, A3,... F имеет место равенство (P3) вероятность достоверного события равна единице: P() = 1.
Свойства (P1) — (P3) называют аксиомами вероятности.
О п р е д е л е н и е 11. Тройка, F, P, в которой — пространство элементарных исходов, F — -алгебра его подмножеств и P — вероятностная мера на F, называется вероятностным пространством.
Докажем свойства вероятности, вытекающие из аксиом. Ниже мы не будем всякий раз оговаривать, что имеем дело только с событиями.
Т е о р е м а 8. Вероятность обладает следующими свойствами.
2. Для любого к о н е ч н о г о набора попарно несовместных событий A1,..., An F имеет место равенство:
Если A B, то P(A) P(B) (монотонность вероятности).
8. Формула включения-исключения:
Т е о р е м а 10. Для любых событий A1,..., An верно равенство:
если все участвующие в нём условные вероятности определены.
У п р а ж н е н и е. Доказать теорему 10 методом математической индукции. Доказать, что все условные вероятности в теореме 10 определены тогда и только тогда, когда P(A1... An1 ) > 0.
О п р е д е л е н и е 13. События A и B называются независимыми, если P(A B) = P(A)P(B).
П р и м е р 29. Из колоды в 36 карт наугад берут одну. Независимы ли события «вынут туз» и «вынута пиковая карта»?
Р е ш е н и е. Вероятность вытянуть туза равна P(A) = =. Вероятность вытянуть пиковую карту равна P(B) =. Пересечение этих событий означает появление туза пик и имеет вероятность P(AB) =.
Cобытия A и B независимы, так как P(AB) = P(A)P(B).
Естественно считать события A и B независимыми, когда условная вероятность A при условии, что B произошло, остаётся такой же, как и безусловная. Убедимся, что этим свойством обладают события, независимые согласно определению 13.
С в о й с т в о 4. Пусть P(B) > 0. Тогда события A и B независимы тогда и только тогда, когда P(A | B) = P(A).
У п р а ж н е н и е. Доказать по определению условной вероятности.
Независимые события возникают, например, при повторении испытаний. Выпадение герба и выпадение решки при двух разных бросках монеты независимы. Любые события, относящиеся к двум разным подбрасываниям игральной кости, независимы.
С в о й с т в о 5. Пусть события A и B несовместны. Тогда независимыми они будут только в том случае, если P(A) = 0 или P(B) = 0.
Это свойство (а вы его доказали ?) означает, что в невырожденном случае (когда вероятности событий положительны) несовместные события не могут быть независимыми. Зависимость между ними — просто причинно-следственная: если A B =, то A B, т. е. при выполнении A событие B не происходит.
У п р а ж н е н и е. Доказать с помощью свойства монотонности вероятности, что событие A, вероятность которого равна нулю или единице, не зависит ни от какого события B, в том числе и от самого себя.
С в о й с т в о 6. Если события A и B независимы, то независимы и события A и B, A и B, A и B.
и AB несовместны, то P(A) = P(AB)+P(AB). Поэтому P(AB) = = P(A) P(A B) = P(A) P(A)P(B) = P(A)(1 P(B)) = P(A)P(B).
Остальные утверждения вытекают из первого.
Если у нас не два, а большее число событий, выполнение только одного равенства P(A1... An ) = P(A1 ) ·... · P(An ) вовсе не означает независимости этих событий. Например, при таком равенстве события A1 и A вполне могут оказаться зависимыми.
обладают свойством что не мешает событиям A1 и A2 быть зависимыми:
Хотелось бы независимостью нескольких событий считать такое свойство, при котором любые комбинации этих событий будут независимы между собой: например, независимы A1 A2 и A3 A4 A5.
О п р е д е л е н и е 14. События A1,..., An называются независимыми в совокупности, если для любого 1 k n и любого набора различных меж собой индексов 1 i1,..., ik n имеет место равенство З а м е ч а н и е. Если события A1,..., An независимы в совокупности, то они попарно независимы, т. е. любые два события Ai и Aj независимы. Достаточно в равенстве (6) взять k = 2. Обратное, как показывает следующий пример, неверно: из попарной независимости не вытекает независимость в совокупности.
40 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ И НЕЗАВИСИМОСТЬ
тетраэдр, три грани которого окрашены соответственно в красный, синий, зелёный цвета, а четвёртая грань содержит все три цвета. Событие A ( B, C ) означает, что выпала грань, содержащая красный (соответственно синий, зелёный) цвета.Вероятность каждого из этих событий равна, так как каждый цвет есть на двух гранях из четырёх. Вероятность пересечения любых двух событий равна, так как только одна грань из четырёх содержит два цвета. Поэтому любые два события из трёх независимы, так как = ·.
Но вероятность события ABC (на грани есть все три цвета) тоже равна, а не, т. е. события не являются независимыми в совокупности.
Заметьте, что равенство (6) выполнено при k = 2, но не при k = 3.
П р и м е р 32. Есть три завода, производящих одну и ту же продукцию. Первый завод производит 25 %, второй завод — 35, третий — 40 % всей производимой продукции. Брак составляет 5 % от продукции первого завода, 3 % от продукции второго и 4 % от продукции третьего завода. Вся продукция смешивается и поступает в продажу. Найти: а) вероятность купить бракованное изделие; б) условную вероятность того, что купленное изделие изготовлено первым заводом, если это изделие оказалось бракованным.
Первая вероятность равна доле бракованных изделий в объеме всей продукции, т. е. 0,05 · 0,25 + 0,03 · 0,35 + 0,04 · 0,4. Вторая вероятность равна доле брака первого завода среди всего брака, т. е.
О п р е д е л е н и е 15. Конечный или счётный набор попарно несовместных событий H1, H2,... таких, что P(Hi ) > 0 для всех i и H1 H2... =, называется полной группой событий или разбиением пространства.
События H1, H2,..., образующие полную группу событий, часто называют гипотезами. При подходящем выборе гипотез для любого события A могут быть сравнительно просто вычислены P(A | Hi ) и собственно P(Hi ). Как, используя эти данные, посчитать вероятность события A?
Сергей Натанович Бернштейн (5.03.1880—26.10.1968).
полная группа событий H1, H2,... Тогда вероятность любого события A может быть вычислена по формуле и события A H1, A H2,... попарно несовместны. Поэтому Во втором равенстве мы использовали -аддитивность вероятностной меры (а что это ?), а в третьем — теорему 9 умножения вероятностей.
группа событий, и A — некоторое событие, вероятность которого положительна. Тогда условная вероятность того, что имело место событие Hk, если в результате эксперимента наблюдалось событие A, может быть вычислена по формуле Д о к а з а т е л ь с т в о. По определению условной вероятности, П р и м е р 33. Вернёмся к примеру 32. Изделие выбирается наудачу из всей произведённой продукции. Рассмотрим три гипотезы: Hi = = {изделие изготовлено i -м заводом}, i = 1, 2, 3. Вероятности этих событий даны: P(H1 ) = 0,25, P(H2 ) = 0,35, P(H3 ) = 0,4.
Пусть A = {изделие оказалось бракованным}. Даны также условные вероятности P (A | H1 ) = 0,05, P (A | H2 ) = 0,03, P (A | H3 ) = 0,04.
Thomas Bayes (1702—17.04.1761, England).
42 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ И НЕЗАВИСИМОСТЬ
Убедитесь, что полученные нами в примере 32 вероятности совпадают с вероятностями, вычисленными по формуле полной вероятности и по формуле Байеса.Вероятности P(Hi ), вычисленные заранее, до проведения эксперимента, называют априорными вероятностями (a’priori — «до опыта»). Условные вероятности P(Hi | A) называют апостериорными вероятностями (a’posteriori — «после опыта»). Формула Байеса позволяет переоценить заранее известные вероятности после того, как получено знание о результате эксперимента. Эта формула находит многочисленные применения в экономике, статистике, социологии и т. п.
П р и м е р 34. Два стрелка подбрасывают монетку и выбирают, кто из них будет стрелять по мишени (одной пулей). Первый стрелок попадает по мишени с вероятностью 1, второй стрелок — с вероятностью 105.
Можно сделать два предположения об эксперименте: H1 — стреляет 1-й стрелок (выпал герб) и H2 — стреляет 2-й стрелок (выпала решка).
Априорные вероятности этих гипотез одинаковы: P(H1 ) = P(H2 ) =.
Как изменятся вероятности гипотез после проведения опыта? Рассмотрим событие A — пуля попала в мишень. Известно, что Вероятность пуле попасть в мишень равна Предположим, что событие A произошло. Тогда по формуле Байеса Попадание пули в мишень сделало выпадение герба в 105 раз более вероятным, чем выпадение решки.
Г Л А В А IV
СХЕМА БЕРНУЛЛИ
§ 1. Распределение числа успехов в n испытаниях О п р е д е л е н и е 16. Схемой Бернулли называется последовательность независимых в совокупности испытаний, в каждом из которых возможны лишь два исхода — «успех» и «неудача», при этом успех в одном испытании происходит с вероятностью p (0, 1), а неудача — с вероятностью q = 1 p.Под независимостью в совокупности испытаний понимается независимость в совокупности любых событий, относящихся к разным испытаниям. В испытаниях схемы Бернулли, когда с одним испытанием можно связать только два взаимоисключающих события, независимость в совокупности испытаний означает, что при любом n независимы в совокупности события A1 = { успех в первом испытании },..., An = { успех в n -м испытании }. Эти события принадлежат одному и тому же пространству элементарных исходов, полученному декартовым произведением бесконечного числа двухэлементных множеств {у, н} :
Здесь буквами «у» и «н» обозначены успешный и неудачный результаты испытаний соответственно.
Обозначим через n число успехов, случившихся в n испытаниях схемы Бернулли. Эта величина может принимать целые значения от нуля до n в зависимости от результата n испытаний. Например, если все n испытаний завершились неудачей, то величина n равна нулю.
имеет место равенство:
Д о к а з а т е л ь с т в о. Событие A = {n = k} означает, что в n испытаниях схемы Бернулли произошло ровно k успехов. Рассмотрим один из благоприятствующих событию A элементарных исходов:
когда первые k испытаний завершились успехом, остальные неудачей. Поскольку испытания независимы, вероятность такого элементарного исхода равна pk q nk. Другие благоприятствующие событию A элементарные исходы отличаются лишь расположением k успехов на n местах. Есть ровk но Cn способов расположить k успехов на n местах. Поэтому событие A состоит из Cn элементарных исходов, вероятность каждого из которых также равна pk q nk.
вается биномиальным распределением вероятностей.
Рассмотрим схему Бернулли с вероятностью успеха p в одном испытании. Введём величину со значениями 1, 2, 3,..., равную номеру первого успешного испытания.
Т е о р е м а 14. Вероятность того, что первый успех произойдёт в испытании с номером k N = {1, 2, 3,...}, равна P( = k) = p q k1.
Д о к а з а т е л ь с т в о. Вероятность первым k 1 испытаниям завершиться неудачей, а последнему — успехом, равна О п р е д е л е н и е 18. Набор чисел {p q k1, k = 1, 2, 3,... } называется геометрическим распределением вероятностей.
Геометрическое распределение вероятностей обладает интересным свойством, которое можно назвать свойством «нестарения».
§ 3. Независимые испытания с несколькими исходами Т е о р е м а 15. Пусть P( = k) = p q k1 для любого k N. Тогда для любых неотрицательных целых n и k имеет место равенство:
Если, например, считать величину временем безотказной работы (измеряемым целым числом часов) некоторого устройства, то данному равенству можно придать следующее звучание: вероятность работающему устройству проработать ещё сколько-то часов не зависит от того момента, когда мы начали отсчёт времени, или от того, сколько уже работает устройство. Общепринятое название этого свойства — свойство отсутствия последействия.
Д о к а з а т е л ь с т в о. По определению условной вероятности, Последнее равенство следует из того, что событие { > n + k} влечёт событие { > n}, поэтому пересечение этих событий есть { > n + k}.
Найдём для целого m 0 вероятность P( > m) : событие { > m} означает в точности, что в схеме Бернулли первые m испытаний завершились неудачами, т. е. его вероятность равна q m. Возвращаясь к (7), получим Теорема 15 доказана.
§ 3. Независимые испытания с несколькими исходами Рассмотрим схему независимых испытаний уже не с двумя, а с бльшим количеством возможных результатов в каждом испытании.
П р и м е р 35. Игральная кость подбрасывается 15 раз. Найти вероятность того, что выпадет ровно десять троек и три единицы.
Здесь каждое испытание имеет три, а не два исхода: выпадение тройки, выпадение единицы, выпадение любой другой грани. Поэтому воспользоваться формулой для числа успехов в схеме Бернулли не удаcтся.
Попробуем вывести подходящую формулу. Пусть в одном испытании возможны m исходов: 1, 2,..., m, и i -й исход в одном испытании случается с вероятностью pi, где p1 +... + pm = 1.
Обозначим через P (n1,..., nm ) вероятность того, что в n независимых испытаниях первый исход случится n1 раз, второй исход — n2 раз, и т. д., наконец, m -й исход — nm раз.
Т е о р е м а 16. Для любого n и любых неотрицательных целых чисел n1,..., nm, сумма которых равна n, верна формула Д о к а з а т е л ь с т в о. Рассмотрим один элементарный исход, благоприятствующий выпадению n1 единиц, n2 двоек и т. д.:
Это результат n экспериментов, когда все нужные исходы появились в некотором заранее заданном порядке. Вероятность такого результата равна произведению вероятностей pn1 ·...·pnm. Остальные благоприятные исходы отличаются лишь расположением чисел 1, 2,..., m на n местах.
Число таких исходов равно числу способов расположить на n местах n единиц, n2 двоек, и т. д. Это число равно Теперь мы можем вернуться к примеру 35 и выписать ответ: вероятность получить десять троек, три единицы и ещё два других очка равна так как вероятности выпадения тройки и единицы равны по 1 / 6, а вероятность третьего исхода (выпала любая другая грань) равна 4 / 6.
Предположим, нам нужна вероятность получить не менее семи успехов в тысяче испытаний схемы Бернулли с вероятностью успеха 0,003. Вероятность этого события равна любому из следующих выражений, вычислить которые довольно сложно:
Сформулируем теорему о приближённом вычислении вероятности иметь k успехов в большом числе испытаний Бернулли с маленькой вероятностью успеха p. Термин «большое число» должен означать n.
Если при этом p остаётся неизменной, то вероятность получить любое Simon Denis Poisson (21.06.1781—25.04.1840, France).
заданное число успехов уменьшается до нуля. Необходимо чтобы вероятность успеха p = pn уменьшалась одновременно с ростом числа испытаний. Но от испытания к испытанию вероятность успеха меняться не может (см. определение схемы Бернулли). Поэтому нам придётся рассмотреть так называемую «схему серий»: если испытание одно, то вероятность успеха в нём равна p1, если испытаний два, то вероятность успеха в каждом равна p2 и т. д. Вероятность успеха меняется не внутри одной серии испытаний, а от серии к серии, когда меняется общее число испытаний.
так, что npn > 0. Тогда для любого k 0 вероятность получить k успехов в n испытаниях схемы Бернулли с вероятностью успеха pn стремится к величине k e / k! :
Подставим pn = n /n в формулу Бернулли:
В соотношении (8) мы воспользовались тем, что k k и замечательn ным пределом (1 n /n)n e.
ется распределением Пуассона с параметром > 0.
По теореме 17 можно приближённо посчитать вероятность получить не менее семи успехов в тысяче испытаний схемы Бернулли с вероятностью успеха 0,003, с вычисления которой мы начали. Поскольку n = 1 000 «велико», а pn = 0,003 «мало», то, взяв = npn = 3, можно записать приближённое равенство Осталось решить, а достаточно ли n = 103 велико, а pn = 0,003 мало, чтобы заменить точную вероятность на её приближённое значение. Для этого нужно уметь оценивать разницу между этими вероятностями.
Следующую очень полезную теорему мы, исключительно из экономии времени, доказывать не станем.
Т е о р е м а 18 (уточнённая теорема Пуассона). Пусть A — произвольное множество целых неотрицательных чисел, n — число успехов в n испытаниях схемы Бернулли с вероятностью успеха p, = np, Cправедливо неравенство P(n A) Таким образом, теорема 18 предоставляет нам возможность самим решать, достаточно ли n велико, а p мало, руководствуясь полученной величиной погрешности. Какова же погрешность в формуле (9)? Взяв A = = {0, 1,..., 6}, имеем Таким образом, можно утверждать, что искомая вероятность заключена в границах (0,034 0,003, 0,034 + 0,003) = (0,031, 0,037).
ГЛАВА V
СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
считать тем реальным и неизменным содержанием, которое навязывается существам всех видов с одинаковой необходимостью, потому что оно не зависит ни от индивида, ни от момента Мы уже видели, что для многих экспериментов нет никаких различий в подсчёте вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. Но нас и должны интересовать именно вероятности событий, а не структура пространства элементарных исходов. Поэтому пора во всех таких «похожих» экспериментах вместо самых разных исходов использовать, например, числа. Иначе говоря, каждому элементарному исходу поставить в соответствие некоторое вещественное число, и работать только с числами.Пусть задано вероятностное пространство, F, P.
О п р е д е л е н и е 20. Функция : R называется случайной величиной, если для любого борелевского множества B B(R) множество 1 (B) является событием, т. е. принадлежит -алгебре F.
Множество 1 (B) = { | () B}, состоящее из тех элементарных исходов, для которых () принадлежит B, называется полным прообразом множества B.
З а м е ч а н и е. Вообще, пусть функция f действует из множества X в множество Y, и заданы -алгебры F и G подмножеств X и Y соответственно. Функция f называется измеримой, если для любого множества B G его полный прообраз f 1 (B) принадлежит F.
З а м е ч а н и е. Читатель, не желающий забивать себе голову абстракциями, связанными с -алгебрами событий и с измеримостью, может смеГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ ло считать, что любое множество элементарных исходов есть событие, и, следовательно, случайная величина есть произвольная функция из в R.
Неприятностей на практике это не влечёт, так что всё дальнейшее в этом параграфе можно пропустить.
Теперь, избавившись от нелюбопытных читателей, попробуем понять, зачем случайной величине нужна измеримость.
Если задана случайная величина, нам может потребоваться вычислить вероятности вида P( = 5) = P{ | () = 5}, P( [3, 7]), P( 3,2), P( < 0) и вообще самые разные вероятности попадания в борелевские множества на прямой. Это возможно лишь если множества, стоящие под знаком вероятности, являются событиями — ведь вероятность есть функция, определённая только на -алгебре событий. Требование измеримости равносильно тому, что для любого борелевского множества B определена вероятность P( B).
Можно потребовать в определении 20 чего-нибудь другого.
Например, чтобы событием было попадание в любой интервал:
{ | () (a, b)} F, или в любой полуинтервал: { | () < x} F.
О п р е д е л е н и е 21. Функция : R называется случайной величиной, если для любых вещественных a < b множество { | () (a, b)} принадлежит -алгебре F.
Д о к а з а т е л ь с т в о. Докажем эквивалентность определений 20 и 21.
Если — случайная величина в смысле определения 20, то она будет случайной величиной и в смысле определения 21, поскольку любой интервал (a, b) является борелевским множеством.
Докажем, что верно и обратное. Пусть для любого интервала B = (a, b) выполнено 1 (B) F. Мы должны доказать, что то же самое верно для любых борелевских множеств. Соберём в множестве A = {B R | 1 (B) F} все такие подмножества B вещественной прямой, что их прообразы являются событиями. По определению, B A тогда и только тогда, когда множество 1 (B) принадлежит F.
Множество A уже содержит все интервалы (a, b). Покажем, что множество A является -алгеброй.
1. Убедимся, что R A. Но 1 (R) = F и, следовательно, R A.
2. Убедимся, что B A для любого B A. Пусть 1 (B) F. Тогда 1 (B) = { | () B} = \ 1 (B) F, так как F — -алгебра.
Пусть 1 (Bi ) F для всех i 1. Но F — -алгебра, поэтому Мы доказали, что A — -алгебра и содержит все интервалы на прямой. Но B(R) — наименьшая из -алгебр, содержащих все интервалы на прямой. Следовательно, B(R) A.
Приведём примеры измеримых и неизмеримых функций.
П р и м е р 36. Подбрасываем кубик. Пусть = {1, 2, 3, 4, 5, 6} и две функции из в R заданы так: () =, () = 2.
Пока не задана -алгебра F, нельзя говорить об измеримости. Функция, измеримая относительно какой-то -алгебры F, может не быть таковой для другой F.
1. Если F есть множество всех подмножеств, то и являются случайными величинами, поскольку любое множество элементарных исходов принадлежит F, в том числе и { | () B} или { | () B}.
Можно записать соответствие между значениями случайных величин и и вероятностями принимать эти значения в виде таблицы распределения вероятностей или, короче, таблицы распределения :
2. Пусть -алгебра событий F состоит из четырёх множеств:
т. е. событием является, кроме достоверного и невозможного событий, выпадение чётного или нечётного числа очков. Убедимся, что при такой сравнительно бедной -алгебре ни, ни не являются случайными величинами. Возьмём, скажем, B = {4}. Видим, что { | () = 4} = {4} F и У п р а ж н е н и е : а) описать все функции, измеримые относительно -алгебры F из (10);
б) доказать, что и не являются случайными величинами, если F = = {, } — тривиальная -алгебра;
в) доказать, что относительно тривиальной -алгебры измеримы только функции вида () = c (постоянные).
52 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
П р и м е р 37. Пусть = [0, 2], F = B(R) [0, 2] — сигма-алгебра борелевских подмножеств отрезка [0, 2], P(B) = (B)/2 — геометрическая вероятность на F и A — неизмеримое множество Витали, построенное нами в примере 20 (с. 25). Функция не является случайной величиной, поскольку, например, прообраз единицы { | () = 1} = A не принадлежит F. И вероятность для попасть в единицу P( = 1) = (A)/2 просто не существует.Познакомимся с важным понятием — «распределение» случайной величины и опишем различные типы распределений случайных величин.
§ 2. Распределения случайных величин О п р е д е л е н и е 22. Распределением случайной величины называется вероятностная мера µ(B) = P( B) на множестве борелевских подмножеств R.
Можно представлять себе распределение случайной величины как соответствие между множествами B B(R) и вероятностями P( B).
Распределения случайных величин суть основные объекты изучения в теории вероятностей. Мы не будем, как правило, интересоваться тем, из какого множества действует функция и каким именно элементарным исходам сопоставляет свои возможные значения. Нас будет интересовать лишь, с какой вероятностью эти значения принимаются. Приведём несколько примеров совершенно разных случайных величин, имеющих одно и то же распределение (одинаково распределённых).
П р и м е р 38. Один раз бросается правильная монета. Пространство состоит из двух элементарных исходов — герб и решка. В качестве -алгебры рассмотрим множество всех подмножеств, вероятность зададим как в классической схеме. Положим () = 1, если = герб, и () = 0, если = решка;
() = 0, если = герб, и () = 1, если = решка.
Очевидно, что для любого множества B R вероятности принадлежать B для и для одинаковы. Тем не менее ни для одного элементарного исхода значения () и () не совпадают. Иными словами, и одинаково распределены, но не одинаковы как функции.
П р и м е р 39. Точка наудачу бросается на отрезок [0, 1]. В этом случае есть отрезок [0, 1] с -алгеброй борелевских подмножеств [0, 1] и мерой Лебега в качестве вероятности. Читатель убедится, что две совершенно разные функции: () = и () = 1 (расстояния до упавшей точки от левого и от правого концов отрезка соответственно) обладают одинаковыми вероятностями принимать значения внутри любых борелевских множеств B. Вероятности эти равны мере Лебега пересечения множеств B и [0, 1]. Эти случайные величины одинаково распределены, но не одинаковы: их значения совпадают лишь при одном элементарном исходе = 0,5 (нарисовать графики функций () и ()).
П р и м е р 40. На том же отрезке = [0, 1] построим две функции:
() = 0 при всех ; () = 0 при всех, кроме = 0,5, а в точке = 0,5 положим () = 17.
Поскольку мера Лебега точки (она же — вероятность) равна нулю, распределения величин и одинаковы. Теперь () и () снова не совпадают как функции, но отличаются их значения лишь на множестве нулевой вероятности — только в точке = 0,5. В этом случае говорят, что и совпадают «почти наверное»: P( = ) = 1.
Опишем различные типы распределений случайных величин. Вся вероятностная масса может быть сосредоточена в нескольких точках прямой, а может быть «размазана» по некоторому интервалу или по всей прямой.
В зависимости от типа множества, на котором сосредоточена вся единичная вероятностная масса, распределения делят на дискретные, абсолютно непрерывные, сингулярные и их смеси.
О п р е д е л е н и е 23. Случайная величина имеет дискретное распределение, если существует конечный или счётный набор чисел a1, a2,... такой, что Итак, случайная величина имеет дискретное распределение, если она принимает не более чем счётное число значений. Значения эти иначе называют атомами: имеет атом в точке x, если P( = x) > 0.
Если случайная величина имеет дискретное распределение, то для любого B R Дискретное распределение удобно задавать следующей таблицей, в которой pi = P( = ai ) :
54 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
О п р е д е л е н и е 24. Cлучайная величина имеет абсолютно непрерывное распределение, если существует неотрицательная функция f (x) такая, что для любого борелевского множества B имеет место равенство:Функцию f (x) называют плотностью распределения величины.
З а м е ч а н и е. Интеграл выше есть интеграл Лебега, а не Римана.
Вполне достаточно, если читатель, не знакомый с интегралом Лебега, будет представлять его себе просто как площадь под графиком подынтегральной функции над множеством B. При этом площадь над множеством B, имеющим нулевую меру Лебега, равна нулю. Заметим, что любая функция, отличающаяся от функции f (x) лишь в конечном или счётном числе точек (или на множестве нулевой меры Лебега), будет являться плотностью того же распределения, так как интеграл не изменится от изменения подынтегральной функции на множестве меры нуль.
Т е о р е м а 19. Плотность распределения обладает свойствами:
Д о к а з а т е л ь с т в о. Свойство (f1) выполнено по определению плотности, свойство (f2) также следует из определения 24. Действительно, если в качестве борелевского множества B взять всю числовую прямую, получим:
Эти два свойства полностью характеризуют класс плотностей.
Т е о р е м а 20. Если функция f обладает свойствами (f1) и (f2), то существует вероятностное пространство и случайная величина на нём, для которой f является плотностью распределения.
Д о к а з а т е л ь с т в о. Пусть — область, заключенная между осью абсцисс и графиком функции f. Площадь области равна единице по свойству (f2). Возьмём в качестве F множество борелевских подмножеств, а в качестве вероятности P — меру Лебега (площадь) на множествах из F. И пусть случайная величина — абсцисса точки, наудачу брошенной в эту область. Тогда для любого B B(R) выполнено Здесь область DB есть криволинейная трапеция с основанием B под графиком плотности (рис. 6). По определению, равенство (11) означает, что функция f является плотностью распределения величины.
Отметим полезное свойство абсолютно непрерывных распределений.
С в о й с т в о 7. Если случайная величина имеет абсолютно непрерывное распределение, то P( = x) = 0 для любого x R.
Д о к а з а т е л ь с т в о сразу следует из определения 24 и следующего за ним замечания: интеграл по области интегрирования, состоящей из одной точки, равен нулю.
Можно выделить ещё один особый класс распределений, сосредоточенных, в отличие от абсолютно непрерывных распределений, на множестве нулевой меры Лебега, но не имеющих, в отличие от дискретных, атома ни в одной точке этого множества.
О п р е д е л е н и е 25. Случайная величина имеет сингулярное распределение, если существует борелевское множество B с нулевой лебеговой мерой (B) = 0 такое, что P( B) = 1, но при этом P( = x) = для любой точки x B.
Можно отметить следующее свойство сингулярных распределений.
Множество B, на котором сосредоточено всё распределение, не может состоять из конечного или счётного числа точек. Действительно, если B конечно или счётно, то P( B) = P( = xi ), где суммирование ведётся по всем xi B. Последняя сумма равна нулю как сумма счётного числа нулей, что противоречит предположению P( B) = 1.
Таким образом, любое сингулярное распределение сосредоточено на несчётном множестве с нулевой мерой Лебега. Примером такого множеГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ ства может служить канторовское совершенное множество, а примером такого распределения — лестница Кантора9 (выяснить, что это).
Наконец, распределение может быть выпуклой линейной комбинацией дискретного, абсолютно непрерывного и сингулярного распределений.
О п р е д е л е н и е 26. Случайная величина имеет смешанное распределение, если найдутся такие случайные величины 1, 2 и 3 — с дискретным, абсолютно непрерывным и сингулярным распределениями соответственно (или такие три распределения), и числа p1, p2, p3 [0, 1), p1 + p2 + p3 = 1, что для любого B B(R) имеет место равенство По заданным на одном вероятностном пространстве случайным величинам 1, 2, 3 и числам p1 + p2 + p3 = 1 можно построить случайную величину со смешанным распределением так: пусть — случайная величина на том же вероятностном пространстве с дискретным распределением P( = k) = pk для k = 1, 2, 3, и пусть при любом k и любом B B(R) события { = k} и {k B} независимы.
Построим случайную величину так: если () = k, то положим () = k (). Её распределение найдём по формуле полной вероятности:
В силу независимости событий под знаком каждой из вероятностей, Никаких других видов распределений, кроме перечисленных выше, не существует (доказано Лебегом).
Описание распределения набором вероятностей P( B) не очень удобно: слишком много существует борелевских множеств. Мы описали дискретные распределения таблицей распределения, абсолютно непрерывные — плотностью распределения. Попробуем поискать какой-нибудь универсальный способ описать любое возможное распределение.
Можно поставить вопрос иначе: распределение есть набор вероятностей попадания в любые борелевские множества на прямой. Нельзя ли обойтись знанием вероятностей попадания в какой-нибудь меньший набор множеств на прямой? Борелевская -алгебра B(R) порождается интервалами (равно как и лучами (, x) ), поэтому можно ограничиться только Georg Ferdinand Ludwig Philipp Cantor (3.03.1845, Russia — 6.01.1918, Germany).
вероятностями попадания в такие лучи для всех x R. А уже с их помощью можно будет определить и вероятность попасть в любое борелевское множество.
З а м е ч а н и е. Можно с таким же успехом ограничиться набором вероятностей попадания в интервалы (, x], или в (x, ), или в [x, ).
О п р е д е л е н и е 27. Функцией распределения случайной величины называется функция F : R [0, 1], при каждом x R равная вероятности случайной величине принимать значения, меньшие x :
Перечислим основные дискретные и абсолютно непрерывные распределения и найдём их функции распределения.
§ 4. Примеры дискретных распределений Вырожденное распределение. Говорят, что случайная величина имеет вырожденное распределение в точке c R, и пишут: Ic, если принимает единственное значение c с вероятностью 1, т. е. P( = c) = 1.
Функция распределения имеет вид Распределение Бернулли. Говорят, что случайная величина имеет распределение Бернулли с параметром p, и пишут: Bp, если принимает значения 1 и 0 с вероятностями p и 1 p соответственно.
Случайная величина с таким распределением равна числу успехов в одном испытании схемы Бернулли с вероятностью успеха p : ни одного успеха или один успех.
Функция распределения случайной величины такова:
Биномиальное распределение. Говорят, что случайная величина имеет биномиальное распределение с параметрами n N и p (0, 1), и пишут: Bn,p, если принимает значения k = 0, 1,..., n с вероятностями P( = k) = Cn pk (1 p)nk. Случайная величина с таким распределением имеет смысл числа успехов в n испытаниях схемы БерГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ нулли с вероятностью успеха p. Таблица распределения имеет вид Например, количество выпавших шестёрок при двадцати подбрасываниях правильной игральной кости имеет биномиальное распределение B20, 1.
Распределение Бернулли совпадает с распределением B1, p.
Геометрическое распределение. Говорят, что случайная величина имеет геометрическое распределение с параметром p (0, 1), и пишут Gp, если принимает значения k = 1, 2, 3,... с вероятностями P( = k) = p(1 p)k1. Случайная величина с таким распределением имеет смысл номера первого успешного испытания в схеме Бернулли с вероятностью успеха p. Таблица распределения имеет вид Распределение Пуассона. Говорят, что случайная величина имеет распределение Пуассона с параметром > 0, и пишут:, если принимает значения k = 0, 1, 2,... с вероятностями P( = k) = e.
Распределение Пуассона возникло в теореме Пуассона (с. 47) как предельное распределение для числа успехов в n испытаниях схемы Бернулли, когда число испытаний n увеличивается, а вероятность успеха уменьшается обратно пропорционально n. Поэтому распределение Пуассона называют иначе распределением числа редких событий.
Гипергеометрическое распределение. Говорят, что случайная величина имеет гипергеометрическое распределение с параметрами n, N что 0 k K, k C nk / C n. Случайная величина с таким распределением имеет смысл числа белых шаров среди n шаров, выбранных наудачу и без возвращения из урны, содержащей K белых шаров и N K не белых.
У п р а ж н е н и е. Построить графики функций распределения для вырожденного распределения, распределений Бернулли и Пуассона, биномиального и геометрического распределений.
§ 5. Примеры абсолютно непрерывных распределений § 5. Примеры абсолютно непрерывных распределений Равномерное распределение. Говорят, что имеет равномерное распределение на отрезке [a, b], и пишут: Ua,b, если плотность распределения постоянна на отрезке [a, b] и равна нулю вне него:
Площадь под графиком этой функции равна единице, f (x) 0. Поэтому f (x) является плотностью распределения.
Случайная величина Ua,b имеет смысл координаты точки, выбранной наудачу на отрезке [a, b]. Вычислим по определению 24 функцию распределения случайной величины :
F (x) = P( < x) = f (t) dt = Получим следующую непрерывную функцию распределения:
Графики плотности и функции распределения равномерного распределения на отрезке [a, b] изображены на рис. 7.
Показательное распределение. Говорят, что имеет показательное (экспоненциальное) распределение с параметром > 0, и пишут:
60 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ
E, если имеет следующую плотность распределения:Функция распределения случайной величины непрерывна:
Графики плотности и функции распределения показательного распределения с параметром приведены на рис. 8.
Плотность показательного распределения равна нулю на отрицательной полуоси, поэтому вероятность события { < 0} нулевая — случайная величина с показательным распределением не может быть отрицательна.
К тому же плотность отлична от нуля на всей положительной полуоси, поэтому случайная величина с показательным распределением может принимать сколь угодно большие положительные значения: для всякого x вероятность события { > x} не равна нулю.
Показательное распределение является единственным абсолютно непрерывным распределением, для которого выполнено свойство «нестарения»
(и в этом смысле оно является непрерывным аналогом дискретного геометрического распределения).
У п р а ж н е н и е. Доказать теорему 21. Доказать далее, что если неотрицательная случайная величина с абсолютно непрерывным распределением обладает свойством (12) при любых x, y > 0, то она имеет показательное распределение с некоторым параметром.
Нормальное распределение. Говорят, что имеет нормальное (гауссовское10 ) распределение с параметрами a и 2, где a R, > 0, и пишут: Na, 2, если имеет следующую плотность распределения:
«